CN112631424A - 手势优先级控制方法和系统及其vr眼镜 - Google Patents
手势优先级控制方法和系统及其vr眼镜 Download PDFInfo
- Publication number
- CN112631424A CN112631424A CN202011510571.1A CN202011510571A CN112631424A CN 112631424 A CN112631424 A CN 112631424A CN 202011510571 A CN202011510571 A CN 202011510571A CN 112631424 A CN112631424 A CN 112631424A
- Authority
- CN
- China
- Prior art keywords
- gesture
- priority
- glasses
- module
- gestures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011521 glass Substances 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000004590 computer program Methods 0.000 claims description 5
- 230000004438 eyesight Effects 0.000 description 23
- 230000004424 eye movement Effects 0.000 description 18
- 230000009471 action Effects 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 11
- 230000001960 triggered effect Effects 0.000 description 10
- 230000004397 blinking Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 206010058314 Dysplasia Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 201000009487 Amblyopia Diseases 0.000 description 1
- 241000206469 Pulsatilla Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种手势优先级控制方法和系统及其VR眼镜,结合VR眼镜当前是否正在执行第二手势、第一手势与第二手势的指令是否冲突等判断,选择性的执行手势。本发明允许多种手势对VR眼镜进行控制,并且通过执行优先级的规则,能够使得多种手势之间按照优先级避免发生冲突,从而令VR眼镜佩戴者可更加灵活的对VR眼镜进行控制,并且多种手势的优先级之间根据VR眼镜佩戴者的使用习惯而自动动态调整优先级。
Description
技术领域
本发明涉及VR眼镜领域,具体地,涉及手势优先级控制方法和系统及其VR眼镜。
背景技术
专利文献CN106648103A公开了一种VR头戴设备的手势跟踪方法和VR头戴设备,包括以下步骤:采集多个训练图像;分离手部深度图像;标记三维手势,形成原始点云;计算法向量和曲率,去均值归一化;搭建CNN网络,CNN网络的输入端分别输入多法向量、曲率和手部深度图像,输出端输出包括掌心在内的多个关节点的三维坐标;训练后的CNN网络作为三维手势的特征提取器,通过深度摄像头采集实时动作深度图像,特征提取器提取并处理实时动作深度图像中所包含的三维手势的法向量、曲率和手部深度图像信息,输出包含掌心的多个关节点的三维坐标,并对识别出的三维手势进行跟踪。还公开一种VR头戴设备。本发明融合了三维特征信息,具有模型识别率高的优点。
专利文献CN106814846A公开了一种VR中基于视线和碰撞体交点的眼动分析方法,包括步骤:建立三维模型;将所述三维模型导入物理引擎中,并对所述三维模型设置碰撞体;追踪用户视线,根据所述视线与一个碰撞体确定交点,所述一个碰撞体包括的物体是用户看到的物体,记录数据。本方法主要应用于VR中,结合眼动技术,实时记录兴趣区域,对VR场景中的物体进行360度全景分析,检测视角、范围大。
专利文献CN106339097A公开了一种语音控制和手柄动作控制的VR设备,属于VR设备领域,包括VR设备本体以及与所述VR设备本体连接的控制手柄;所述VR设备本体包括中央处理单元以及与所述中央处理单元分别连接的第一语音识别模块和第一通讯模块;所述控制手柄包括陀螺仪传感器和第二通讯模块,所述陀螺仪传感器依次通过第二通讯模块和第一通讯模块与所述中央处理单元连接。本发明结构简单,能够更好地进行VR交互的体验,使得用户沉浸在VR游戏的体验中。
现有技术已经给出了眼动、手部运动、语音、手柄等多种控制VR眼镜的方式,但是这些方式无法在同一个VR眼镜上协调运行。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种手势优先级控制方法和系统及其VR眼镜。
根据本发明提供的一种手势优先级控制方法,包括:
步骤S1,手势获取步骤:通过VR眼镜获取第一手势;
步骤S2,判断当前手势步骤:判断VR眼镜当前是否正在执行第二手势;若是,则触发步骤S3继续执行;若否,则触发步骤S4执行;
步骤S3,手势冲突判断步骤:判断第一手势与第二手势的指令是否冲突;若是,则触发步骤S4继续执行;若否,则触发步骤S5继续执行;
步骤S4,优先级判断步骤:判断第一手势的执行优先级是否高于第二手势的执行优先级;若是,则触发步骤S5执行;若否,则触发步骤S6执行;
步骤S5,第一手势执行步骤:通过VR眼镜根据第一手势的指示对虚拟环境中的虚拟对象进行控制;
步骤S6,第二手势执行步骤:将第一手势归入待定手势集合,通过VR眼镜根据第二手势的指示继续对虚拟环境中的虚拟对象进行控制。
优选地,所述手势获取步骤中的手势的种类包括现实环境的声响手势、VR眼镜佩戴者的语音手势、眼部手势、手部手势、手柄手势;
所述执行优先级的规则包括:
规则1,初始的执行优先级为现实环境的声响手势、VR眼镜佩戴者的语音手势、眼部手势、手部手势、手柄手势的执行优先级依次降低;
规则2,对于一手势,该手势每次被执行后,令该手势的优先级提高一级,且若该手势被连续重复执行则令该手势的优先级仅提高一级。
优选地,对于待定手势集合中的手势,按照当前执行优先级,按照优先级从高到低依次执行,已被执行的指令移出所述待定手势集合。
优选地,对于待定手势集合中的手势,不予执行,且将执行优先级降低一级后移出待定手势集合。
根据本发明提供的一种手势优先级控制系统,包括:
模块M1,手势获取模块:通过VR眼镜获取第一手势;
模块M2,判断当前手势模块:判断VR眼镜当前是否正在执行第二手势;若是,则触发模块M3继续执行;若否,则触发模块M4执行;
模块M3,手势冲突判断模块:判断第一手势与第二手势的指令是否冲突;若是,则触发模块M4继续执行;若否,则触发模块M5继续执行;
模块M4,优先级判断模块:判断第一手势的执行优先级是否高于第二手势的执行优先级;若是,则触发模块M5执行;若否,则触发模块M6执行;
模块M5,第一手势执行模块:通过VR眼镜根据第一手势的指示对虚拟环境中的虚拟对象进行控制;
模块M6,第二手势执行模块:将第一手势归入待定手势集合,通过VR眼镜根据第二手势的指示继续对虚拟环境中的虚拟对象进行控制。
优选地,所述手势获取模块中的手势的种类包括现实环境的声响手势、VR眼镜佩戴者的语音手势、眼部手势、手部手势、手柄手势;
所述执行优先级的规则包括:
规则1,初始的执行优先级为现实环境的声响手势、VR眼镜佩戴者的语音手势、眼部手势、手部手势、手柄手势的执行优先级依次降低;
规则2,对于一手势,该手势每次被执行后,令该手势的优先级提高一级,且若该手势被连续重复执行则令该手势的优先级仅提高一级。
优选地,对于待定手势集合中的手势,按照当前执行优先级,按照优先级从高到低依次执行,已被执行的指令移出所述待定手势集合。
优选地,对于待定手势集合中的手势,不予执行,且将执行优先级降低一级后移出待定手势集合。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质,所述计算机程序被处理器执行时实现所述的手势优先级控制方法的步骤。
根据本发明提供的一种VR眼镜,包括所述的手势优先级控制系统,或者包括所述的存储有计算机程序的计算机可读存储介质。
与现有技术相比,本发明具有如下的有益效果:
本发明允许多种手势对VR眼镜进行控制,并且通过执行优先级的规则,能够使得多种手势之间按照优先级避免发生冲突,从而令VR眼镜佩戴者可更加灵活的对VR眼镜进行控制,并且多种手势的优先级之间根据VR眼镜佩戴者的使用习惯而自动动态调整优先级。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
现有技术虽然已经给出了眼动、手部运动、语音、手柄等多种控制VR眼镜的方式,但是这些方式无法在同一个VR眼镜上协调运行,原因在于缺少这些控制方式的优先级处理规则。本发明将现实环境的声响控制方式、VR眼镜佩戴者的语音控制方式、眼部动作控制方式、手部动作控制方式、手柄控制方式,都认为是一种用来控制VR眼镜的手势,分别称为现实环境的声响手势、VR眼镜佩戴者的语音手势、眼部手势、手部手势、手柄手势。
根据本发明提供的一种手势优先级控制方法,包括:
步骤S1,手势获取步骤:通过VR眼镜获取第一手势;具体地,获取方式至少可以通过参考专利文献CN106648103A、专利文献CN106814846A、专利文献CN106339097A实现不同的手势的获取。例如,所述手势获取步骤中的手势的种类包括现实环境的声响手势、VR眼镜佩戴者的语音手势、眼部手势、手部手势、手柄手势。
步骤S2,判断当前手势步骤:判断VR眼镜当前是否正在执行第二手势;若是,则触发步骤S3继续执行;若否,则触发步骤S4执行;具体地,第一手势与第二手势可以是两种不同种类的手势,也可以是同一个种类手势下的两种具体的表达不同指令的手势。如果VR眼镜当前正在执行第二手势,则需要避免第一手势与第二手势同时指挥VR眼镜而导致VR眼镜不能正常执行指令,所以需要通过步骤S3进行判断两者是否冲突或者两者可以共存。
步骤S3,手势冲突判断步骤:判断第一手势与第二手势的指令是否冲突;若是,则触发步骤S4继续执行;若否,则触发步骤S5继续执行;具体地,当第一手势与第二手势发生冲突时,第一手势至少不能马上进行执行,还需要通过步骤S4进一步判断,该执行第一手势与第二手势中的哪一个手势。
步骤S4,优先级判断步骤:判断第一手势的执行优先级是否高于第二手势的执行优先级;若是,则触发步骤S5执行;若否,则触发步骤S6执行;
步骤S5,第一手势执行步骤:通过VR眼镜根据第一手势的指示对虚拟环境中的虚拟对象进行控制;具体地,停止执行优先级较低的第二手势,启动执行优先级较高的第一手势,尚未执行完毕的第二手势归入待定手势集合;
步骤S6,第二手势执行步骤:将第一手势归入待定手势集合,通过VR眼镜根据第二手势的指示继续对虚拟环境中的虚拟对象进行控制。
所述执行优先级的规则包括:规则1,初始的执行优先级为现实环境的声响手势、VR眼镜佩戴者的语音手势、眼部手势、手部手势、手柄手势的执行优先级依次降低;具体地,这是初始设定的手势执行优先级,其是按照手势的操作难度依次增加排序的。这是照顾到VR眼镜佩戴者刚使用手势时,可以从难度交底的手势开始控制。规则2,对于一手势,该手势每次被执行后,令该手势的优先级提高一级,且若该手势被连续重复执行则令该手势的优先级仅提高一级。通过规则2,可以使得多种手势的优先级之间根据VR眼镜佩戴者的使用习惯而自动动态调整优先级。但是,若一个手势被重复执行,则认为是实际操作的需要,因而排除在用户习惯之外,在重复执行的多次手势下仅仅根据首次手势提高一级优先级。如果VR眼镜使用者更加偏好使用手柄手势,则手柄手势的优先级能够逐渐上升为最高。若VR眼镜佩戴者发生变化,新佩戴者不习惯使用手柄,则其它手势的优先级会逐步提高。进而本发明能够自适应不同的VR眼镜佩戴者的习惯。
在一个优选例中,对于待定手势集合中的手势,按照当前执行优先级,按照优先级从高到低依次执行,已被执行的指令移出所述待定手势集合。在另一个优选例中,对于待定手势集合中的手势,不予执行,且将执行优先级降低一级后移出待定手势集合。
在更多的优选例中,眼部手势相关的传统的眼部动作的识别是通过预置三个以上的多个眼部动作模版,然后将采集到的眼部动作分别与预置的多个眼部动作模版进行匹配,将匹配度最高者作为识别结果。本发明事先提示VR眼镜佩戴者作出指定的眼部动作,从而简化了识别匹配算法,仅仅需要作出指定的眼部动作是否被执行的识别,而并非传统的方式在数量较多的备选眼部动作中匹配得到是哪一个眼部动作。因此,在同样的图像处理识别条件前提下,本发明的眼部动作的识别准确率得到本质的提高。
根据本发明提供的一种手势优先级控制方法,包括:
眼部图像获取步骤:获取眼部图像;本领域技术人员可以参考专利文献CN108399001A等现有技术实现获取眼部图像,在此不予赘述。
所述眼部图像获取步骤包括:
语音提示步骤:向VR眼镜佩戴者发出语音提示,其中,所述语音提示指示VR眼镜佩戴者按照提示作出指定的眼部动作;具体地,由于VR眼镜佩戴者是否作出指定的眼部动作的判断结论只有两个,因此降低了图像识别的难度,仅从作出或者未作出两个选项中作出判断即可,而不需要与其它预置眼部动作模块进行匹配。
图像采集步骤:在语音提示之后,获取VR眼镜佩戴者的眼部图像;
所述眼部手势识别步骤包括:
动作识别步骤:判断眼部图像中的眼睛是否已作出指定的眼部动作;若是,识别得到第一手势作为眼部手势;若否,则识别得到第二手势作为眼部手势。所述指定的眼部动作包括如下任一种动作:持续闭眼超过指定的时间,该动作便于识别,降低误识别率;按照指定的节奏眨眼,该动作区别于人类眼部自然的随机眨眼的动作,降低误识别率;按照指定的方向环视,该动作区别于人类眼部自然的随机眨眼的动作,降低误识别率。
眼部手势识别步骤:对眼部图像进行识别得到眼部手势;传统的手势狭义是指人类手部的动作所表达的指令,而在本发明中,将眼部动作所表达的指令定义为眼部手势。
手势控制步骤:根据眼部手势生成控制指令,以指示VR眼镜对虚拟环境中的虚拟对象进行控制。所述手势控制步骤包括:第一手势处理步骤:控制虚拟对象保持现状不变;第二手势处理步骤:控制触发虚拟对象执行变化。例如在用VR眼镜游玩桌面游戏时,语音提示“天黑请闭眼”,则判断VR眼镜佩戴者是否闭眼超过10秒,若是,保持卡牌虚拟对象不变,若否,则将卡牌翻面。
进一步地,利用眼部手势进行控制的VR应用程序对用眼量更多,因此需更加关注用眼卫生。由于人类的大脑习惯性利用主视眼的成像来分析和定位物体,主视眼由于运动多,获得的补给也多,往往发育的比副视眼好。因此,人类左眼与右眼的视力通常是不一样的,往往是作为主视眼的一个眼睛的视力优于作为副视眼的另一个眼睛的视力。这在近视人群中更加普遍,具体体现在两个眼睛的视力度数是不同的。
通过矫正视力,一个主要的目的就在于使得矫正后的两个眼睛的视力变为一样,从而避免副视眼的发育不良,相对于主视眼的视力变得越来越弱的情况。因此,通过专利文献CN107924229B能够得到左眼图像与右眼图像,使得同一个虚拟对象被VR眼睛佩戴者双眼观察到的清晰度是一样的。但是,如果遭到黑客入侵,黑客能够将本来显示给左眼观看的左眼图像非法传输到VR眼睛的右侧屏幕给右眼观看,将本来给右眼观看的右眼图像非法传输到VR眼睛的左侧屏幕给左眼观看,这样导致主视眼的观察到的图像的清晰度要优于副视眼的观察到的图像的清晰度,长期将导致副视眼的视力得不到纠正,甚至造成弱视的发生。而这一切在初期,对于初期两眼视力相差并不大的VR眼睛佩戴者来讲,其很难识别出左眼图像与右眼图形已被互换显示。为此,本发明通过技术手段,有助于使得VR眼睛佩戴者能够发现识别出左眼图像与右眼图形已被互换显示的情况。
相关现有技术可参见:百度百科“主视眼”词条记载到:主视眼也叫注视眼、优势眼。从人的生理角度讲,每个人都有一个主视眼,可能是左眼,可能是右眼。主视眼所看到的东西会被大脑优先接受。人的大脑习惯性利用主眼的成像来分析和定位物体,主眼由于运动多,获得的补给也多,往往发育的比副眼好,比较突出的例子,我们在街上看见有得小孩戴着眼镜,一只眼镜被黑布蒙着,这是为什么呢?原来这是为了纠正副眼发育严重不良,被遮挡的是主眼,这样,副眼被迫承担起了主人翁的责任,不停地观察分析事物,而身体的养分也源源不断地补充过去,这样,经过时间的累积,副眼发育不良的情况就得到解决。专利文献CN107924229B公开了一种虚拟现实设备中的图像处理方法和装置,用于解决现有VR眼镜中由于采用移动透镜的方式调整,来适配不同近视度数的用户,精度低的问题。方法包括:根据虚拟现实设备使用者的视力情况,确定出所述使用者的视力对应的滤波参数(S11);对于所述虚拟现实设备中播放的图像,根据确定出的滤波参数,对所述图像进行反向滤波处理(S12);通过所述虚拟现实设备中的显示屏,显示反向滤波处理后的图像(S13)。由于本方法和装置采用软件调整方式,处理精度高,使得在所述虚拟现实设备中的显示屏上显示的图像与使用者的视力情况匹配度更高,从而提高了用户体验。现有技术的不足之处是,若黑客入侵VR眼镜将左眼图像与右眼图像互换,对于左右眼度数接近的VR眼镜佩戴者来说,较难以通过视觉发现该互换,长期观看互换后的图像将导致非主视眼(副视眼)的视力越来越弱于主视眼的视力。
根据本发明提供的一种手势优先级控制方法,还包括:
虚拟环境生成步骤:生成虚拟环境,其中,在虚拟环境中具有左侧标识、右侧标识;左侧标识仅出现在左眼图像中,右侧标识仅出现在右眼图像中;左侧标识、右侧标识的内容一致;具体地,左眼图像是要在VR眼镜左侧显示屏显示的图像,右眼图像是要在VR眼镜右侧显示屏显示的图像,但是黑客入侵后能够令左眼图像实际是在VR眼镜右侧显示屏显示,令右眼图像实际是在VR眼镜左侧显示屏显示。左侧标识、右侧标识的内容均为大小一样的E字或大小一样的C字。
在所述虚拟环境生成步骤执行之后,触发左眼图像获取步骤、右眼图像获取步骤执行。
左眼图像获取步骤:获取所述虚拟环境的左眼图像,其中,所述左眼图像匹配于VR眼镜佩戴者的左眼视力情况;
右眼图像获取步骤:获取所述虚拟环境的右眼图像,其中,所述右眼图像匹配于VR眼镜佩戴者的右眼视力情况;
通过令左眼图像、右眼图像分别匹配于VR眼镜佩戴者的左眼视力情况、右眼视力情况,使得VR眼镜佩戴者的两眼能够观察到清晰度一致的图像,使得两眼的视力得到矫正,本领域技术人员可以参考专利文献CN107924229B实现,在此不予赘述。
可以先触发所述左眼图像获取步骤执行、再触发所述右眼图像获取步骤执行,也可以先触发所述右眼图像获取步骤执行、再触发所述左眼图像获取步骤执行,还可以并行触发所述右眼图像获取步骤、所述左眼图像获取步骤执行。获取所述虚拟环境的左眼图像、右眼图像之后,触发标识移动步骤执行。
标识移动步骤:令左侧标识、右侧标识在虚拟环境中,从同一远处距离开始,由远及近分别向VR眼镜佩戴者移动;在所述远处距离上,VR眼镜佩戴者无法辨认左侧标识,也无法辨认右侧标识;在所述由远及近的过程中,VR眼镜佩戴者从无法辨认到能够辨认左侧标识、右侧标识,且左侧标识、右侧标识与VR眼镜佩戴者的距离始终保持一致。
在左眼图像在VR眼镜左侧显示屏显示,右眼图像在VR眼镜右侧显示屏显示时,即左眼图像、右眼图像实际分别被VR眼镜佩戴者的左眼、右眼实际观察到,则在所述由远及近的过程中,左侧标识、右侧标识在同一时刻由无法辨认到能够辨认,这是因为矫正后两眼的视力是一样的,因此在同一时刻由无法辨认到能够辨认。
识别提示步骤:在所述由远及近的过程中,提示VR眼镜佩戴者观察,能够辨认左侧标识、右侧标识的时间是否一致,若一致则认为左眼图像与右眼图像没有互换,若不一致,则认为左眼图像与右眼图像被互换。具体地,左眼图像、右眼图像被互换显示后,由于VR眼镜佩戴者的左眼观看到的实际是右眼图像,而右眼观看到的实际是左眼图像,因此在左侧标识、右侧标识两者由远及近的过程中,必然一者被一个眼睛观察到先变得能够辨认,而后另一者才被另一个眼睛观察到后变得能够辨认。当VR眼睛佩戴者发现这种先后变得能够辨认,而不是同时变得能够辨认时,就可以知道左眼图像、右眼图像存在被互换显示的可能性。在优选例中,在所述虚拟环境中,通过虚拟对象将虚拟视界分隔为左侧视界、右侧视界,其中,左侧标识仅在左侧视界中能够被观察到,右侧标识仅在右侧视界中能够被观察到。
本发明提供的手势优先级控制方法,可以理解为是本发明提供的手势优先级控制系统的一个实施例,本领域技术人员可以通过执行手势优先级控制方法的步骤流程实现所述手势优先级控制系统。
根据本发明提供的一种手势优先级控制系统,包括:
模块M1,手势获取模块:通过VR眼镜获取第一手势;
模块M2,判断当前手势模块:判断VR眼镜当前是否正在执行第二手势;若是,则触发模块M3继续执行;若否,则触发模块M4执行;
模块M3,手势冲突判断模块:判断第一手势与第二手势的指令是否冲突;若是,则触发模块M4继续执行;若否,则触发模块M5继续执行;
模块M4,优先级判断模块:判断第一手势的执行优先级是否高于第二手势的执行优先级;若是,则触发模块M5执行;若否,则触发模块M6执行;
模块M5,第一手势执行模块:通过VR眼镜根据第一手势的指示对虚拟环境中的虚拟对象进行控制;
模块M6,第二手势执行模块:将第一手势归入待定手势集合,通过VR眼镜根据第二手势的指示继续对虚拟环境中的虚拟对象进行控制。
所述手势获取模块中的手势的种类包括现实环境的声响手势、VR眼镜佩戴者的语音手势、眼部手势、手部手势、手柄手势;所述执行优先级的规则包括:规则1,初始的执行优先级为现实环境的声响手势、VR眼镜佩戴者的语音手势、眼部手势、手部手势、手柄手势的执行优先级依次降低;规则2,对于一手势,该手势每次被执行后,令该手势的优先级提高一级,且若该手势被连续重复执行则令该手势的优先级仅提高一级。对于待定手势集合中的手势,按照当前执行优先级,按照优先级从高到低依次执行,已被执行的指令移出所述待定手势集合。或者,对于待定手势集合中的手势,不予执行,且将执行优先级降低一级后移出待定手势集合。
根据本发明提供的一种手势优先级控制系统,包括:
眼部图像获取模块:获取眼部图像;本领域技术人员可以参考专利文献CN108399001A等现有技术实现获取眼部图像,在此不予赘述。
所述眼部图像获取模块包括:
语音提示模块:向VR眼镜佩戴者发出语音提示,其中,所述语音提示指示VR眼镜佩戴者按照提示作出指定的眼部动作;具体地,由于VR眼镜佩戴者是否作出指定的眼部动作的判断结论只有两个,因此降低了图像识别的难度,仅从作出或者未作出两个选项中作出判断即可,而不需要与其它预置眼部动作模块进行匹配。
图像采集模块:在语音提示之后,获取VR眼镜佩戴者的眼部图像;
所述眼部手势识别模块包括:
动作识别模块:判断眼部图像中的眼睛是否已作出指定的眼部动作;若是,识别得到第一手势作为眼部手势;若否,则识别得到第二手势作为眼部手势。所述指定的眼部动作包括如下任一种动作:持续闭眼超过指定的时间,该动作便于识别,降低误识别率;按照指定的节奏眨眼,该动作区别于人类眼部自然的随机眨眼的动作,降低误识别率;按照指定的方向环视,该动作区别于人类眼部自然的随机眨眼的动作,降低误识别率。
眼部手势识别模块:对眼部图像进行识别得到眼部手势;传统的手势狭义是指人类手部的动作所表达的指令,而在本发明中,将眼部动作所表达的指令定义为眼部手势。
手势控制模块:根据眼部手势生成控制指令,以指示VR眼镜对虚拟环境中的虚拟对象进行控制。所述手势控制模块包括:第一手势处理模块:控制虚拟对象保持现状不变;第二手势处理模块:控制触发虚拟对象执行变化。例如在用VR眼镜游玩桌面游戏时,语音提示“天黑请闭眼”,则判断VR眼镜佩戴者是否闭眼超过10秒,若是,保持卡牌虚拟对象不变,若否,则将卡牌翻面。
根据本发明提供的一种手势优先级控制系统,还包括:
虚拟环境生成模块:生成虚拟环境,其中,在虚拟环境中具有左侧标识、右侧标识;左侧标识仅出现在左眼图像中,右侧标识仅出现在右眼图像中;左侧标识、右侧标识的内容一致;具体地,左眼图像是要在VR眼镜左侧显示屏显示的图像,右眼图像是要在VR眼镜右侧显示屏显示的图像,但是黑客入侵后能够令左眼图像实际是在VR眼镜右侧显示屏显示,令右眼图像实际是在VR眼镜左侧显示屏显示。左侧标识、右侧标识的内容均为大小一样的E字或大小一样的C字。
在所述虚拟环境生成模块执行之后,触发左眼图像获取模块、右眼图像获取模块执行。
左眼图像获取模块:获取所述虚拟环境的左眼图像,其中,所述左眼图像匹配于VR眼镜佩戴者的左眼视力情况;
右眼图像获取模块:获取所述虚拟环境的右眼图像,其中,所述右眼图像匹配于VR眼镜佩戴者的右眼视力情况;
通过令左眼图像、右眼图像分别匹配于VR眼镜佩戴者的左眼视力情况、右眼视力情况,使得VR眼镜佩戴者的两眼能够观察到清晰度一致的图像,使得两眼的视力得到矫正,本领域技术人员可以参考专利文献CN107924229B实现,在此不予赘述。
可以先触发所述左眼图像获取模块执行、再触发所述右眼图像获取模块执行,也可以先触发所述右眼图像获取模块执行、再触发所述左眼图像获取模块执行,还可以并行触发所述右眼图像获取模块、所述左眼图像获取模块执行。获取所述虚拟环境的左眼图像、右眼图像之后,触发标识移动模块执行。
标识移动模块:令左侧标识、右侧标识在虚拟环境中,从同一远处距离开始,由远及近分别向VR眼镜佩戴者移动;在所述远处距离上,VR眼镜佩戴者无法辨认左侧标识,也无法辨认右侧标识;在所述由远及近的过程中,VR眼镜佩戴者从无法辨认到能够辨认左侧标识、右侧标识,且左侧标识、右侧标识与VR眼镜佩戴者的距离始终保持一致。
在左眼图像在VR眼镜左侧显示屏显示,右眼图像在VR眼镜右侧显示屏显示时,即左眼图像、右眼图像实际分别被VR眼镜佩戴者的左眼、右眼实际观察到,则在所述由远及近的过程中,左侧标识、右侧标识在同一时刻由无法辨认到能够辨认,这是因为矫正后两眼的视力是一样的,因此在同一时刻由无法辨认到能够辨认。
识别提示模块:在所述由远及近的过程中,提示VR眼镜佩戴者观察,能够辨认左侧标识、右侧标识的时间是否一致,若一致则认为左眼图像与右眼图像没有互换,若不一致,则认为左眼图像与右眼图像被互换。具体地,左眼图像、右眼图像被互换显示后,由于VR眼镜佩戴者的左眼观看到的实际是右眼图像,而右眼观看到的实际是左眼图像,因此在左侧标识、右侧标识两者由远及近的过程中,必然一者被一个眼睛观察到先变得能够辨认,而后另一者才被另一个眼睛观察到后变得能够辨认。当VR眼睛佩戴者发现这种先后变得能够辨认,而不是同时变得能够辨认时,就可以知道左眼图像、右眼图像存在被互换显示的可能性。在优选例中,在所述虚拟环境中,通过虚拟对象将虚拟视界分隔为左侧视界、右侧视界,其中,左侧标识仅在左侧视界中能够被观察到,右侧标识仅在右侧视界中能够被观察到。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种手势优先级控制方法,其特征在于,包括:
步骤S1,手势获取步骤:通过VR眼镜获取第一手势;
步骤S2,判断当前手势步骤:判断VR眼镜当前是否正在执行第二手势;若是,则触发步骤S3继续执行;若否,则触发步骤S4执行;
步骤S3,手势冲突判断步骤:判断第一手势与第二手势的指令是否冲突;若是,则触发步骤S4继续执行;若否,则触发步骤S5继续执行;
步骤S4,优先级判断步骤:判断第一手势的执行优先级是否高于第二手势的执行优先级;若是,则触发步骤S5执行;若否,则触发步骤S6执行;
步骤S5,第一手势执行步骤:通过VR眼镜根据第一手势的指示对虚拟环境中的虚拟对象进行控制;
步骤S6,第二手势执行步骤:将第一手势归入待定手势集合,通过VR眼镜根据第二手势的指示继续对虚拟环境中的虚拟对象进行控制。
2.根据权利要求1所述的手势优先级控制方法,其特征在于,所述手势获取步骤中的手势的种类包括现实环境的声响手势、VR眼镜佩戴者的语音手势、眼部手势、手部手势、手柄手势;
所述执行优先级的规则包括:
规则1,初始的执行优先级为现实环境的声响手势、VR眼镜佩戴者的语音手势、眼部手势、手部手势、手柄手势的执行优先级依次降低;
规则2,对于一手势,该手势每次被执行后,令该手势的优先级提高一级,且若该手势被连续重复执行则令该手势的优先级仅提高一级。
3.根据权利要求2所述的手势优先级控制方法,其特征在于,对于待定手势集合中的手势,按照当前执行优先级,按照优先级从高到低依次执行,已被执行的指令移出所述待定手势集合。
4.根据权利要求2所述的手势优先级控制方法,其特征在于,对于待定手势集合中的手势,不予执行,且将执行优先级降低一级后移出待定手势集合。
5.一种手势优先级控制系统,其特征在于,包括:
模块M1,手势获取模块:通过VR眼镜获取第一手势;
模块M2,判断当前手势模块:判断VR眼镜当前是否正在执行第二手势;若是,则触发模块M3继续执行;若否,则触发模块M4执行;
模块M3,手势冲突判断模块:判断第一手势与第二手势的指令是否冲突;若是,则触发模块M4继续执行;若否,则触发模块M5继续执行;
模块M4,优先级判断模块:判断第一手势的执行优先级是否高于第二手势的执行优先级;若是,则触发模块M5执行;若否,则触发模块M6执行;
模块M5,第一手势执行模块:通过VR眼镜根据第一手势的指示对虚拟环境中的虚拟对象进行控制;
模块M6,第二手势执行模块:将第一手势归入待定手势集合,通过VR眼镜根据第二手势的指示继续对虚拟环境中的虚拟对象进行控制。
6.根据权利要求5所述的手势优先级控制系统,其特征在于,所述手势获取模块中的手势的种类包括现实环境的声响手势、VR眼镜佩戴者的语音手势、眼部手势、手部手势、手柄手势;
所述执行优先级的规则包括:
规则1,初始的执行优先级为现实环境的声响手势、VR眼镜佩戴者的语音手势、眼部手势、手部手势、手柄手势的执行优先级依次降低;
规则2,对于一手势,该手势每次被执行后,令该手势的优先级提高一级,且若该手势被连续重复执行则令该手势的优先级仅提高一级。
7.根据权利要求6所述的手势优先级控制系统,其特征在于,对于待定手势集合中的手势,按照当前执行优先级,按照优先级从高到低依次执行,已被执行的指令移出所述待定手势集合。
8.根据权利要求6所述的手势优先级控制系统,其特征在于,对于待定手势集合中的手势,不予执行,且将执行优先级降低一级后移出待定手势集合。
9.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的手势优先级控制方法的步骤。
10.一种VR眼镜,其特征在于,包括权利要求5至8中任一项所述的手势优先级控制系统,或者包括权利要求9所述的存储有计算机程序的计算机可读存储介质。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011510571.1A CN112631424A (zh) | 2020-12-18 | 2020-12-18 | 手势优先级控制方法和系统及其vr眼镜 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011510571.1A CN112631424A (zh) | 2020-12-18 | 2020-12-18 | 手势优先级控制方法和系统及其vr眼镜 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112631424A true CN112631424A (zh) | 2021-04-09 |
Family
ID=75318043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011510571.1A Pending CN112631424A (zh) | 2020-12-18 | 2020-12-18 | 手势优先级控制方法和系统及其vr眼镜 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112631424A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112866878A (zh) * | 2021-01-22 | 2021-05-28 | 深圳市安特信技术有限公司 | Tws耳机左右耳按键交互仲裁调度的方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106101689A (zh) * | 2016-06-13 | 2016-11-09 | 西安电子科技大学 | 利用手机单目摄像头对虚拟现实眼镜进行增强现实的方法 |
CN106339097A (zh) * | 2016-09-19 | 2017-01-18 | 珠海迈科智能科技股份有限公司 | 一种语音控制和手柄动作控制的vr设备 |
CN107533374A (zh) * | 2015-08-26 | 2018-01-02 | 谷歌有限责任公司 | 虚拟现实中的头部、手势和触摸输入的动态切换和合并 |
CN108762897A (zh) * | 2018-04-08 | 2018-11-06 | 天芯智能(深圳)股份有限公司 | 多任务管理方法及智能手表 |
CN108830939A (zh) * | 2018-06-08 | 2018-11-16 | 杭州群核信息技术有限公司 | 一种基于混合现实的场景漫游体验方法及体验系统 |
CN109933199A (zh) * | 2019-03-13 | 2019-06-25 | 百度在线网络技术(北京)有限公司 | 基于手势的控制方法、装置、电子设备及存储介质 |
US20190362557A1 (en) * | 2018-05-22 | 2019-11-28 | Magic Leap, Inc. | Transmodal input fusion for a wearable system |
CN110517683A (zh) * | 2019-09-04 | 2019-11-29 | 上海六感科技有限公司 | 头戴式vr/ar设备及其控制方法 |
-
2020
- 2020-12-18 CN CN202011510571.1A patent/CN112631424A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107533374A (zh) * | 2015-08-26 | 2018-01-02 | 谷歌有限责任公司 | 虚拟现实中的头部、手势和触摸输入的动态切换和合并 |
CN106101689A (zh) * | 2016-06-13 | 2016-11-09 | 西安电子科技大学 | 利用手机单目摄像头对虚拟现实眼镜进行增强现实的方法 |
CN106339097A (zh) * | 2016-09-19 | 2017-01-18 | 珠海迈科智能科技股份有限公司 | 一种语音控制和手柄动作控制的vr设备 |
CN108762897A (zh) * | 2018-04-08 | 2018-11-06 | 天芯智能(深圳)股份有限公司 | 多任务管理方法及智能手表 |
US20190362557A1 (en) * | 2018-05-22 | 2019-11-28 | Magic Leap, Inc. | Transmodal input fusion for a wearable system |
CN108830939A (zh) * | 2018-06-08 | 2018-11-16 | 杭州群核信息技术有限公司 | 一种基于混合现实的场景漫游体验方法及体验系统 |
CN109933199A (zh) * | 2019-03-13 | 2019-06-25 | 百度在线网络技术(北京)有限公司 | 基于手势的控制方法、装置、电子设备及存储介质 |
CN110517683A (zh) * | 2019-09-04 | 2019-11-29 | 上海六感科技有限公司 | 头戴式vr/ar设备及其控制方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112866878A (zh) * | 2021-01-22 | 2021-05-28 | 深圳市安特信技术有限公司 | Tws耳机左右耳按键交互仲裁调度的方法 |
CN112866878B (zh) * | 2021-01-22 | 2022-07-15 | 深圳市安特信技术有限公司 | Tws耳机左右耳按键交互仲裁调度的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108519676B (zh) | 一种头戴式助视装置 | |
US10488925B2 (en) | Display control device, control method thereof, and display control system | |
CN108681399B (zh) | 一种设备控制方法、装置、控制设备及存储介质 | |
JP7542563B2 (ja) | 眼追跡待ち時間向上 | |
WO2013185714A1 (zh) | 增强现实中识别对象的方法及系统和计算机 | |
WO2020042542A1 (zh) | 眼动控制校准数据获取方法和装置 | |
CN105929958B (zh) | 一种手势识别方法,装置和头戴式可视设备 | |
CN108829233B (zh) | 一种交互方法及装置 | |
CN110531853B (zh) | 一种基于人眼注视点检测的电子书阅读器控制方法及系统 | |
KR20190015332A (ko) | 증강 현실의 가상 객체들에 영향을 미치는 장치 | |
WO2010142455A2 (en) | Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze | |
CN106681509A (zh) | 界面操作的方法和系统 | |
CN114092985A (zh) | 一种终端控制方法、装置、终端及存储介质 | |
CN112631424A (zh) | 手势优先级控制方法和系统及其vr眼镜 | |
US10108259B2 (en) | Interaction method, interaction apparatus and user equipment | |
EP2261772A1 (en) | Method for controlling an input device based on the detection of attitude or eye gaze | |
EP3346368A1 (en) | Instrument operation device, instrument operation method, and electronic instrument system | |
CN113010009B (zh) | 对象共享方法及装置 | |
JP2010112979A (ja) | インタラクティブ看板システム | |
CN113491502A (zh) | 一种眼球追踪校准检验方法、装置、设备及存储介质 | |
US11328187B2 (en) | Information processing apparatus and information processing method | |
CN116883436A (zh) | 一种基于视线估计的辅助理解方法及系统 | |
EP2261857A1 (en) | Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze | |
KR102483387B1 (ko) | 손가락 재활 훈련을 위한 증강현실 콘텐츠 제공 방법 및 손가락 재활 훈련 시스템 | |
CN106385533B (zh) | 全景视频控制方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240712 |
|
AD01 | Patent right deemed abandoned |