CN112613389A - 眼部手势控制方法和系统及其vr眼镜 - Google Patents

眼部手势控制方法和系统及其vr眼镜 Download PDF

Info

Publication number
CN112613389A
CN112613389A CN202011505475.8A CN202011505475A CN112613389A CN 112613389 A CN112613389 A CN 112613389A CN 202011505475 A CN202011505475 A CN 202011505475A CN 112613389 A CN112613389 A CN 112613389A
Authority
CN
China
Prior art keywords
eye
gesture
eye image
glasses
specified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011505475.8A
Other languages
English (en)
Inventor
叶柳青
胡金鑫
刘晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shadow Creator Information Technology Co Ltd
Original Assignee
Shanghai Shadow Creator Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shadow Creator Information Technology Co Ltd filed Critical Shanghai Shadow Creator Information Technology Co Ltd
Priority to CN202011505475.8A priority Critical patent/CN112613389A/zh
Publication of CN112613389A publication Critical patent/CN112613389A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种眼部手势控制方法和系统及其VR眼镜，眼部图像获取步骤：获取眼部图像；眼部手势识别步骤：对眼部图像进行识别得到眼部手势；手势控制步骤：根据眼部手势生成控制指令，以指示VR眼镜对虚拟环境中的虚拟对象进行控制。本发明事先提示VR眼镜佩戴者作出指定的眼部动作，从而简化了识别匹配算法，仅仅需要作出指定的眼部动作是否被执行的识别，而并非传统的方式在数量较多的备选眼部动作中匹配得到是哪一个眼部动作。因此，在同样的图像处理识别条件前提下，本发明的眼部动作的识别准确率得到本质的提高。

Description

眼部手势控制方法和系统及其VR眼镜
技术领域
本发明涉及VR眼镜领域，具体地，涉及眼部手势控制方法和系统及其VR眼镜。
背景技术
专利文献CN106814846A公开了一种VR中基于视线和碰撞体交点的眼动分析方法，包括步骤：建立三维模型；将所述三维模型导入物理引擎中，并对所述三维模型设置碰撞体；追踪用户视线，根据所述视线与一个碰撞体确定交点，所述一个碰撞体包括的物体是用户看到的物体，记录数据。本方法主要应用于VR中，结合眼动技术，实时记录兴趣区域，对VR场景中的物体进行360度全景分析，检测视角、范围大。
专利文献揭露了可以通过眼动与VR眼镜进行交互，这对于如何跟踪眼动提出了要求。
专利文献CN108399001A公开了一种VR/AR中双目立体视觉眼动分析方法及装置，kappa角标定，眼睛注视标定点，各分配给左右眼的2个摄像机与至少2个光源确定眼睛的kappa角；实时确定左右眼的光轴；根据kappa角和左右眼的光轴确定左右眼的视轴区域；确定用户注视的区域。还提供使用上述方法的装置，用于头戴式VR或AR设备，对于一个用户只需标定一次kappa角，克服用户多次佩戴时头部位置移动的误差，减少繁琐的反复校准程序；该方法使用一种高效的光源组，在用户角膜上形成多个角膜反光点，自动筛选可靠角膜反光点进行眼动分析。当用户使用头戴式VR或AR设备时，实现覆盖用户全部眼动点位置或全视角，使得用户扫视时眼动点位置检测平滑，捕获的眼睛图像亮度均匀，后续图像处理方便。
但是，现有技术的不足之处是，技术路线是仅仅通过图像处理的方式提高识别准确度。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种眼部手势控制方法和系统及其VR眼镜。
根据本发明提供的一种眼部手势控制方法，包括：
眼部图像获取步骤：获取眼部图像；
眼部手势识别步骤：对眼部图像进行识别得到眼部手势；
手势控制步骤：根据眼部手势生成控制指令，以指示VR眼镜对虚拟环境中的虚拟对象进行控制。
优选地，所述眼部图像获取步骤包括：
语音提示步骤：向VR眼镜佩戴者发出语音提示，其中，所述语音提示指示VR眼镜佩戴者按照提示作出指定的眼部动作；
图像采集步骤：在语音提示之后，获取VR眼镜佩戴者的眼部图像；
所述眼部手势识别步骤包括：
动作识别步骤：判断眼部图像中的眼睛是否已作出指定的眼部动作；若是，识别得到第一手势作为眼部手势；若否，则识别得到第二手势作为眼部手势。
优选地，所述手势控制步骤包括：
第一手势处理步骤：控制虚拟对象保持现状不变；
第二手势处理步骤：控制触发虚拟对象执行变化。
优选地，所述指定的眼部动作包括如下任一种动作：
持续闭眼超过指定的时间；
按照指定的节奏眨眼；
按照指定的方向环视。
本发明提供的一种眼部手势控制系统，包括：
眼部图像获取模块：获取眼部图像；
眼部手势识别模块：对眼部图像进行识别得到眼部手势；
手势控制模块：根据眼部手势生成控制指令，以指示VR眼镜对虚拟环境中的虚拟对象进行控制。
优选地，所述眼部图像获取模块包括：
语音提示模块：向VR眼镜佩戴者发出语音提示，其中，所述语音提示指示VR眼镜佩戴者按照提示作出指定的眼部动作；
图像采集模块：在语音提示之后，获取VR眼镜佩戴者的眼部图像；
所述眼部手势识别模块包括：
动作识别模块：判断眼部图像中的眼睛是否已作出指定的眼部动作；若是，识别得到第一手势作为眼部手势；若否，则识别得到第二手势作为眼部手势。
优选地，所述手势控制模块包括：
第一手势处理模块：控制虚拟对象保持现状不变；
第二手势处理模块：控制触发虚拟对象执行变化。
优选地，所述指定的眼部动作包括如下任一种动作：
持续闭眼超过指定的时间；
按照指定的节奏眨眼；
按照指定的方向环视。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现所述的眼部手势控制方法的步骤。
根据本发明提供的一种VR眼镜，包括所述的眼部手势控制系统，或者包括所述的存储有计算机程序的计算机可读存储介质。
与现有技术相比，本发明具有如下的有益效果：
本发明事先提示VR眼镜佩戴者作出指定的眼部动作，从而简化了识别匹配算法，仅仅需要作出指定的眼部动作是否被执行的识别，而并非传统的方式在数量较多的备选眼部动作中匹配得到是哪一个眼部动作。因此，在同样的图像处理识别条件前提下，本发明的眼部动作的识别准确率得到本质的提高。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的方法步骤流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
传统的眼部动作的识别是通过预置三个以上的多个眼部动作模版，然后将采集到的眼部动作分别与预置的多个眼部动作模版进行匹配，将匹配度最高者作为识别结果。本发明事先提示VR眼镜佩戴者作出指定的眼部动作，从而简化了识别匹配算法，仅仅需要作出指定的眼部动作是否被执行的识别，而并非传统的方式在数量较多的备选眼部动作中匹配得到是哪一个眼部动作。因此，在同样的图像处理识别条件前提下，本发明的眼部动作的识别准确率得到本质的提高。
根据本发明提供的一种眼部手势控制方法，包括：
眼部图像获取步骤：获取眼部图像；本领域技术人员可以参考专利文献CN108399001A等现有技术实现获取眼部图像，在此不予赘述。
所述眼部图像获取步骤包括：
语音提示步骤：向VR眼镜佩戴者发出语音提示，其中，所述语音提示指示VR眼镜佩戴者按照提示作出指定的眼部动作；具体地，由于VR眼镜佩戴者是否作出指定的眼部动作的判断结论只有两个，因此降低了图像识别的难度，仅从作出或者未作出两个选项中作出判断即可，而不需要与其它预置眼部动作模块进行匹配。
图像采集步骤：在语音提示之后，获取VR眼镜佩戴者的眼部图像；
所述眼部手势识别步骤包括：
动作识别步骤：判断眼部图像中的眼睛是否已作出指定的眼部动作；若是，识别得到第一手势作为眼部手势；若否，则识别得到第二手势作为眼部手势。所述指定的眼部动作包括如下任一种动作：持续闭眼超过指定的时间，该动作便于识别，降低误识别率；按照指定的节奏眨眼，该动作区别于人类眼部自然的随机眨眼的动作，降低误识别率；按照指定的方向环视，该动作区别于人类眼部自然的随机眨眼的动作，降低误识别率。
眼部手势识别步骤：对眼部图像进行识别得到眼部手势；传统的手势狭义是指人类手部的动作所表达的指令，而在本发明中，将眼部动作所表达的指令定义为眼部手势。
手势控制步骤：根据眼部手势生成控制指令，以指示VR眼镜对虚拟环境中的虚拟对象进行控制。所述手势控制步骤包括：第一手势处理步骤：控制虚拟对象保持现状不变；第二手势处理步骤：控制触发虚拟对象执行变化。例如在用VR眼镜游玩桌面游戏时，语音提示“天黑请闭眼”，则判断VR眼镜佩戴者是否闭眼超过10秒，若是，保持卡牌虚拟对象不变，若否，则将卡牌翻面。
进一步地，利用眼部手势进行控制的VR应用程序对用眼量更多，因此需更加关注用眼卫生。由于人类的大脑习惯性利用主视眼的成像来分析和定位物体，主视眼由于运动多，获得的补给也多，往往发育的比副视眼好。因此，人类左眼与右眼的视力通常是不一样的，往往是作为主视眼的一个眼睛的视力优于作为副视眼的另一个眼睛的视力。这在近视人群中更加普遍，具体体现在两个眼睛的视力度数是不同的。
通过矫正视力，一个主要的目的就在于使得矫正后的两个眼睛的视力变为一样，从而避免副视眼的发育不良，相对于主视眼的视力变得越来越弱的情况。因此，通过专利文献CN107924229B能够得到左眼图像与右眼图像，使得同一个虚拟对象被VR眼睛佩戴者双眼观察到的清晰度是一样的。但是，如果遭到黑客入侵，黑客能够将本来显示给左眼观看的左眼图像非法传输到VR眼睛的右侧屏幕给右眼观看，将本来给右眼观看的右眼图像非法传输到VR眼睛的左侧屏幕给左眼观看，这样导致主视眼的观察到的图像的清晰度要优于副视眼的观察到的图像的清晰度，长期将导致副视眼的视力得不到纠正，甚至造成弱视的发生。而这一切在初期，对于初期两眼视力相差并不大的VR眼睛佩戴者来讲，其很难识别出左眼图像与右眼图形已被互换显示。为此，本发明通过技术手段，有助于使得VR眼睛佩戴者能够发现识别出左眼图像与右眼图形已被互换显示的情况。
相关现有技术可参见：百度百科“主视眼”词条记载到：主视眼也叫注视眼、优势眼。从人的生理角度讲，每个人都有一个主视眼，可能是左眼，可能是右眼。主视眼所看到的东西会被大脑优先接受。人的大脑习惯性利用主眼的成像来分析和定位物体，主眼由于运动多，获得的补给也多，往往发育的比副眼好，比较突出的例子，我们在街上看见有得小孩戴着眼镜，一只眼镜被黑布蒙着，这是为什么呢？原来这是为了纠正副眼发育严重不良，被遮挡的是主眼，这样，副眼被迫承担起了主人翁的责任，不停地观察分析事物，而身体的养分也源源不断地补充过去，这样，经过时间的累积，副眼发育不良的情况就得到解决。专利文献CN107924229B公开了一种虚拟现实设备中的图像处理方法和装置，用于解决现有VR眼镜中由于采用移动透镜的方式调整，来适配不同近视度数的用户，精度低的问题。方法包括：根据虚拟现实设备使用者的视力情况，确定出所述使用者的视力对应的滤波参数(S11)；对于所述虚拟现实设备中播放的图像，根据确定出的滤波参数，对所述图像进行反向滤波处理(S12)；通过所述虚拟现实设备中的显示屏，显示反向滤波处理后的图像(S13)。由于本方法和装置采用软件调整方式，处理精度高，使得在所述虚拟现实设备中的显示屏上显示的图像与使用者的视力情况匹配度更高，从而提高了用户体验。现有技术的不足之处是，若黑客入侵VR眼镜将左眼图像与右眼图像互换，对于左右眼度数接近的VR眼镜佩戴者来说，较难以通过视觉发现该互换，长期观看互换后的图像将导致非主视眼(副视眼)的视力越来越弱于主视眼的视力。
根据本发明提供的一种眼部手势控制方法，还包括：
虚拟环境生成步骤：生成虚拟环境，其中，在虚拟环境中具有左侧标识、右侧标识；左侧标识仅出现在左眼图像中，右侧标识仅出现在右眼图像中；左侧标识、右侧标识的内容一致；具体地，左眼图像是要在VR眼镜左侧显示屏显示的图像，右眼图像是要在VR眼镜右侧显示屏显示的图像，但是黑客入侵后能够令左眼图像实际是在VR眼镜右侧显示屏显示，令右眼图像实际是在VR眼镜左侧显示屏显示。左侧标识、右侧标识的内容均为大小一样的E字或大小一样的C字。
在所述虚拟环境生成步骤执行之后，触发左眼图像获取步骤、右眼图像获取步骤执行。
左眼图像获取步骤：获取所述虚拟环境的左眼图像，其中，所述左眼图像匹配于VR眼镜佩戴者的左眼视力情况；
右眼图像获取步骤：获取所述虚拟环境的右眼图像，其中，所述右眼图像匹配于VR眼镜佩戴者的右眼视力情况；
通过令左眼图像、右眼图像分别匹配于VR眼镜佩戴者的左眼视力情况、右眼视力情况，使得VR眼镜佩戴者的两眼能够观察到清晰度一致的图像，使得两眼的视力得到矫正，本领域技术人员可以参考专利文献CN107924229B实现，在此不予赘述。
可以先触发所述左眼图像获取步骤执行、再触发所述右眼图像获取步骤执行，也可以先触发所述右眼图像获取步骤执行、再触发所述左眼图像获取步骤执行，还可以并行触发所述右眼图像获取步骤、所述左眼图像获取步骤执行。获取所述虚拟环境的左眼图像、右眼图像之后，触发标识移动步骤执行。
标识移动步骤：令左侧标识、右侧标识在虚拟环境中，从同一远处距离开始，由远及近分别向VR眼镜佩戴者移动；在所述远处距离上，VR眼镜佩戴者无法辨认左侧标识，也无法辨认右侧标识；在所述由远及近的过程中，VR眼镜佩戴者从无法辨认到能够辨认左侧标识、右侧标识，且左侧标识、右侧标识与VR眼镜佩戴者的距离始终保持一致。
在左眼图像在VR眼镜左侧显示屏显示，右眼图像在VR眼镜右侧显示屏显示时，即左眼图像、右眼图像实际分别被VR眼镜佩戴者的左眼、右眼实际观察到，则在所述由远及近的过程中，左侧标识、右侧标识在同一时刻由无法辨认到能够辨认，这是因为矫正后两眼的视力是一样的，因此在同一时刻由无法辨认到能够辨认。
识别提示步骤：在所述由远及近的过程中，提示VR眼镜佩戴者观察，能够辨认左侧标识、右侧标识的时间是否一致，若一致则认为左眼图像与右眼图像没有互换，若不一致，则认为左眼图像与右眼图像被互换。具体地，左眼图像、右眼图像被互换显示后，由于VR眼镜佩戴者的左眼观看到的实际是右眼图像，而右眼观看到的实际是左眼图像，因此在左侧标识、右侧标识两者由远及近的过程中，必然一者被一个眼睛观察到先变得能够辨认，而后另一者才被另一个眼睛观察到后变得能够辨认。当VR眼睛佩戴者发现这种先后变得能够辨认，而不是同时变得能够辨认时，就可以知道左眼图像、右眼图像存在被互换显示的可能性。在优选例中，在所述虚拟环境中，通过虚拟对象将虚拟视界分隔为左侧视界、右侧视界，其中，左侧标识仅在左侧视界中能够被观察到，右侧标识仅在右侧视界中能够被观察到。
本发明提供的眼部手势控制方法，可以理解为是本发明提供的眼部手势控制系统的一个实施例，本领域技术人员可以通过执行眼部手势控制方法的步骤流程实现所述眼部手势控制系统。
根据本发明提供的一种眼部手势控制系统，包括：
眼部图像获取模块：获取眼部图像；本领域技术人员可以参考专利文献CN108399001A等现有技术实现获取眼部图像，在此不予赘述。
所述眼部图像获取模块包括：
语音提示模块：向VR眼镜佩戴者发出语音提示，其中，所述语音提示指示VR眼镜佩戴者按照提示作出指定的眼部动作；具体地，由于VR眼镜佩戴者是否作出指定的眼部动作的判断结论只有两个，因此降低了图像识别的难度，仅从作出或者未作出两个选项中作出判断即可，而不需要与其它预置眼部动作模块进行匹配。
图像采集模块：在语音提示之后，获取VR眼镜佩戴者的眼部图像；
所述眼部手势识别模块包括：
动作识别模块：判断眼部图像中的眼睛是否已作出指定的眼部动作；若是，识别得到第一手势作为眼部手势；若否，则识别得到第二手势作为眼部手势。所述指定的眼部动作包括如下任一种动作：持续闭眼超过指定的时间，该动作便于识别，降低误识别率；按照指定的节奏眨眼，该动作区别于人类眼部自然的随机眨眼的动作，降低误识别率；按照指定的方向环视，该动作区别于人类眼部自然的随机眨眼的动作，降低误识别率。
眼部手势识别模块：对眼部图像进行识别得到眼部手势；传统的手势狭义是指人类手部的动作所表达的指令，而在本发明中，将眼部动作所表达的指令定义为眼部手势。
手势控制模块：根据眼部手势生成控制指令，以指示VR眼镜对虚拟环境中的虚拟对象进行控制。所述手势控制模块包括：第一手势处理模块：控制虚拟对象保持现状不变；第二手势处理模块：控制触发虚拟对象执行变化。例如在用VR眼镜游玩桌面游戏时，语音提示“天黑请闭眼”，则判断VR眼镜佩戴者是否闭眼超过10秒，若是，保持卡牌虚拟对象不变，若否，则将卡牌翻面。
根据本发明提供的一种眼部手势控制系统，还包括：
虚拟环境生成模块：生成虚拟环境，其中，在虚拟环境中具有左侧标识、右侧标识；左侧标识仅出现在左眼图像中，右侧标识仅出现在右眼图像中；左侧标识、右侧标识的内容一致；具体地，左眼图像是要在VR眼镜左侧显示屏显示的图像，右眼图像是要在VR眼镜右侧显示屏显示的图像，但是黑客入侵后能够令左眼图像实际是在VR眼镜右侧显示屏显示，令右眼图像实际是在VR眼镜左侧显示屏显示。左侧标识、右侧标识的内容均为大小一样的E字或大小一样的C字。
在所述虚拟环境生成模块执行之后，触发左眼图像获取模块、右眼图像获取模块执行。
左眼图像获取模块：获取所述虚拟环境的左眼图像，其中，所述左眼图像匹配于VR眼镜佩戴者的左眼视力情况；
右眼图像获取模块：获取所述虚拟环境的右眼图像，其中，所述右眼图像匹配于VR眼镜佩戴者的右眼视力情况；
通过令左眼图像、右眼图像分别匹配于VR眼镜佩戴者的左眼视力情况、右眼视力情况，使得VR眼镜佩戴者的两眼能够观察到清晰度一致的图像，使得两眼的视力得到矫正，本领域技术人员可以参考专利文献CN107924229B实现，在此不予赘述。
可以先触发所述左眼图像获取模块执行、再触发所述右眼图像获取模块执行，也可以先触发所述右眼图像获取模块执行、再触发所述左眼图像获取模块执行，还可以并行触发所述右眼图像获取模块、所述左眼图像获取模块执行。获取所述虚拟环境的左眼图像、右眼图像之后，触发标识移动模块执行。
标识移动模块：令左侧标识、右侧标识在虚拟环境中，从同一远处距离开始，由远及近分别向VR眼镜佩戴者移动；在所述远处距离上，VR眼镜佩戴者无法辨认左侧标识，也无法辨认右侧标识；在所述由远及近的过程中，VR眼镜佩戴者从无法辨认到能够辨认左侧标识、右侧标识，且左侧标识、右侧标识与VR眼镜佩戴者的距离始终保持一致。
在左眼图像在VR眼镜左侧显示屏显示，右眼图像在VR眼镜右侧显示屏显示时，即左眼图像、右眼图像实际分别被VR眼镜佩戴者的左眼、右眼实际观察到，则在所述由远及近的过程中，左侧标识、右侧标识在同一时刻由无法辨认到能够辨认，这是因为矫正后两眼的视力是一样的，因此在同一时刻由无法辨认到能够辨认。
识别提示模块：在所述由远及近的过程中，提示VR眼镜佩戴者观察，能够辨认左侧标识、右侧标识的时间是否一致，若一致则认为左眼图像与右眼图像没有互换，若不一致，则认为左眼图像与右眼图像被互换。具体地，左眼图像、右眼图像被互换显示后，由于VR眼镜佩戴者的左眼观看到的实际是右眼图像，而右眼观看到的实际是左眼图像，因此在左侧标识、右侧标识两者由远及近的过程中，必然一者被一个眼睛观察到先变得能够辨认，而后另一者才被另一个眼睛观察到后变得能够辨认。当VR眼睛佩戴者发现这种先后变得能够辨认，而不是同时变得能够辨认时，就可以知道左眼图像、右眼图像存在被互换显示的可能性。在优选例中，在所述虚拟环境中，通过虚拟对象将虚拟视界分隔为左侧视界、右侧视界，其中，左侧标识仅在左侧视界中能够被观察到，右侧标识仅在右侧视界中能够被观察到。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种眼部手势控制方法，其特征在于，包括：
眼部图像获取步骤：获取眼部图像；
眼部手势识别步骤：对眼部图像进行识别得到眼部手势；
手势控制步骤：根据眼部手势生成控制指令，以指示VR眼镜对虚拟环境中的虚拟对象进行控制。
2.根据权利要求1所述的眼部手势控制方法，其特征在于，
所述眼部图像获取步骤包括：
语音提示步骤：向VR眼镜佩戴者发出语音提示，其中，所述语音提示指示VR眼镜佩戴者按照提示作出指定的眼部动作；
图像采集步骤：在语音提示之后，获取VR眼镜佩戴者的眼部图像；
所述眼部手势识别步骤包括：
动作识别步骤：判断眼部图像中的眼睛是否已作出指定的眼部动作；若是，识别得到第一手势作为眼部手势；若否，则识别得到第二手势作为眼部手势。
3.根据权利要求2所述的眼部手势控制方法，其特征在于，
所述手势控制步骤包括：
第一手势处理步骤：控制虚拟对象保持现状不变；
第二手势处理步骤：控制触发虚拟对象执行变化。
4.根据权利要求2所述的眼部手势控制方法，其特征在于，所述指定的眼部动作包括如下任一种动作：
持续闭眼超过指定的时间；
按照指定的节奏眨眼；
按照指定的方向环视。
5.一种眼部手势控制系统，其特征在于，包括：
眼部图像获取模块：获取眼部图像；
眼部手势识别模块：对眼部图像进行识别得到眼部手势；
手势控制模块：根据眼部手势生成控制指令，以指示VR眼镜对虚拟环境中的虚拟对象进行控制。
6.根据权利要求5所述的眼部手势控制系统，其特征在于，
所述眼部图像获取模块包括：
语音提示模块：向VR眼镜佩戴者发出语音提示，其中，所述语音提示指示VR眼镜佩戴者按照提示作出指定的眼部动作；
图像采集模块：在语音提示之后，获取VR眼镜佩戴者的眼部图像；
所述眼部手势识别模块包括：
动作识别模块：判断眼部图像中的眼睛是否已作出指定的眼部动作；若是，识别得到第一手势作为眼部手势；若否，则识别得到第二手势作为眼部手势。
7.根据权利要求6所述的眼部手势控制系统，其特征在于，
所述手势控制模块包括：
第一手势处理模块：控制虚拟对象保持现状不变；
第二手势处理模块：控制触发虚拟对象执行变化。
8.根据权利要求6所述的眼部手势控制系统，其特征在于，所述指定的眼部动作包括如下任一种动作：
持续闭眼超过指定的时间；
按照指定的节奏眨眼；
按照指定的方向环视。
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的眼部手势控制方法的步骤。
10.一种VR眼镜，其特征在于，包括权利要求5至8中任一项所述的眼部手势控制系统，或者包括权利要求9所述的存储有计算机程序的计算机可读存储介质。
CN202011505475.8A 2020-12-18 2020-12-18 眼部手势控制方法和系统及其vr眼镜 Pending CN112613389A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011505475.8A CN112613389A (zh) 2020-12-18 2020-12-18 眼部手势控制方法和系统及其vr眼镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011505475.8A CN112613389A (zh) 2020-12-18 2020-12-18 眼部手势控制方法和系统及其vr眼镜

Publications (1)

Publication Number Publication Date
CN112613389A true CN112613389A (zh) 2021-04-06

Family

ID=75241166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011505475.8A Pending CN112613389A (zh) 2020-12-18 2020-12-18 眼部手势控制方法和系统及其vr眼镜

Country Status (1)

Country Link
CN (1) CN112613389A (zh)

Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110140994A1 (en) * 2009-12-15 2011-06-16 Noma Tatsuyoshi Information Presenting Apparatus, Method, and Computer Program Product
CN102547344A (zh) * 2011-12-23 2012-07-04 Tcl集团股份有限公司 一种视频格式识别方法及装置
US20140071024A1 (en) * 2012-09-11 2014-03-13 Wistron Corporation Interactive virtual image display apparatus and interactive display method
CN103778360A (zh) * 2012-10-26 2014-05-07 华为技术有限公司 一种基于动作分析的人脸解锁的方法和装置
US20140173440A1 (en) * 2012-12-13 2014-06-19 Imimtek, Inc. Systems and methods for natural interaction with operating systems and application graphical user interfaces using gestural and vocal input
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
JP2014192550A (ja) * 2013-03-26 2014-10-06 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20160041616A1 (en) * 2013-10-31 2016-02-11 Boe Technology Group Co., Ltd. Display device and control method thereof, and gesture recognition method
CN105824409A (zh) * 2016-02-16 2016-08-03 乐视致新电子科技（天津）有限公司 虚拟现实的交互控制方法及装置
CN106055102A (zh) * 2016-05-30 2016-10-26 北京奇艺世纪科技有限公司 一种虚拟现实设备控制方法及装置
CN106101689A (zh) * 2016-06-13 2016-11-09 西安电子科技大学 利用手机单目摄像头对虚拟现实眼镜进行增强现实的方法
CN106527710A (zh) * 2016-11-07 2017-03-22 三星电子（中国）研发中心 虚拟现实交互方法及装置
CN106598214A (zh) * 2016-11-02 2017-04-26 歌尔科技有限公司 用于虚拟现实设备的功能触发方法、装置及虚拟现实设备
CN106650392A (zh) * 2016-11-11 2017-05-10 捷开通讯(深圳)有限公司 Vr头戴设备及其解锁方法
CN107038905A (zh) * 2017-05-11 2017-08-11 深圳市恒科电子科技有限公司 一种vr智能教育控制系统
CN107479200A (zh) * 2017-09-14 2017-12-15 京东方科技集团股份有限公司 一种可穿戴式单目眼镜、组合双目眼镜系统及其控制方法
CN107515672A (zh) * 2017-07-26 2017-12-26 维沃移动通信有限公司 一种虚拟现实设备的显示定位方法及移动终端
CN107924229A (zh) * 2016-04-14 2018-04-17 华为技术有限公司 一种虚拟现实设备中的图像处理方法和装置
CN108062673A (zh) * 2017-11-15 2018-05-22 平安科技（深圳）有限公司 支付方法、终端设备及计算机可读存储介质
CN108399001A (zh) * 2017-02-06 2018-08-14 上海青研科技有限公司 一种vr/ar中双目立体视觉眼动分析方法及装置
CN108777165A (zh) * 2018-06-06 2018-11-09 姜涵予 一种评测社交状态的方法及装置
CN109388239A (zh) * 2018-09-03 2019-02-26 广东奔腾达电子有限公司 一种基于增强现实的金融设备检查方法
CN109426783A (zh) * 2017-08-29 2019-03-05 深圳市掌网科技股份有限公司 基于增强现实的手势识别方法及系统
CN109618200A (zh) * 2018-12-24 2019-04-12 上海闻泰电子科技有限公司 Vr视频播放控制方法与装置
CN109920532A (zh) * 2019-03-06 2019-06-21 陈志鹏 一种带有睡眠功能医疗可穿戴设备的控制方法
CN110517683A (zh) * 2019-09-04 2019-11-29 上海六感科技有限公司 头戴式vr/ar设备及其控制方法
CN111318009A (zh) * 2020-01-19 2020-06-23 张衡 基于可穿戴惯性感知的体感健康娱乐系统及其工作方法

Patent Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110140994A1 (en) * 2009-12-15 2011-06-16 Noma Tatsuyoshi Information Presenting Apparatus, Method, and Computer Program Product
CN102547344A (zh) * 2011-12-23 2012-07-04 Tcl集团股份有限公司 一种视频格式识别方法及装置
US20140071024A1 (en) * 2012-09-11 2014-03-13 Wistron Corporation Interactive virtual image display apparatus and interactive display method
CN103778360A (zh) * 2012-10-26 2014-05-07 华为技术有限公司 一种基于动作分析的人脸解锁的方法和装置
US20140173440A1 (en) * 2012-12-13 2014-06-19 Imimtek, Inc. Systems and methods for natural interaction with operating systems and application graphical user interfaces using gestural and vocal input
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
JP2014192550A (ja) * 2013-03-26 2014-10-06 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20160041616A1 (en) * 2013-10-31 2016-02-11 Boe Technology Group Co., Ltd. Display device and control method thereof, and gesture recognition method
CN105824409A (zh) * 2016-02-16 2016-08-03 乐视致新电子科技（天津）有限公司 虚拟现实的交互控制方法及装置
CN107924229A (zh) * 2016-04-14 2018-04-17 华为技术有限公司 一种虚拟现实设备中的图像处理方法和装置
CN106055102A (zh) * 2016-05-30 2016-10-26 北京奇艺世纪科技有限公司 一种虚拟现实设备控制方法及装置
CN106101689A (zh) * 2016-06-13 2016-11-09 西安电子科技大学 利用手机单目摄像头对虚拟现实眼镜进行增强现实的方法
CN106598214A (zh) * 2016-11-02 2017-04-26 歌尔科技有限公司 用于虚拟现实设备的功能触发方法、装置及虚拟现实设备
CN106527710A (zh) * 2016-11-07 2017-03-22 三星电子（中国）研发中心 虚拟现实交互方法及装置
CN106650392A (zh) * 2016-11-11 2017-05-10 捷开通讯(深圳)有限公司 Vr头戴设备及其解锁方法
CN108399001A (zh) * 2017-02-06 2018-08-14 上海青研科技有限公司 一种vr/ar中双目立体视觉眼动分析方法及装置
CN107038905A (zh) * 2017-05-11 2017-08-11 深圳市恒科电子科技有限公司 一种vr智能教育控制系统
CN107515672A (zh) * 2017-07-26 2017-12-26 维沃移动通信有限公司 一种虚拟现实设备的显示定位方法及移动终端
CN109426783A (zh) * 2017-08-29 2019-03-05 深圳市掌网科技股份有限公司 基于增强现实的手势识别方法及系统
CN107479200A (zh) * 2017-09-14 2017-12-15 京东方科技集团股份有限公司 一种可穿戴式单目眼镜、组合双目眼镜系统及其控制方法
CN108062673A (zh) * 2017-11-15 2018-05-22 平安科技（深圳）有限公司 支付方法、终端设备及计算机可读存储介质
CN108777165A (zh) * 2018-06-06 2018-11-09 姜涵予 一种评测社交状态的方法及装置
CN109388239A (zh) * 2018-09-03 2019-02-26 广东奔腾达电子有限公司 一种基于增强现实的金融设备检查方法
CN109618200A (zh) * 2018-12-24 2019-04-12 上海闻泰电子科技有限公司 Vr视频播放控制方法与装置
CN109920532A (zh) * 2019-03-06 2019-06-21 陈志鹏 一种带有睡眠功能医疗可穿戴设备的控制方法
CN110517683A (zh) * 2019-09-04 2019-11-29 上海六感科技有限公司 头戴式vr/ar设备及其控制方法
CN111318009A (zh) * 2020-01-19 2020-06-23 张衡 基于可穿戴惯性感知的体感健康娱乐系统及其工作方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘根: "虚拟现实环境下人机交互与设备远程操控关键技术研究与应用", 中国优秀硕士学位论文全文数据库 信息科技辑, vol. 2020, no. 7, 15 July 2020 (2020-07-15), pages 138 - 1298 *

Similar Documents

Publication Publication Date Title
US11495002B2 (en) Systems and methods for determining the scale of human anatomy from images
US12102388B2 (en) Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
CN103558909B (zh) 交互投射显示方法及交互投射显示系统
CN109558012B (zh) 一种眼球追踪方法及装置
CN104603673B (zh) 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法
US20210271091A1 (en) Display systems and methods for determining registration between a display and eyes of a user
US20190235624A1 (en) Systems and methods for predictive visual rendering
CN112805659A (zh) 通过用户分类为多深度平面显示系统选择深度平面
WO2018129234A1 (en) Improved accuracy of displayed virtual data with optical head mount displays for mixed reality
CN115053270A (zh) 用于基于用户身份来操作头戴式显示系统的系统和方法
JP6454851B2 (ja) ３次元上の注視点の位置特定アルゴリズム
US20170131764A1 (en) Systems and methods for eye vergence control
DE102018102194A1 (de) Elektronische Einrichtung, Informationsverarbeitungsverfahren und Programm
US12076087B2 (en) Information processing apparatus and information processing method
CN109414167A (zh) 视线检测装置、视线检测方法以及计算机程序
JP2022538669A (ja) 眼追跡待ち時間向上
CN114424147A (zh) 利用一个或多个眼睛跟踪相机确定眼睛旋转中心
JP2019215688A (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
JP6483514B2 (ja) ウェアラブル装置、制御方法及び制御プログラム
JP6576639B2 (ja) 電子眼鏡および電子眼鏡の制御方法
US10108259B2 (en) Interaction method, interaction apparatus and user equipment
CN115137293A (zh) 用于确定参考注视数据的系统和方法
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
JP2005261728A (ja) 視線方向認識装置及び視線方向認識プログラム
JP3759187B2 (ja) 両眼視機能訓練装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination