CN112596605A - 一种ar眼镜控制方法、装置、ar眼镜及存储介质 - Google Patents

一种ar眼镜控制方法、装置、ar眼镜及存储介质 Download PDF

Info

Publication number
CN112596605A
CN112596605A CN202011465284.3A CN202011465284A CN112596605A CN 112596605 A CN112596605 A CN 112596605A CN 202011465284 A CN202011465284 A CN 202011465284A CN 112596605 A CN112596605 A CN 112596605A
Authority
CN
China
Prior art keywords
touch
glasses
image
gesture
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011465284.3A
Other languages
English (en)
Inventor
喻纯
史元春
翁跃庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interactive Future Beijing Technology Co ltd
Tsinghua University
Original Assignee
Interactive Future Beijing Technology Co ltd
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interactive Future Beijing Technology Co ltd, Tsinghua University filed Critical Interactive Future Beijing Technology Co ltd
Priority to CN202011465284.3A priority Critical patent/CN112596605A/zh
Publication of CN112596605A publication Critical patent/CN112596605A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

本申请公开了一种AR眼镜控制方法,所述AR眼镜设置有图像拍摄装置,所述AR眼镜控制方法包括:获取所述图像拍摄装置拍摄的用户面部图像;根据所述用户面部图像确定触摸信息;其中,所述触摸信息包括手指在面部的触摸位置、触摸幅度和手指姿态;确定所述触摸信息对应的目标触摸手势,并查询指令映射集中与所述目标触摸手势对应的目标控制指令;其中,所述指令映射集中存储有预设触摸手势与控制指令的映射关系;控制所述AR眼镜执行所述目标控制指令对应的操作。本申请能够实现基于手对脸手势的AR眼镜控制,提高AR眼镜交互的灵活性。本申请还公开了一种AR眼镜控制装置、一种存储介质及一种AR眼镜,具有以上有益效果。

Description

一种AR眼镜控制方法、装置、AR眼镜及存储介质
技术领域
本申请涉及智能穿戴设备技术领域,特别涉及一种AR眼镜控制方法、一 种AR眼镜控制装置、一种AR眼镜及一种存储介质。
背景技术
AR(Augmented Reality,增强现实)技术是一种将真实世界信息和虚拟世 界信息无缝集成的技术,AR技术可以在在屏幕上把虚拟世界套在现实世界并 进行互动。
目前存在基于手机前置摄像头识别用户手势执行相应操作的方案,但是 这些检测技术能够感测到的手势只限于简单和离散的手势,尚不存在基于手 对脸手势的AR眼镜控制方法。
因此,如何实现基于手对脸手势的AR眼镜控制,提高AR眼镜交互的灵 活性是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的是提供一种AR眼镜控制方法、一种AR眼镜控制装置、一 种AR眼镜及一种存储介质,能够实现基于手对脸手势的AR眼镜控制,提高 AR眼镜交互的灵活性。
为解决上述技术问题,本申请提供一种AR眼镜控制方法,所述AR眼镜 设置有图像拍摄装置,该AR眼镜控制方法包括:
获取所述图像拍摄装置拍摄的用户面部图像;
根据所述用户面部图像确定触摸信息;其中,所述触摸信息包括手指在 面部的触摸位置、触摸幅度和手指姿态;
确定所述触摸信息对应的目标触摸手势,并查询指令映射集中与所述目 标触摸手势对应的目标控制指令;其中,所述指令映射集中存储有预设触摸 手势与控制指令的映射关系;
控制所述AR眼镜执行所述目标控制指令对应的操作。
可选的,所述图像拍摄装置的摄像头设置于所述AR眼镜的鼻梁架和/或 眼镜桩头;
其中,所述图像拍摄装置的拍摄方向与所述AR眼镜的眼镜腿所在的平面 的夹角在预设角度区间内。
可选的,所述图像拍摄装置包括红外摄像头、RGB摄像头和深度摄像头 中的任一种或任几种的组合。
可选的,根据所述用户面部图像确定触摸信息,包括:
根据所述用户面部图像中的图像特征将所述用户面部图像划分为多个触 摸区域;其中,所述触摸区域包括鼻子区域、脸颊区域和下巴区域;
根据多张所述用户面部图像中所述图像特征的变化信息确定手指位置, 并根据所述手指位置所在的触摸区域确定所述触摸位置;
根据所述手指位置所在的触摸区域的形变程度确定所述触摸幅度。
可选的,若所述图像拍摄装置包括红外摄像头,则所述图像特征包括所 述用户面部图像中像素点的亮度值;
若所述图像拍摄装置包括RGB摄像头,则所述图像特征包括所述用户面 部图像中像素点的颜色值;
若所述图像拍摄装置包括深度摄像头,则所述图像特征包括所述用户面 部图像中像素点的深度值。
可选的,确定所述触摸信息对应的目标触摸手势,包括:
根据多张连续所述用户面部图像的触摸信息生成手部触摸序列;其中, 所述手部触摸序列包括所有手部触摸点的触摸顺序和触摸幅度;
将触摸手势集中与所述手部触摸序列相似度最高的触摸手势设置为所述 目标触摸手势。
可选的,所述AR眼镜还包括佩戴检测装置;其中,所述佩戴检测装置包 括接触传感器、温度传感器、环境光传感器和加速度传感器中任一种或任几 种的组合;
相应的,还包括:
根据所述佩戴检测装置采集的数据判断所述AR眼镜是否处于佩戴状态;
若是,则进入获取所述图像拍摄装置拍摄的用户面部图像的步骤。
本申请还提供了一种AR眼镜控制装置,应用于设置有图像拍摄装置的 AR眼镜,该AR眼镜控制装置包括:
图像获取模块,用于获取所述图像拍摄装置拍摄的用户面部图像;
触摸信息确定模块,用于根据所述用户面部图像确定触摸信息;其中, 所述触摸信息包括手指在面部的触摸位置、触摸幅度和手指姿态;
指令识别模块,用于确定所述触摸信息对应的目标触摸手势,并查询指 令映射集中与所述目标触摸手势对应的目标控制指令;其中,所述指令映射 集中存储有预设触摸手势与控制指令的映射关系;
控制模块,用于控制所述AR眼镜执行所述目标控制指令对应的操作。
本申请还提供了一种存储介质,其上存储有计算机程序,所述计算机程 序执行时实现上述AR眼镜控制方法执行的步骤。
本申请还提供了一种AR眼镜,包括图像拍摄装置、存储器和处理器,所 述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序 时实现上述AR眼镜控制方法执行的步骤。
本申请提供了一种AR眼镜控制方法,所述AR眼镜设置有图像拍摄装置, 该AR眼镜控制方法包括:获取所述图像拍摄装置拍摄的用户面部图像;根据 所述用户面部图像确定触摸信息;其中,所述触摸信息包括手指在面部的触 摸位置、触摸幅度和手指姿态;确定所述触摸信息对应的目标触摸手势,并 查询指令映射集中与所述目标触摸手势对应的目标控制指令;其中,所述指 令映射集中存储有预设触摸手势与控制指令的映射关系;控制所述AR眼镜执 行所述目标控制指令对应的操作。
本申请基于设置有图像拍摄装置的AR眼镜实现,先利用图像拍摄装置拍 摄用户面部图像,根据用户面部图像确定手指在面部的触摸位置、触摸幅度 和手指姿态,基于触摸位置、触摸幅度和手指姿态确定用户当前的触摸手势, 并执行触摸手势对应的控制指令。本申请实现了通过识别手指在面部的触摸 手势控制AR眼镜执行对应的操作,提高了AR眼镜交互的灵活性。本申请同 时还提供了一种AR眼镜控制装置、一种AR眼镜和一种存储介质,具有上述 有益效果,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例,下面将对实施例中所需要使用的附图 做简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例, 对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据 这些附图获得其他的附图。
图1为本申请实施例所提供的一种AR眼镜控制方法的流程图;
图2为本申请实施例所提供的一种AR眼镜的佩戴示意图;
图3为本申请实施例所提供的一种图像处理方法的流程图;
图4为本申请实施例所提供的一种AR眼镜控制装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申 请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述, 显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于 本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获 得的所有其他实施例,都属于本申请保护的范围。
下面请参见图1,图1为本申请实施例所提供的一种AR眼镜控制方法的 流程图。
具体步骤可以包括:
S101:获取所述图像拍摄装置拍摄的用户面部图像;
其中,本实施例可以应用于设置有图像拍摄装置的AR眼镜,图像拍摄装 置可以拍摄图像并将图像传输至AR眼镜的处理芯片,图像拍摄装置可以包括 任意数量个摄像头。图像拍摄装置可以包括红外摄像头、RGB摄像头和深度 摄像头中的任一种或任几种的组合。请参见图2,图2为本申请实施例所提供 的一种AR眼镜的佩戴示意图,本实施例中图像拍摄装置用于拍摄用户面部图 像,因此当用户佩戴AR眼镜时,图像拍摄装置的拍摄方向(即图2中的交互 空间的中轴线)可以为竖直向下。作为一种可行的实施方式,图像拍摄装置 的摄像头可以设置于AR眼镜的鼻梁架,也可以设置于AR眼镜的眼镜桩头, 还可以分别设置于AR眼镜的鼻梁架和眼镜桩头。上述图像拍摄装置的拍摄方 向与所述AR眼镜的眼镜腿所在的平面的夹角在预设角度区间内。
作为一种可行的实施方式,本实施例中的AR眼镜还可以包括佩戴检测装 置;佩戴检测装置为用于检测AR眼镜是否处于佩戴状态的装置。佩戴检测装 置可以包括接触传感器、温度传感器、环境光传感器和加速度传感器中任一 种或任几种的组合。相应的,本实施例在获取所述图像拍摄装置拍摄的用户 面部图像之前,还可以根据所述佩戴检测装置采集的数据判断所述AR眼镜是 否处于佩戴状态;若是,则进入获取所述图像拍摄装置拍摄的用户面部图像 的步骤。
S102:根据所述用户面部图像确定触摸信息;
其中,在得到用户面部图像的基础上,本实施例进一步根据用户图像确 定触摸信息。具体的,可以对用户面部图像执行图像识别操作,根据图像识 别结果确定手指图像和人脸图像,根据手指图像与人脸图像的位置关系,以 及人脸图像的形变程度确定手指在面部的触摸位置、触摸幅度和手指姿态。
可以理解的是,由于用户执行手势需要消耗一段时间,因此本实施例可 以根据多张连续的用户面部图像确定触摸信息,得到一组触摸点的触摸位置、 触摸幅度和手指姿态;当然,本实施例也可以根据一张用户面部图像得到某 一时刻一个触摸点的触摸位置、触摸幅度和手指姿态。本实施例中所提到的 手指姿态可以包括与面部接触的手指的姿态,也可以包括未与面部接触的其 他手指的姿态,姿态用于描述手指弯曲程度、手指之间的开合程度等手指的 状态。
S103:确定所述触摸信息对应的目标触摸手势,并查询指令映射集中与 所述目标触摸手势对应的目标控制指令;
其中,在得到了触摸信息的基础上,本实施例可以根据触摸信息所包括 的触摸位置、触摸幅度和手指姿态确定对应的目标触摸手势。本实施例可以 预先在触摸手势集中存储触摸信息与预设触摸手势的对应关系,基于该对应 关系确定触摸信息对应的目标触摸手势。在确定目标触摸手势的过程中,可 以存在将S102得到的触摸信息与预设触摸手势对应的标准触摸信息进行相似 度比对的操作,根据比对结果将相似度最高的预设触摸手势作为触摸信息对 应的目标触摸手势。进一步的,本实施例可以根据多张连续所述用户面部图 像的触摸信息生成手部触摸序列;其中,所述手部触摸序列包括所有手部触 摸点的触摸顺序和触摸幅度;将触摸手势集中与所述手部触摸序列相似度最 高的触摸手势设置为所述目标触摸手势。本实施例中的目标触摸手势指手对 脸手势,即手在脸上做各种操作,例如点击、滑动,或者手以特殊的姿态放 在脸上。也包括了手在脸上操作时,脸部皮肤的微妙变化(例如鼻子被手指推 动的幅度)。
本实施例还可以预先设置指令映射值,指令映射集中记录有触摸手势与 控制命令的对应关系,根据该对应关系可以查询指令映射集中与目标触摸手 势对应的目标控制指令。
举例说明,指令映射集中触摸手势与控制命令的对应关系:
点击鼻头的触摸手势对应暂停/播放视频的控制命令,轻点右鼻翼的触摸 手势对应视频快进15秒的控制命令,重点右鼻翼的触摸手势对应视频快进60 秒的控制命令,轻点左鼻翼的触摸手势对应视频倒退15秒的控制命令,重点 左鼻翼的触摸手势对应视频倒退60秒的控制命令,在下巴上滑动的触摸手势 对应调整音量的控制指令,捂嘴的触摸手势对应静音的控制指令,单手脸颊 上下滑动的触摸手势对应浏览页面的控制指令,双手脸颊上下滑动的触摸手 势对应缩放图片的控制指令,两指点下巴的触摸手势对应打开主页面的控制 命令,单指点下巴的触摸手势对应选择打开应用的控制指令,打电话手势对 应唤醒通讯录的控制指令,悄悄话手势对应唤醒语音助手的控制指令,悄悄 话手势+手指挥动对应调整语音助手音量的控制指令。
S104:控制所述AR眼镜执行所述目标控制指令对应的操作。
本实施例采用捕捉用户面部图像的传感方案,并使用计算机视觉的算法 来分析手和脸的信息,能够识别到手对脸手势,为手对脸手势的交互设计带 来很大的可用性空间。在此空间中,可以基于丰富的手对脸手势集合与其直 观的功能映射,方便用户操作AR,从而增强了AR眼镜的输入能力和交互体 验。
本实施例基于设置有图像拍摄装置的AR眼镜实现,先利用图像拍摄装置 拍摄用户面部图像,根据用户面部图像确定手指在面部的触摸位置、触摸幅 度和手指姿态,基于触摸位置、触摸幅度和手指姿态确定用户当前的触摸手 势,并执行触摸手势对应的控制指令。本实施例实现了通过识别手指在面部 的触摸手势控制AR眼镜执行对应的操作,提高了AR眼镜交互的灵活性。本 实施例在手对脸手势的交互设计中很好的利用了用户下半脸的空间,为用户 提供一种与便捷的AR眼镜交互方式。
作为对于上述实施例的进一步介绍,上述实施例中使用的AR眼镜可以为 EpsonMoverio BT-300AR眼镜,该AR眼镜与普通眼镜的外形非常接近:镜 架的厚度为1.5厘米,重量为69克。BT-300眼镜具有双眼形显示,对角线 的视场(FoV)约为23°。该软件系统为Android 5.1,可在其上构建自定义 AR应用程序。本实施例可以在上述AR眼镜的鼻梁上安装了一个广角红外摄 像头(分辨率:480x270,视场角FoV:对角150度)。相机向下看以捕捉用 户的下脸。摄像头模块的高度为26毫米。摄像机的垂直FoV为63°,水平 FoV为125°。如此宽的FoV使摄像头能够捕捉用户的鼻子、脸颊、下巴以 及脸部及其周围的所有手部行为。
为了捕获用户的手势,上述实施例还可以使用开源的计算机视觉框架 OpenCV对用户面部图像进行处理,本实施例可以利用该框架分析用户面部图 像的亮度信息以及几何特征,进而检测触摸发生的瞬间。在检测到触摸发生 后,可以推断出触摸位置。本实施例还可以根据触摸位置(鼻子、脸颊、下巴) 训练了三个深度学习模型对不同姿态的手势进行分类和区分,从而支持不同 种类的交互。
请参见图3,图3为本申请实施例所提供的一种图像处理方法的流程图, 本实施例是对图1对应实施例中根据用户面部图像确定触摸信息的进一步介 绍,可以将本实施例与图1对应的实施例相结合得到进一步的实施方式,本 实施例可以包括以下步骤:
S201:根据所述用户面部图像中的图像特征将所述用户面部图像划分为 多个触摸区域;
其中,所述触摸区域包括鼻子区域、脸颊区域和下巴区域。本实施例可 以基于亮度将用户面部图像划分为多个触摸区域。如果手指触摸在鼻子上, 则手部区域接触区域的亮度与鼻子区域的亮度相同。如果触摸位置在脸颊和 下巴区域,则可以通过检查在脸颊和下巴轮廓上的接触位置来确定详细的位 置(脸颊或下巴)。
本步骤中的图像特征根据图像拍摄装置的摄像头种类确定,例如:若所 述图像拍摄装置包括红外摄像头,则所述图像特征包括所述用户面部图像中 像素点的亮度值;若所述图像拍摄装置包括RGB摄像头,则所述图像特征包 括所述用户面部图像中像素点的颜色值;若所述图像拍摄装置包括深度摄像 头,则所述图像特征包括所述用户面部图像中像素点的深度值。若图像拍摄 装置包括多种摄像头,本实施例则可以通过多种图像特征将用户面部图像划 分为多个触摸区域。
S202:根据多张所述用户面部图像中所述图像特征的变化信息确定手指 位置,并根据所述手指位置所在的触摸区域确定所述触摸位置;
S203:根据所述手指位置所在的触摸区域的形变程度确定所述触摸幅度。
例如推动或夹住鼻子的动作可能导致鼻子区域变形以及图像中手部区域 的移动,本实施例可以通过计算鼻子区域面积的变化以及连续图像帧之间手 质心的偏移来计算触摸幅度。
请参见图4,图4为本申请实施例所提供的一种AR眼镜控制装置的结构 示意图,该AR眼镜控制装置应用于设置有图像拍摄装置的AR眼镜,该装置 可以包括:
图像获取模块100,用于获取所述图像拍摄装置拍摄的用户面部图像;
触摸信息确定模块200,用于根据所述用户面部图像确定触摸信息;其中, 所述触摸信息包括手指在面部的触摸位置、触摸幅度和手指姿态;
指令识别模块300,用于确定所述触摸信息对应的目标触摸手势,并查询 指令映射集中与所述目标触摸手势对应的目标控制指令;其中,所述指令映 射集中存储有预设触摸手势与控制指令的映射关系;
控制模块400,用于控制所述AR眼镜执行所述目标控制指令对应的操作。
本实施例基于设置有图像拍摄装置的AR眼镜实现,先利用图像拍摄装置 拍摄用户面部图像,根据用户面部图像确定手指在面部的触摸位置、触摸幅 度和手指姿态,基于触摸位置、触摸幅度和手指姿态确定用户当前的触摸手 势,并执行触摸手势对应的控制指令。本实施例实现了通过识别手指在面部 的触摸手势控制AR眼镜执行对应的操作,提高了AR眼镜交互的灵活性。
进一步的,所述图像拍摄装置的摄像头设置于所述AR眼镜的鼻梁架和/ 或眼镜桩头;其中,所述图像拍摄装置的拍摄方向与所述AR眼镜的眼镜腿所 在的平面的夹角在预设角度区间内。
进一步的,所述图像拍摄装置包括红外摄像头、RGB摄像头和深度摄像 头中的任一种或任几种的组合。
进一步的,触摸信息确定模块200包括:
区域划分单元,用于根据所述用户面部图像中的图像特征将所述用户面 部图像划分为多个触摸区域;其中,所述触摸区域包括鼻子区域、脸颊区域 和下巴区域;
位置确定单元,用于根据多张所述用户面部图像中所述图像特征的变化 信息确定手指位置,并根据所述手指位置所在的触摸区域确定所述触摸位置;
幅度确定单元,用于根据所述手指位置所在的触摸区域的形变程度确定 所述触摸幅度。
进一步的,若所述图像拍摄装置包括红外摄像头,则所述图像特征包括 所述用户面部图像中像素点的亮度值;若所述图像拍摄装置包括RGB摄像头, 则所述图像特征包括所述用户面部图像中像素点的颜色值;若所述图像拍摄 装置包括深度摄像头,则所述图像特征包括所述用户面部图像中像素点的深 度值。
进一步的,指令识别模块300包括:
序列生成单元,用于根据多张连续所述用户面部图像的触摸信息生成手 部触摸序列;其中,所述手部触摸序列包括所有手部触摸点的触摸顺序和触 摸幅度;
手势设置单元,用于将触摸手势集中与所述手部触摸序列相似度最高的 触摸手势设置为所述目标触摸手势;
指令确定单元,用于查询指令映射集中与所述目标触摸手势对应的目标 控制指令。
进一步的,所述AR眼镜还包括佩戴检测装置;其中,所述佩戴检测装置 包括接触传感器、温度传感器、环境光传感器和加速度传感器中任一种或任 几种的组合;
相应的,还包括:
佩戴状态判断模块,用于根据所述佩戴检测装置采集的数据判断所述AR 眼镜是否处于佩戴状态;若是,则启动图像获取模块100对应的工作流程。
由于装置部分的实施例与方法部分的实施例相互对应,因此装置部分的 实施例请参见方法部分的实施例的描述,这里暂不赘述。
本申请还提供了一种存储介质,其上存有计算机程序,该计算机程序被 执行时可以实现上述实施例所提供的步骤。该存储介质可以包括:U盘、移 动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种AR眼镜,可以包括图像拍摄装置、存储器和处理器, 所述存储器中存有计算机程序,所述处理器调用所述存储器中的计算机程序 时,可以实现上述实施例所提供的步骤。当然所述AR眼镜还可以包括各种网 络接口,电源等组件。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是 与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对 于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的 比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的 普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若 干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅 仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或 者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语 “包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括 一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没 有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所 固有的要素。在没有更多限制的状况下,由语句“包括一个……”限定的要素, 并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同 要素。

Claims (10)

1.一种AR眼镜控制方法,其特征在于,所述AR眼镜设置有图像拍摄装置,所述AR眼镜控制方法包括:
获取所述图像拍摄装置拍摄的用户面部图像;
根据所述用户面部图像确定触摸信息;其中,所述触摸信息包括手指在面部的触摸位置、触摸幅度和手指姿态;
确定所述触摸信息对应的目标触摸手势,并查询指令映射集中与所述目标触摸手势对应的目标控制指令;其中,所述指令映射集中存储有预设触摸手势与控制指令的映射关系;
控制所述AR眼镜执行所述目标控制指令对应的操作。
2.根据权利要求1所述AR眼镜控制方法,其特征在于,所述图像拍摄装置的摄像头设置于所述AR眼镜的鼻梁架和/或眼镜桩头;
其中,所述图像拍摄装置的拍摄方向与所述AR眼镜的眼镜腿所在的平面的夹角在预设角度区间内。
3.根据权利要求1所述AR眼镜控制方法,其特征在于,所述图像拍摄装置包括红外摄像头、RGB摄像头和深度摄像头中的任一种或任几种的组合。
4.根据权利要求1所述AR眼镜控制方法,其特征在于,根据所述用户面部图像确定触摸信息,包括:
根据所述用户面部图像中的图像特征将所述用户面部图像划分为多个触摸区域;其中,所述触摸区域包括鼻子区域、脸颊区域和下巴区域;
根据多张所述用户面部图像中所述图像特征的变化信息确定手指位置,并根据所述手指位置所在的触摸区域确定所述触摸位置;
根据所述手指位置所在的触摸区域的形变程度确定所述触摸幅度。
5.根据权利要求4所述AR眼镜控制方法,其特征在于,
若所述图像拍摄装置包括红外摄像头,则所述图像特征包括所述用户面部图像中像素点的亮度值;
若所述图像拍摄装置包括RGB摄像头,则所述图像特征包括所述用户面部图像中像素点的颜色值;
若所述图像拍摄装置包括深度摄像头,则所述图像特征包括所述用户面部图像中像素点的深度值。
6.根据权利要求1所述AR眼镜控制方法,其特征在于,确定所述触摸信息对应的目标触摸手势,包括:
根据多张连续所述用户面部图像的触摸信息生成手部触摸序列;其中,所述手部触摸序列包括所有手部触摸点的触摸顺序和触摸幅度;
将触摸手势集中与所述手部触摸序列相似度最高的触摸手势设置为所述目标触摸手势。
7.根据权利要求1至6任一项所述AR眼镜控制方法,其特征在于,所述AR眼镜还包括佩戴检测装置;其中,所述佩戴检测装置包括接触传感器、温度传感器、环境光传感器和加速度传感器中任一种或任几种的组合;
相应的,还包括:
根据所述佩戴检测装置采集的数据判断所述AR眼镜是否处于佩戴状态;
若是,则进入获取所述图像拍摄装置拍摄的用户面部图像的步骤。
8.一种AR眼镜控制装置,其特征在于,应用于设置有图像拍摄装置的AR眼镜,所述AR眼镜控制装置包括:
图像获取模块,用于获取所述图像拍摄装置拍摄的用户面部图像;
触摸信息确定模块,用于根据所述用户面部图像确定触摸信息;其中,所述触摸信息包括手指在面部的触摸位置、触摸幅度和手指姿态;
指令识别模块,用于确定所述触摸信息对应的目标触摸手势,并查询指令映射集中与所述目标触摸手势对应的目标控制指令;其中,所述指令映射集中存储有预设触摸手势与控制指令的映射关系;
控制模块,用于控制所述AR眼镜执行所述目标控制指令对应的操作。
9.一种AR眼镜,其特征在于,包括图像拍摄装置、存储器和处理器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时实现如权利要求1至7任一项所述AR眼镜控制方法的步骤。
10.一种存储介质,其特征在于,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如上权利要求1至7任一项所述AR眼镜控制方法的步骤。
CN202011465284.3A 2020-12-14 2020-12-14 一种ar眼镜控制方法、装置、ar眼镜及存储介质 Pending CN112596605A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011465284.3A CN112596605A (zh) 2020-12-14 2020-12-14 一种ar眼镜控制方法、装置、ar眼镜及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011465284.3A CN112596605A (zh) 2020-12-14 2020-12-14 一种ar眼镜控制方法、装置、ar眼镜及存储介质

Publications (1)

Publication Number Publication Date
CN112596605A true CN112596605A (zh) 2021-04-02

Family

ID=75192730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011465284.3A Pending CN112596605A (zh) 2020-12-14 2020-12-14 一种ar眼镜控制方法、装置、ar眼镜及存储介质

Country Status (1)

Country Link
CN (1) CN112596605A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220319520A1 (en) * 2019-06-03 2022-10-06 Tsinghua University Voice interaction wakeup electronic device, method and medium based on mouth-covering action recognition

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120194549A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses specific user interface based on a connected external device type
CN102880290A (zh) * 2012-08-24 2013-01-16 中兴通讯股份有限公司 一种显示控制方法、装置及终端
CN103218601A (zh) * 2013-04-03 2013-07-24 华为技术有限公司 检测手势的方法及装置
CN104408395A (zh) * 2014-06-26 2015-03-11 青岛海信电器股份有限公司 一种手势识别方法和系统
CN107491165A (zh) * 2016-06-12 2017-12-19 张翔宇 一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统
US20200250410A1 (en) * 2019-01-31 2020-08-06 Mona HOSSEINKHANI LOORAK Hand-over-face input sensing for interaction with a device having a built-in camera

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120194549A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses specific user interface based on a connected external device type
CN102880290A (zh) * 2012-08-24 2013-01-16 中兴通讯股份有限公司 一种显示控制方法、装置及终端
CN103218601A (zh) * 2013-04-03 2013-07-24 华为技术有限公司 检测手势的方法及装置
CN104408395A (zh) * 2014-06-26 2015-03-11 青岛海信电器股份有限公司 一种手势识别方法和系统
CN107491165A (zh) * 2016-06-12 2017-12-19 张翔宇 一种vr眼镜面部3d图像、平面图像捕获与手势捕获系统
US20200250410A1 (en) * 2019-01-31 2020-08-06 Mona HOSSEINKHANI LOORAK Hand-over-face input sensing for interaction with a device having a built-in camera

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220319520A1 (en) * 2019-06-03 2022-10-06 Tsinghua University Voice interaction wakeup electronic device, method and medium based on mouth-covering action recognition

Similar Documents

Publication Publication Date Title
EP2634727B1 (en) Method and portable terminal for correcting gaze direction of user in image
US10477090B2 (en) Wearable device, control method and non-transitory storage medium
CN112585566B (zh) 用于与具有内置摄像头的设备进行交互的手遮脸输入感测
US20140240225A1 (en) Method for touchless control of a device
CN113050802A (zh) 用于在虚拟现实环境中导航的方法、系统及设备
CN109375765B (zh) 眼球追踪交互方法和装置
KR20220136517A (ko) 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법
CN111527468A (zh) 一种隔空交互方法、装置和设备
CN112596605A (zh) 一种ar眼镜控制方法、装置、ar眼镜及存储介质
CN109947243A (zh) 基于触摸手检测的智能电子设备手势捕获与识别技术
CN109960406A (zh) 基于双手手指之间动作的智能电子设备手势捕获与识别技术
KR20200081529A (ko) 사회적 수용성을 고려한 hmd 기반 사용자 인터페이스 방법 및 장치
KR20160055407A (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법
TW202011154A (zh) 目標物資訊的預載顯示方法及裝置
US10496873B2 (en) Body information analysis apparatus and method of detecting face shape by using same
CN109993059A (zh) 智能电子设备上基于单摄像头的双目视觉与物体识别技术
CN109164924B (zh) 一种字符输入法及识别字符输入法的系统
KR20180044535A (ko) 홀로그래피 스마트홈 시스템 및 제어방법
KR101591038B1 (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법
KR20150137908A (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법
CN116360603A (zh) 基于时序信号匹配的交互方法、设备、介质及程序产品
CN111061372A (zh) 设备控制方法及相关设备
S Choras et al. Markerless head gesture recognition for human computer interaction
CN109963034A (zh) 基于持握手检测的智能电子设备手势捕获与识别技术
KR20160113498A (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210402

RJ01 Rejection of invention patent application after publication