CN115469748A - 交互方法、交互装置、头戴设备和存储介质 - Google Patents

交互方法、交互装置、头戴设备和存储介质 Download PDF

Info

Publication number
CN115469748A
CN115469748A CN202211160461.6A CN202211160461A CN115469748A CN 115469748 A CN115469748 A CN 115469748A CN 202211160461 A CN202211160461 A CN 202211160461A CN 115469748 A CN115469748 A CN 115469748A
Authority
CN
China
Prior art keywords
head
image
mounted device
determining
pupil image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211160461.6A
Other languages
English (en)
Inventor
王路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202211160461.6A priority Critical patent/CN115469748A/zh
Publication of CN115469748A publication Critical patent/CN115469748A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Abstract

本申请公开了一种交互方法、交互装置、头戴设备和存储介质。交互方法包括:采集第一瞳孔图像;根据所述第一瞳孔图像,确定第一眨眼频率;响应于所述第一眨眼频率满足第一预设阈值,采集手势图像;根据所述手势图像,确定手势动作;响应于所述手势动作与预设截屏动作匹配,保存所述头戴设备的显示器显示的当前图像。如此,根据采集的第一瞳孔图像确定第一眨眼频率,并在第一眨眼频率大于第一预设阈值的情况下,保存头戴设备的显示器显示的当前图像,可以简单方便地实现对头戴设备的截屏,另外,通过第一眨眼频率和手势动作的双重机制进行截屏的控制,可以防止头戴设备误截屏。

Description

交互方法、交互装置、头戴设备和存储介质
技术领域
本申请涉及电子技术领域,特别涉及一种交互方法、交互装置、头戴设备和存储介质。
背景技术
相关技术的头戴设备可显示多种内容。例如,头戴设备可运行视频播放、图像预览、视频通话和拍照等应用。或者,头戴设备可将手机显示的内容投影到头戴设备的显示器上。然而,头戴设备在显示内容时,用户如果需要对显示器进行截屏,操作比较繁琐。例如,用户需要将头戴设备摘下,用手机截屏。这导致用户体验较差。
发明内容
本申请提供了一种交互方法、交互装置、头戴设备和存储介质。
本申请实施方式提供了一种头戴设备的交互方法。所述交互方法包括:
采集第一瞳孔图像;
根据所述第一瞳孔图像确定第一眨眼频率;
在所述第一眨眼频率大于第一预设阈值的情况下,保存所述头戴设备的显示器显示的当前图像。保存头戴设备的显示器显示的当前图像,包括:采集手势图像;根据手势图像确定手势动作;在手势动作与预设截屏动作匹配的情况下,保存头戴设备的显示器显示的当前图像。
本申请实施方式提供了一种头戴设备的交互装置。所述交互装置包括采集模块、确定模块和截屏模块,所述采集模块用于采集第一瞳孔图像;所述确定模块用于根据所述第一瞳孔图像确定第一眨眼频率;所述截屏模块用于在所述第一眨眼频率大于第一预设阈值的情况下,保存所述头戴设备的显示器显示的当前图像。
本申请实施方式的头戴设备包括显示器和处理器,所述处理器连接所述显示器,所述处理器用于采集第一瞳孔图像;及用于根据所述第一瞳孔图像确定第一眨眼频率;以及用于在所述第一眨眼频率大于第一预设阈值的情况下,保存所述显示器显示的当前图像。
本申请实施方式的头戴设备包括存储器和处理器,所述存储器存储有一个或多个程序,所述程序被所述处理器执行时实现上述的头戴设备的交互方法。
一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行以上所述的头戴设备的交互方法。
本申请实施方式的交互方法、交互装置、头戴设备和存储介质中,根据采集的第一瞳孔图像确定第一眨眼频率,并在第一眨眼频率大于第一预设阈值的情况下,保存头戴设备的显示器显示的当前图像,可以简单方便地实现对头戴设备的截屏,有利于提高用户体验。另外,通过第一眨眼频率和手势动作的双重机制进行截屏的控制,可以防止头戴设备误截屏。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本申请实施方式的头戴设备的立体示意图;
图2是本申请另一实施方式的头戴设备的平面示意图;
图3是本申请实施方式的头戴设备部分结构的平面示意图;
图4是本申请实施方式的头戴设备的调节过程的示意图;
图5是本申请实施方式的头戴设备的调节过程的另一示意图;
图6是本申请另一实施方式的头戴设备部分结构的平面示意图;
图7是本申请又一实施方式的头戴设备部分结构的平面示意图;
图8是本申请实施方式的头戴设备的交互方法的流程示意图;
图9是本申请实施方式的头戴设备的交互装置的模块示意图;
图10是本申请实施方式的头戴设备的模块示意图;
图11是本申请实施方式的头戴设备的交互方法的场景示意图;
图12是本申请另一实施方式的头戴设备的交互方法的流程示意图;
图13是本申请另一实施方式的头戴设备的交互方法的场景示意图;
图14是本申请另一实施方式的头戴设备的交互方法的另一场景示意图;
图15是本申请又一实施方式的头戴设备的交互方法的流程示意图;
图16是本申请又一实施方式的头戴设备的交互方法的场景示意图;
图17是本申请再一实施方式的头戴设备的交互方法的流程示意图;
图18是本申请再一实施方式的头戴设备的交互方法的场景示意图;
图19是本申请另一实施方式的头戴设备的交互方法的流程示意图;
图20是本申请另一实施方式的头戴设备的交互方法的场景示意图;
图21是本申请又一实施方式的头戴设备的交互方法的流程示意图;
图22是本申请又一实施方式的头戴设备的交互方法的场景示意图;
图23是本申请再一实施方式的头戴设备的交互方法的流程示意图。
元件符号说明:
外壳20、收容槽22、外壳顶壁24、外壳底壁26、缺口262、外壳侧壁28、支撑部件30、第一支架32、第一弯折部322、第二支架34、第二弯折部342、弹性带36、显示器40、屈光部件50、屈光腔52、透光液体54、第一膜层56、第二膜层58、侧壁59、调节机构60、腔体62、滑槽622、滑动件64、驱动部件66、旋钮662、丝杠664、齿轮666、齿条668、驱动电机669、电机轴6691、输入器6692、调节腔68;
头戴设备100、交互装置10、处理器101、存储器102、眼睛200、采集设备110、截屏传感器120、摄像头1001、传感器1002、头部跟踪设备1003和交互设备1004。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
请参阅图1和图2,本申请实施方式的头戴设备100包括外壳20、支撑部件30、显示器40、屈光部件50和调节机构60。
外壳20为头戴设备100的外部零部件,起到了保护和固定头戴设备100的内部零部件的作用。通过外壳20将内部零部件包围起来,可以避免外界因素对这些内部零部件造成直接的损坏。
具体地,在本实施方式中,外壳20可用于收容和固定显示器40、屈光部件50和调节机构60中的至少一个。在图2的示例中,外壳20形成有收容槽22,显示器40和屈光部件50收容在收容槽22中。调节机构60部分地从外壳20露出。
外壳20还包括外壳前壁21、外壳顶壁24、外壳底壁26和外壳侧壁28。外壳底壁26的中部朝向外壳顶壁24形成缺口262。或者说,外壳20大致呈“B”字型。在用户佩戴头戴设备100时,头戴设备100可通过缺口262架设在用户的鼻梁上,这样既可以保证头戴设备100的稳定性,又可以保证用户佩戴的舒适性。调节机构60可部分地从外壳侧壁28露出,以便用户对屈光部件50进行调节。
另外,外壳20可以通过计算机数控(Computerized Numerical Control,CNC)机床加工铝合金形成,也可以采用聚碳酸酯(Polycarbonate,PC)或者PC和丙烯腈-丁二烯-苯乙烯塑料(Acrylonitrile Butadiene Styrene plastic,ABS)注塑成型。在此不对外壳20的具体制造方式和具体材料进行限定。
支撑部件30用于支撑头戴设备100。在用户佩戴头戴设备100时,头戴设备100可通过支撑部件30固定在用户的头部。在图2的示例中,支撑部件30包括第一支架32、第二支架34和弹性带36。
第一支架32和第二支架34关于缺口262对称设置。具体地,第一支架32和第二支架34可转动地设置在外壳20的边缘,在用户不需要使用头戴设备100时,可将第一支架32和第二支架34贴近外壳20叠放,以便于收纳。在用户需要使用头戴设备100时,可将第一支架32和第二支架34展开,以实现第一支架32和第二支架34支撑的功能。
第一支架32远离外壳20的一端形成有第一弯折部322,第一弯折部322朝向外壳底壁26弯折。这样,用户在佩戴头戴设备100时,第一弯折部322可架设在用户的耳朵上,从而使头戴设备100不易滑落。
类似地,第二支架34远离外壳20的一端形成有第二弯折部342,第二弯折部342朝向外壳底壁26弯折。第二弯折部342的解释和说明可参照第一弯折部322,为避免冗余,在此不再赘述。
弹性带36可拆卸地连接第一支架32和第二支架34。如此,在用户佩戴头戴设备100进行剧烈活动时,可以通过弹性带36进一步固定头戴设备100,防止头戴设备100在剧烈活动中松动甚至掉落。可以理解,在其他的示例中,弹性带36也可以省略。
在本实施方式中,显示器40包括OLED显示屏。OLED显示屏无需背光灯,有利于头戴设备100的轻薄化。而且,OLED屏幕可视角度大,耗电较低,有利于节省耗电量。
当然,显示器40也可以采用LED显示器或Micro LED显示器。这些显示器仅作为示例而本申请的实施例并不限于此。
请一并参阅图3,屈光部件50设置在显示器40一侧。屈光部件50包括屈光腔52、透光液体54、第一膜层56、第二膜层58和侧壁59。
透光液体54设置在屈光腔52内。调节机构60用于调节透光液体54的量以调节屈光部件50的形态。具体地,第二膜层58相对于第一膜层56设置,侧壁59连接第一膜层56和第二膜层58,第一膜层56、第二膜层58和侧壁59围成屈光腔52,调节机构60用于调节透光液体54的量以改变第一膜层56和/或第二膜层58的形状。
如此,实现屈光部件50屈光功能的实现。具体地,“改变第一膜层56和/或第二膜层58的形状”包括三种情况:第一种情况:改变第一膜层56的形状且不改变第二膜层58的形状;第二种情况:不改变第一膜层56的形状且改变第二膜层58的形状;第三种情况:改变第一膜层56的形状且改变第二膜层58的形状。请注意,为方便解释,在本实施方式中,以第一种情况为例进行说明。
第一膜层56可具有弹性。可以理解,在屈光腔52中的透光液体54的量变化的情况下,屈光腔52内的压强也随之变化,从而使得屈光部件50的形态发生变化。
在一个例子中,调节机构60将屈光腔52中透光液体54的量减少,屈光腔52内的压强减小,屈光腔52外的压强与屈光腔52内的压强的压差增大,屈光腔52更加凹陷。
在另一个例子中,调节机构60将屈光腔52中透光液体54的量增多,屈光腔52内的压强增大,屈光腔52外的压强与屈光腔52内的压强的压差减小,屈光腔52更加凸出。
这样,就实现了通过调节透光液体54的量来调节屈光部件50的形态。
调节机构60连接屈光部件50。调节机构60用于调节屈光部件50的形态以调节屈光部件50的屈光度。具体地,调节机构60包括腔体62、滑动件64、驱动部件66、调节腔68和开关61。
滑动件64滑动地设置在腔体62中,驱动部件66与滑动件64连接,腔体62和滑动件64共同限定出调节腔68,调节腔68通过侧壁59连通屈光腔52,驱动部件66用于驱动滑动件64相对于腔体62滑动以调整调节腔68的容积以调节屈光腔52内的透光液体54的量。
如此,实现通过滑动件64来调整调节腔68的容积,以调节屈光腔52内的透光液体54的量。在一个例子中,请参阅图4,滑动件64往背离侧壁59的方向滑动,调节腔68的容积增大,调节腔68内的压强减小,屈光腔52内的透光液体54进入调节腔68,第一膜层56愈发向内凹陷。
在另一个例子中,请参阅图5,滑动件64往朝向侧壁59的方向滑动,调节腔68的容积减小,调节腔68内的压强增大,调节腔68内的透光液体54进入屈光腔52,第一膜层56愈发向外凸出。
侧壁59形成有流动通道591,流动通道591连通调节腔68和屈光腔52。调节机构60包括设置在流动通道591的开关61,开关61用于控制流动通道591的开闭状态。
在本实施方式中,开关61的数量为两个,两个开关61均为单向开关,其中一个开关61用于控制透光液体54从调节腔68流至屈光腔52,另一个开关61用于控制透光液体54从屈光腔52流至调节腔68。
如此,通过开关61实现透光液体54在调节腔68和屈光腔52之间的流动,以保持侧壁59两侧的压强平衡。如前所述,调节腔68容积的改变,会引起调节腔68中压强的变化,从而引起现透光液体54在调节腔68和屈光腔52之间的流动。而开关61通过控制流动通道591的开闭状态,来控制透光液体54在调节腔68和屈光腔52之间的流动能否实现,从而控制屈光部件50的形态的调节。
在一个例子中,请参阅图4,控制透光液体54从屈光腔52流至调节腔68的开关61打开,滑动件64往背离侧壁59的方向滑动,调节腔68的容积增大,调节腔68内的压强减小,屈光腔52内的透光液体54通过开关61进入调节腔68,第一膜层56愈发向内凹陷。
在另一个例子中,控制透光液体54从屈光腔52流至调节腔68的开关61关闭,即使滑动件64往背离侧壁59的方向滑动,调节腔68的容积增大,调节腔68内的压强减小,屈光腔52内的透光液体54也无法进入调节腔68,第一膜层56的形态不发生改变。
在又一个例子中,请参阅图5,控制透光液体54从调节腔68流至屈光腔52的开关61打开,滑动件64往朝向侧壁59的方向滑动,调节腔68的容积减小,调节腔68内的压强增大,调节腔68内的透光液体54通过开关61进入屈光腔52,第一膜层56愈发向外凸出。
在又一个例子中,控制透光液体54从调节腔68流至屈光腔52的开关61关闭,即使滑动件64往朝向侧壁59的方向滑动,调节腔68的容积减小,调节腔68内的压强增大,调节腔68内的透光液体54也无法进入屈光腔52,第一膜层56的形态不发生改变。
驱动部件66可基于多种结构和原理实现其驱动滑动件64滑动的功能。
在图1、图2、图3、图4和图5的示例中,驱动部件66包括旋钮662和丝杠664,丝杠664连接旋钮662和滑动件64,旋钮662用于驱动丝杠664转动以带动滑动件64相对于腔体62滑动。
如此,实现通过旋钮662和丝杠664来驱动滑动件64。由于丝杠664和旋钮662的配合可将旋钮662的回转运动转化为丝杠664直线运动,在用户旋转旋钮662时,丝杠664即可带动滑动件64相对于腔体62滑动,从而引起调节腔68容积的变化,进而调节屈光腔52内的透光液体54的量。旋钮662可自外壳20露出,以方便用户旋转。
具体地,旋钮662上形成有螺纹部,丝杠664上形成有与旋钮662配合的螺纹部,旋钮662和丝杠664螺纹连接。
在旋钮662旋转的同时,开关61可对应地打开。如此,使得透光液体54可以流动,保证侧壁59两侧的压强平衡。
在一个例子中,旋钮662顺时针旋转,滑动件64往背离侧壁59的方向滑动,则将控制透光液体54从屈光腔52流至调节腔68的开关61打开。在另一个例子中,旋钮662逆时针旋转,滑动件64往朝向侧壁59的方向滑动,则将控制透光液体54从调节腔68流至屈光腔52的开关61打开。
请注意,本实施方式中,没有关联旋钮662的旋转角度与屈光部件50的屈光度数,用户将旋钮662旋转到视觉体验最佳的位置即可。当然,在其他的实施方式中,也可以关联旋钮662的旋转角度与屈光部件50的屈光度数。在此,不对旋钮662的旋转角度与屈光部件50的屈光度数是否关联进行限定。
请参阅图6,驱动部件66包括齿轮666和与齿轮666啮合的齿条668,齿条668连接齿轮666和滑动件64,齿轮666用于驱动齿条668移动以带动滑动件64相对于腔体62滑动。
如此,实现通过齿轮666和齿条668来驱动滑动件64。由于齿轮666和齿条668的配合可将齿轮666的回转运动转化为齿条668直线运动,在用户旋转齿轮666时,齿条668即可带动滑动件64相对于腔体62滑动,从而引起调节腔68容积的变化,进而调节屈光腔52内的透光液体54的量。齿轮666可自外壳20露出,以方便用户旋转。
类似地,在齿轮666旋转的同时,开关61可对应地打开。如此,使得透光液体54可以流动,保证侧壁59两侧的压强平衡。
在一个例子中,齿轮666顺时针转动使得齿条668啮合在齿轮666上,齿条668的长度缩短,拉动滑动件64往背离侧壁59的方向移动,则将控制透光液体54从屈光腔52流至调节腔68的开关61打开。
在另一个例子中,齿轮666逆时针转动使得啮合在齿轮666上的齿条668从齿轮666脱离,齿条668的长度增长,推动滑动件64往朝向侧壁59的方向移动,则将控制透光液体54从调节腔68流至屈光腔52的开关61打开。
类似地,本实施方式中,没有关联齿轮666的旋转角度与屈光部件50的屈光度数,用户将齿轮666旋转到视觉体验最佳的位置即可。当然,在其他的实施方式中,也可以关联齿轮666的旋转角度与屈光部件50的屈光度数。在此,不对齿轮666的旋转角度与屈光部件50的屈光度数是否关联进行限定
请参阅图7,驱动部件66包括驱动电机669,驱动电机669的电机轴6691连接滑动件64,驱动电机669用于驱动滑动件64相对于腔体62滑动。
如此,实现通过驱动电机668驱动滑动件64。具体地,驱动电机669可为线性电机。线性电机结构简单,不需要经过中间转换机构而直接产生直线运动,可以减小运动惯量并提高动态响应性能和定位精度。通过驱动电机668驱动滑动件64,使得对滑动件64的驱动具有可编辑性。例如,可以通过事先的校准,将驱动电机668与屈光的度数关联起来。用户可以直接输入屈光的度数,驱动电机668自动运转驱动滑动件64滑动到对应的位置。
进一步地,驱动部件66还可以包括输入器6692,输入器6692包括但不限于按键、旋钮或触摸屏等装置。在图7的示例中,输入器6692为按键,两个按键分别设置在腔体62的相对两侧。按键可自外壳20露出,以方便用户按压。按键可根据外力按压的次数或时长控制驱动电机669的工作时长,从而控制滑动件64的滑动距离。
类似地,在驱动电机669工作的同时,开关61可对应地打开。如此,使得透光液体54可以流动,保证侧壁59两侧的压强平衡。
在一个例子中,用户按压两个按键中的一个按键,驱动电机轴6691伸长,电机轴6691推动滑动件64往朝向侧壁59的方向移动,则将控制透光液体54从调节腔68流至屈光腔52的开关61打开。
在另一个例子中,用户按压两个按键中的另一个按键,驱动电机轴6691缩短,电机轴6691拉动滑动件64往背离侧壁59的方向移动,则将控制透光液体54从屈光腔52流至调节腔68的开关61打开。
需要注意的是,屈光部件50的结构不仅包括以上的屈光腔52、透光液体54、第一膜层56、第二膜层58和侧壁59,只要保证屈光部件50可以实现屈光度的改变的效果即可。例如,在其他方式中,屈光部件50包括多个镜片和驱动件,驱动件用于驱动每个镜片从收容位置移动到屈光位置。这样,即可通过多个镜片的组合,来改变屈光部件50的屈光度。当然,驱动件也可驱动移动到屈光位置上的每个镜片在屈光光轴上移动,从而改变屈光部件50的屈光度。
因此,以上所述的屈光部件的形态包括屈光部件的形状和状态,以上屈光腔52、透光液体54、第一膜层56、第二膜层58和侧壁59的结构方式通过改变第一膜层56和/或第二膜层58的形状以实现屈光度的改变;以上多个镜片和驱动件的结构方式,通过改变镜片的状态以实现屈光度的改变。
综合以上,本申请实施方式提供了一种头戴设备100,其包括显示器40、屈光部件50和调节机构60。屈光部件50设置在显示器40一侧。调节机构60连接屈光部件50,调节机构60用于调节屈光部件50的形态以调节屈光部件50的屈光度。
本申请实施方式的头戴设备100,通过调节机构60调节屈光部件50的形态,以调节屈光部件50的屈光度,使得屈光不正的用户能够看清显示器40显示的图像,有利于提高用户体验。
而且,本申请实施方式的头戴设备100中,屈光部件50和调节机构60可线性矫正屈光度数,使每个不同屈光度数的人都可以灵活佩戴。同时,屈光部件50和调节机构60的体积较小,不影响头戴设备100的佩戴体验。用户不需要购买很多镜片,可以降低价格。
请参阅图8,本申请实施方式提供了一种头戴设备100的交互方法。交互方法包括:
步骤S15:采集第一瞳孔图像;
步骤S18:根据第一瞳孔图像确定第一眨眼频率;
步骤S19:在第一眨眼频率大于第一预设阈值的情况下,保存头戴设备100的显示器40显示的当前图像。
请参阅图9,本申请实施方式提供了一种头戴设备100的交互装置10。交互装置包括采集模块15、确定模块18和截屏模块19,采集模块15用于采集第一瞳孔图像;确定模块18用于根据第一瞳孔图像确定第一眨眼频率;截屏模块19用于在第一眨眼频率大于第一预设阈值的情况下,保存头戴设备100的显示器40显示的当前图像。
请参阅图10,本申请实施方式提供了一种头戴设备100。头戴设备100包括显示器40和处理器101,处理器101连接显示器40,处理器101用于采集第一瞳孔图像;及用于根据第一瞳孔图像确定第一眨眼频率;以及用于在第一眨眼频率大于第一预设阈值的情况下,保存显示器40显示的当前图像。
本申请实施方式的头戴设备100的交互方法、交互装置10和头戴设备100,根据采集的第一瞳孔图像确定第一眨眼频率,并在第一眨眼频率大于第一预设阈值的情况下,保存头戴设备100的显示器40显示的当前图像,可以简单方便地实现对头戴设备100的截屏,有利于提高用户体验。
具体地,头戴设备100可以为电子眼镜、电子头盔、头戴式耳机等电子装置。头戴设备100还可以为电子设备或智能手表的头戴式设备(head mount display,HMD)。在此不对头戴设备100的具体形式进行限定。
请注意,为方便说明,本申请实施方式以头戴设备100是电子眼镜为例对本申请实施方式的头戴设备100的交互方法进行解释。这并不代表对头戴设备100的具体形式进行限定。
请参阅图1和图2,头戴设备100可包括采集设备110,采集设备110用于采集用户的眼睛200的第一瞳孔图像。采集设备110的数量可以为1个、2个、3个、4个或其他数量。在此不对采集设备110的具体数量进行限定。进一步地,采集设备110可为相机。更进一步地,采集设备110包括但不限于彩色相机、黑白相机、深度相机、红外相机等。
在步骤S15中,第一瞳孔图像的数量可为一个或多个。可以理解,眨眼时,眼睛一开一闭。眼睛完全睁开时,拍摄到的瞳孔面积最大。眼睛完全闭合时,无法拍摄到瞳孔。眼睛在打开到闭合的过程中,拍摄到的瞳孔的面积由大变小再变无。眼睛在闭合到打开的过程中,拍摄到的瞳孔的面积由无变大至最大。基于此,在步骤S18中,可以根据采集到的第一瞳孔图像确定眼睛的状态,从而确定第一眨眼频率。
在步骤S19中,可在保存显示器40显示的当前图像作为截屏图像时,通过头戴设备100的电声元件、显示器40或振动元件提示截屏成功的信息。在一个例子中,在截屏成功的情况下,扬声器播报:“截屏成功!”;在另一个例子中,在截屏成功的情况下,显示器40显示:“截屏成功!”;在又一个例子中,在截屏成功的情况下,振动传感器震动。
请注意,由于用户眨眼需要时间,因此,在本实施方式中,当前图像是指,用户眨眼过程中首次闭眼时,显示器40所显示的图像。可以理解,在视频播放、视频通话、动图展示等应用中,显示器40显示的画面变化较快,将用户眨眼过程中首次闭眼时显示器40所显示的图像保存为截屏图像,可以使得用户截屏更加精准,有利于提高用户体验。
另外,在本实施方式中,头戴设备100基于增强现实技术(Augmented Reality,简称AR)。AR技术是一种实时计算摄影机影像位置及角度并加上相应图像、视频、3D模型的技术,其目标是在显示器上把虚拟世界套在现实世界并进行互动。
头戴设备100作为新型的人机交互接口和仿真工具,基于人机交互技术,利用摄像头、传感器采集数据,并对采集到的数据进行实时计算和匹配算法,从而将真实的环境和虚拟的物体实时叠加到同一个画面或空间进行显示。
具体地,头戴设备100还可包括摄像头1001、传感器1002、头部跟踪设备1003和交互设备1004。摄像头1001和传感器1002采集真实场景的视频或者图像,并将采集到的传入后台的处理器101以使处理器101对其进行分析和重构。处理器101结合头部跟踪设备1003的数据来分析虚拟场景和真实场景的相对位置,实现坐标系的对齐并进行虚拟场景的融合计算。交互设备1004采集外部控制信号,实现对虚实结合场景的交互操作。系统融合后的信息会实时地显示在显示器40中,从而展现在人的视野中。
进一步地,摄像头1001包括但不限于深度摄像头、彩色摄像头、黑白摄像头。深度传感器可用于获取深度信息和进行手势识别。彩色摄像头可用于获取当前环境的真实信息,例如拍照、视频等。
传感器1002包括但不限于环境传感器、截屏传感器。环境传感器可用于获取当前位置的空间特征。环境传感器例如陀螺仪、加速度计、光线传感器、接近传感器等。处理器101可根据截屏传感器的输出数据确定触发次数,从而确定是否截屏。截屏传感器例如压电传感器、指纹传感器、接近传感器等。
屈光部件50可作为镜片。人眼可以透过屈光部件50看到现实世界的图像,显示器40可投射虚拟世界的图像,从而使得人眼看到虚拟世界与现实世界叠加后的图像。请注意,在本实施方式中,保存头戴设备100的显示器40显示的当前图像,是指保存虚拟世界与现实世界叠加后的图像。可以理解,在其他的实施方式中,也可以仅保存虚拟世界的图像,或仅保存现实世界的图像。
可以理解,在其他的实施方式中,头戴设备100可基于虚拟现实技术(VirtualReality,VR)。
另外,头戴设备100还可用于与显示终端连接,以使显示终端显示的内容投影到头戴设备的显示器40上。用户佩戴头戴设备100后,可通过手指的点击、拖动来控制虚拟物体、功能菜单界面。显示终端包括但不限于手机、平板、电视、电脑、投影仪等。
在一个例子中,请参阅图11,显示终端300为手机,头戴设备100与手机300连接,头戴设备100的显示器40投射手机300显示的内容以使用户看到。用户佩戴头戴设备100,从而通过显示器40观看到手机300显示的内容。用户为了将显示器40显示的内容截屏保存,可加快眨眼,头戴设备100采集用户的多个第一瞳孔图像,并根据多个第一瞳孔图像确定第一眨眼频率为2次/秒,而第一预设阈值为1次/秒,第一眨眼频率大于第一预设阈值,处理器101则保存显示器40显示的当前图像。截屏成功后,显示器40可投射截屏成功的界面以使用户看到。这样,用户无需把头戴设备100摘下,再操作手机300从而通过手机300截屏。可以简单方便地实现截屏,有利于提高用户体验。
请参阅图12,在某些实施方式中,交互方法包括:
步骤S16:根据第一瞳孔图像确定眨眼方式是否为单眼眨;并在眨眼方式为单眼眨的情况下,进入步骤S18;
步骤S17:在眨眼方式不为单眼眨的情况下,忽略第一瞳孔图像。
在某些实施方式中,处理器101用于根据第一瞳孔图像确定眨眼方式;及用于在眨眼方式为单眼眨的情况下,进入根据第一瞳孔图像确定第一眨眼频率的步骤;以及用于在眨眼方式为双眼眨的情况下,忽略第一瞳孔图像。
如此,可以防止误触发,提高截屏的准确率。可以理解,用户在不截屏时也会眨眼,而且,如果眼镜不舒服或者收到外界的影响,有可能快速眨眼导致第一眨眼频率大于第一预设阈值。这样就容易导致截屏的误触发。
而通常情况下,用户眨眼是双眼眨,单眼眨需要用户有意识地控制。因此,可以通过第一瞳孔图像确定眨眼方式是否为单眼眨,并在单眼眨的情况下,确定眨眼频率。这样,避免了截屏的误触发,提高了截屏的准确率。
请参阅图13,在一个例子中,用户佩戴头戴设备100,从而通过看到显示器40投射的虚拟小人与现实世界的路面融合的内容。用户为了将看到的内容截屏保存,单眼眨眼,头戴设备100采集用户的多个第一瞳孔图像,并根据多个第一瞳孔图像确定眨眼方式为单眼眨,于是根据第一瞳孔图像确定第一眨眼频率。确定的第一眨眼频率为2次/秒,而第一预设阈值为1次/秒,第一眨眼频率大于第一预设阈值,处理器101则保存用户看到的虚拟与现实融合的图像。截屏成功后,显示器40可投射截屏成功的界面以使用户看到。
请参阅图14,在另一个例子中,用户佩戴头戴设备100,从而通过看到显示器40投射的虚拟小人与现实世界的路面融合的内容。用户眼镜发痒,于是双眼快速眨动,头戴设备100采集用户的多个第一瞳孔图像,并根据多个第一瞳孔图像确定眨眼方式为双眼眨,于是忽略第一瞳孔图像。即使此时第一眨眼频率实际上大于第一预设阈值,处理器101也不会进行截屏。这样,避免了截屏的误触发。
进一步地,在其他的一些实施方式中,交互方法包括:根据第一瞳孔图像确定眨眼方式是否为右眼眨;并在眨眼方式为右眼眨的情况下,进入步骤S18;在眨眼方式不为右眼眨的情况下,忽略第一瞳孔图像。
在其他的另一些实施方式中,交互方法包括:根据第一瞳孔图像确定眨眼方式是否为左眼眨;并在眨眼方式为左眼眨的情况下,进入步骤S18;在眨眼方式不为左眼眨的情况下,忽略第一瞳孔图像。
这样,在特定的眼睛单眼眨的情况下,才进入步骤S18,可以进一步防止误触发,进一步提高截屏的准确率。
请参阅图15,在某些实施方式中,交互方法包括:
步骤S11:采集第二瞳孔图像;
步骤S12:根据第二瞳孔图像确定第二眨眼频率;
步骤S13:在第二眨眼频率大于第二预设阈值的情况下,控制头戴设备100提示第一提示信息,第一提示信息用于提示第一截屏方式,第二预设阈值大于第一预设阈值。
在某些实施方式中,处理器101用于采集第二瞳孔图像;及用于根据第二瞳孔图像确定第二眨眼频率;以及用于在第二眨眼频率大于第二预设阈值的情况下,控制头戴设备100提示第一提示信息,第一提示信息用于提示第一截屏方式,第二预设阈值大于第一预设阈值。
如此,实现在用户正常眨眼过快的情况下,对用户的截屏操作进行引导和提示。可以理解,当用户眼睛不舒服时,用户容易通过快速眨眼来缓解不适。然而如此,容易使得第一眨眼频率总是超过第一预设阈值,从而导致头戴设备100不断截屏。这既不符合用户的真实需求,也容易浪费能源。
本实施方式的交互方法,采集第二瞳孔图像,并根据第二瞳孔图像确定第二眨眼频率,可以确定用户在佩戴头戴设备100时,正常状态下,也即是不试图截屏的状态下,的眨眼频率。从而针对性地对用户进行提示,引导用户如何截屏,进而提高用户体验。具体地,第一截屏方式包括:放慢眨眼。
另外,可在用户佩戴头戴设备100的预设时间内,采集第二瞳孔图像。如此,实现对第二瞳孔图像的采集。可以理解,用户在刚佩戴头戴设备100时,一般不会进行截屏操作。因此,在用户佩戴头戴设备100的预设时间内,采集第二瞳孔图像,可以保证根据第二瞳孔图像确定的第二眨眼频率是用户在非截屏状态下的眨眼频率。
在本实施方式中,控制头戴设备100提示第一提示信息可以通过显示器40进行。当然,在其他的实施方式中,也可通过头戴设备100的声电元件提示第一提示信息。在此不对控制头戴设备100提示第一提示信息的具体方式进行限定。
请参阅图16,在一个例子中,用户在00:00:00佩戴头戴设备,在00:00:00-00:01的1s内,采集第二瞳孔图像并根据根据第二瞳孔图像确定第二眨眼频率,确定的第二眨眼频率为4次/秒,而第二预设阈值为3次/秒,第二眨眼频率大于第二预设阈值,则显示器40显示:“您的眨眼频率过快,如需截屏,请放慢眨眼。”十分钟后,在00:10:00,用户放慢眨眼频率,头戴设备100根据采集的第一瞳孔图像确定第一眨眼频率为2次/秒,处理器101则保存当前图像。
请参阅图17,在某些实施方式中,交互方法包括:
步骤S14:在第二眨眼频率小于第一预设阈值的情况下,控制头戴设备100提示第二提示信息,第二提示信息用于提示第二截屏方式。
在某些实施方式中,处理器101用于在第二眨眼频率小于第一预设阈值的情况下,控制头戴设备100提示第二提示信息,第二提示信息用于提示第二截屏方式。
如此,实现在用户正常眨眼或眨眼过慢的情况下,对用户的截屏操作进行引导和提示。可以理解,用户在不需要截屏的时候,正常的眨眼频率通常小于第一预设阈值。本实施方式的交互方法,在第二眨眼频率小于第一预设阈值的情况下,控制头戴设备100提示第二提示信息。从而引导用户如何截屏,有利于提高用户体验。
类似地,在本实施方式中,控制头戴设备100提示第二提示信息可以通过显示器40进行。当然,在其他的实施方式中,也可通过头戴设备100的声电元件提示第二提示信息。在此不对控制头戴设备100提示第二提示信息的具体方式进行限定。具体地,第二截屏方式包括:加快眨眼。
请参阅图18,在一个例子中,用户在零点佩戴头戴设备,在00:00:00-00:08的8s内,采集第二瞳孔图像并根据根据第二瞳孔图像确定第二眨眼频率,确定的第二眨眼频率为0.5次/秒,而第一预设阈值为1次/秒,第二眨眼频率小于第一预设阈值,则控制显示器40显示:“如需截屏,请加快眨眼。”十分钟后,在00:10:00,用户加快眨眼频率,头戴设备100根据采集的第一瞳孔图像确定第一眨眼频率为2次/秒,处理器101则保存当前图像。
请参阅图19,在某些实施方式中,步骤S19包括:
步骤S191:获取头戴设备100的截屏传感器120的输出数据;
步骤S192:根据输出数据确定截屏传感器120的触发次数;
步骤S193:在触发次数大于预设次数阈值的情况下,保存显示器40显示的当前图像。
在某些实施方式中,处理器101用于获取头戴设备100的截屏传感器120的输出数据;及用于根据输出数据确定截屏传感器120的触发次数;以及用于在触发次数大于预设次数阈值的情况下,保存显示器40显示的当前图像。
如此,实现通过截屏传感器120进行截屏,进一步防止误触发。可以理解,在本实施方式中,在第一眨眼频率大于第一预设阈值的情况下,头戴设备100进入待截屏状态,在截屏传感器120的触发次数大于预设次数阈值的情况下,则控制头戴设备100截屏。这样,通过第一眨眼频率和触发次数的双重机制进行截屏的控制,可以防止头戴设备100误截屏。
另外,由于用户在快速眨眼时,容易看不清楚显示器100显示的内容,在通过快速眨眼进入待截屏状态后,再通过截屏传感器120截屏,可以使得截屏更加准确,使用户方便、快速地截取到想要截取的内容,有利于提高用户体验。
请注意,由于用户多次触发截屏传感器120需要时间,因此,在本实施方式中,当前图像是指,用户首次触发截屏传感器120时,显示器40所显示的图像。可以理解,在视频播放、视频通话、动图展示等应用中,显示器40显示的画面变化较快,将用户首次触发截屏传感器120时显示器40所显示的图像保存为截屏图像,可以使得用户截屏更加精准,有利于提高用户体验。
在步骤S191中的截屏传感器120包括但不限于压电传感器、指纹传感器、接近传感器等。截屏传感器120可设置在头戴设备100的电源键、外壳20、第一支架32、第二支架34或弹性带36。在此不对截屏传感器120设置的具体位置进行限定。
压电传感器是利用某些电介质受力后产生的压电效应制成的传感器。压电效应是指某些电介质在受到某一方向的外力作用而发生形变(包括弯曲和伸缩形变)时,由于内部电荷的极化现象,会在电介质表面产生电荷的现象。因此,用户在进入待截屏状态后,需要截屏时,可按压压电传感器,以使处理器101通过压电传感器的输出数据确定用户的按压次数,也即是截屏传感器的触发次数,在触发次数大于预设次数阈值的情况下,保存显示器40显示的当前图像。
指纹传感器可以实现指纹的采集。用户在需要截屏时,可将手指放到指纹传感器,以使处理器101通过指纹传感器的输出数据确定用户的按压次数,也即是截屏传感器120的触发次数,在触发次数大于预设次数阈值的情况下,保存显示器40显示的当前图像。
可以理解,由于指纹传感器可采集指纹,因此,可以避免指纹传感器被其他物体撞击而引起的误触发。另外,用户还可预先通过指纹传感器录入截屏指纹,在进入待截屏状态后需要截屏时,将手指放到指纹传感器,处理器101根据指纹传感器的输出数据确定当前指纹并判断当前指纹与截屏指纹是否匹配,在当前指纹与截屏指纹匹配的情况下,确定指纹传感器被触发一次;在当前指纹与截屏指纹不匹配的情况下,忽略当前指纹。这样,保证只有预先录入了截屏指纹的用户可以截屏,阻止了不具有权限的人截屏,进一步提高了头戴设备100的安全性。
接近传感器可检测是否有物体接近。因此,用户在进入待截屏状态后,需要截屏时,可接近接近传感器,以使处理器101通过接近传感器的输出数据确定用户的接近次数,也即是截屏传感器的触发次数,在触发次数大于预设次数阈值的情况下,保存显示器40显示的当前图像。
在步骤S193中,预设次数阈值可以为0次、1次、2次、3次或其他数值。在此不对预设次数阈值的具体数值进行限定。
请参阅图20,在一个例子中,截屏传感器120为压电传感器,在00:00:00-00:00:01的1秒内,用户眨眼2次,头戴设备100采集用户的多个第一瞳孔图像,并根据多个第一瞳孔图像确定第一眨眼频率为2次/秒,而第一预设阈值为1次/秒,第一眨眼频率大于第一预设阈值,头戴设备100进入待截屏状态。在待截屏状态中,用户按压截屏传感器120,处理器101根据截屏传感器120的输出数据确定截屏传感器120的触发次数为1次,而预设次数阈值为0次,因此,确定触发次数大于预设次数阈值,处理器101保存当前图像。
当然,在其他的实施方式中,也可以不通过加快眨眼进入待截屏状态,可以直接通过截屏传感器120进行截屏。
请参阅图21,在某些实施方式中,步骤S19包括:
步骤S194:采集手势图像;
步骤S195:根据手势图像确定手势动作;
步骤S196:在手势动作与预设截屏动作匹配的情况下,保持头戴设备的显示器显示的当前图像。
如此,实现通过手势进行截屏,进一步防止误触发。可以理解,在本实施方式中,在第一眨眼频率大于第一预设阈值的情况下,头戴设备100进入待截屏状态,在手势动作与预设截屏动作匹配的情况下,则控制头戴设备100截屏。这样,通过第一眨眼频率和手势动作的双重机制进行截屏的控制,可以防止头戴设备100误截屏。
另外,由于用户在快速眨眼时,容易看不清楚显示器100显示的内容,在通过快速眨眼进入待截屏状态后,再通过手势动作截屏,可以使得截屏更加准确,使用户方便、快速地截取到想要截取的内容,有利于提高用户体验。
在本实施方式中,手势图像可通过摄像头1002采集。预设截屏动作为三指下滑。可以理解,在其他的实施方式中,预设截屏动作包括一指下滑、一指上滑、一指左滑、一指右滑、两指下滑、两指上滑、两指左滑、两指右滑、三指上滑、三指左滑、三指右滑、四指下滑、四指上滑、四指左滑、四指右滑、五指下滑、五指上滑、五指左滑、五指右滑、画圆、画方、画三角中的至少一个。在此不对预设截屏动作的具体形式进行限定。
请参阅图22,在一个例子中,在00:00:00-00:00:01的1秒内,用户眨眼2次,头戴设备100采集用户的多个第一瞳孔图像,并根据多个第一瞳孔图像确定第一眨眼频率为2次/秒,而第一预设阈值为1次/秒,第一眨眼频率大于第一预设阈值,头戴设备100进入待截屏状态。在待截屏状态中,用户三指下滑,处理器101通过深度摄像头的输出数据确定手势图像为三指下滑,与预设截屏动作匹配,处理器101则保存当前图像。可以理解,深度摄像头在暗光环境或夜晚环境对手势图像的采集效果较好,有利于提高截屏的准确率。
当然,在其他的实施方式中,也可以不通过加快眨眼进入待截屏状态,可以直接通过手势动作进行截屏。
请参阅图23,在某些实施方式中,步骤S15包括:
步骤S152:通过头戴设备100的红外相机采集红外图像;
步骤S154:处理红外图像以得到第一瞳孔图像;
交互方法包括:
步骤S156:根据红外图像确定红外图像的被摄物是否为活体;并在被摄物为活体的情况下,进入步骤S18;
步骤S158:在被摄物不为活体的情况下,忽略第一瞳孔图像。
在某些实施方式中,处理器101用于通过头戴设备100的红外相机采集红外图像;及用于处理红外图像以得到第一瞳孔图像;及用于根据红外图像确定红外图像的被摄物是否为活体;及用于在被摄物为活体的情况下,进入根据第一瞳孔图像确定第一眨眼频率的步骤;以及用于在被摄物不为活体的情况下,忽略第一瞳孔图像。
如此,实现截屏的活体检测。可以理解,由于角膜对红外光线的反射现象,红外相机拍摄的红外图像,在瞳孔区域会出现“耀点”现象,因此,可借助该现象来完成截屏的活体检测,从而提升截屏的防攻击能力。这样,可避免被图片、视频或面具等伪造的瞳孔图像对头戴设备100进行截屏。
具体地,红外摄像头可包括红外投射器和红外接收器,红外投射器用于发反射红外线,红外接收器用于采集用户的眼部的红外图像。可以理解,红外投射器主动打光方式可以获取亮度更加稳定的红外图像,可以避免暗光情况下彩色摄像头采集到的瞳孔图像质量太差的问题,有利于提升截屏的成功率。
请参阅图10,本申请实施方式提供了一种头戴设备100。头戴设备100包括处理器处理器101和存储器102。存储器102存储有一个或多个程序,程序被处理器处理器101执行时实现上述任一实施方式的头戴设备100的交互方法。
例如执行:步骤S15:采集第一瞳孔图像;步骤S18:根据第一瞳孔图像确定第一眨眼频率;步骤S19:在第一眨眼频率大于第一预设阈值的情况下,保存头戴设备的显示器显示的当前图像。
本申请实施方式还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当计算机可执行指令被一个或多个处理器处理器101执行时,使得处理器处理器101执行上述任一实施方式的交互方法。
本申请实施方式的头戴设备100和计算机可读存储介质,根据采集的第一瞳孔图像确定第一眨眼频率,并在第一眨眼频率大于第一预设阈值的情况下,保存头戴设备100的显示器40显示的当前图像,可以简单方便地实现对头戴设备100的截屏,有利于提高用户体验。
本领域技术人员可以理解,图中示出的结构,仅仅是与本申请方案相关的部分结构的示意图,并不构成对本申请方案所应用于其上的头戴设备100的限定,具体的头戴设备100可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一非易失性计算机可读存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种头戴设备的交互方法,其特征在于,所述交互方法包括:
采集第一瞳孔图像;
根据所述第一瞳孔图像,确定第一眨眼频率;
响应于所述第一眨眼频率满足第一预设阈值,采集手势图像;
根据所述手势图像,确定手势动作;
响应于所述手势动作与预设截屏动作匹配,保存所述头戴设备的显示器显示的当前图像。
2.根据权利要求1所述的头戴设备的交互方法,其特征在于,所述交互方法包括:
根据所述第一瞳孔图像,确定眨眼方式为单眼眨;
在所述眨眼方式为单眼眨的情况下,进入所述根据所述第一瞳孔图像确定第一眨眼频率的步骤。
3.根据权利要求1所述的头戴设备的交互方法,其特征在于,所述交互方法包括:
采集第二瞳孔图像;
根据所述第二瞳孔图像确定第二眨眼频率;
响应于所述第二眨眼频率大于第二预设阈值,控制所述头戴设备提示第一提示信息,所述第一提示信息用于提示第一截屏方式,所述第二预设阈值与所述第一预设阈值不同。
4.根据权利要求3所述的头戴设备的交互方法,其特征在于,所述交互方法包括:
响应于所述第二眨眼频率小于所述第一预设阈值,控制所述头戴设备提示第二提示信息,所述第二提示信息用于提示第二截屏方式。
5.根据权利要求1所述的头戴设备的交互方法,其特征在于,保存所述头戴设备的显示器显示的当前图像,包括:
获取所述头戴设备的截屏传感器的输出数据;
根据所述输出数据确定所述截屏传感器的触发次数;
在所述触发次数大于预设次数阈值的情况下,保存所述显示器显示的当前图像。
6.根据权利要求1所述的头戴设备的交互方法,其特征在于,采集第一瞳孔图像,包括:
通过所述头戴设备的红外相机采集红外图像;
处理所述红外图像以得到所述第一瞳孔图像;
所述交互方法包括:
根据所述红外图像确定所述红外图像的被摄物是否为活体;
在所述被摄物为活体的情况下,进入所述根据所述第一瞳孔图像确定第一眨眼频率的步骤;
在所述被摄物不为活体的情况下,忽略所述第一瞳孔图像。
7.一种头戴设备的交互装置,其特征在于,所述交互装置包括采集模块、确定模块和截屏模块,所述采集模块用于采集第一瞳孔图像;所述确定模块用于根据所述第一瞳孔图像,确定第一眨眼频率;所述截屏模块用于响应所述第一眨眼频率满足第一预设阈值,采集手势图像;及用于根据所述手势图像,确定手势动作;以及用于响应于所述手势动作与预设截屏动作匹配,保存所述头戴设备的显示器显示的当前图像。
8.一种头戴设备,其特征在于,所述头戴设备包括显示器和处理器,所述处理器连接所述显示器,所述处理器用于采集第一瞳孔图像;及用于根据所述第一瞳孔图像确定第一眨眼频率;以及用于响应于所述第一眨眼频率满足第一预设阈值,采集手势图像;及用于根据所述手势图像,确定手势动作;以及用于响应于所述手势动作与预设截屏动作匹配保存所述显示器显示的当前图像。
9.根据权利要求8所述的头戴设备,其特征在于,所述处理器用于根据所述第一瞳孔图像确定眨眼方式为单眼眨;及用于在所述眨眼方式为单眼眨的情况下,进入所述根据所述第一瞳孔图像确定第一眨眼频率的步骤。
10.根据权利要求8所述的头戴设备,其特征在于,所述处理器用于采集第二瞳孔图像;及用于根据所述第二瞳孔图像确定第二眨眼频率;以及用于响应于所述第二眨眼频率大于第二预设阈值,控制所述头戴设备提示第一提示信息,所述第一提示信息用于提示第一截屏方式,所述第二预设阈值与所述第一预设阈值不同。
11.根据权利要求10所述的头戴设备,其特征在于,所述处理器用于响应于所述第二眨眼频率小于所述第一预设阈值,控制所述头戴设备提示第二提示信息,所述第二提示信息用于提示第二截屏方式。
12.根据权利要求8所述的头戴设备,其特征在于,所述处理器用于获取所述头戴设备的截屏传感器的输出数据;及用于根据所述输出数据确定所述截屏传感器的触发次数;以及用于在所述触发次数大于预设次数阈值的情况下,保存所述显示器显示的当前图像。
13.根据权利要求8所述的头戴设备,其特征在于,所述处理器用于通过所述头戴设备的红外相机采集红外图像;及用于处理所述红外图像以得到所述第一瞳孔图像;及用于根据所述红外图像确定所述红外图像的被摄物是否为活体;及用于在所述被摄物为活体的情况下,进入所述根据所述第一瞳孔图像确定第一眨眼频率的步骤;以及用于在所述被摄物不为活体的情况下,忽略所述第一瞳孔图像。
14.一种头戴设备,其特征在于,所述头戴设备包括存储器和处理器,所述存储器存储有一个或多个程序,所述程序被所述处理器执行时实现权利要求1-6中任一项所述的头戴设备的交互方法。
15.一种包含计算机可执行指令的非易失性计算机可读存储介质,其特征在于,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行权利要求1-6中任一项所述的头戴设备的交互方法。
CN202211160461.6A 2019-06-26 2019-06-26 交互方法、交互装置、头戴设备和存储介质 Pending CN115469748A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211160461.6A CN115469748A (zh) 2019-06-26 2019-06-26 交互方法、交互装置、头戴设备和存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211160461.6A CN115469748A (zh) 2019-06-26 2019-06-26 交互方法、交互装置、头戴设备和存储介质
CN201910560181.6A CN110275620B (zh) 2019-06-26 2019-06-26 交互方法、交互装置、头戴设备和存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910560181.6A Division CN110275620B (zh) 2019-06-26 2019-06-26 交互方法、交互装置、头戴设备和存储介质

Publications (1)

Publication Number Publication Date
CN115469748A true CN115469748A (zh) 2022-12-13

Family

ID=67963273

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211160461.6A Pending CN115469748A (zh) 2019-06-26 2019-06-26 交互方法、交互装置、头戴设备和存储介质
CN201910560181.6A Active CN110275620B (zh) 2019-06-26 2019-06-26 交互方法、交互装置、头戴设备和存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910560181.6A Active CN110275620B (zh) 2019-06-26 2019-06-26 交互方法、交互装置、头戴设备和存储介质

Country Status (1)

Country Link
CN (2) CN115469748A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113262478B (zh) * 2020-02-17 2023-08-25 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备
CN111736691A (zh) * 2020-06-01 2020-10-02 Oppo广东移动通信有限公司 头戴显示设备的交互方法、装置、终端设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105892635A (zh) * 2015-11-18 2016-08-24 乐视网信息技术(北京)股份有限公司 截图实现方法、装置及电子设备
CN106293395A (zh) * 2016-08-03 2017-01-04 深圳市金立通信设备有限公司 一种虚拟现实眼镜及其界面交互方法
CN106371591B (zh) * 2016-08-30 2019-06-25 四川苏格通讯技术有限公司 一种信息处理方法及终端
CN106527710A (zh) * 2016-11-07 2017-03-22 三星电子(中国)研发中心 虚拟现实交互方法及装置
CN106775424A (zh) * 2017-01-13 2017-05-31 维沃移动通信有限公司 一种截屏处理方法及移动终端
CN106886290A (zh) * 2017-04-08 2017-06-23 闲客智能(深圳)科技有限公司 一种眼动控制方法及装置
CN109086726B (zh) * 2018-08-10 2020-01-14 陈涛 一种基于ar智能眼镜的局部图像识别方法及系统
CN109523462A (zh) * 2018-11-14 2019-03-26 北京奇艺世纪科技有限公司 一种vr视频截屏图像的获取方法及装置

Also Published As

Publication number Publication date
CN110275620A (zh) 2019-09-24
CN110275620B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
US11917126B2 (en) Systems and methods for eye tracking in virtual reality and augmented reality applications
CN108170279B (zh) 头显设备的眼动和头动交互方法
US10133407B2 (en) Display apparatus, display system, method for controlling display apparatus, and program
US9886111B2 (en) Wearable electronic apparatus and acquisition control method
US11320655B2 (en) Graphic interface for real-time vision enhancement
JP5073013B2 (ja) 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
KR20180096434A (ko) 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
US20150138064A1 (en) Systems and Methods for Performing Multi-Touch Operations on a Head-Mountable Device
CN104216118A (zh) 具有远程控制件的头部安装式显示器
CN110398840B (zh) 调整光心距离的方法、头戴设备和存储介质
CN108421252B (zh) 一种基于ar设备的游戏实现方法和ar设备
JP2017102768A (ja) 情報処理装置、表示装置、情報処理方法、及び、プログラム
US11487354B2 (en) Information processing apparatus, information processing method, and program
EP3979046A1 (en) Control method, control device, electronic device and storage medium
KR102110208B1 (ko) 안경형 단말기 및 이의 제어방법
CN111970456B (zh) 拍摄控制方法、装置、设备及存储介质
JP2016177658A (ja) 仮想入力装置、入力方法、およびプログラム
WO2020259127A1 (zh) 注册方法、注册装置、头戴设备和存储介质
US11947728B2 (en) Electronic device for executing function based on hand gesture and method for operating thereof
CN110275620B (zh) 交互方法、交互装置、头戴设备和存储介质
CN112071311A (zh) 控制方法、控制装置、穿戴设备和存储介质
CN112255800A (zh) 图像显示的控制方法及增强现实设备、装置、计算机可读存储介质
US11361735B1 (en) Head-mountable device with output for distinguishing virtual and physical objects
CN112083796A (zh) 控制方法、头戴设备、移动终端和控制系统
CN114895790A (zh) 一种人机交互方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination