CN105138118A - 实现人机交互的智能眼镜、方法以及移动终端 - Google Patents
实现人机交互的智能眼镜、方法以及移动终端 Download PDFInfo
- Publication number
- CN105138118A CN105138118A CN201510465886.1A CN201510465886A CN105138118A CN 105138118 A CN105138118 A CN 105138118A CN 201510465886 A CN201510465886 A CN 201510465886A CN 105138118 A CN105138118 A CN 105138118A
- Authority
- CN
- China
- Prior art keywords
- user
- action
- focusing
- mobile terminal
- intelligent glasses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种实现人机交互的智能眼镜、方法和移动终端,所述方法包括:聚焦识别模式下检测用户眼球聚焦动作,依据所述聚焦动作确定聚焦位置;将所述聚焦位置发送至移动终端以确定所述聚焦位置上的对应图标;识别用户的眼球动作,依据预设对应关系表,确定所述眼球动作对应的控制信息;将所述控制信息发送至移动终端,指示所述移动终端依据所述控制信息对所述图标关联的程序进行对应操作。采用本发明能够通过检测用户的聚焦动作和眼球动作实现人机交互,而无需用户进行相应的手动操作,无需物理按键或触摸动作,更为方便和智能,提高了用户体验。
Description
技术领域
本发明涉及智能眼镜技术领域,更具体的涉及一种实现人机交互的智能眼镜、方法以及移动终端。
背景技术
目前智能穿戴设备不断发展,已经有谷歌眼镜、苹果手表等智能设备相继问世,针对智能眼镜方面,现在已经可以实现摄像、拍照、导航定位等功能,眼镜主要作为一个信号采集装置,将搜集或者识别到的信号通过无线或者蓝牙技术传输给移动终端进行处理,但是,现有技术中并未涉及通过智能眼镜实现移动终端与用户间人机交互的应用,因此,如何基于智能眼镜实现用户至移动终端间的人机交互,是一个值得研究的问题
因此有必要提供一种实现人机交互的智能眼镜、方法以及移动终端,能够基于智能眼镜实现智能而快速的人机交互。
发明内容
本发明的主要目的在于提出一种实现人机交互的智能眼镜、方法以及移动终端,旨在解决现有技术中无法基于智能眼镜实现人机交互的问题。
为实现上述目的,本发明提供一种实现人机交互的智能眼镜,包括智能眼镜本体,其特征在于,所述智能眼镜还包括:
检测模块,用于在聚焦识别模式下检测用户眼球聚焦动作,依据所述聚焦动作确定聚焦位置;
数据传输模块,用于将所述聚焦位置发送至移动终端以确定所述聚焦位置上的对应图标;
识别模块,用于识别用户的眼球动作,依据预设对应关系,确定所述眼球动作对应的控制信息;以及
所述数据传输模块还用于将所述控制信息发送至所述移动终端,指示所述移动终端依据所述控制信息对所述对应图标关联的程序进行相应操作。
优选的,所述智能眼镜还包括:
触发模块,用于当检测到用户眼球发生触发动作时,开启所述聚焦识别模式。
优选的,所述智能眼镜还包括:
关闭模块,当检测到用户眼球发生关闭动作时,关闭所述聚焦识别模式。
优选的,所述检测模块包括:
检测单元,用于在聚焦识别模式下检测用户眼球聚焦动作;
判断单元,用于依据所述聚焦动作持续时间与预设时间的大小关系,判定所述聚焦动作为的有效性;
定位单元,用于当所述聚焦动作为有效动作时,依据所述聚焦动作确定聚焦位置。
此外,为实现上述目的,本发明还提出一种实现人机交互的方法,所述方法包括:
聚焦识别模式下检测用户眼球聚焦动作,依据所述聚焦动作确定聚焦位置;
将所述聚焦位置发送至移动终端以确定所述聚焦位置上的对应图标;
识别用户的眼球动作,依据预设对应关系,确定所述眼球动作对应的控制信息;以及
将所述控制信息发送至所述移动终端,指示所述移动终端依据所述控制信息对所述图标关联的程序进行对应操作。
优选的,在所述聚焦识别模式下检测用户眼球聚焦动作,依据所述聚焦动作确定聚焦位置的步骤之前,所述方法还包括:
当检测到用户眼球发生触发动作时,开启所述聚焦识别模式。
优选的,其特征在于,所述方法还包括:
当检测到用户眼球发生关闭动作时,关闭所述聚焦识别模式。
优选的,所述聚焦识别模式下检测用户眼球聚焦动作球聚焦动作,依据所述聚焦动作确定聚焦位置包括:
在聚焦识别模式下检测用户眼球聚焦动作;
判定所述聚焦动作持续时间是否大于或等于预设时间,若是,则判定所述聚焦动作为有效动作;
依据所述聚焦动作确定聚焦位置。
此外,为实现上述目的,本发明还提出一种实现人机交互的移动终端,所述移动终端包括:
反馈模块,用于接受智能眼镜发送的聚焦位置,依据所述聚焦位置确定移动终端上的对应图标并反馈回所述智能眼镜;
控制模块,用于接收所述智能眼镜发送的控制信息,依据所述控制信息对所述图标关联的程序进行相应操作。
本发明提出的实现人机交互的智能眼镜、方法以及移动终端,通过检测聚焦识别模式下用户眼球的聚焦动作以确定聚焦位置以及移动终端该位置上对应的图标,识别用户眼球动作,依据预设的对应关系,确定用户眼球动作对应的控制信息,依据所述控制信息实现对移动终端上与该对应图标关联的程序的进行相应操作。通过检测用户的实时聚焦动作和眼球动作实现人机交互,而无需用户进行相应的手动操作,用户仅仅需要通过眼睛即可实现对移动终端的控制,无需物理按键或触摸动作,更为方便和智能,提高了用户体验。
附图说明
图1为本发明第一实施例中实现人机交互的智能眼镜的结构框图;
图2为本发明第五实施例实现人机交互的移动终端第一实施例的结构框图;
图3为本发明第六实施例提供的实现人机交互的方法的流程图;
图4为本发明第七实施例提供的实现人机交互的方法的流程图;
图5为本发明第八实施例提供的实现人机交互的方法的流程图;
图6为本发明第九实施例提供的实现人机交互的方法的流程图;
图7为本发明实施例提供的实现人机交互的方法及装置中眼球成像的示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
现在将参考附图描述实现本发明各个实施例的智能保护套。在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身并没有特定的意义,因此,"模块"与"部件"可以混合地使用。
需要说明的是,本发明对智能眼镜的形状、大小、以及组成智能眼镜的基本电路和功能模块不做详细说明,上述部分可以根据实际设计而定,本发明仅对智能眼镜实现人机交互所需的功能模块进行阐述和说明,对于未提及的部分,均认为包括在智能眼镜本体中。
需要说明的是,本发明对移动终端的类型以及具体的基本部分如处理器以及各功能模块不做限制和具体说明,上述部分可以根据实际设计而定,本发明仅对移动终端基于智能眼镜实现人机交互所需的功能模块进行阐述和说明。移动终端可以为移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)或导航装置等。
如图1所示,本发明第一实施例提出一种实现人机交互的智能眼镜。在本实施例中,所述智能眼镜100包括智能眼镜本体11、检测模块12、数据传输13和识别模块14。其中,智能眼镜本体11包括眼镜框、眼镜片、处理器以及其他组成智能眼镜所需的必要部件,本发明对此不做具体限制。检测模块12、数据传输13和识别模块14均为位于智能眼镜100存储器(未示出)内的可执行程序,由智能眼镜100处理器(未示出)执行以实现相应的功能。
检测模块12,用于在聚焦识别模式下检测用户眼球聚焦动作,依据所述聚焦动作确定聚焦位置。
具体的,聚焦识别模式开启后,检测模块12检测用户眼球聚焦动作,确定双眼聚焦点,由此得到聚焦位置。同时,可以依据不同的用户以及终端处理精度设定聚焦动作的有效性的判定以提高聚焦精度,可以通过检测眼球聚焦在该点的时间长短来判断其有效性,例如,不小于预设时间t1,则认为其有效。预设时间t1的设置满足终端处理精度要求,同时符合用户眼镜使用习惯即可。
请同时参照图7,为本发明实施例提供的实现人机交互的装置中眼球成像的示意图。人眼成像是利用视网膜成像,与凸透镜成像原理图类似,视网膜相当于凸透镜功能,而人眼焦距在40-45mm,所以一般人眼看到的物体距离人眼眼球都大于2倍的人眼焦距,即凸透镜原理中,物距大于两倍焦距,因此人眼成倒立缩小的实相。而人的每一个眼睛都有单独聚焦和成像功能,现实生活中,对于双眼正常的人来说,当看到某一个物体时,都是双眼同时看到一个物体,即双眼聚焦点都在当前看到这个物体上,因此利用双眼聚焦特性,当人双眼同时看到某一物体时,这一物体会在两个眼睛中成像,此时物体成像的所有光线都会经过智能眼镜之后传送给眼睛,这个过程中,检测模块12可以通过如下两种方案检测用户眼球聚焦动作获取以确定聚焦位置:
方案一:直接将识别到的眼睛成像的图像信息进行分析比对,两个图像信息匹配成功(可以定义两个图片80%相似度为同一图片信息),表明眼睛完成此图像对应的物体(对应移动终端屏幕上的图标或者应用)的聚焦,同时将识别到的图像信息与移动终端屏幕上图像信息进行比对,匹配成功后,获取该区域图像位置,完成聚焦位置的确定。
方案二:移动终端利用指南针和加速度陀螺仪等传感器建立空间坐标信息获取,眼镜利用凸(凹)透镜光学成像原理建立成像位置信息函数,通过眼镜识别到的双眼聚焦光线交叉点,利用光学成像函数计算出聚焦点的具体位置,同时换算成坐标信息,发送给移动终端,移动终端将此信息与自身建立的坐标信息进行比对,从而定位出眼球聚焦的坐标位置,完成聚焦位置的确定。此外,也可以将移动终端建立的空间坐标信息内置于智能眼镜的存储器重,则智能眼镜无需与移动终端进行信息交互即可直接确定聚焦位置。
进一步地,因为人的每一个眼睛都有单独聚焦和成像功能,因此,事实上,仅通过单眼也可以确定聚焦位置,即存在又一方案可确定聚焦位置:
方案三:识别任意眼球上(左眼或右眼)形成的成像图像,确认所述图像清晰度是否达到预设标准,若是则表明当前用户已经聚焦完成,将识别到的图像信息与移动终端屏幕上图像信息进行比对,匹配成功后,获取该区域图像位置,完成聚焦位置的确定。需要说明的是,此处预设标准可以依据用户眼球参数(如单眼瞳距等)以及实际测定设定,该预设标准以人眼正常聚焦时所能看到的最低清晰度为最低标准。
可以理解的是,上述确定聚焦位置的方案仅为优选方案之一而并不限制本发明的实施。在实际应用中,也可以使用其他眼球追踪技术以确定聚焦位置。而当仅通过单眼即可确定聚焦位置时,则其应用范围更广,用户在使用时也可以避免双眼疲劳,因此,通过单眼确定聚焦为第一优选。
数据传输模块13,用于将所述聚焦位置发送至移动终端以确定所述聚焦位置上的对应图标。
具体的,数据传输模块13将确定的聚焦位置发送给移动终端后,移动终端确认该位置上的对应图标,并将该信息反馈给数据传输模块13。
识别模块14,用于识别用户的眼球动作,依据预设对应关系,确定所述眼球动作对应的控制信息。
具体的,识别模块14识别用户的眼球动作,所述眼球动作主要指眨眼动作。用户可以预设对应关系表记录不同的预设对应关系,用以定义不同眨眼动作与控制信息之间的关系。例如,可以定义双眼同时眨眼一次或单眼眨眼对应选择指令(相当于鼠标左键单击操作或触摸选定操作),定义双眼同时眨眼两次为打开指令/或进入下一目录(如文件夹图标)等等。同时,检测眼球眨眼动作,如双眼同时眨眼一次、双眼同时眨眼两次、左、右眼眨眼一次等动作,也可以分别对每次眼皮闭合时间长度进行定义,例如眼睛完成一次眨眼,眼皮闭合的时间长度不小于预设时间t2则认为其为正常操作而非误操作(无效眨眼)。预设时间t2可以根据人眼眨眼习惯和终端识别精度来确定。对于连续眨眼动作之间,眨眼间隔长度判断,也可以依据用户习惯以及终端精度确定一个时间长度如t3。
进一步的,所述数据传输模块15还用于将所述控制信息发送至移动终端,指示所述移动终端依据所述控制信息对所述对应图标关联的程序进行相应操作。
具体的,确定控制信息后,由数据传输模块15将该控制信息传送至移动终端,由移动终端根据控制信息对所述对应图片关联的程序进行相应的操作。如,选定指令对应高亮显示,打开指令对应显示下一目录等等。
需要说明的是,在本发明各实施例中,数据传输模块13为无线通信模,优选的,无线通信模块为蓝牙模块或WIFI模块,此时,智能眼镜100可以通过WIFI或蓝牙实现与移动终端的通信。
本实施例提出的实现人机交互的智能眼镜,通过检测模块在聚焦识别模式下检测用户眼球的聚焦动作以确定聚焦位置,经数据传输模块传输移动终端后得到该聚焦位置上对应的图标,同时识别模块识别用户眼球动作,依据预设的对应关系,确定用户眼球动作对应的控制信息,由数据传输模块传输至移动终端,依据所述控制信息对该图标关联的程序进行相应操作。通过检测用户的实时聚焦动作和眼球动作实现人机交互,而无需用户进行相应的手动操作,用户仅仅需要通过眼睛即可实现对移动终端的控制,无所物理按键或触摸动作,更为方便和智能,提高了用户体验。
本发明第二实施例进一步提出另一种实现人机交互的智能眼镜。在第二实施例中,所述智能眼镜与第一实施例中的区别仅在于,在本实施例中,所述智能眼镜还包括触发模块。
触发模块,用于当检测到用户眼球发生触发动作时,开启所述聚焦识别模式;
具体的,对于聚焦识别模式的开启可以设置不同的触发动作。例如,眼睛聚焦在终端屏幕上保持有效时长t4(t4>t1)、第一次连续快速眨眼三次以上、聚焦在预设开启点(可由用户预设或出厂预置)上并且双眼同时眨眼一次等等。在其他实施例中,也可以通过设置物理开关如按键或拨动开关等以开启聚焦识别模式。
本实施例提出的实现人机交互的智能眼镜,通过触发模块检测用户的实时聚焦动作实现聚焦识别模式的开启,而无需用户进行相应的手动操作,用户仅仅需要通过眼睛即可实现相应的开启动作,无需物理按键或触摸动作,更为方便和智能,提高了用户体验。
本发明第三实施例进一步提出另一种实现人机交互的智能眼镜。在第三实施例中,所述智能眼镜与第一实施例中的区别仅在于,在本实施例中,于所述智能眼镜还包括关闭模块。
关闭模块,当检测到用户眼球发生关闭动作时,关闭所述聚焦识别模式。
具体的,对于聚焦识别模式的关闭可以设置不同的触发动作。例如,眼睛离开终端屏幕或眼皮闭合时间超过预设时长t5(t5>t2)、第二次连续快速眨眼三次以上(相对于开启时第一次连续眨眼三次而言)、聚焦在预设关闭点(可由用户预设或出厂预置)上并且双眼同时眨眼一次等等。在其他实施例中,也可以通过设置物理开关如按键或拨动开关等以关闭聚焦识别模式。
需要说明的是,对于用户在观看视频或需要长期注视屏幕但无需开启聚焦识别的情况,为避免此类情形下聚焦识别模式的误开启,当检测到用户聚焦在屏幕上的时间超过预设最大时长t6(t6>t4)时,默认关闭聚焦识别模式。
本实施例提出的实现人机交互的智能眼镜,设置关闭模块检测用户眼球的关闭动作而实现聚焦识别功能的关闭,而无需用户进行相应的手动操作,用户仅仅需要通过眼睛即可实现相应的关闭动作,及时关闭聚焦模式以避免误操作和无判断,无需物理按键或触摸动作,更为方便和智能,提高了用户体验。
本发明第四实施例进一步提出另一种实现人机交互的智能眼镜。在第四实施例中,所述智能眼镜与第一实施例中的区别在于,本实施例中对检测模块进行了具体细化。
在本实施例中,检测模块12具体包括:
检测单元,用于在聚焦识别模式下检测用户眼球聚焦动作。
具体的,聚焦识别模式开启后,检测单元持续检测用户眼球聚焦动作。
判断单元,用于依据所述聚焦动作持续时间与预设时间的关系,判定所述聚焦动作为的有效性。
具体的,可以依据不同的用户以及终端处理精度设定聚焦动作的有效性的判定以提高聚焦精度,可以通过检测眼球聚焦在该点的时间长短来判断其有效性,例如,不小于预设时间t1,则认为其有效。预设时间t1的设置满足终端处理精度要求,同时符合用户眼镜使用习惯即可。
定位单元,用于当所述聚焦动作为有效动作时,依据所述聚焦动作确定聚焦位置。
具体的,聚焦位置的确定在第一实施例中已经进行了详细的阐述,在此不做重复说明。
本实施例提出的实现人机交互的智能眼镜,依据不同用户以及终端处理精度设定聚焦动作有效性的判定标准,减少误判断的同时也更能够适用不同的用户,为不同用户提供更为合适的体验。
请参考图2所示,本发明第五实施例提出一种实现人机交互的移动终端。基于第一至第四实施例所述的智能眼镜100,所述终端200通过与智能眼镜100进行通信以实现人机交互。在本实施例中,所述终端200包括:
反馈模块21,用于接收智能眼镜发送的聚焦位置,依据所述聚焦位置确定移动终端上的对应图标并反馈回所述智能眼镜。
具体的,反馈模块22依据聚焦位置确定终端该位置上存在的对应图标,并将此对应图标反馈或所述智能眼镜。
控制模块22,用于接收所述智能眼镜发送的控制信息,依据所述控制信息对所述图标关联的程序进行相应操作。
具体的,控制模块22接收所述智能眼镜发送的控制信息,根据控制信息操作该关联图标对应的程序,如选定通话图标对应的通话程序,打开通话界面等等。
需要说明的是,所述反馈模块21和控制模块22均为位于移动终端200存储器(未示出)内的可执行程序,由移动终端200处理器(未示出)执行以实现相应的功能。
进一步的,所述移动终端200通过WiFi或蓝牙与所述智能眼镜实现无线通信。
本实施例提出的实现人机交互的移动终端,通过接收智能眼镜发送的聚焦位置确定对应图标并进行反馈,基于智能眼镜发送的控制信息对该对应图标关系的程序进行对应操作,通过与智能眼镜的通信实现移动终端与用户之间的交互,而无需用户直接对终端进行操作,更为方便和智能,提高了用户体验。
本发明第六实施例还提供了一种实现人机交互的方法,该方法是基于图1所示智能眼镜100而实现的保护方法。具体他,如图3所示,在实施例中,该方法包括如下步骤:
步骤301,聚焦识别模式下检测用户眼球聚焦动作,依据所述聚焦动作确定聚焦位置。
具体的,聚焦识别模式开启后,检测模块12检测用户眼球聚焦动作,确定双眼聚焦点,由此得到聚焦位置。同时,可以依据不同的用户以及终端处理精度设定聚焦动作的有效性的判定以提高聚焦精度,可以通过检测眼球聚焦在该点的时间长短来判断其有效性,例如,不小于预设时间t1,则认为其有效。预设时间t1的设置满足终端处理精度要求,同时符合用户眼镜使用习惯即可。
请同时参照图7,本发明实施例提供的实现人机交互的方法中眼球成像的示意图。人眼成像是利用视网膜成像,与凸透镜成像原理图类似,视网膜相当于凸透镜功能,而人眼焦距在40-45mm,所以一般人眼看到的物体距离人眼眼球都大于2倍的人眼焦距,即凸透镜原理中,物距大于两倍焦距,因此人眼成倒立缩小的实相。而人的每一个眼睛都有单独聚焦和成像功能,现实生活中,对于双眼正常的人来说,当看到某一个物体时,都是双眼同时看到一个物体,即双眼聚焦点都在当前看到这个物体上,因此利用双眼聚焦特性,当人双眼同时看到某一物体时,这一物体会在两个眼睛中成像,此时物体成像的所有光线都会经过智能眼镜之后传送给眼睛,这个过程中,检测模块12可以通过如下两种方案检测用户眼球聚焦动作获取以确定聚焦位置:
方案一:直接将识别到的眼睛成像的图像信息进行分析比对,两个图像信息匹配成功(可以定义两个图片80%相似度为同一图片信息),表明眼睛完成此图像对应的物体(对应移动终端屏幕上的图标或者应用)的聚焦,同时将识别到的图像信息与移动终端屏幕上图像信息进行比对,匹配成功后,获取该区域图像位置,完成聚焦位置的确定。
方案二:移动终端利用指南针和加速度陀螺仪等传感器建立空间坐标信息获取,眼镜利用凸(凹)透镜光学成像原理建立成像位置信息函数,通过眼镜识别到的双眼聚焦光线交叉点,利用光学成像函数计算出聚焦点的具体位置,同时换算成坐标信息,发送给移动终端,移动终端将此信息与自身建立的坐标信息进行比对,从而定位出眼球聚焦的坐标位置,完成聚焦位置的确定。此外,也可以将移动终端建立的空间坐标信息内置于智能眼镜的存储器重,则智能眼镜无需与移动终端进行信息交互即可直接确定聚焦位置。
进一步地,因为人的每一个眼睛都有单独聚焦和成像功能,因此,事实上,仅通过单眼也可以确定聚焦位置,即存在又一方案可确定聚焦位置:
方案三:识别任意眼球上(左眼或右眼)形成的成像图像,确认所述图像清晰度是否达到预设标准,若是则表明当前用户已经聚焦完成,将识别到的图像信息与移动终端屏幕上图像信息进行比对,匹配成功后,获取该区域图像位置,完成聚焦位置的确定。需要说明的是,此处预设标准可以依据用户眼球参数(如单眼瞳距等)以及实际测定设定,该预设标准以人眼正常聚焦时所能看到的最低清晰度为最低标准。
可以理解的是,上述确定聚焦位置的方案仅为优选方案之一而并不限制本发明的实施。在实际应用中,也可以使用其他眼球追踪技术以确定聚焦位置。而当仅通过单眼即可确定聚焦位置时,则其应用范围更广,用户在使用时也可以避免双眼疲劳,因此,通过单眼确定聚焦为第一优选。
步骤302,将所述聚焦位置发送至移动终端以确定所述聚焦位置上的对应图标。
具体的,数据传输模块13将确定的聚焦位置发送给移动终端后,移动终端确认该位置上的对应图标,并将该信息反馈给数据传输模块13。
步骤303,用于识别用户的眼球动作,依据预设对应关系,确定所述眼球动作对应的控制信息。
具体的,识别模块14识别用户的眼球动作,所述眼球动作主要指眨眼动作。用户可以预设对应关系表记录不同的预设对应关系,用以定义不同眨眼动作与控制信息之间的关系。例如,可以定义双眼同时眨眼一次或单眼眨眼对应选择指令(相当于鼠标左键单击操作或触摸选定操作),定义双眼同时眨眼两次为打开指令/或进入下一目录(如文件夹图标)等等。同时,检测眼球眨眼动作,如双眼同时眨眼一次、双眼同时眨眼两次、左、右眼眨眼一次等动作,也可以分别对每次眼皮闭合时间长度进行定义,例如眼睛完成一次眨眼,眼皮闭合的时间长度不小于预设时间t2则认为其为正常操作而非误操作(无效眨眼)。预设时间t2可以根据人眼眨眼习惯和终端识别精度来确定。对于连续眨眼动作之间,眨眼间隔长度判断,也可以依据用户习惯以及终端精度确定一个时间长度如t3。
步骤304,将所述控制信息发送至移动终端,指示所述移动终端依据所述控制信息对所述对应图标关联的程序进行相应操作。
具体的,确定控制信息后,由数据传输模块15将该控制信息传送至移动终端,由移动终端根据控制信息对所述对应图片关联的程序进行相应的操作。如,选定指令对应高亮显示,打开指令对应显示下一目录等等。
本实施例提出的实现人机交互的方法,通过在聚焦识别模式下检测用户眼球的聚焦动作以确定聚焦位置,传输给移动终端后得到该聚焦位置上对应的图标,同时识别用户眼球动作,依据预设的对应关系表,确定用户眼球动作对应的控制信息,传输至移动终端由移动终端依据所述控制信息对该图标关联的程序进行对应操作。通过检测用户的实时聚焦动作和眼球动作实现人机交互,而无需用户进行相应的手动操作,用户仅仅需要通过眼睛即可实现对移动终端的控制,无需物理按键或触摸动作,更为方便和智能,提高了用户体验。
请参照图4,本发明第七实施例提出另一种实现人机交互的方法,该方法是基于图1所示智能眼镜100而实现的保护方法。在本实施例中,所述实现人机交互的方法与第六实施例的区别仅在于,在本实施例中,在步骤301之前,所述实现人机交互的方法还包括以下步骤:
步骤300,当检测到用户眼球发生触发动作时,开启所述聚焦识别模式;
具体的,对于聚焦识别模式的开启可以设置不同的触发动作。例如,眼睛聚焦在终端屏幕上保持有效时长t4(t4>t1)、第一次连续快速眨眼三次以上、聚焦在预设开启点(可由用户预设或出厂预置)上并且双眼同时眨眼一次等等。在其他实施例中,也可以通过设置物理开关如按键或拨动开关等以开启聚焦识别模式。
本实施例提出的实现人机交互的方法,通过检测用户的实时聚焦动作实现聚焦识别模式的开启,而无需用户进行相应的手动操作,用户仅仅需要通过眼睛即可实现相应的开启动作,无需物理按键或触摸动作,更为方便和智能,提高了用户体验。
请参照图5,本发明第八实施例提出另一种实现人机交互的方法,该方法是基于图1所示智能眼镜100而实现的保护方法。在本实施例中,所述实现人机交互的方法与第六实施例的区别仅在于,在本实施例中,在步骤304之后,所述实现人机交互的方法还包括以下步骤:
步骤305,当检测到用户眼球发生关闭动作时,关闭所述聚焦识别模式。
具体的,对于聚焦识别模式的关闭可以设置不同的触发动作。例如,眼睛离开终端屏幕或眼皮闭合时间超过预设时长t5(t5>t2)、第二次连续快速眨眼三次以上(相对于开启时第一次连续眨眼三次而言)、聚焦在预设关闭点(可由用户预设或出厂预置)上并且双眼同时眨眼一次等等。在其他实施例中,也可以通过设置物理开关如按键或拨动开关等以关闭聚焦识别模式。
需要说明的是,对于用户在观看视频或需要长期注视屏幕但无需开启聚焦识别的情况,为避免此类情形下聚焦识别模式的误开启,当检测到用户聚焦在屏幕上的时间超过预设最大时长t6(t6>t4)时,默认关闭聚焦识别模式。
本实施例提出的实现人机交互的方法,通过检测用户眼球的关闭动作而实现聚焦识别功能的关闭,而无需用户进行相应的手动操作,用户仅仅需要通过眼睛即可实现相应的关闭动作,及时关闭聚焦模式以避免误操作和无判断,无所物理按键或触摸动作,更为方便和智能,提高了用户体验。
请参照图6,本发明第九实施例提出另一种实现人机交互的方法,该方法是基于图1所示智能眼镜100而实现的保护方法。在本实施例中,所述实现人机交互的方法与第六实施例的区别仅在于,在本实施例中,步骤301具体包括:
步骤3011,聚焦识别模式下检测用户眼球聚焦动作。
具体的,聚焦识别模式开启后,检测单元持续检测用户眼球聚焦动作。
步骤3012,判定所述聚焦动作持续时间是否大于或等于预设时间,若是,则进入步骤3013,判定所述聚焦动作为有效动作。
具体的,可以依据不同的用户以及终端处理精度设定聚焦动作的有效性的判定以提高聚焦精度,可以通过检测眼球聚焦在该点的时间长短来判断其有效性,例如,不小于预设时间t1,则认为其有效。预设时间t1的设置满足终端处理精度要求,同时符合用户眼镜用习惯即可。
步骤3014,依据所述聚焦动作确定聚焦位置。
具体的,聚焦位置的确定在本发明第一实施例中已经进行了详细的阐述,在此不做重复说明。
需要说明的是,当聚焦动作持续时间小于预设时间的时候,则回到步骤3011中重新进行检测下一动作。
本实施例提出的实现人机交互的方法,依据不同用户以及终端处理精度设定聚焦动作有效性的判定标准,减少误判断的同时也更能够适用不同的用户,为用户提供更为合适的体验。
需要说明的是,在不冲突的情况下,本发明各个实施例及实施例中的特征可以进行相互组合实施。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台移动终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种实现人机交互的智能眼镜,包括智能眼镜本体,其特征在于,所述智能眼镜还包括:
检测模块,用于在聚焦识别模式下检测用户眼球聚焦动作,依据所述聚焦动作确定聚焦位置;
数据传输模块,用于将所述聚焦位置发送至移动终端以确定所述聚焦位置上的对应图标;
识别模块,用于识别用户的眼球动作,依据预设对应关系,确定所述眼球动作对应的控制信息;以及
所述数据传输模块还用于将所述控制信息发送至所述移动终端,指示所述移动终端依据所述控制信息对所述对应图标关联的程序进行相应操作。
2.根据权利要求1所述的实现人机交互的智能眼镜,其特征在于,所述智能眼镜还包括:
触发模块,用于当检测到用户眼球发生触发动作时,开启所述聚焦识别模式。
3.根据权利要求1所述的实现人机交互的智能眼镜,其特征在于,所述智能眼镜还包括:
关闭模块,当检测到用户眼球发生关闭动作时,关闭所述聚焦识别模式。
4.根据权利要求1所述的实现人机交互的智能眼镜,其特征在于,所述检测模块包括:
检测单元,用于在聚焦识别模式下检测用户眼球聚焦动作;
判断单元,用于依据所述聚焦动作持续时间与预设时间的大小关系,判定所述聚焦动作为的有效性;
定位单元,用于当所述聚焦动作为有效动作时,依据所述聚焦动作确定聚焦位置。
5.根据权利要求1至4任一项所述的实现人机交互的智能眼镜,其特征在于,所述数据传输模块为无线通信模块。
6.一种实现人机交互的方法,其特征在于,所述方法包括:
聚焦识别模式下检测用户眼球聚焦动作,依据所述聚焦动作确定聚焦位置;
将所述聚焦位置发送至移动终端以确定所述聚焦位置上的对应图标;
识别用户的眼球动作,依据预设对应关系,确定所述眼球动作对应的控制信息;以及
将所述控制信息发送至所述移动终端,指示所述移动终端依据所述控制信息对所述图标关联的程序进行对应操作。
7.根据权利要求6所述的实现人机交互的方法,其特征在于,在所述聚焦识别模式下检测用户眼球聚焦动作,依据所述聚焦动作确定聚焦位置的步骤之前,所述方法还包括:
当检测到用户眼球发生触发动作时,开启所述聚焦识别模式。
8.根据权利要求6所述的实现人机交互的方法,其特征在于,所述方法还包括:
当检测到用户眼球发生关闭动作时,关闭所述聚焦识别模式。
9.根据权利要求6所述的实现人机交互的方法,其特征在于,所述聚焦识别模式下检测用户眼球聚焦动作球聚焦动作,依据所述聚焦动作确定聚焦位置包括:
在聚焦识别模式下检测用户眼球聚焦动作;
判定所述聚焦动作持续时间是否大于或等于预设时间,若是,则判定所述聚焦动作为有效动作;
依据所述聚焦动作确定聚焦位置。
10.一种实现人机交互的移动终端,其特征在于,所述移动终端包括:
反馈模块,用于接受智能眼镜发送的聚焦位置,依据所述聚焦位置确定移动终端上的对应图标并反馈回所述智能眼镜;
控制模块,用于接收所述智能眼镜发送的控制信息,依据所述控制信息对所述图标关联的程序进行相应操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510465886.1A CN105138118A (zh) | 2015-07-31 | 2015-07-31 | 实现人机交互的智能眼镜、方法以及移动终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510465886.1A CN105138118A (zh) | 2015-07-31 | 2015-07-31 | 实现人机交互的智能眼镜、方法以及移动终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105138118A true CN105138118A (zh) | 2015-12-09 |
Family
ID=54723489
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510465886.1A Pending CN105138118A (zh) | 2015-07-31 | 2015-07-31 | 实现人机交互的智能眼镜、方法以及移动终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105138118A (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105528080A (zh) * | 2015-12-21 | 2016-04-27 | 魅族科技(中国)有限公司 | 一种对移动终端进行控制的方法及装置 |
CN105704314A (zh) * | 2016-01-21 | 2016-06-22 | 陈佩珊 | 一种基于智能眼镜敲击的图标迁移实现方法及系统 |
CN105739689A (zh) * | 2016-01-21 | 2016-07-06 | 陈佩珊 | 一种基于智能眼镜采集轨迹的图标迁移实现方法及系统 |
CN105739096A (zh) * | 2016-03-08 | 2016-07-06 | 苏州佳世达电通有限公司 | 一种智能眼镜及智能投影显示方法 |
CN105824409A (zh) * | 2016-02-16 | 2016-08-03 | 乐视致新电子科技(天津)有限公司 | 虚拟现实的交互控制方法及装置 |
CN105843395A (zh) * | 2016-04-06 | 2016-08-10 | 上海斐讯数据通信技术有限公司 | 一种实现与电子设备交互的眼镜及交互方法 |
CN105955470A (zh) * | 2016-04-26 | 2016-09-21 | 乐视控股(北京)有限公司 | 一种头盔显示器的控制方法及装置 |
CN106020459A (zh) * | 2016-05-12 | 2016-10-12 | 上海擎感智能科技有限公司 | 一种智能眼镜、智能眼镜的操控方法及操控系统 |
CN106095111A (zh) * | 2016-06-24 | 2016-11-09 | 北京奇思信息技术有限公司 | 根据用户眼部动作控制虚拟现实交互的方法 |
CN106200961A (zh) * | 2016-07-10 | 2016-12-07 | 上海青橙实业有限公司 | 移动终端、可穿戴设备及输入方法 |
CN106407772A (zh) * | 2016-08-25 | 2017-02-15 | 北京中科虹霸科技有限公司 | 适于虚拟现实设备的人机交互与身份认证装置及其方法 |
CN106557168A (zh) * | 2016-11-23 | 2017-04-05 | 上海擎感智能科技有限公司 | 智能眼镜及其操控方法、控制装置 |
CN106598233A (zh) * | 2016-11-25 | 2017-04-26 | 北京暴风魔镜科技有限公司 | 基于手势识别的输入方法及输入系统 |
CN107506030A (zh) * | 2017-08-16 | 2017-12-22 | 陈乾 | 视控仪 |
CN108459720A (zh) * | 2018-04-19 | 2018-08-28 | 京东方科技集团股份有限公司 | 视控装置及终端的控制方法 |
CN109283701A (zh) * | 2018-11-27 | 2019-01-29 | 四川长虹电器股份有限公司 | 一种基于智能眼镜的度数调节与管理系统及方法 |
CN109919065A (zh) * | 2019-02-26 | 2019-06-21 | 浪潮金融信息技术有限公司 | 一种使用眼球追踪技术在屏幕上获取关注点的方法 |
WO2023000808A1 (zh) * | 2021-07-21 | 2023-01-26 | 青岛海尔空调器有限总公司 | 用于控制智能家电的方法及装置、智能眼镜 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103336576A (zh) * | 2013-06-28 | 2013-10-02 | 优视科技有限公司 | 一种基于眼动追踪进行浏览器操作的方法及装置 |
CN103838372A (zh) * | 2013-11-22 | 2014-06-04 | 北京智谷睿拓技术服务有限公司 | 智能眼镜的智能功能开启/关闭方法和开启/关闭系统 |
CN104199549A (zh) * | 2014-08-29 | 2014-12-10 | 福州瑞芯微电子有限公司 | 人机交互式虚拟触控装置、系统及方法 |
CN104391574A (zh) * | 2014-11-14 | 2015-03-04 | 京东方科技集团股份有限公司 | 视线处理方法、系统、终端设备及穿戴式设备 |
CN104571528A (zh) * | 2015-01-27 | 2015-04-29 | 王露 | 一种基于眼球追踪实现眼球控制智能终端的设备及方法 |
-
2015
- 2015-07-31 CN CN201510465886.1A patent/CN105138118A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103336576A (zh) * | 2013-06-28 | 2013-10-02 | 优视科技有限公司 | 一种基于眼动追踪进行浏览器操作的方法及装置 |
CN103838372A (zh) * | 2013-11-22 | 2014-06-04 | 北京智谷睿拓技术服务有限公司 | 智能眼镜的智能功能开启/关闭方法和开启/关闭系统 |
CN104199549A (zh) * | 2014-08-29 | 2014-12-10 | 福州瑞芯微电子有限公司 | 人机交互式虚拟触控装置、系统及方法 |
CN104391574A (zh) * | 2014-11-14 | 2015-03-04 | 京东方科技集团股份有限公司 | 视线处理方法、系统、终端设备及穿戴式设备 |
CN104571528A (zh) * | 2015-01-27 | 2015-04-29 | 王露 | 一种基于眼球追踪实现眼球控制智能终端的设备及方法 |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105528080A (zh) * | 2015-12-21 | 2016-04-27 | 魅族科技(中国)有限公司 | 一种对移动终端进行控制的方法及装置 |
CN105704314A (zh) * | 2016-01-21 | 2016-06-22 | 陈佩珊 | 一种基于智能眼镜敲击的图标迁移实现方法及系统 |
CN105739689A (zh) * | 2016-01-21 | 2016-07-06 | 陈佩珊 | 一种基于智能眼镜采集轨迹的图标迁移实现方法及系统 |
CN105824409A (zh) * | 2016-02-16 | 2016-08-03 | 乐视致新电子科技(天津)有限公司 | 虚拟现实的交互控制方法及装置 |
CN105739096B (zh) * | 2016-03-08 | 2018-12-11 | 苏州佳世达电通有限公司 | 一种智能眼镜及智能投影显示方法 |
CN105739096A (zh) * | 2016-03-08 | 2016-07-06 | 苏州佳世达电通有限公司 | 一种智能眼镜及智能投影显示方法 |
CN105843395A (zh) * | 2016-04-06 | 2016-08-10 | 上海斐讯数据通信技术有限公司 | 一种实现与电子设备交互的眼镜及交互方法 |
CN105955470A (zh) * | 2016-04-26 | 2016-09-21 | 乐视控股(北京)有限公司 | 一种头盔显示器的控制方法及装置 |
CN106020459A (zh) * | 2016-05-12 | 2016-10-12 | 上海擎感智能科技有限公司 | 一种智能眼镜、智能眼镜的操控方法及操控系统 |
CN106020459B (zh) * | 2016-05-12 | 2020-07-07 | 上海擎感智能科技有限公司 | 一种智能眼镜、智能眼镜的操控方法及操控系统 |
CN106095111A (zh) * | 2016-06-24 | 2016-11-09 | 北京奇思信息技术有限公司 | 根据用户眼部动作控制虚拟现实交互的方法 |
CN106200961A (zh) * | 2016-07-10 | 2016-12-07 | 上海青橙实业有限公司 | 移动终端、可穿戴设备及输入方法 |
CN106407772A (zh) * | 2016-08-25 | 2017-02-15 | 北京中科虹霸科技有限公司 | 适于虚拟现实设备的人机交互与身份认证装置及其方法 |
CN106557168A (zh) * | 2016-11-23 | 2017-04-05 | 上海擎感智能科技有限公司 | 智能眼镜及其操控方法、控制装置 |
CN106598233A (zh) * | 2016-11-25 | 2017-04-26 | 北京暴风魔镜科技有限公司 | 基于手势识别的输入方法及输入系统 |
CN107506030A (zh) * | 2017-08-16 | 2017-12-22 | 陈乾 | 视控仪 |
CN108459720A (zh) * | 2018-04-19 | 2018-08-28 | 京东方科技集团股份有限公司 | 视控装置及终端的控制方法 |
CN108459720B (zh) * | 2018-04-19 | 2023-11-21 | 京东方科技集团股份有限公司 | 视控装置及用视控装置控制终端的方法 |
CN109283701A (zh) * | 2018-11-27 | 2019-01-29 | 四川长虹电器股份有限公司 | 一种基于智能眼镜的度数调节与管理系统及方法 |
CN109919065A (zh) * | 2019-02-26 | 2019-06-21 | 浪潮金融信息技术有限公司 | 一种使用眼球追踪技术在屏幕上获取关注点的方法 |
WO2023000808A1 (zh) * | 2021-07-21 | 2023-01-26 | 青岛海尔空调器有限总公司 | 用于控制智能家电的方法及装置、智能眼镜 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105138118A (zh) | 实现人机交互的智能眼镜、方法以及移动终端 | |
CN113132618B (zh) | 辅助拍照方法、装置、终端设备及存储介质 | |
CN114402589B (zh) | 用于2d和3d图形用户界面中的元素映射的智能触笔光束和辅助概率输入 | |
CN105487673B (zh) | 一种人机交互系统、方法及装置 | |
JP6310556B2 (ja) | スクリーン制御方法及び装置 | |
US10540005B2 (en) | Mobile terminal and control method therefor | |
CN107390863B (zh) | 设备的控制方法及装置、电子设备、存储介质 | |
US20060044265A1 (en) | HMD information apparatus and method of operation thereof | |
KR102056221B1 (ko) | 시선인식을 이용한 장치 연결 방법 및 장치 | |
CN109643206B (zh) | 控制装置、显示装置、程序及检测方法 | |
KR20150129546A (ko) | 안경형 단말기와 그 안경형 단말기의 제어 방법 | |
KR102404790B1 (ko) | 카메라의 초점을 변경하는 방법 및 장치 | |
US20170064207A1 (en) | Mobile terminal | |
US10379602B2 (en) | Method and device for switching environment picture | |
JP2019507393A (ja) | 指紋認識方法、装置、プログラム及び記録媒体 | |
CN107688385A (zh) | 一种控制方法及装置 | |
EP4002199A1 (en) | Method and device for behavior recognition based on line-of-sight estimation, electronic equipment, and storage medium | |
CN112202962B (zh) | 屏幕亮度调节方法、装置及存储介质 | |
US20150332502A1 (en) | Glass type mobile terminal | |
CN109040427B (zh) | 分屏处理方法、装置、存储介质和电子设备 | |
JP6833997B2 (ja) | 携帯端末 | |
CN103713387A (zh) | 电子设备和采集方法 | |
KR20160001229A (ko) | 이동단말기 및 그 제어방법 | |
JP2021068482A (ja) | 携帯端末の制御方法 | |
KR20160093890A (ko) | 이동단말기 및 그 제어방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20151209 |
|
RJ01 | Rejection of invention patent application after publication |