CN104793731A - 可穿戴设备的信息输入方法及可穿戴设备 - Google Patents

可穿戴设备的信息输入方法及可穿戴设备 Download PDF

Info

Publication number
CN104793731A
CN104793731A CN201510001794.8A CN201510001794A CN104793731A CN 104793731 A CN104793731 A CN 104793731A CN 201510001794 A CN201510001794 A CN 201510001794A CN 104793731 A CN104793731 A CN 104793731A
Authority
CN
China
Prior art keywords
finger
user
processor
camera
dummy keyboard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510001794.8A
Other languages
English (en)
Inventor
朱赛男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ingenic Semiconductor Co Ltd
Original Assignee
Beijing Ingenic Semiconductor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ingenic Semiconductor Co Ltd filed Critical Beijing Ingenic Semiconductor Co Ltd
Priority to CN201510001794.8A priority Critical patent/CN104793731A/zh
Publication of CN104793731A publication Critical patent/CN104793731A/zh
Pending legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种可穿戴设备的信息输入方法及可穿戴设备。其中可穿戴设备上设置有处理器和摄像头;处理器控制摄像头在对应的显示区域中显示虚拟键盘;虚拟键盘叠加在显示区域的预览画面之上,虚拟键盘呈半透明状,且相对于预览画面固定;摄像头实时采集用户的手指的动作信息;处理器检测摄像头采集到的每一帧画面中用户的手指的动作信息,确定用户的手指在虚拟键盘上输入的每一个字符;处理器根据确定的每一个字符,进行信息输入。本发明的可穿戴设备,只需要在可穿戴设备上安装有摄像头即可进行字符信息输入,不需要安装额外的装置也不依赖其他设备,满足用户随时进行字符信息输入的需求;而且结构非常便携,使用非常方便。

Description

可穿戴设备的信息输入方法及可穿戴设备
技术领域
本发明涉及电子技术领域,尤其涉及一种可穿戴设备的信息输入方法及可穿戴设备。
背景技术
近年来,随着电子科技的迅猛发展,如智能手表、健康手环以及智能眼镜等等可穿戴设备被越来越多的人使用,将人与互联网连接的更加紧密,给人们的生活以及感知带来了巨大的变化。可穿戴设备是指可以直接穿在身上、或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备,更是通过软件支持以及数据交互、云端交互来实现强大的功能,从而会对人们的生活带来很大的转变。
现有技术中,对于字符信息的输入,智能手机和平板电脑等触控设备安装有可触摸的屏幕装置用来检测用户触摸操作再结合虚拟键盘来进行字符信息的输入。而可穿戴设备通常不具备这样的装置,字符信息的输入便成了难题。为了解决这一难题,现在技术通过采用外接实体键盘进行字符信息输入、或者采用激光投射键盘、或者通过连接其他设备进行字符信息输入。
但是,发明人在实现本发明的过程中,发现现有技术至少存在如下确缺点:虽然当前已有技术可以实现对式可穿戴设备进行字符信息输入,但是外接实体键盘进行字符信息输入会导致便携设备不再便携,不方便随时随地进行输入。采用激光投射键盘进行字符信息输入,需要在可穿戴设备上安装激光投影仪将虚拟键盘或控制按钮投影在某一区域,并通过摄像头来捕捉用户的手部动作来进行输入,这种方法需要单独额外的投影仪装置进行投影,大大增加了功耗,而且也不再便携。而通过连接其他设备进行字符信息输入,如通过蓝牙连接智能手机远程进行字符信息输入,而这种方法虽然也很便捷但是过于依赖其他设备,在没有可使用的远程设备时将会失效。
发明内容
本发明提供一种可穿戴设备的信息输入方法及可穿戴设备,用以解决现有技术中上述缺陷,只需要在可穿戴设备上安装有摄像头即可进行字符信息输入,不需要安装额外的装置也不依赖其他设备,满足用户随时进行字符信息输入的需求。
本发明提供一种可穿戴设备的信息输入方法,所述可穿戴设备上设置有摄像头和处理器,所述方法包括:
所述处理器控制所述摄像头在对应的显示区域中显示虚拟键盘;所述虚拟键盘叠加在所述显示区域的预览画面之上,所述虚拟键盘呈半透明状,且相对于所述预览画面固定;
所述摄像头实时采集用户的手指的动作信息;
所述处理器检测所述摄像头采集到的每一帧画面中所述用户的手指的动作信息,确定所述用户的手指在所述虚拟键盘上输入的每一个字符;
所述处理器根据确定的所述每一个字符,进行信息输入。
可选地,如上所述的方法中,所述处理器检测所述摄像头采集到的每一帧画面中所述用户的手指的动作信息,确定所述用户的手指在所述虚拟键盘上输入的每一个字符,包括:
所述处理器检测所述摄像头采集到的每一帧画面中所述用户的手指的动作信息,确定所述手指指尖在所述显示区域中的位置,以及所述用户的手指动作;
当所述处理器检测到所述用户的手指动作为点击动作时,所述处理器根据所述手指指尖在所述显示区域中的位置,确定所述虚拟键盘在所述位置处对应的按键及键值;
根据所述按键及所述键值确定所述用户的手指在所述虚拟键盘上输入的字符。
可选地,如上所述的方法中,所述处理器检测所述摄像头采集到的每一帧画面中所述用户的手指的动作信息,确定所述手指指尖在所述显示区域中的位置,以及所述用户的手指动作之后,所述方法还包括:
所述处理器检测所述手指指尖在所述显示区域中的位置是否落入所述虚拟键盘的某一预设按键的区域内;
若是,所述处理器控制所述摄像头在所述用户的手指指尖位置处显示一亮点标识,以标明所述手指指尖在所述虚拟键盘的所述预设按键的位置。
可选地,如上所述的方法中,当所述处理器检测到所述用户的手指动作为点击操作时,所述方法还包括:
所述处理器控制所述摄像头对所述用户的手指指尖位置对应的所述虚拟键盘上的所述按键进行高亮突出显示,以示点中。
可选地,如上所述的方法中,所述处理器检测所述摄像头采集到的每一帧画面中所述用户的手指的动作信息,确定所述手指指尖在所述显示区域中的位置,包括:
所述处理器通过肤色检测以及滤波去除噪点方法从所述每一帧画面中提取出肤色数据作为所述手指;
所述处理器采用轮廓检测得到所述手指的轮廓数据,并计算出所述手指的重心;
所述处理器在所述轮廓数据中查找距离所述手指的重心最远的点作为所述手指指尖在所述显示区域中的位置。
本发明还提供一种可穿戴设备,所述可穿戴设备上设置有摄像头和处理器;
所述处理器,用于控制所述摄像头在对应的显示区域中显示虚拟键盘;所述虚拟键盘叠加在所述显示区域的预览画面之上,所述虚拟键盘呈半透明状,且相对于所述预览画面固定;
所述摄像头,用于实时采集用户的手指的动作信息;
所述处理器,还用于检测所述摄像头采集到的每一帧画面中所述用户的手指的动作信息,确定所述用户的手指在所述虚拟键盘上输入的每一个字符;
所述处理器,还用于根据确定的所述每一个字符,进行信息输入。
可选地,如上所述的可穿戴设备中,所述处理器,具体用于检测所述摄像头采集到的每一帧画面中所述用户的手指的动作信息,确定所述手指指尖在所述显示区域中的位置,以及所述用户的手指动作;当检测到所述用户的手指动作为点击动作时,还用于根据所述手指指尖在所述显示区域中的位置,确定所述虚拟键盘在所述位置处对应的按键及键值;并根据所述按键及所述键值确定所述用户的手指在所述虚拟键盘上输入的字符。
可选地,如上所述的可穿戴设备中,所述处理器,还用于检测所述手指指尖在所述显示区域中的位置是否落入所述虚拟键盘的某一预设按键的区域内;若是,控制所述摄像头在所述用户的手指指尖位置处显示一亮点标识,以标明所述手指指尖在所述虚拟键盘的所述预设按键的位置。
可选地,如上所述的可穿戴设备中,所述处理器,还用于当检测到所述用户的手指动作为点击操作时,控制所述摄像头对所述用户的手指指尖位置对应的所述虚拟键盘上的所述按键进行高亮突出显示,以示点中。
可选地,如上所述的可穿戴设备中,所述处理器,具体用于通过肤色检测以及滤波去除噪点方法从所述每一帧画面中提取出肤色数据作为所述手指;采用轮廓检测得到所述手指的轮廓数据,并计算出所述手指的重心;在所述轮廓数据中查找距离所述手指的重心最远的点作为所述手指指尖在所述显示区域中的位置。
本发明的可穿戴设备的信息输入方法及可穿戴设备,可穿戴设备上设置有摄像头和处理器,其中,处理器控制摄像头在对应的显示区域中显示虚拟键盘;虚拟键盘叠加在显示区域的预览画面之上,虚拟键盘呈半透明状,且相对于预览画面固定;摄像头实时采集用户的手指的动作信息;处理器检测摄像头采集到的每一帧画面中用户的手指的动作信息,确定用户的手指在虚拟键盘上输入的每一个字符;处理器根据确定的每一个字符,进行信息输入。通过采用上述技术方案,本发明的可穿戴设备,只需要在可穿戴设备上安装有摄像头即可进行字符信息输入,不需要安装额外的装置也不依赖其他设备,满足用户随时进行字符信息输入的需求;而且结构非常便携,使用非常方便。通过本发明的可穿戴设备的信息输入方法,可以在具备摄像头的可穿戴设备上进行具有增强现实效果的输入,满足用户随时进行字符输入,按键控制等需求,轻松便捷地进行短信、邮件编辑等输入操作,使用非常方便。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的可穿戴设备上的信息输入方法的流程图。
图2为本发明实施例提供的一种显示区域状态图。
图3为本发明实施例提供的另一种显示区域状态图。
图4为本发明实施例提供的再一种显示区域状态图。
图5为本发明实施例提供的可穿戴设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的可穿戴设备上的信息输入方法的流程图。本实施例的可穿戴设备上设置有摄像头和处理器。如图1所示,本实施例的可穿戴设备上的信息输入方法,具体可以包括如下步骤:
100、处理器控制摄像头在对应的显示区域中显示虚拟键盘;
本实施例的虚拟键盘叠加在显示区域的预览画面之上,虚拟键盘呈半透明状,且相对于预览画面固定,这样即使穿戴该可穿戴设备的用户的移动了,虚拟键盘仍然固定全屏显示在显示区域内,方便操作。
用户在使用该可穿戴设备进行信息输入时,打开摄像头,将摄像头预览显示在可穿戴设备的显示区域上,用户可以在该显示区域内看到预览画面。本实施例中,在显示区域上叠加上全屏半透明固定显示的虚拟键盘。用户可以在显示区域内可以看到现实的画面和虚拟键盘相结合。例如图2为本发明实施例提供的一种显示区域状态图。如图2所示,该显示区域中包括位于底层的预览画面,即现实画面;以及位于顶层的虚拟键盘。
101、摄像头实时采集用户的手指的动作信息;
通过步骤100,用户打开摄像头之后,将手伸向摄像头前,保证显示区域内可以看见用户用来操作的手指(包括指尖),摄像头可以实时采集到用户的手指的动作信息,例如手指的移动、按下按键以及放开按键等等操作。例如用户的手指移动到需要输入的字符对应的虚拟键盘中的按键时,会点击该按键,以实现输入。
102、处理器检测摄像头采集到的每一帧画面中用户的手指的动作信息,确定用户的手指在虚拟键盘上输入的每一个字符;
处理器可以检测摄像头采集到的每一帧画面,从而可以知道用户输入的每一个字符。
103、处理器根据确定的每一个字符,进行信息输入。
通过对用户的手指动作的连续检测,可以确定用户输入的每一个字符,从而可以实现信息的输入。需要说明的是,当用户完成最后一个字符输入时,手指离开虚拟键盘,后续处理器再检测不到用户的手指动作,可以确定用户输入完成。或者当用户完成最后一个字符时,可以直接点击“完成”按钮,表示输入完成。例如当用户想要输入“user”字时,通过对用户手指动作的连续检测,检测到用户连续输入u、s、e、r四个字符,实现“user“的输入。可选地,也可以在可穿戴设备中存储一词库,来实现中文信息的输入,例如当用户的手指连续输入“zhong”,这样处理器可以从词库中选择读该音的汉字,然后控制摄像头显示这些汉字,这些汉字可以显示在一个透明的屏幕,该屏幕还可以叠加在虚拟键盘上,由用户通过手指选择想要输入的汉字,当该读音的字较多的时候,可以分屏显示,当某一屏在预设时间长度内用户均没有选择时,可以认为没有用户想要输入的汉字,处理器直接切换显示下一屏。
本实施例的可穿戴设备的信息输入方法,通过采用上述技术方案,该方法适用于在可穿戴设备上安装有摄像头,从而实现字符信息输入,不需要安装额外的装置也不依赖其他设备,满足用户随时进行字符信息输入的需求;而且结构非常便携,使用非常方便。通过本实施例的可穿戴设备的信息输入方法,可以在具备摄像头的可穿戴设备上进行具有增强现实效果的输入,满足用户随时进行字符输入,按键控制等需求,轻松便捷地进行短信、邮件编辑等输入操作,使用非常方便。
可选地,在上述实施例的技术方案的基础上,其中步骤102“处理器检测摄像头采集到的每一帧画面中用户的手指的动作信息,确定用户的手指在虚拟键盘上输入的每一个字符”,具体可以包括如下步骤:
(1)处理器检测摄像头采集到的每一帧画面中用户的手指的动作信息,确定手指指尖在显示区域中的位置,以及用户的手指动作;
当用户想要输入信息时,用户的手指会在虚拟键盘上移动,输入需要输入的字符,这个过程中,摄像头会实时采集到用户手指的每一个动作信息,掌握用户手指的运动轨迹,确定用户手指指尖在显示区域中的位置,如坐标为(x,y)。并还可以确定用户手指的动作,如输入某字符时,用户手指的动作时点击,输入完毕,用户手指会松开。寻找要输入的字符时,用户的手指会移动。需要说明的是,处理器在检测中判断手指的动作的过程中,可以结合手指在对应按键所在的区域占的面积的大小变化、停顿检测和指尖位置的改变等方法来判断手指的动作。例如手指在移动过程中,指尖朝向某一按键A,且在移动过程中,在按键A上所占区域越来越多,最后在按键A上停顿一定预设时间段,可以知道用户手指点击该按键A了。
例如,处理器检测摄像头采集到的每一帧画面中用户的手指的动作信息,确定手指指尖在显示区域中的位置,具体可以包括如下步骤:
(a)处理器通过肤色检测以及滤波去除噪点方法从每一帧画面中提取出肤色数据作为手指;
(b)处理器采用轮廓检测得到手指的轮廓数据,并计算出手指的重心;
(c)处理器在轮廓数据中查找距离手指的重心最远的点作为手指指尖在显示区域中的位置。
(2)当处理器检测到用户的手指动作为点击动作时,处理器根据手指指尖在显示区域中的位置,确定虚拟键盘在位置处对应的按键及键值;
由于虚拟键盘相对于预览画面固定,当用户的手指点击某字符时,处理器可以根据手指指尖在显示区域中的做该点击动作的位置,确定虚拟键盘在位置处对应的按键及键值。
(3)根据按键及键值确定用户的手指在虚拟键盘上输入的字符。
根据虚拟键盘中的按键以及按键值,可以确定该按键上的字符,从而可以确定用户的手指在虚拟键盘上输入的字符。
进一步可选地,在上述实施例的步骤(1)“处理器检测摄像头采集到的每一帧画面中用户的手指的动作信息,确定手指指尖在显示区域中的位置,以及用户的手指动作”之后,还可以包括:处理器检测手指指尖在显示区域中的位置是否落入虚拟键盘的某一预设按键的区域内;若是,处理器控制摄像头在用户的手指指尖位置处显示一亮点标识,以标明手指指尖在虚拟键盘的预设按键的位置;否则无亮点标识。
由于虚拟键盘与预览画面相对固定,虚拟键盘中各按键在显示区域中的位置是固定的,例如按键a的区域可以为坐标(x1→x2,y1→y2)指示的范围区域内,即横坐标x1→x2,纵坐标y1→y2的范围区域内。当手指指尖在显示区域中的位置(x,y)在该区域范围内时,处理器控制摄像头在用户的手指指尖位置处显示一亮点标识。如图3为本发明实施例提供的另一种显示区域状态图。如图3所示,用户手指指尖在按键D的区域范围内,在手指指尖显示一亮点标识。亮点的颜色可以根据光线来任意设置,优选选择便于用户识别的颜色。
进一步可选地,当处理器检测到用户的手指动作为点击操作时,还可以包括:处理器控制摄像头对用户的手指指尖位置对应的虚拟键盘上的按键进行高亮突出显示,以示点中。图4为本发明实施例提供的再一种显示区域状态图。如图4所示,用户手指指尖点击按键D时,按键D高亮显示,以示被击中。
本实施例的可穿戴设备的信息输入方法,通过采用上述技术方案,该方法适用于在可穿戴设备上安装有摄像头,从而实现字符信息输入,不需要安装额外的装置也不依赖其他设备,满足用户随时进行字符信息输入的需求;而且结构非常便携,使用非常方便。通过本实施例的可穿戴设备的信息输入方法,可以在具备摄像头的可穿戴设备上进行具有增强现实效果的输入,满足用户随时进行字符输入,按键控制等需求,轻松便捷地进行短信、邮件编辑等输入操作,使用非常方便。
图5为本发明实施例提供的可穿戴设备的结构示意图。如图5所示,本实施例的可穿戴设备上设置有摄像头10和处理器11。摄像头10和处理器11通信连接。
其中处理器11用于控制摄像头10在对应的显示区域中显示虚拟键盘;虚拟键盘叠加在显示区域的预览画面之上,虚拟键盘呈半透明状,且相对于预览画面固定;摄像头10用于实时采集用户的手指的动作信息;处理器11还用于检测摄像头采集到的每一帧画面中用户的手指的动作信息,确定用户的手指在虚拟键盘上输入的每一个字符;处理器11还用于根据确定的每一个字符,进行信息输入。
本实施例的可穿戴设备,通过采用处理器和摄像头实现信息的输入,与上述相关方法实施例的实现机制相同,详细可以参考上述实施例的记载,在此不再赘述。
需要说明的是,本实施例仅仅简单示意出可穿戴设备上包括有处理器和摄像头两个部件,实际应用中,还可以根据可穿戴设备的功能,增加其他部件,在此不再一一举例。
本实施例的可穿戴设备,通过采用上述技术方案,在可穿戴设备上安装有摄像头,从而实现字符信息输入,不需要安装额外的装置也不依赖其他设备,满足用户随时进行字符信息输入的需求;而且结构非常便携,使用非常方便。通过本实施例的可穿戴设备的信息输入方法,可以在具备摄像头的可穿戴设备上进行具有增强现实效果的输入,满足用户随时进行字符输入,按键控制等需求,轻松便捷地进行短信、邮件编辑等输入操作,使用非常方便。
可选地,在上述图5所示实施例的可穿戴设备中,处理器11具体用于检测摄像头10采集到的每一帧画面中用户的手指的动作信息,确定手指指尖在显示区域中的位置,以及用户的手指动作;当检测到用户的手指动作为点击动作时,还用于根据手指指尖在显示区域中的位置,确定虚拟键盘在位置处对应的按键及键值;并根据按键及键值确定用户的手指在虚拟键盘上输入的字符。
进一步可选地,在上述实施例的技术方案的基础上,其中处理器11还用于检测手指指尖在显示区域中的位置是否落入虚拟键盘的某一预设按键的区域内;若是,控制摄像头10在用户的手指指尖位置处显示一亮点标识,以标明手指指尖在虚拟键盘的预设按键的位置。
进一步可选地,在上述实施例的技术方案的基础上,其中处理器11还用于当检测到用户的手指动作为点击操作时,控制摄像头10对用户的手指指尖位置对应的虚拟键盘上的按键进行高亮突出显示,以示点中。
进一步可选地,在上述实施例的技术方案的基础上,其中处理器10具体用于通过肤色检测以及滤波去除噪点方法从每一帧画面中提取出肤色数据作为手指;采用轮廓检测得到手指的轮廓数据,并计算出手指的重心;在轮廓数据中查找距离手指的重心最远的点作为手指指尖在显示区域中的位置。
上述实施例的可穿戴设备,通过采用处理器和摄像头实现信息的输入,与上述相关方法实施例的实现机制相同,详细可以参考上述实施例的记载,在此不再赘述。
上述实施例的可穿戴设备,通过采用上述技术方案,在可穿戴设备上安装有摄像头,从而实现字符信息输入,不需要安装额外的装置也不依赖其他设备,满足用户随时进行字符信息输入的需求;而且结构非常便携,使用非常方便。通过本实施例的可穿戴设备的信息输入方法,可以在具备摄像头的可穿戴设备上进行具有增强现实效果的输入,满足用户随时进行字符输入,按键控制等需求,轻松便捷地进行短信、邮件编辑等输入操作,使用非常方便。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种可穿戴设备上的信息输入方法,其特征在于,所述可穿戴设备上设置有摄像头和处理器,所述方法包括:
所述处理器控制所述摄像头在对应的显示区域中显示虚拟键盘;所述虚拟键盘叠加在所述显示区域的预览画面之上,所述虚拟键盘呈半透明状,且相对于所述预览画面固定;
所述摄像头实时采集用户的手指的动作信息;
所述处理器检测所述摄像头采集到的每一帧画面中所述用户的手指的动作信息,确定所述用户的手指在所述虚拟键盘上输入的每一个字符;
所述处理器根据确定的所述每一个字符,进行信息输入。
2.根据权利要求1所述的方法,其特征在于,所述处理器检测所述摄像头采集到的每一帧画面中所述用户的手指的动作信息,确定所述用户的手指在所述虚拟键盘上输入的每一个字符,包括:
所述处理器检测所述摄像头采集到的每一帧画面中所述用户的手指的动作信息,确定所述手指指尖在所述显示区域中的位置,以及所述用户的手指动作;
当所述处理器检测到所述用户的手指动作为点击动作时,所述处理器根据所述手指指尖在所述显示区域中的位置,确定所述虚拟键盘在所述位置处对应的按键及键值;
根据所述按键及所述键值确定所述用户的手指在所述虚拟键盘上输入的字符。
3.根据权利要求2所述的方法,其特征在于,所述处理器检测所述摄像头采集到的每一帧画面中所述用户的手指的动作信息,确定所述手指指尖在所述显示区域中的位置,以及所述用户的手指动作之后,所述方法还包括:
所述处理器检测所述手指指尖在所述显示区域中的位置是否落入所述虚拟键盘的某一预设按键的区域内;
若是,所述处理器控制所述摄像头在所述用户的手指指尖位置处显示一亮点标识,以标明所述手指指尖在所述虚拟键盘的所述预设按键的位置。
4.根据权利要求2所述的方法,其特征在于,当所述处理器检测到所述用户的手指动作为点击操作时,所述方法还包括:
所述处理器控制所述摄像头对所述用户的手指指尖位置对应的所述虚拟键盘上的所述按键进行高亮突出显示,以示点中。
5.根据权利要求2-4任一所述的方法,其特征在于,所述处理器检测所述摄像头采集到的每一帧画面中所述用户的手指的动作信息,确定所述手指指尖在所述显示区域中的位置,包括:
所述处理器通过肤色检测以及滤波去除噪点方法从所述每一帧画面中提取出肤色数据作为所述手指;
所述处理器采用轮廓检测得到所述手指的轮廓数据,并计算出所述手指的重心;
所述处理器在所述轮廓数据中查找距离所述手指的重心最远的点作为所述手指指尖在所述显示区域中的位置。
6.一种可穿戴设备,其特征在于,所述可穿戴设备上设置有摄像头和处理器;
所述处理器,用于控制所述摄像头在对应的显示区域中显示虚拟键盘;所述虚拟键盘叠加在所述显示区域的预览画面之上,所述虚拟键盘呈半透明状,且相对于所述预览画面固定;
所述摄像头,用于实时采集用户的手指的动作信息;
所述处理器,还用于检测所述摄像头采集到的每一帧画面中所述用户的手指的动作信息,确定所述用户的手指在所述虚拟键盘上输入的每一个字符;
所述处理器,还用于根据确定的所述每一个字符,进行信息输入。
7.根据权利要求6所述的可穿戴设备,其特征在于:
所述处理器,具体用于检测所述摄像头采集到的每一帧画面中所述用户的手指的动作信息,确定所述手指指尖在所述显示区域中的位置,以及所述用户的手指动作;当检测到所述用户的手指动作为点击动作时,还用于根据所述手指指尖在所述显示区域中的位置,确定所述虚拟键盘在所述位置处对应的按键及键值;并根据所述按键及所述键值确定所述用户的手指在所述虚拟键盘上输入的字符。
8.根据权利要求7述的可穿戴设备,其特征在于:
所述处理器,还用于检测所述手指指尖在所述显示区域中的位置是否落入所述虚拟键盘的某一预设按键的区域内;若是,控制所述摄像头在所述用户的手指指尖位置处显示一亮点标识,以标明所述手指指尖在所述虚拟键盘的所述预设按键的位置。
9.根据权利要求7所述的可穿戴设备,其特征在于:
所述处理器,还用于当检测到所述用户的手指动作为点击操作时,控制所述摄像头对所述用户的手指指尖位置对应的所述虚拟键盘上的所述按键进行高亮突出显示,以示点中。
10.根据权利要求7-9任一所述的可穿戴设备,其特征在于,所述处理器,具体用于通过肤色检测以及滤波去除噪点方法从所述每一帧画面中提取出肤色数据作为所述手指;采用轮廓检测得到所述手指的轮廓数据,并计算出所述手指的重心;在所述轮廓数据中查找距离所述手指的重心最远的点作为所述手指指尖在所述显示区域中的位置。
CN201510001794.8A 2015-01-04 2015-01-04 可穿戴设备的信息输入方法及可穿戴设备 Pending CN104793731A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510001794.8A CN104793731A (zh) 2015-01-04 2015-01-04 可穿戴设备的信息输入方法及可穿戴设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510001794.8A CN104793731A (zh) 2015-01-04 2015-01-04 可穿戴设备的信息输入方法及可穿戴设备

Publications (1)

Publication Number Publication Date
CN104793731A true CN104793731A (zh) 2015-07-22

Family

ID=53558605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510001794.8A Pending CN104793731A (zh) 2015-01-04 2015-01-04 可穿戴设备的信息输入方法及可穿戴设备

Country Status (1)

Country Link
CN (1) CN104793731A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105094675A (zh) * 2015-07-28 2015-11-25 中国联合网络通信集团有限公司 一种人机交互方法及触屏可穿戴设备
CN105717666A (zh) * 2016-04-20 2016-06-29 南昌航空大学 一种快速收发快递的智能眼镜
CN105892677A (zh) * 2016-04-26 2016-08-24 广东小天才科技有限公司 一种穿戴设备的字符输入方法和系统
CN106371555A (zh) * 2015-07-23 2017-02-01 上海果壳电子有限公司 用于在可穿戴设备上输入信息的方法及设备
CN106406244A (zh) * 2015-07-27 2017-02-15 戴震宇 可穿戴智能家居控制系统
CN106484119A (zh) * 2016-10-24 2017-03-08 网易(杭州)网络有限公司 虚拟现实系统及虚拟现实系统输入方法
CN106997241A (zh) * 2016-01-22 2017-08-01 宏达国际电子股份有限公司 虚拟现实环境中与真实世界互动的方法与虚拟现实系统
CN107797748A (zh) * 2016-09-05 2018-03-13 深圳光启合众科技有限公司 虚拟键盘输入方法和装置及机器人
CN108805119A (zh) * 2018-05-04 2018-11-13 广东小天才科技有限公司 一种基于指尖穿戴设备的搜索方法及指尖穿戴设备、系统
CN108920088A (zh) * 2018-07-18 2018-11-30 成都信息工程大学 一种基于隔空触摸操作的桌面投影交互方法及系统
CN109033921A (zh) * 2017-06-08 2018-12-18 北京君正集成电路股份有限公司 一种识别模型的训练方法和装置
CN109933190A (zh) * 2019-02-02 2019-06-25 青岛小鸟看看科技有限公司 一种头戴显示设备及其交互方法
CN111149079A (zh) * 2018-08-24 2020-05-12 谷歌有限责任公司 包括雷达系统的智能电话、系统和方法
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
CN112256121A (zh) * 2020-09-10 2021-01-22 苏宁智能终端有限公司 基于ar技术输入法的实现方法及装置
US10930251B2 (en) 2018-08-22 2021-02-23 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
WO2021128414A1 (zh) * 2019-12-25 2021-07-01 歌尔股份有限公司 一种可穿戴设备及其输入方法
US11314312B2 (en) 2018-10-22 2022-04-26 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
CN114527926A (zh) * 2020-11-06 2022-05-24 华为终端有限公司 一种按键操作方法及电子设备
WO2023130435A1 (zh) * 2022-01-10 2023-07-13 深圳市闪至科技有限公司 交互方法、头戴式显示设备、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719015A (zh) * 2009-11-03 2010-06-02 上海大学 指示手势的手指尖定位方法
US20100177035A1 (en) * 2008-10-10 2010-07-15 Schowengerdt Brian T Mobile Computing Device With A Virtual Keyboard
CN102750044A (zh) * 2011-04-19 2012-10-24 北京三星通信技术研究有限公司 一种虚拟键盘装置及其实现方法
CN103019377A (zh) * 2012-12-04 2013-04-03 天津大学 基于头戴式可视显示设备的输入方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100177035A1 (en) * 2008-10-10 2010-07-15 Schowengerdt Brian T Mobile Computing Device With A Virtual Keyboard
CN101719015A (zh) * 2009-11-03 2010-06-02 上海大学 指示手势的手指尖定位方法
CN102750044A (zh) * 2011-04-19 2012-10-24 北京三星通信技术研究有限公司 一种虚拟键盘装置及其实现方法
CN103019377A (zh) * 2012-12-04 2013-04-03 天津大学 基于头戴式可视显示设备的输入方法及装置

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106371555A (zh) * 2015-07-23 2017-02-01 上海果壳电子有限公司 用于在可穿戴设备上输入信息的方法及设备
CN106406244A (zh) * 2015-07-27 2017-02-15 戴震宇 可穿戴智能家居控制系统
CN105094675A (zh) * 2015-07-28 2015-11-25 中国联合网络通信集团有限公司 一种人机交互方法及触屏可穿戴设备
CN105094675B (zh) * 2015-07-28 2019-04-02 中国联合网络通信集团有限公司 一种人机交互方法及触屏可穿戴设备
US10477006B2 (en) 2016-01-22 2019-11-12 Htc Corporation Method, virtual reality system, and computer-readable recording medium for real-world interaction in virtual reality environment
CN106997241A (zh) * 2016-01-22 2017-08-01 宏达国际电子股份有限公司 虚拟现实环境中与真实世界互动的方法与虚拟现实系统
CN105717666A (zh) * 2016-04-20 2016-06-29 南昌航空大学 一种快速收发快递的智能眼镜
CN105892677B (zh) * 2016-04-26 2019-03-22 广东小天才科技有限公司 一种穿戴设备的字符输入方法和系统
CN105892677A (zh) * 2016-04-26 2016-08-24 广东小天才科技有限公司 一种穿戴设备的字符输入方法和系统
CN107797748A (zh) * 2016-09-05 2018-03-13 深圳光启合众科技有限公司 虚拟键盘输入方法和装置及机器人
CN107797748B (zh) * 2016-09-05 2020-07-21 深圳光启合众科技有限公司 虚拟键盘输入方法和装置及机器人
CN106484119A (zh) * 2016-10-24 2017-03-08 网易(杭州)网络有限公司 虚拟现实系统及虚拟现实系统输入方法
CN109033921A (zh) * 2017-06-08 2018-12-18 北京君正集成电路股份有限公司 一种识别模型的训练方法和装置
CN108805119A (zh) * 2018-05-04 2018-11-13 广东小天才科技有限公司 一种基于指尖穿戴设备的搜索方法及指尖穿戴设备、系统
CN108920088A (zh) * 2018-07-18 2018-11-30 成都信息工程大学 一种基于隔空触摸操作的桌面投影交互方法及系统
US11176910B2 (en) 2018-08-22 2021-11-16 Google Llc Smartphone providing radar-based proxemic context
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US11435468B2 (en) 2018-08-22 2022-09-06 Google Llc Radar-based gesture enhancement for voice interfaces
US10930251B2 (en) 2018-08-22 2021-02-23 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US11204694B2 (en) 2018-08-24 2021-12-21 Google Llc Radar system facilitating ease and accuracy of user interactions with a user interface
US10936185B2 (en) 2018-08-24 2021-03-02 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
CN111149079A (zh) * 2018-08-24 2020-05-12 谷歌有限责任公司 包括雷达系统的智能电话、系统和方法
US11314312B2 (en) 2018-10-22 2022-04-26 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
CN109933190A (zh) * 2019-02-02 2019-06-25 青岛小鸟看看科技有限公司 一种头戴显示设备及其交互方法
CN109933190B (zh) * 2019-02-02 2022-07-19 青岛小鸟看看科技有限公司 一种头戴显示设备及其交互方法
WO2021128414A1 (zh) * 2019-12-25 2021-07-01 歌尔股份有限公司 一种可穿戴设备及其输入方法
CN112256121A (zh) * 2020-09-10 2021-01-22 苏宁智能终端有限公司 基于ar技术输入法的实现方法及装置
CN114527926A (zh) * 2020-11-06 2022-05-24 华为终端有限公司 一种按键操作方法及电子设备
WO2023130435A1 (zh) * 2022-01-10 2023-07-13 深圳市闪至科技有限公司 交互方法、头戴式显示设备、系统及存储介质

Similar Documents

Publication Publication Date Title
CN104793731A (zh) 可穿戴设备的信息输入方法及可穿戴设备
CN105487673B (zh) 一种人机交互系统、方法及装置
Lee et al. Interaction methods for smart glasses: A survey
KR101947034B1 (ko) 휴대 기기의 입력 장치 및 방법
Shrivastava et al. Control of A Virtual System with Hand Gestures
US8199115B2 (en) System and method for inputing user commands to a processor
CN104571510B (zh) 一种3d场景中输入手势的系统和方法
US9507411B2 (en) Hand tracker for device with display
CN202584010U (zh) 一种腕上手势操控系统
CN102915111A (zh) 一种腕上手势操控系统和方法
JPH0844490A (ja) インターフェイス装置
CN105302295B (zh) 一种具有3d摄像组件的虚拟现实交互设备
CN103019377A (zh) 基于头戴式可视显示设备的输入方法及装置
GB2483168A (en) Controlling movement of displayed object based on hand movement and size
CN110442233B (zh) 一种基于手势交互的增强现实键鼠系统
CN105068646B (zh) 终端的控制方法和系统
JP2004246578A (ja) 自己画像表示を用いたインタフェース方法、装置、およびプログラム
WO2012119371A1 (zh) 一种用户交互系统和方法
CN107423392A (zh) 基于ar技术的字、词典查询方法、系统及装置
CN108268181A (zh) 一种非接触式手势识别的控制方法及装置
CN105302294B (zh) 一种交互式虚拟现实演示装置
JP2004078977A (ja) インターフェイス装置
CN105242776A (zh) 一种智能眼镜的控制方法及智能眼镜
CN103995623A (zh) 一种非接触式触屏控制装置
CN105046249B (zh) 一种人机交互方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150722