CN105094675A - 一种人机交互方法及触屏可穿戴设备 - Google Patents

一种人机交互方法及触屏可穿戴设备 Download PDF

Info

Publication number
CN105094675A
CN105094675A CN201510450704.3A CN201510450704A CN105094675A CN 105094675 A CN105094675 A CN 105094675A CN 201510450704 A CN201510450704 A CN 201510450704A CN 105094675 A CN105094675 A CN 105094675A
Authority
CN
China
Prior art keywords
touch screen
wearable device
human hand
plane
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510450704.3A
Other languages
English (en)
Other versions
CN105094675B (zh
Inventor
严琦
安岗
杜杏兰
叶阳
孙宇
肖海浪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN201510450704.3A priority Critical patent/CN105094675B/zh
Publication of CN105094675A publication Critical patent/CN105094675A/zh
Application granted granted Critical
Publication of CN105094675B publication Critical patent/CN105094675B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明实施例提供了一种人机交互方法及触屏可穿戴设备,涉及电子领域,解决触屏可穿戴设备屏幕小所造成的手部对触控操作造成的遮挡、对手指操作动作精度要求高的问题,以及在触屏可穿戴设备中实现多功能的手势识别操作。本发明实施例采用的方法包括:通过红外技术,检测所述触屏可穿戴设备上表面距离其正前方的物体的距离,并根据所述距离判断所述物体是否位于虚拟操作平面上;当物体位于虚拟操作平面时,获取用户在虚拟操作平面上的手部操作;获取所述手部操作对应的机器操作指令并响应所述机器操作指令。本发明用于人机交互。

Description

一种人机交互方法及触屏可穿戴设备
技术领域
本发明涉及电子领域,尤其涉及一种人机交互方法及触屏可穿戴设备。
背景技术
随着科技的发展,可穿戴式电子设备(例如智能手表)应运而生。智能手表在正面结构上与智能手机及平板电脑相似,主要集成了触控屏幕实现人机交互。
由于智能手表的触控屏幕的尺寸,相比手机或者平板电脑小很多,即使单指操作仍然显得过小。这样,使得智能手表中普遍存在不便于界面操作及观看照片、视频等多媒体内容的问题。
一方面,触控操作时手指会不可避免地遮挡一部分屏幕,相对于智能手表不大的屏幕而言,被遮挡的部分通常不可忽略,因而会影响用户对显示内容的观看;另一方面,由于触控屏幕面积过小,对用户触摸位置的精细程度提出了过高的要求;再一方面,对于触控屏幕流行的手势识别操作,由于这些操作需要多于一根手指同时接触触控屏幕并且划动,因而难以支持。
目前,市场上通常做法是采用增加额外键盘或旋钮、或者多设置一块折叠式触摸屏、或者采用支持语音指令的软件等手段,以提高触控屏幕的操作性能。
但是上述方案,需要用户改变触控操作习惯,且依然存在高精度的操作要求及无法实现多功能的手势识别操作的问题;因此,还是无法从根本上改善用户体验。
发明内容
本发明实施例提供一种人机交互方法及触屏可穿戴设备,解决触屏可穿戴设备屏幕小所造成的手部对触控操作造成的遮挡、对手指操作动作精度要求高的问题,以及在触屏可穿戴设备中实现多功能的手势识别操作。
为达到上述目的,本发明实施例采用的技术方案是,
第一方面,提供一种人机交互方法,应用于触屏可穿戴设备,包括:
通过红外技术,检测所述触屏可穿戴设备上表面距离其正前方的物体的距离;
根据所述距离,判断所述物体是否位于虚拟操作平面上;其中,所述虚拟操作平面为与所述触屏可穿戴设备上表面距离满足预设范围的平面;
当所述物体位于虚拟操作平面时,获取所述用户在虚拟操作平面上的手部操作;
根据所述手部操作,获取所述手部操作对应的机器操作指令;
响应所述机器操作指令。
第二方面,提供一种触屏可穿戴设备,包括:
检测单元,用于通过红外技术,检测所述触屏可穿戴设备上表面距离其正前方的物体的距离;
判断单元,用于根据检测单元检测的所述距离,判断所述物体是否位于虚拟操作平面上;其中,所述虚拟操作平面为与所述触屏可穿戴设备上表面距离满足预设范围的平面;
第一获取单元,用于当所述判断单元判断所述物体位于虚拟操作平面时,获取所述用户在虚拟操作平面上的手部操作;
第二获取单元,用于根据所述手部操作,获取所述第一获取单元获取的所述手部操作对应的机器操作指令;
响应单元,用于响应所述第二获取单元获取的所述机器操作指令。
本发明的实施例提供的人机交互方法及触屏可穿戴设备,通过红外技术,检测所述触屏可穿戴设备上表面距离其正前方的物体的距离,并根据所述距离判断所述物体是否位于虚拟操作平面上;当物体位于虚拟操作平面时,获取用户在虚拟操作平面上的手部操作;获取所述手部操作对应的机器操作指令并响应所述机器操作指令。由于本发明通过红外测距确定物体是否位于虚拟操作平面上,一方面,可以通过设置虚拟操作平面距离触屏可穿戴设备上表面的预设距离范围,使得物体所在平面的面积远远大于触屏可穿戴设备的触控操作界面的面积,当用户在虚拟操作平面上进行人机交互,就可以解决触屏可穿戴设备屏幕小所造成的手部对触控操作造成的遮挡、对手指操作动作精度要求高的问题,以及在触屏可穿戴设备中实现多功能的手势识别操作;另一方面,通过红外测距确定虚拟操作平面,实现简单,成本低廉,节约了硬件成本;再一方面,通过将虚拟操作平面距离触屏可穿戴设备上表面的预设距离范围固定在焦距及其允许的误差范围以内,相应的摄像装置可以选用体积较小和成本很低的定焦镜头实现进一步降低了成本。
进一步的,通过确定物体在虚拟操作平面上时才进行人机交互,可以排除非操作目的的手部意外动作所产生之干扰,避免错误识别,很好的提高了用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种人机交互方法流程示意图;
图2A为本发明实施例提供的一种虚拟操作平面场景示意图;
图2B为本发明实施例提供的另一种虚拟操作平面场景示意图;
图2C为本发明实施例提供的一种虚拟操作平面与触屏可穿戴设备操作界面对应关系场景示意图;
图3为本发明实施例提供的另一种人机交互方法流程示意图;
图4为本发明实施例提供的一种触屏可穿戴设备的装置结构示意图;
图5为本发明实施例提供的另一种触屏可穿戴设备的装置结构示意图;
图6为本发明实施例提供的一种智能手表的装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
本发明实施例一提供一种人机交互方法,应用于触屏可穿戴设备。参见图1,所述方法可以包括:
S101、通过红外技术,检测触屏可穿戴设备上表面距离其正前方的物体的距离。
可选的,所述物体可以为使用触屏可穿戴设备的手部;或者,所述物体可以为用于投影的投影体。
其中,若所述物体为用于投影的投影体时,所述投影体可以为墙面、桌面等,本发明对此不进行具体限定。
可选的,所述触屏可穿戴设备可以为智能手表。当然,所述触屏可穿戴设备也可以为其他可穿戴电子设备,本发明对于触屏可穿戴设备的类型不进行具体限定。
进一步的,对于执行S101的时机,可以为当接收到用户在所述触屏可穿戴设备中输入的触控操作指令时。
其中,所述触控操作指令,可以为用户在触屏可穿戴设备的触控操作界面上的任意操作;或者,可以为用户在触屏可穿戴设备中打开投影触屏操作功能。
需要说明的是,本发明对于触控操作指令的具体内容不进行限定,可以根据实际需求确定。
可选的,在S101之前,所述方法还可以包括:
接收使用所述触屏可穿戴设备的用户输入的触控操作指令。
具体的,可以通过在触屏可穿戴设备中设置红外探测装置实现S101,对于实现S101的具体过程,本发明不再进行赘述。
S102、根据所述距离,判断所述物体是否位于虚拟操作平面上。
其中,所述虚拟操作平面为与所述触屏可穿戴设备上表面距离满足预设范围的平面。
具体的,根据“物体”的类型不同,虚拟操作平面的形式也将不同。
因此,本发明的人机交互方法可以包括下面两种:
第一种:直接虚拟操作。
在该方法中,物体为用户的手部,虚拟操作平面则为用户的手部所在的与触屏可穿戴设备上表面平行的空间平面。
第二种:投影虚拟操作。
在该方法中,物体为用于投影的投影体,虚拟操作平面则为投影体的投影面。
示例性的,如图2A所示,示意了一种物体为用户手部时的虚拟操作平面。
示例性的,如图2B所示,示意了一种物体为用于投影的投影体时的虚拟操作平面。
可选的,在触屏可穿戴设备中,可以仅涉及上述两种方法中的任意一种,以达到人机交互的目的。
进一步可选的,在触屏可穿戴设备中,可以兼容设计上述两种人机交互方法,根据是否打开投影功能,来确定采用哪种人机交互方法。
具体的,若投影功能打开,则可以采用投影虚拟操作;若投影功能未打开,则可以采用直接虚拟操作。
具体的,对于预设范围的取值,可以根据实际需求确定,本发明对此不进行具体限定。
优选的,所述预设范围可以为{H-h,H+h};其中,所述H为根据实际需求确定的虚拟操作平面至触屏可穿戴设备上表面的距离,所述h为允许的误差值。
优选的,所述H为获取用户在虚拟操作平面的手部操作的装置的焦距。
其中,若所述预设范围为{H-h,H+h},且所述H为获取用户在虚拟操作平面的手部操作的装置的焦距时,所述获取用户在虚拟操作平面的手部操作的装置可以采用定焦装置,以降低获取用户在虚拟操作平面的手部操作的装置的体积和成本。
可选的,在S102中根据所述距离,判断用户在虚拟操作平面上时,触屏可穿戴设备还可以向用户发出提示,以指示用户在虚拟操作平面进行人机交互。
可选的,触屏可穿戴设备向用户发出的提示,可以通过声音、震动、指示灯光等等方式实现,本发明对此不进行具体限定。
可选的,若S102中判断所述物体位于虚拟操作平面上,则执行S103。若S102中判断所述物体没有位于虚拟操作平面上,则可重新执行S101和S102。
进一步可选的,若S102中判断所述物体没有位于虚拟操作平面上,还可以向用户发出提示,以指示用于调整所述物体至触屏可穿戴设备上表面的距离,以达到所述物体位于虚拟操作平面上的目的。
S103、当所述物体位于虚拟操作平面时,获取用户在虚拟操作平面上的手部操作。
可选的,获取用户在虚拟操作平面的手部操作的方式,可以通过摄像头捕捉获取。
当然,可以采用摄像头拍照捕捉获取用户在物体所在平面的手部操作,也可以采用摄像头摄像捕捉获取用户在物体所在平面的手部操作,本发明对此不进行具体限定。
具体的,获取用户在虚拟操作平面上的手部操作,可以通过分析图片或视频,获取图片或视频中手指目标的移动轨迹作为用户的手部操作。
进一步的,若采用摄像头通过摄像获取用户在物体所在平面的手部操作时,具体可以包括:
拍摄获取虚拟操作平面的视频画面;
在视频画面中识别获取至少一个手指目标;
获取所述至少一个手指目标在所述视频画面中连续N个帧中的移动轨迹,作为所述用户在虚拟操作平面上的手部操作;其中,所述N大于或等于2。
其中,所述N的取值可以根据实际需求设定,本发明对此不进行具体限定。
优选的,所述N可以为12。
示例性的,假设触屏可穿戴设备通过摄像头获取到用户在虚拟操作平面操作时的视频,在该视频中识别出两个手指目标;
且在第一帧中两个手指目标处在直线L上且二者的间距为D1,在第二帧中两个手指目标仍处在直线L上或者所在直线的延伸方向与直线L高度一致,且二者间距为D2,D2大于D1,则获取到用户在所述物体所在平面的手部操作为手指张开。
需要说明的是,上述示例只是以举例的形式描述获取用户手部操作的过程;对于每一种手部操作的判断规则,可以根据实际需求设定,本发明对此不进行具体限定。
可选的,获取用户在物体所在平面的手部操作,还可以通过体感技术捕捉获取。
可选的,根据所述物体的类型不同,当所述距离满足预设范围时,获取所述用户在所述物体所在平面的手部操作的过程也不相同,可以包括但不限于下述两种方式:
第一种方式,所述物体为用户的手部。
在第一种方式中,所述当物体位于所述虚拟操作平面时,获取用户在虚拟操作平面上的手部操作,可以包括:
当物体位于所述虚拟操作平面时,获取用户在距离触屏可穿戴设备上表面满足预设范围的整个空间平面中的手部操作。
第二种方式,所述物体为用于投影的投影体。
在第二种方式中,所述当物体位于所述虚拟操作平面时,获取用户在虚拟操作平面上的手部操作,可以包括:
当物体位于所述虚拟操作平面时,将触屏可穿戴设备的操作界面投影至投影体上,形成投影操作界面;
获取用户在投影操作界面上的手部操作。
其中,由于虚拟操作平面与触屏可穿戴设备之间存在一定的距离,将使得投影操作界面的面积远远大于触屏可穿戴设备上的操作界面的面积,便于用户操作。
S104、根据所述手部操作,获取所述手部操作对应的机器操作指令。
具体的,如S102中所述,虚拟操作平面的形式至少可以包括两种,使得本发明提供的人机交互方法也存在两种。
相应的,当虚拟操作平面的形式不同,对应的人机交互方法不同,根据所述手部操作,获取所述手部操作对应的机器操作指令的过程也将不同。
具体的,根据虚拟操作平面的实现方式,所述根据所述手部操作,获取所述手部操作对应的机器操作指令可以包括下述两种方案:
第一种方式、当人机交互方法为直接虚拟操作时。
在第一种方式中,根据所述手部操作,获取所述手部操作对应的机器操作指令可以包括:
在第一预设数据库中,获取手部操作对应的机器操作指令。
其中,所述第一预设数据库中包括至少一个手部操作及与所述至少一个手部操作一一对应的机器操作指令。
具体的,第一预设数据库是在触屏可穿戴设备中预设存储的,手部操作的内容,以及其与机器操作指令的对应关系,都可以根据实际需求灵活设定,本发明对此不进行具体限定。
其中,第一预设数据库中包括的手部操作的数量也可以根据实际需求确定,本发明对此也不进行具体限定。
示例性的,表1示意了一种第一预设数据库。
表1
其中,当人机交互方法为直接虚拟操作时,虚拟操作平面的范围为距离触屏可穿戴设备上表面满足预设范围的空间平面内,触屏可穿戴设备中用于获取用户手部操作的装置的整个成像范围。
因此,虚拟操作平面可以与触屏可穿戴设备的操作界面等比例位置对应,即虚拟操作平面中的每个位置,均可以映射到触屏可穿戴设备的操作界面的一个固定的位置。
示例性的,如图2C所示,示意了虚拟操作平面与触屏可穿戴设备的操作界面等比例位置对应的关系。通过采用相同的方式,将虚拟操作平面与触屏可穿戴设备的操作界面划分区域(图中示意划分为12个等大小的区域),编号相同的区域一一对应,即虚拟操作平面中区域1~12分别与触屏可穿戴设备的操作界面中区域1~12一一对应。
其中,在划分区域时,可以根据实际需求灵活设定,上述示例仅举例说明,并不是具体限定。
需要说明的是,表1只是以表格的形式,示例说明第一预设数据库的内容和形式,并不是对第一预设数据库的内容和形式的具体限定。当然,第一预设数据库也可以以其他形式存储于触屏可穿戴设备中;也可以根据实际需求设置第一预设数据库中的内容。
第二种方式、当人机交互方法为投影虚拟操作时。
在第二种方式中,根据所述手部操作,获取所述手部操作对应的机器操作指令可以包括:
获取用户手部与所述投影操作界面的相对位置;
在第二预设数据库中,获取所述相对位置对应的机器操作指令。
其中,所述第二预设数据库中包括至少一个相对位置及与所述至少一个相对位置一一对应的机器操作指令。
其中,相对位置可以包括但不限于:位移关系、遮挡关系等。
具体的,第二预设数据库是在触屏可穿戴设备中预设存储的;器包括的相对位置与机器操作指令的对应关系,都可以根据实际需求灵活设定,本发明对此不进行具体限定。
示例性的,表2示意了一种第二预设数据库。
表2
相对位置 机器操作指令
遮挡点击图标 打开该图标对应的应用程序
遮挡长按图标 显示该图标的所有可操作菜单界面
…… ……
需要说明的是,表2只是以表格的形式,示例说明第二预设数据库的内容和形式,并不是对第二预设数据库的内容和形式的具体限定。当然,第二预设数据库也可以以其他形式存储于触屏可穿戴设备中;也可以根据实际需求设置第二预设数据库中的内容。
可选的,在触屏可穿戴设备中,第一预设数据库和第二预设数据库,可以分别单独设立,也可以合设为一个数据库,本发明对此不进行具体限定。
S105、响应所述机器操作指令。
其中,响应S104中获取的机器操作指令,即执行S104中获取的操作指令。
需要说明的是,对于执行机器操作指令的过程,可以有多种多样的方式,可以根据实际需求配置,本发明对此不进行具体限定。
至此,完成本发明所述的人机交互方法。
还需要说明的是,S103至S105的步骤可以多次执行,每执行一次实现一次用户对触屏可穿戴设备的人机交互。
本发明的实施例提供的人机交互方法,通过红外技术,检测所述触屏可穿戴设备上表面距离其正前方的物体的距离,并根据所述距离判断所述物体是否位于虚拟操作平面上;当物体位于虚拟操作平面时,获取用户在虚拟操作平面上的手部操作;获取所述手部操作对应的机器操作指令并响应所述机器操作指令。由于本发明通过红外测距确定物体是否位于虚拟操作平面上,一方面,可以通过设置虚拟操作平面距离触屏可穿戴设备上表面的预设距离范围,使得物体所在平面的面积远远大于触屏可穿戴设备的触控操作界面的面积,当用户在虚拟操作平面上进行人机交互,就可以解决触屏可穿戴设备屏幕小所造成的手部对触控操作造成的遮挡、对手指操作动作精度要求高的问题,以及在触屏可穿戴设备中实现多功能的手势识别操作;另一方面,通过红外测距确定虚拟操作平面,实现简单,成本低廉,节约了硬件成本;再一方面,通过将虚拟操作平面距离触屏可穿戴设备上表面的预设距离范围固定在焦距及其允许的误差范围以内,相应的摄像装置可以选用体积较小和成本很低的定焦镜头实现进一步降低了成本。
进一步的,通过确定物体在虚拟操作平面上时才进行人机交互,可以排除非操作目的的手部意外动作所产生之干扰,避免错误识别,很好的提高了用户体验。
实施例二
本发明实施例二提供另一种人机交互方法,以触屏可穿戴设备为智能手表为例,对图1所示的方法进行详细描述。
参见图3,所述方法可以包括:
S301、智能手表接收用户输入的触控操作指令。
示例性的,假设智能手表中设置了虚拟操作开关,该开关用于打开该智能手表中的虚拟人机交互功能。当用户打开盖虚拟操作开关时,智能手表则接收到用户输入的触控操作指令。
S302、智能手表通过红外技术,检测智能手表上表面距离其正前方的物体的距离。
示例性的,可以通过在智能手表中设置红外测距装置,实现通过红外技术测距。
S303、判断所述距离是否满足预设范围。
其中,所述预设范围为{M-m,M+m};其中,所述M为智能手表中摄像头的焦距,m与预设的可允许的误差范围。
具体的,判断所述距离是否满足预设范围,即判断所述物体是否位于虚拟操作平面上。
具体的,当所述距离不满足预设范围时,执行S304;当所述距离满足预设范围时,执行S305。
S304、提醒用户调整智能手表上表面距离其正前方的物体的距离。
进一步的,在S304之后,重新执行S302。
S305、提醒用户所述物体已位于虚拟操作平面。
其中,通过震动、声音或其他方式,提醒用户已检测到虚拟操作平面,用于指示用户可以进行人机交互操作。
S306、判断智能手表中的投影功能是否打开。
其中,若投影功能未打开,则直接执行S308至S310;若投影功能已打开,则执行S307至S310。
S307、智能手表将当前操作界面投影至虚拟操作平面上。
S308、智能手表获取用户在虚拟操作平面上的手部操作。
需要说明的是,获取用户在虚拟操作平面上的手部操作的具体过程,已经在实施例一中进行了详细描述,此处不再进行赘述。
S309、智能手表根据手部操作,获取手部操作对应的机器操作指令。
需要说明的是,对于根据手部操作,获取手部操作对应的机器操作指令的过程,已经在实施例一中进行了详细描述,此处不再赘述。
具体的,在S308中依次获取至少一个手部操作,则在S309中依次获取至少一个机器操作指令。
S310、智能手表响应机器操作指令。
具体的,依次响应S309中获取的机器操作指令。
至此,完成本发明所述的人机交互方法。
本发明的实施例提供的人机交互方法,通过红外技术,检测所述触屏可穿戴设备上表面距离其正前方的物体的距离,并根据所述距离判断所述物体是否位于虚拟操作平面上;当物体位于虚拟操作平面时,获取用户在虚拟操作平面上的手部操作;获取所述手部操作对应的机器操作指令并响应所述机器操作指令。由于本发明通过红外测距确定物体是否位于虚拟操作平面上,一方面,可以通过设置虚拟操作平面距离触屏可穿戴设备上表面的预设距离范围,使得物体所在平面的面积远远大于触屏可穿戴设备的触控操作界面的面积,当用户在虚拟操作平面上进行人机交互,就可以解决触屏可穿戴设备屏幕小所造成的手部对触控操作造成的遮挡、对手指操作动作精度要求高的问题,以及在触屏可穿戴设备中实现多功能的手势识别操作;另一方面,通过红外测距确定虚拟操作平面,实现简单,成本低廉,节约了硬件成本;再一方面,通过将虚拟操作平面距离触屏可穿戴设备上表面的预设距离范围固定在焦距及其允许的误差范围以内,相应的摄像装置可以选用体积较小和成本很低的定焦镜头实现进一步降低了成本。
进一步的,通过确定物体在虚拟操作平面上时才进行人机交互,可以排除非操作目的的手部意外动作所产生之干扰,避免错误识别,很好的提高了用户体验。
实施例三
本发明实施例三提供一种触屏可穿戴设备40,参见图4,所述触屏可穿戴设备40可以包括:
检测单元401,用于通过红外技术,检测所述触屏可穿戴设备上表面距离其正前方的物体的距离;
判断单元402,用于根据检测单元401检测的所述距离,判断所述物体是否位于虚拟操作平面上;其中,所述虚拟操作平面为与所述触屏可穿戴设备上表面距离满足预设范围的平面;
第一获取单元403,用于当所述判断单元402判断所述物体位于所述虚拟操作平面时,获取所述用户在所述虚拟操作平面上的手部操作;
第二获取单元404,用于根据所述手部操作,获取所述第一获取单元403获取的所述手部操作对应的机器操作指令;
响应单元405,用于响应所述第二获取单元404获取的所述机器操作指令。
可选的,所述物体为所述用户的手部。
可选的,所述第一获取单元403具体可以用于:
在第一预设数据库中,获取所述手部操作对应的机器操作指令;其中,所述第一预设数据库中包括至少一个手部操作及与所述至少一个手部操作一一对应的机器操作指令。
可选的,所述物体为用于投影的投影体;
相应的,所述第一获取单元403具体可以用于:
当所述距离满足预设范围时,将所述触屏可穿戴设备的操作界面投影至所述投影体上,形成投影操作界面;
获取所述用户在所述投影操作界面上的手部操作;
相应的,所述第二获取单元404具体可以用于:
获取用户手部与所述投影操作界面的相对位置;
在第二预设数据库中,获取所述相对位置对应的机器操作指令;其中,所述第二预设数据库中包括至少一个相对位置及与所述至少一个相对位置一一对应的机器操作指令。
进一步的,所述第一获取单元403具体可以用于:
拍摄获取虚拟操作平面的视频画面;
在所述视频画面中识别获取至少一个手指目标;
获取所述至少一个手指目标在所述视频画面中连续N个帧中的移动轨迹,作为所述用户在虚拟操作平面上的手部操作;其中,所述N大于或等于2。
进一步的,参见图5,所述触屏可穿戴设备40还可以包括:
接收单元406,用于接收使用所述触屏可穿戴设备40的用户输入的触控操作指令。
可选的,所述触屏可穿戴设备40可以为智能手表。
本发明的实施例提供的触屏可穿戴设备40,通过红外技术,检测所述触屏可穿戴设备上表面距离其正前方的物体的距离,并根据所述距离判断所述物体是否位于虚拟操作平面上;当物体位于虚拟操作平面时,获取用户在虚拟操作平面上的手部操作;获取所述手部操作对应的机器操作指令并响应所述机器操作指令。由于本发明通过红外测距确定物体是否位于虚拟操作平面上,一方面,可以通过设置虚拟操作平面距离触屏可穿戴设备上表面的预设距离范围,使得物体所在平面的面积远远大于触屏可穿戴设备的触控操作界面的面积,当用户在虚拟操作平面上进行人机交互,就可以解决触屏可穿戴设备屏幕小所造成的手部对触控操作造成的遮挡、对手指操作动作精度要求高的问题,以及在触屏可穿戴设备中实现多功能的手势识别操作;另一方面,通过红外测距确定虚拟操作平面,实现简单,成本低廉,节约了硬件成本;再一方面,通过将虚拟操作平面距离触屏可穿戴设备上表面的预设距离范围固定在焦距及其允许的误差范围以内,相应的摄像装置可以选用体积较小和成本很低的定焦镜头实现进一步降低了成本。
进一步的,通过确定物体在虚拟操作平面上时才进行人机交互,可以排除非操作目的的手部意外动作所产生之干扰,避免错误识别,很好的提高了用户体验。
实施例四
本发明实施例提供的触屏可穿戴设备可以为智能手表。参见图6,本发明实施例四提供一种智能手表60,参见图6,所述智能手表60可以包括:
红外测距器601,用于通过红外技术,检测所述触屏可穿戴设备上表面距离其正前方的物体的距离;
处理器602,用于根据红外测距器601检测的所述距离,判断所述物体是否位于虚拟操作平面上;其中,所述虚拟操作平面为与所述触屏可穿戴设备上表面距离满足预设范围的平面;
摄像头603,用于当所述处理器602判断所述物体位于所述虚拟操作平面时,获取所述用户在所述虚拟操作平面上的手部操作;
所述处理器602还用于,用于根据所述手部操作,获取所述手部操作对应的机器操作指令,并响应所述机器操作指令。
可选的,所述物体为所述用户的手部。
可选的,所述处理器602具体可以用于:
在第一预设数据库中,获取所述手部操作对应的机器操作指令;其中,所述第一预设数据库中包括至少一个手部操作及与所述至少一个手部操作一一对应的机器操作指令。
可选的,所述物体为用于投影的投影体;
相应的,所述摄像头603具体可以用于:
当所述距离满足预设范围时,将所述触屏可穿戴设备的操作界面投影至所述投影体上,形成投影操作界面;
获取所述用户在所述投影操作界面上的手部操作;
相应的,所述处理器602具体可以用于:
获取用户手部与所述投影操作界面的相对位置;
在第二预设数据库中,获取所述相对位置对应的机器操作指令;其中,所述第二预设数据库中包括至少一个相对位置及与所述至少一个相对位置一一对应的机器操作指令。
进一步的,所述摄像头603具体可以用于:
拍摄获取虚拟操作平面的视频画面;
在所述视频画面中识别获取至少一个手指目标;
获取所述至少一个手指目标在所述视频画面中连续N个帧中的移动轨迹,作为所述用户在虚拟操作平面上的手部操作;其中,所述N大于或等于2。
本发明的实施例提供的智能手表60,通过红外技术,检测所述触屏可穿戴设备上表面距离其正前方的物体的距离,并根据所述距离判断所述物体是否位于虚拟操作平面上;当物体位于虚拟操作平面时,获取用户在虚拟操作平面上的手部操作;获取所述手部操作对应的机器操作指令并响应所述机器操作指令。由于本发明通过红外测距确定物体是否位于虚拟操作平面上,一方面,可以通过设置虚拟操作平面距离触屏可穿戴设备上表面的预设距离范围,使得物体所在平面的面积远远大于触屏可穿戴设备的触控操作界面的面积,当用户在虚拟操作平面上进行人机交互,就可以解决触屏可穿戴设备屏幕小所造成的手部对触控操作造成的遮挡、对手指操作动作精度要求高的问题,以及在触屏可穿戴设备中实现多功能的手势识别操作;另一方面,通过红外测距确定虚拟操作平面,实现简单,成本低廉,节约了硬件成本;再一方面,通过将虚拟操作平面距离触屏可穿戴设备上表面的预设距离范围固定在焦距及其允许的误差范围以内,相应的摄像装置可以选用体积较小和成本很低的定焦镜头实现进一步降低了成本。
进一步的,通过确定物体在虚拟操作平面上时才进行人机交互,可以排除非操作目的的手部意外动作所产生之干扰,避免错误识别,很好的提高了用户体验。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种人机交互方法,其特征在于,应用于触屏可穿戴设备,包括:
通过红外技术,检测所述触屏可穿戴设备上表面距离其正前方的物体的距离;
根据所述距离,判断所述物体是否位于虚拟操作平面上;其中,所述虚拟操作平面为与所述触屏可穿戴设备上表面距离满足预设范围的平面;
当所述物体位于所述虚拟操作平面时,获取所述用户在所述虚拟操作平面上的手部操作;
根据所述手部操作,获取所述手部操作对应的机器操作指令;
响应所述机器操作指令。
2.根据权利要求1所述的方法,其特征在于,所述物体为所述用户的手部。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述手部操作,获取所述手部操作对应的机器操作指令,包括:
在第一预设数据库中,获取所述手部操作对应的机器操作指令;其中,所述第一预设数据库中包括至少一个手部操作及与所述至少一个手部操作一一对应的机器操作指令。
4.根据权利要求1所述的方法,其特征在于,所述物体为用于投影的投影体;
所述当所述物体位于所述虚拟操作平面时,获取所述用户在所述虚拟操作平面上的手部操作,包括:
当所述距离满足预设范围时,将所述触屏可穿戴设备的操作界面投影至所述投影体上,形成投影操作界面;
获取所述用户在所述投影操作界面上的手部操作;
所述根据所述手部操作,获取所述手部操作对应的机器操作指令,包括:
获取用户手部与所述投影操作界面的相对位置;
在第二预设数据库中,获取所述相对位置对应的机器操作指令;其中,所述第二预设数据库中包括至少一个相对位置及与所述至少一个相对位置一一对应的机器操作指令。
5.根据权利要求1或2或4所述的方法,其特征在于,所述获取所述用户在所述虚拟操作平面上的手部操作,包括:
拍摄获取所述虚拟操作平面的视频画面;
在所述视频画面中识别获取至少一个手指目标;
获取所述至少一个手指目标在所述视频画面中连续N个帧中的移动轨迹,作为所述用户在所述虚拟操作平面上的手部操作;其中,所述N大于或等于2。
6.根据权利要求1或2或4所述的方法,其特征在于,在所述通过红外技术,检测所述触屏可穿戴设备上表面距离其正前方的物体的距离之前,所述方法还包括:
接收使用所述触屏可穿戴设备的用户输入的触控操作指令。
7.根据权利要求1或2或4所述的方法,其特征在于,所述触屏可穿戴设备为智能手表。
8.一种触屏可穿戴设备,其特征在于,包括:
检测单元,用于通过红外技术,检测所述触屏可穿戴设备上表面距离其正前方的物体的距离;
判断单元,用于根据检测单元检测的所述距离,判断所述物体是否位于虚拟操作平面上;其中,所述虚拟操作平面为与所述触屏可穿戴设备上表面距离满足预设范围的平面;
第一获取单元,用于当所述判断单元判断所述物体位于所述虚拟操作平面时,获取所述用户在所述虚拟操作平面上的手部操作;
第二获取单元,用于根据所述手部操作,获取所述第一获取单元获取的所述手部操作对应的机器操作指令;
响应单元,用于响应所述第二获取单元获取的所述机器操作指令。
9.根据权利要求8所述的触屏可穿戴设备,其特征在于,所述物体为所述用户的手部。
10.根据权利要求8或9所述的触屏可穿戴设备,其特征在于,所述第二获取单元具体用于:
在第一预设数据库中,获取所述手部操作对应的机器操作指令;其中,所述第一预设数据库中包括至少一个手部操作及与所述至少一个手部操作一一对应的机器操作指令。
11.根据权利要求8所述的触屏可穿戴设备,其特征在于,所述物体为用于投影的投影体;
所述第一获取单元具体用于:
当所述距离满足预设范围时,将所述触屏可穿戴设备的操作界面投影至所述投影体上,形成投影操作界面;
获取所述用户在所述投影操作界面上的手部操作;
所述第二获取单元具体用于:
获取用户手部与所述投影操作界面的相对位置;
在第二预设数据库中,获取所述相对位置对应的机器操作指令;其中,所述第二预设数据库中包括至少一个相对位置及与所述至少一个相对位置一一对应的机器操作指令。
12.根据权利要求8或9或11所述的触屏可穿戴设备,其特征在于,所述第一获取单元具体用于:
拍摄获取所述虚拟操作平面的视频画面;
在所述视频画面中识别获取至少一个手指目标;
获取所述至少一个手指目标在所述视频画面中连续N个帧中的移动轨迹,作为所述用户在所述虚拟操作平面上的手部操作;其中,所述N大于或等于2。
13.根据权利要求8或9或11所述的触屏可穿戴设备,其特征在于,所述触屏可穿戴设备还包括:
接收单元,用于接收使用所述触屏可穿戴设备的用户输入的触控操作指令。
14.根据权利要求8或9或11所述的触屏可穿戴设备,其特征在于,所述触屏可穿戴设备为智能手表。
CN201510450704.3A 2015-07-28 2015-07-28 一种人机交互方法及触屏可穿戴设备 Active CN105094675B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510450704.3A CN105094675B (zh) 2015-07-28 2015-07-28 一种人机交互方法及触屏可穿戴设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510450704.3A CN105094675B (zh) 2015-07-28 2015-07-28 一种人机交互方法及触屏可穿戴设备

Publications (2)

Publication Number Publication Date
CN105094675A true CN105094675A (zh) 2015-11-25
CN105094675B CN105094675B (zh) 2019-04-02

Family

ID=54575243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510450704.3A Active CN105094675B (zh) 2015-07-28 2015-07-28 一种人机交互方法及触屏可穿戴设备

Country Status (1)

Country Link
CN (1) CN105094675B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105589607A (zh) * 2016-02-14 2016-05-18 京东方科技集团股份有限公司 触控系统、触控显示系统和触控交互方法
CN106095309A (zh) * 2016-06-03 2016-11-09 广东欧珀移动通信有限公司 终端的操作控制方法及装置
CN106648263A (zh) * 2016-11-11 2017-05-10 珠海格力电器股份有限公司 终端设备及其操控系统、操控方法和装置
CN106791030A (zh) * 2016-12-01 2017-05-31 杭州联络互动信息科技股份有限公司 一种智能手表的控制方法和装置
WO2017114254A1 (zh) * 2015-12-31 2017-07-06 青岛海尔股份有限公司 一种智能穿戴设备
CN107343150A (zh) * 2017-07-31 2017-11-10 合肥龙图腾信息技术有限公司 一种人机交互式照片拍摄和浏览的方法、系统和装置
WO2019018992A1 (zh) * 2017-07-24 2019-01-31 深圳市柔宇科技有限公司 手势识别方法、头部可穿戴设备和手势识别装置
CN113791685A (zh) * 2021-08-16 2021-12-14 青岛海尔科技有限公司 用于移动组件的方法及装置、电子设备、存储介质
CN115268751A (zh) * 2022-03-17 2022-11-01 绍兴埃瓦科技有限公司 一种基于虚拟显示平面的操控方法与设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976154A (zh) * 2010-07-27 2011-02-16 苏州瀚瑞微电子有限公司 投影式触控系统
WO2013009482A2 (en) * 2011-07-12 2013-01-17 Google Inc. Methods and systems for a virtual input device
CN103019559A (zh) * 2012-11-27 2013-04-03 海信集团有限公司 手势控制投影显示装置及其控制方法
CN103309133A (zh) * 2012-03-12 2013-09-18 联想(北京)有限公司 一种投影方法及一种电子设备
CN103324272A (zh) * 2012-03-19 2013-09-25 联想(北京)有限公司 一种电子设备控制方法及装置
CN103336575A (zh) * 2013-06-27 2013-10-02 深圳先进技术研究院 一种人机交互的智能眼镜系统及交互方法
CN103713737A (zh) * 2013-12-12 2014-04-09 中国科学院深圳先进技术研究院 用于智能眼镜的虚拟键盘系统
CN104570366A (zh) * 2015-01-16 2015-04-29 中国科学院上海光学精密机械研究所 一种具有手势识别功能的全息头盔显示器
CN104793731A (zh) * 2015-01-04 2015-07-22 北京君正集成电路股份有限公司 可穿戴设备的信息输入方法及可穿戴设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976154A (zh) * 2010-07-27 2011-02-16 苏州瀚瑞微电子有限公司 投影式触控系统
WO2013009482A2 (en) * 2011-07-12 2013-01-17 Google Inc. Methods and systems for a virtual input device
CN103309133A (zh) * 2012-03-12 2013-09-18 联想(北京)有限公司 一种投影方法及一种电子设备
CN103324272A (zh) * 2012-03-19 2013-09-25 联想(北京)有限公司 一种电子设备控制方法及装置
CN103019559A (zh) * 2012-11-27 2013-04-03 海信集团有限公司 手势控制投影显示装置及其控制方法
CN103336575A (zh) * 2013-06-27 2013-10-02 深圳先进技术研究院 一种人机交互的智能眼镜系统及交互方法
CN103713737A (zh) * 2013-12-12 2014-04-09 中国科学院深圳先进技术研究院 用于智能眼镜的虚拟键盘系统
CN104793731A (zh) * 2015-01-04 2015-07-22 北京君正集成电路股份有限公司 可穿戴设备的信息输入方法及可穿戴设备
CN104570366A (zh) * 2015-01-16 2015-04-29 中国科学院上海光学精密机械研究所 一种具有手势识别功能的全息头盔显示器

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017114254A1 (zh) * 2015-12-31 2017-07-06 青岛海尔股份有限公司 一种智能穿戴设备
CN105589607A (zh) * 2016-02-14 2016-05-18 京东方科技集团股份有限公司 触控系统、触控显示系统和触控交互方法
WO2017136980A1 (zh) * 2016-02-14 2017-08-17 京东方科技集团股份有限公司 触控系统、触控显示系统和触控交互方法
CN105589607B (zh) * 2016-02-14 2018-09-07 京东方科技集团股份有限公司 触控系统、触控显示系统和触控交互方法
US10303276B2 (en) 2016-02-14 2019-05-28 Boe Technology Group Co., Ltd. Touch control system, touch control display system and touch control interaction method
CN106095309A (zh) * 2016-06-03 2016-11-09 广东欧珀移动通信有限公司 终端的操作控制方法及装置
CN106648263A (zh) * 2016-11-11 2017-05-10 珠海格力电器股份有限公司 终端设备及其操控系统、操控方法和装置
CN106791030A (zh) * 2016-12-01 2017-05-31 杭州联络互动信息科技股份有限公司 一种智能手表的控制方法和装置
WO2019018992A1 (zh) * 2017-07-24 2019-01-31 深圳市柔宇科技有限公司 手势识别方法、头部可穿戴设备和手势识别装置
CN107343150A (zh) * 2017-07-31 2017-11-10 合肥龙图腾信息技术有限公司 一种人机交互式照片拍摄和浏览的方法、系统和装置
CN113791685A (zh) * 2021-08-16 2021-12-14 青岛海尔科技有限公司 用于移动组件的方法及装置、电子设备、存储介质
CN115268751A (zh) * 2022-03-17 2022-11-01 绍兴埃瓦科技有限公司 一种基于虚拟显示平面的操控方法与设备

Also Published As

Publication number Publication date
CN105094675B (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
CN105094675A (zh) 一种人机交互方法及触屏可穿戴设备
CN107913520B (zh) 信息处理方法、装置、电子设备及存储介质
US8466934B2 (en) Touchscreen interface
JP6464138B2 (ja) ジェスチャによるタッチ入力の向上
US8769409B2 (en) Systems and methods for improving object detection
US9544556B2 (en) Projection control apparatus and projection control method
US10514842B2 (en) Input techniques for virtual reality headset devices with front touch screens
US10268277B2 (en) Gesture based manipulation of three-dimensional images
JP5973679B2 (ja) アプリケーション・インタフェース移動の制御方法、その制御装置及び、端末デバイス、プログラム及び記録媒体
WO2021098832A1 (zh) 元素控制方法、装置、设备及存储介质
CN104317398A (zh) 一种手势控制方法、穿戴式设备及电子设备
CN105912101B (zh) 一种投影控制方法和电子设备
US10969827B2 (en) Electronic device and method for controlling user interface therein
JP2015537266A (ja) インターフェース制御方法及び制御装置
JP2012022632A (ja) 情報処理装置およびその制御方法
JP2012238293A (ja) 入力装置
KR20190036061A (ko) 3d 객체의 터치 방식 회전 제어 장치 및 방법
CN110795015A (zh) 操作提示方法、装置、设备及存储介质
CN106249879A (zh) 一种虚拟现实图像的显示方法及终端
CN103513866B (zh) 面形信息体集合的显示方法、装置及移动设备
CN104536678A (zh) 一种显示效果调节方法及电子设备
US10474409B2 (en) Response control method and electronic device
JP6686319B2 (ja) 画像投影装置及び画像表示システム
US9459699B2 (en) Control method and electronic device
US20150205374A1 (en) Information processing method and electronic device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant