CN103995592A - 穿戴式设备与终端进行信息交互的方法及终端 - Google Patents

穿戴式设备与终端进行信息交互的方法及终端 Download PDF

Info

Publication number
CN103995592A
CN103995592A CN201410217787.7A CN201410217787A CN103995592A CN 103995592 A CN103995592 A CN 103995592A CN 201410217787 A CN201410217787 A CN 201410217787A CN 103995592 A CN103995592 A CN 103995592A
Authority
CN
China
Prior art keywords
wearable equipment
gesture
terminal
module
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410217787.7A
Other languages
English (en)
Inventor
李君�
李柯材
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqin Telecom Technology Co Ltd
Original Assignee
Huaqin Telecom Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqin Telecom Technology Co Ltd filed Critical Huaqin Telecom Technology Co Ltd
Priority to CN201410217787.7A priority Critical patent/CN103995592A/zh
Publication of CN103995592A publication Critical patent/CN103995592A/zh
Pending legal-status Critical Current

Links

Abstract

本发明涉及穿戴式设备与终端交互领域,公开了一种穿戴式设备与终端进行信息交互的方法及终端。本发明中,通过穿戴式设备内设的传感器实时采集手部信息,终端根据预先确定的投影坐标系与显示内容坐标系之间的对应关系,将手部信息在投影坐标系的位置,转换到相应的显示区域;并根据手部信息,确认指示或控制手势,在显示区域进行指示或控制,实现根据手势对显示内容的精确定位与控制。本发明无需特定的采集设备,只需要穿戴式设备即可完成数据采集,使得信息交互方式不仅简单且有效降低了成本;并且,只需要随身携带的穿戴式设备即可对投影进行控制,给用户带来较为便利的体验效果。

Description

穿戴式设备与终端进行信息交互的方法及终端
技术领域
本发明涉及穿戴式设备与终端交互领域,特别涉及穿戴式设备与终端进行信息交互的方法及终端。
背景技术
交互式投影就是投影机将计算机上的内容投影到投影屏幕上,利用专用的定位笔代替鼠标在该投影屏幕上进行控制,以运行计算机上的应用程序,对计算机上的文件进行编辑、注释、保存等,也就是说,任何在计算机上利用键盘及鼠标可以实现的操作,都可以使用专用的定位笔在投影屏幕上完成。
电子白板及交互式投影系统是采用交互式投影技术的两款主流产品。其中,电子白板通常需要特殊材质的投影屏幕,如压感式、磁感式,或者装备有超声及红外探头的投影屏幕,以对定位笔在投影屏上的位置进行定位。但由于受到投影屏幕材质和加工工艺的限制,电子白板的制造成本很高且无法做到超大屏幕显示。
交互式投影系统包括分开设置的普通投影机和图像采集装置,普通投影机对投影屏幕没有材质和大小的限制,可以是我们熟知的幕布、平整的墙面、桌面等,因此交互式投影系统具有制造成本低的特点。交互式投影系统通过激光笔以非接触的方式向投影屏幕发射光束,以在投影屏幕上形成遥控光点,图像采集装置检测该遥控光点的位置,系统通过计算获取该遥控光点在所投影的图像中的投影位置,然后触发对应位置的相应操作,如在所投影的图像中显示该遥控光点的运行轨迹,或是进行单击操作等。
上述采用激光笔的交互式投影系统,需要额外配置图像采集装置检测遥控光点的位置,如果缺乏该图像采集装置,则激光笔不能完成上述对投影的操作功能。
发明内容
本发明的目的在于提供一种穿戴式设备与终端进行信息交互的方法及终端,使得信息交互方式不仅简单且有效降低了成本,给用户带来较为便利的体验效果。
为解决上述技术问题,本发明的实施方式提供了一种穿戴式设备与终端进行信息交互的方法,包含以下步骤:
步骤一,将所述穿戴式设备与所述终端连接;
步骤二,所述终端接收来自所述穿戴式设备的手部信息;其中,所述手部信息通过所述穿戴式设备内设的传感器实时采集得到;
步骤三,所述终端根据所述手部信息,将所述穿戴式设备当前在投影坐标系的位置,转换到相应的显示区域;
步骤四,所述终端根据所述手部信息,确认指示或控制手势,并在所述显示区域进行指示或控制;
其中,所述投影坐标系与所述显示区域的对应关系预先通过校准步骤确定。
本发明的实施方式提供了一种终端,包含:通讯模块、数据接收模块、位置转换模块、手势确认模块、执行模块、校准模块;
所述通讯模块用于与穿戴式设备建立连接;
所述数据接收模块用于接收来自所述穿戴式设备的手部信息;其中,所述手部信息通过所述穿戴式设备内设的传感器实时采集得到;
所述位置转换模块用于根据所述手部信息,将所述穿戴式设备当前在投影坐标系的位置,转换到相应的显示区域;
所述手势确认模块用于根据所述手部信息,确认指示或控制手势;
所述执行模块用于根据所述位置转换模块得到的显示区域和所述手势确认模块确定的手势,在所述显示区域进行指示或控制;
所述校准模块用于确定所述投影坐标系与所述显示区域的对应关系。
本发明相对于现有技术,通过穿戴式设备内设的传感器实时采集手部信息,终端根据预先确定投影坐标系与显示内容坐标系之间的对应关系,将手部信息在投影坐标系的位置,转换到相应的显示区域;并根据手部信息,确认指示或控制手势,在显示区域进行指示或控制,实现根据手势对显示内容的精确定位与控制。无需特定的采集设备,只需要穿戴式设备即可完成数据采集,使得信息交互方式不仅简单且有效降低了成本;而且也不需要携带专用的发出红外光线的激光笔,只需要随身携带的穿戴式设备即可对投影进行控制,给用户带来较为便利的体验效果。
另外,在所述校准步骤中,以预设手势确认投影区域的基准点,以所述基准点所在区域为所述投影区域;
以所述基准点中的第一基准点为原点,第一基准点指向第二基准点的方向为X方向,所述X方向的垂直方向为Y方向,确定所述投影坐标系;
确定所述投影坐标系与所述显示区域的对应关系为:所述手部信息确定的位置相对于投影坐标系中基准平面的比例与所需指示或控制的位置相对于所述终端中的显示区域的比例相同。
在校准阶段,通过预设手势可实现投影区域的确认,并确定投影坐标系及其与显示区域的对应关系,为后续使用阶段的精确定位和显示控制提供良好基础。
另外,为了实现指示功能的精确定位及显示,在所述步骤三中,包含以下子步骤:
根据所述手部信息,计算当前指示位置在所述投影坐标系中的坐标;
如果当前指示位置处于投影区域,则根据校准步骤中确定的所述投影坐标系与所述显示区域的对应关系,计算当前指示位置在显示区域的绝对坐标;
在所述步骤四中,根据所述手部信息,确认手势为预设的指示手势时,在所述绝对坐标所在位置显示指示符号。
另外,为了实现显示控制功能的精确控制,在所述步骤三中,包含以下子步骤:
根据所述手部信息,确定在投影坐标系的坐标;
根据坐标及角度,确定穿戴式设备的位置及方向;其中,所述角度为所述手部信息中的一个数据;
将一定时间内穿戴式设备的位置及方向组成连续轨迹,
在所述步骤四中,确定所述连续轨迹是否构成手势;
如果所述确定的手势为预设控制手势中的一种,则根据所述确定的手势进行相应的显示控制,其中,所述预设手势与所述显示控制一一对应。
另外,在所述步骤三中,还包含以下子步骤:
根据所述手部信息,计算当前位置在投影坐标系的坐标;
将当前坐标减去各轴偏移的偏移量,得到减偏坐标;
将所述减偏坐标转换到相应的显示区域;
其中,所述各轴偏移的偏移量是在所述校准步骤之后,所述穿戴式设备离开原校准位置,获得的各轴偏移原校准位置的位移量。
通过上述方法,用户的位置改变之后,也就是用户离开校准阶段坐在位置之后,无需重新校准,可直接计算指示坐标,使得本实施方式的信息交互方法较为便利,进一步给用户带来好的体验效果。
附图说明
图1是根据本发明第一实施方式的穿戴式设备与终端进行信息交互的方法的流程图;
图2是根据本发明第一实施方式中投影区域与显示区域的对应关系示意图;
图3是根据本发明第一实施方式中校准流程示意图;
图4是根据本发明第一实施方式中坐标位置计算示意图;
图5是根据本发明第一实施方式中指示显示流程示意图;
图6是根据本发明第一实施方式中显示控制流程示意图;
图7是根据本发明第一实施方式中预设手势的示意图;
图8是根据本发明第二实施方式的穿戴式设备与终端进行信息交互的方法的流程图;
图9是根据本发明第三实施方式的终端的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请各权利要求所要求保护的技术方案。
本发明的第一实施方式涉及一种穿戴式设备与终端进行信息交互的方法,本发明的实施方式主要利用了穿戴式设备内设的传感器与终端进行信息交互。例如,佩戴在手部的穿戴式设备可以获取手的运动轨迹,可以应用所述的运动轨迹来对投影进行显示或控制。与现有技术相比,无需特定的采集设备,只需要利用穿戴式设备即可完成数据采集,将采集的数据传递给用于控制投影的终端(以下简称“终端”),终端对接收数据进行分析,可以获得手的某些运动轨迹,通过识别这些运动轨迹,将其作为手势,可以控制投影的显示或控制,该信息交互方式不仅简单且有效降低了成本;此外,也不需要携带专用的发出红外光线的激光笔,只需要随身携带的穿戴式设备即可对投影进行控制,给用户带来较为便利的体验效果。
在本发明的实施方式中,穿戴式设备可以是智能手表、手环、戒指等;终端可以是电脑、笔记本电脑、手机、PAD等;对投影的显示或控制包含翻页、划线、选中、状态切换、擦除轨迹等。下面结合图1,对本发明第一实施方式的穿戴式设备与终端进行信息交互的方法进行具体说明。
如图1所示,在步骤101中,将穿戴式设备与终端连接,以便进行后续的信息交互。具体的连接方式可采用有线连接或如WIFI、蓝牙等无线连接方式,优选的采用无线连接的方式,如目前较为常规的蓝牙连接方式。
步骤102,接收来自穿戴式设备的手部信息;其中,手部信息通过穿戴式设备内设的传感器实时采集得到。比如说,当穿戴式设备为智能手表时,智能手表内设的传感器可以放置于智能手表的表盘部分,或者智能手表的表带处。所述传感器可以是重力加速度传感器,陀螺仪,或者其他已知类型的传感器。所述的手部信息可分为指示信息和控制信息。指示信息是对投影图像中的内容或区域进行指示的信息;控制信息是通过特定动作轨迹的探测,来触发特定控制的信息,对投影来讲,最常用的控制信息是翻页动作和退出动作。
步骤103,根据手部信息,将穿戴式设备当前在投影坐标系的位置,转换到对应的显示区域;其中,投影坐标系与显示区域的对应关系预先通过校准步骤确定。具体的校准步骤将在后文中进行详细说明。
接着,在步骤104中,根据手部信息,确认指示或控制手势,并在显示区域进行指示或控制。
由于在穿戴式设备与终端交互进行投影显示或控制之前,需要预先进行投影区域与终端显示区域的校准,因此下面对步骤103中出现的校准步骤进行详细说明。
首先,穿戴式设备通过传感器获取三个方向加速度、三个角加速度,并传递给终端。终端对接收到的三个方向加速度、三个角加速度进行积分运算,获取运动轨迹,确认手势,如确认手势是否是确认基准点的手势。比如说,可以采用点击两下的手势作为确认基准点的手势,在实际时,可以通过接收数据大致保持不变数秒来确认这一手势。当第一次分析出点击两下的手势(即第一次检测到确认基准点的手势)时,记录当前穿戴式设备所在位置为第一基准点,当第二次分析出点击两下的手势(即第二次检测到确认基准点的手势)时,记录当前穿戴式设备所在位置为第二基准点,当第三次分析出点击两下的手势时,记录当前穿戴式设备所在位置为第三基准点,依次类推,可以确定多个基准点。基准点的坐标值可以通过取点击两下这一手势的所有数据,进行平均得到。
然后,在确定存在多个确认基准点的手势后,确定投影区域,并建立投影坐标系。比如说,如图2所示,假设A’B’C’D’为投影区域,用户利用带有穿戴式设备的手指向投影区域的一个角,如A’点(此时手的位置在A点),并用手点击两下。终端识别到此动作后,将A点作为投影区域的一个基准点。用户以同样的方式确定另外B、C、D三个基准点之后,终端则可依据此四点的空间坐标建立一个完整的坐标系,如此,通过穿戴式设备和终端之间的交互过程,完成了基准点校准工作,4个点构成一个投影区域。
需要说明的是,至少需要三个基准点确定投影坐标系,具体可以通过以下两种方式确定投影区域,并建立投影坐标系,以下结合图2说明这两种方式:
(1)从左下角点A(第一基准点)移动到右下角点B(第二基准点),然后移动到左上角点D(第三基准点),确定矩形区域为投影区域;第一基准点为原点,A指向B的方向为投影坐标系的X方向,A指向D的方向为投影坐标系的Z方向。比如,图2中,A点为原点,AB方向为X方向,AB的垂直方向为Y方向,AD方向为Z方向。
(2)从左下角点A(第一基准点)移动到右下角点B(第二基准点),然后移动到右上角点C(第三基准点),再移动到左上角点D(第四基准点),确定任意四边形区域为投影区域;A为原点,A指向B的方向为投影坐标系的X方向,X方向的垂直方向为Y方向。
此外,在校准步骤中,用户还可以以手画投影区域边框的方式确定四个基准点,原理与上述相同,在此不再一一赘述。
在完成投影坐标系的建立之后,确定投影坐标系与显示区域的对应关系,即可完成投影区域与终端显示区域的校准。具体为:手部信息确定的位置相对于投影坐标系中基准平面的比例与所需指示或控制的位置相对于终端中的显示区域的比例相同。图2中ABCD为校准时确定的坐标系四个基准点,对应A’B’C’D’为投影区域,手势确认的点相对于基准平面的比例与所需标注的点相对于终端中的显示区域的比例相同。比如说,将穿戴式设备所处位置E转换成显示区域对应位置E’的示意图如图4所示,图中 其中,投影坐标系中,L1、L2、AB、AD已知,显示区域中,A’B’、A’D’已知,那么L1’、L2’即可很容易计算出来,也就很容易将手部信息在投影坐标系的位置,转换到相应的显示区域。
此外,值得一提的是,为了使终端与用户的交互更友好,本实施方式在终端设定了校准人机界面,在穿戴式设备与终端进行连接实现对投影图像中的内容或区域进行指示或控制的功能时,终端主动提示用户开始校准。校准完毕之后,终端可以提示“校准完成,可以继续使用”,提醒用户校准完毕,可以开始使用了。
一旦完成投影区域与终端显示区域的校准,即可在根据手部信息,获取到穿戴式设备在投影坐标系的坐标后,转换到对应的显示区域。下面对穿戴式设备在投影坐标系中的坐标和轨迹的计算,进行具体说明。
穿戴式设备实时输出三个方向加速度和三个角加速度信息给终端,终端对方向加速度进行积分运算可获得线速度,再对线速度进行积分运算可获得位移,从而算出穿戴式设备在坐标系中的实时坐标。配合角度信息(如角速度、旋转角等),便可唯一确定穿戴式设备的坐标与方向。对一定连续时间内(如5秒)穿戴式设备的坐标与方向结合处理,便可获取在此连续时间内穿戴式设备的运动轨迹。上述计算可采用以下计算公式完成,比如:
1.旋转角的计算公式:
AR = ω 0 · Δ t + 1 2 α · Δ t 2
其中,AR表示旋转角,ω0表示初始角速度,△t表示时间,α表示角加速度。
2.运动轨迹的计算公式:
Δ d = v 0 · Δ t + 1 2 α · Δ t 2
其中,△d表示运动轨迹,v0表示初始线速度,△t表示时间,a表示线加速度。
3.线速度和角速度:
v=s/t
ω=Φ/t
其中,ω表示角速度,v表示线速度,s表示路径,t表示时间,Φ表示旋转角的角度。
4.线速度和角速度的关系:
v=r·ω
其中,v表示线速度,r表示半径,ω表示角速度。
如上所述,在确定了穿戴式设备在投影坐标系的坐标后,通过确定坐标位置在整个投影区域中的相对长宽比例,即可转化得到在显示区域中的对应位置,进而可以在步骤104中,根据手部信息,确认指示或控制手势,并在显示区域进行指示或控制。
由于在步骤104中,涉及到了两种手势:指示手势或控制手势,因此下面对两种手势的检测与响应进行具体说明。
在实际使用中,当终端确认手部信息在所建立的投影区域内,且根据手部信息确认的手势为预设的指示或控制手势时,把该信息显示在投影中。在投影屏幕上显示的轨迹或图形,显示时时长可设定为延时数秒,也可以由用户来自定义。也可以是对手部信息进行进一步确认后显示,判定为有效动作时进行显示,而判定为无效动作时不显示,具体判断方法可为:
1)探测到点信息,手部信息的处理确定为指示手势时,将在投影区域中的确定区域或点的内容显示出来,可以使用高亮条或点。显示的方式可以是在内容下打高亮条,也可以是另外模拟一个圆圈形或其他形状的图形覆盖在相应区域上方,形状的大小可以自定义设置,也可以根据显示屏幕中字体的大小来缩放,如字体较大,图形的尺寸也应更大些。更进一步的,为提高显示精确度,可以把探测到手在投影坐标系内的某个位置并停留时间大于阈值(如数秒)的情况作为响应条件。
具体地说,如图5所示,先根据手部信息,计算当前指示位置在投影坐标系中的坐标。如果当前指示位置处于投影区域,则根据校准步骤中确定的投影坐标系与显示区域的对应关系,计算当前指示位置在显示区域的绝对坐标。然后,根据手部信息,确认手势为预设的指示手势时,在绝对坐标所在位置显示指示符号(比如,光标或红色圆点)。
2)探测手部信息为特定的手势,可采用动作轨迹探测技术。在投影中,较常用的为在特定行的文字指示,可量化为平移动作或垂直动作,及仅有传感器的某个方向上参数有匀速变化,而其他方向上基本不变。以此作为平移指示动作或垂直指示动作的判断依据,终端探测到后按此指示显示在相应位置上。
画圈动作可通过探测到手部作了一个圆周运动,形成一个闭合的曲线,此时传感器探测到参数变化规律为:某个方向上的参数变化很小(这个方向为垂直投影区域的方向),且其他两个方向的参数,至少有两个点的参数是相同或相近似(优选为起始和结束点的参数相同或相近似)。
控制信息为通过特定动作轨迹的探测,来触发特定控制,该特定动作轨迹可预设并存储在终端中。对投影来讲,最常用的就是翻页动作和退出动作。翻页动作可自定义,例如可以预设为手部从下往上为上翻,手部从上往下为下翻。一旦终端接收到智能穿戴式设备发过来的手部信息探测为如上两种信息时,触发投影显示(比如PPT)的上翻或下翻控制。
请参阅图6所示,先根据手部信息,确定在投影坐标系的坐标;再根据坐标及角度,确定穿戴式设备的位置及方向;其中,角度为手部信息中的一个数据;然后将一定时间内穿戴式设备的位置及方向组成连续轨迹,确定连续轨迹是否构成手势;如果确定的手势为预设控制手势中的一种,则根据确定的手势进行相应的显示控制,其中,预设手势与显示控制一一对应。
具体地说,可以通过以下七个步骤来实现手势的识别:
步骤1,通过检测手势运动速率的变化来分割手势的起止。
步骤2,跟踪用户的手势,得到一系列的跟踪点(坐标点),这些跟踪点代表了手势的运动轨迹特性。
步骤3,沿着时间轴把这些跟踪点投影到一个二维图像平面上,得到了表示动态手势的一系列离散轨迹点。
步骤4,采用3次B样条把二维图像平面上这些离散轨迹点拟合成一条光滑的曲线。
步骤5,引入曲线矩作为手势表观轨迹的特征。
步骤6,采用决策树分类器对所得的手势表观轨迹与手势库进行分类识别。
步骤7,如果识别成功,则执行相应的功能。比如:识别出图7中预设的手势,701表示上翻页,702表示下翻页,703表示选中,则执行相应的上翻页、下翻页和选中等功能。
与现有技术相比,本实施方式通过穿戴式设备内设的传感器实时采集手部信息,终端根据预先确定的投影坐标系与显示内容坐标系之间的对应关系,将手部信息在投影坐标系的位置,转换到相应的显示区域;并根据手部信息,确认指示或控制手势,在显示区域进行指示或控制,实现根据手势对显示内容的精确定位与控制。无需特定的采集设备,只需要穿戴式设备即可完成数据采集,使得信息交互方式不仅简单且有效降低了成本;而且也不需要携带专用的发出红外光线的激光笔,只需要随身携带的穿戴式设备即可对投影进行控制,给用户带来较为便利的体验效果。
此外,值得说明的是,第一实施方式中涉及了校准、投影显示、投影控制等多方面的内容,但并不说明在实际应用中必须包含所有方面,比如,某些场合,只需要进行投影控制,并不需要投影显示,此时可以只包含投影控制这一部分功能即可。任何对本实施方式的删减,均应在本发明的保护范围之内。
本发明的第二实施方式涉及一种穿戴式设备与终端进行信息交互的方法。第二实施方式在第一实施方式基础上做了进一步改进,主要改进之处在于:在本实施方式中,用户的位置改变之后,也就是用户离开校准阶段所在位置之后,无需重新校准,可直接计算指示坐标,使得本实施方式的信息交互方法较为便利,进一步给用户带来好的体验效果。
具体地说,第一实施方式的步骤101、102、104在本实施方式中仍然适用,第一实施方式的步骤103随着用户位置的改变量进行改变,如图8所示,可先根据手部信息,计算当前位置在投影坐标系的坐标;然后将当前坐标减去各轴偏移的偏移量,得到减偏坐标;再将减偏坐标转换到相应的显示区域。其中,各轴偏移的偏移量是在校准步骤之后,穿戴式设备离开原校准位置,获得的各轴偏移原校准位置的位移量。
由于用户在处于原校准位置,进行指示或控制时,从穿戴式设备传递给终端的数据分析出的坐标应该始终在校准阶段确定的基准平面及其附近,一旦用户离开原校准位置,从穿戴式设备传递给终端的数据分析出的坐标会远离在校准阶段确定的基准平面及其附近,因此,可以设置一定的阈值,一旦检测到从穿戴式设备传递给终端的数据分析出的坐标远离在校准阶段确定的基准平面一定阈值时,获取这个远离的具体值,作为各轴偏移的偏移量。其中,阈值可以是一个预设的固定值,也可以在实际应用中根据判定是否远离原校准位置的准确性进行调整。比如,智能手表戴在用户的手腕上,那么这个阈值可以在0至成人一只手臂的长度之间取值。
不难发现,第二实施方式为第一实施方式的进一步改进,第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,第二实施方式中提到的相关技术细节也可应用在第一实施方式中。
本发明的第三实施方式涉及一种终端,结构如图9所示,包含:通讯模块、数据接收模块、位置转换模块、手势确认模块、执行模块、以及校准模块。
其中,通讯模块用于与穿戴式设备建立连接。
数据接收模块用于接收来自穿戴式设备的手部信息;其中,手部信息通过穿戴式设备内设的传感器实时采集得到。
位置转换模块用于将手部信息在投影坐标系的位置,转换到相应的显示区域。
手势确认模块用于根据手部信息,确认指示或控制手势。
执行模块用于根据位置转换模块得到的显示区域和手势确认模块确定的手势,在显示区域进行指示或控制。
校准模块用于确定投影坐标系与显示区域的对应关系。校准模块进一步包含:坐标系建立子模块、对应关系确定子模块;坐标系建立子模块用于根据手部信息,确定投影区域,并建立投影坐标系;对应关系确定子模块用于确定投影坐标系与显示区域的对应关系。具体地说,坐标系建立子模块以预设手势确认投影区域的基准点,以基准点所在区域为投影区域;并以基准点中的第一基准点为原点,第一基准点指向第二基准点的方向为X方向,X方向的垂直方向为Y方向,确定投影坐标系;对应关系确定子模块中,确定投影坐标系与显示区域的对应关系为:手部信息确定的位置相对于投影坐标系中基准平面的比例与所需指示或控制的位置相对于终端中的显示区域的比例相同。
位置转换模块可进一步包含:坐标计算子模块、判断子模块、坐标转换子模块;其中,坐标计算子模块用于根据手部信息,计算当前指示位置在投影坐标系中的坐标;判断子模块用于判断当前指示位置是否处于投影区域;坐标转换子模块用于在判断子模块判定当前指示位置处于投影区域时,根据校准模块确定的投影坐标系与显示区域的对应关系,计算当前指示位置在显示区域的绝对坐标;执行模块在手势确认模块确认手势为预设的指示手势时,在绝对坐标所在位置显示指示符号。
位置转换模块还可进一步包含:位置和方向确定子模块、轨迹确定子模块;其中,坐标计算子模块用于根据手部信息,确定在投影坐标系的坐标,位置和方向确定子模块用于根据坐标及角度,确定穿戴式设备的位置及方向;其中,角度为手部信息中的一个数据;轨迹确定子模块用于将一定时间内穿戴式设备的位置及方向组成连续轨迹;手势确认模块还用于确定连续轨迹是否构成手势;执行模块还用于在手势确认模块确定的手势为预设手势中的一种时,根据确定的手势进行相应的显示控制,其中,预设手势与显示控制一一对应。
不难发现,第三实施方式为与第一实施方式相对应的装置实施例,第三实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,第三实施方式中提到的相关技术细节也可应用在第一实施方式中。
本发明的第四实施方式涉及一种终端。第四实施方式在第三实施方式基础上做了进一步改进,主要改进之处在于:在第四实施方式中,用户的位置改变之后,也就是用户离开校准阶段所在位置之后,无需重新校准,可直接计算指示坐标,使得第四实施方式的信息交互方法较为便利,进一步给用户带来好的体验效果。
具体地说,位置转换模块还可进一步包含:偏移校正子模块、坐标转换子模块;其中,在坐标计算子模块根据手部信息,计算当前位置在投影坐标系的坐标之后,偏移校正子模块用于将当前坐标减去各轴偏移的偏移量,得到减偏坐标;坐标转换子模块用于将减偏坐标转换到相应的显示区域;其中,各轴偏移的偏移量是在校准模块进行校准之后,穿戴式设备离开原校准位置,获得的各轴偏移原校准位置的位移量。
不难发现,第四实施方式为与第二实施方式相对应的装置实施例,本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第二实施方式中。
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。

Claims (13)

1.一种穿戴式设备与终端进行信息交互的方法,其特征在于,包含以下步骤:
步骤一,将所述穿戴式设备与所述终端连接;
步骤二,所述终端接收来自所述穿戴式设备的手部信息;其中,所述手部信息通过所述穿戴式设备内设的传感器实时采集得到;
步骤三,所述终端根据所述手部信息,将所述穿戴式设备当前在投影坐标系的位置,转换到相应的显示区域;
步骤四,所述终端根据所述手部信息,确认指示或控制手势,并在所述显示区域进行指示或控制;
其中,所述投影坐标系与所述显示区域的对应关系预先通过校准步骤确定。
2.根据权利要求1所述的穿戴式设备与终端进行信息交互的方法,其特征在于,在所述校准步骤中,包含以下步骤:
根据所述手部信息,以预设手势确认投影区域的基准点,以所述基准点所在区域为所述投影区域;
以所述基准点中的第一基准点为原点,第一基准点指向第二基准点的方向为X方向,所述X方向的垂直方向为Y方向,确定所述投影坐标系;
确定所述投影坐标系与所述显示区域的对应关系为所述手部信息确定的位置相对于投影坐标系中基准平面的比例与所需指示或控制的位置相对于所述终端中的显示区域的比例相同。
3.根据权利要求1所述的穿戴式设备与终端进行信息交互的方法,其特征在于,在所述步骤三中,包含以下子步骤:
根据所述手部信息,计算当前指示位置在所述投影坐标系中的坐标;
如果当前指示位置处于投影区域,则根据校准步骤中确定的所述投影坐标系与所述显示区域的对应关系,计算当前指示位置在显示区域的绝对坐标;
在所述步骤四中,根据所述手部信息,确认手势为预设的指示手势时,在所述绝对坐标所在位置显示指示符号。
4.根据权利要求1所述的穿戴式设备与终端进行信息交互的方法,其特征在于,在所述步骤三中,包含以下子步骤:
根据所述手部信息,确定在投影坐标系的坐标;
根据坐标及角度,确定穿戴式设备的位置及方向;其中,所述角度为所述手部信息中的一个数据;
将一定时间内穿戴式设备的位置及方向组成连续轨迹,
在所述步骤四中,确定所述连续轨迹是否构成手势;
如果所述确定的手势为预设控制手势中的一种,则根据所述确定的手势进行相应的显示控制,其中,所述预设手势与所述显示控制一一对应。
5.根据权利要求1所述的穿戴式设备与终端进行信息交互的方法,其特征在于,在所述步骤三中,还包含以下子步骤:
根据所述手部信息,计算当前位置在投影坐标系的坐标;
将当前坐标减去各轴偏移的偏移量,得到减偏坐标;
将所述减偏坐标转换到相应的显示区域;
其中,所述各轴偏移的偏移量是在所述校准步骤之后,所述穿戴式设备离开原校准位置,获得的各轴偏移原校准位置的位移量。
6.根据权利要求1至5任一项所述的穿戴式设备与终端进行信息交互的方法,其特征在于,所述手部信息包含:三个方向加速度和三个角加速度。
7.根据权利要求1至5任一项所述的穿戴式设备与终端进行信息交互的方法,其特征在于,在所述步骤一中,所述穿戴式设备与所述终端通过WIFI或蓝牙连接。
8.根据权利要求1至5任一项所述的穿戴式设备与终端进行信息交互的方法,其特征在于,所述穿戴式设备为智能手表、手环、戒指中任意之一。
9.一种终端,其特征在于,包含:通讯模块、数据接收模块、位置转换模块、手势确认模块、执行模块、校准模块;
所述通讯模块用于与穿戴式设备建立连接;
所述数据接收模块用于接收来自所述穿戴式设备的手部信息;其中,所述手部信息通过所述穿戴式设备内设的传感器实时采集得到;
所述位置转换模块用于根据所述手部信息,将所述穿戴式设备当前在投影坐标系的位置,转换到相应的显示区域;
所述手势确认模块用于根据所述手部信息,确认指示或控制手势;
所述执行模块用于根据所述位置转换模块得到的显示区域和所述手势确认模块确定的手势,在所述显示区域进行指示或控制;
所述校准模块用于确定所述投影坐标系与所述显示区域的对应关系。
10.根据权利要求9所述的终端,其特征在于,所述校准模块包含:坐标系建立子模块、对应关系确定子模块;
所述坐标系建立子模块以预设手势确认投影区域的基准点,以所述基准点所在区域为所述投影区域;并以所述基准点中的第一基准点为原点,第一基准点指向第二基准点的方向为X方向,所述X方向的垂直方向为Y方向,确定所述投影坐标系;
所述对应关系确定子模块用于确定所述投影坐标系与所述显示区域的对应关系为:所述手部信息确定的位置相对于投影坐标系中基准平面的比例与所需指示或控制的位置相对于所述终端中的显示区域的比例相同。
11.根据权利要求9所述的终端,其特征在于,所述位置转换模块包含:坐标计算子模块、判断子模块、坐标转换子模块;
所述坐标计算子模块用于根据所述手部信息,计算当前指示位置在所述投影坐标系中的坐标;
所述判断子模块用于判断当前指示位置是否处于投影区域;
所述坐标转换子模块用于在所述判断子模块判定当前指示位置处于投影区域时,根据所述校准模块确定的所述投影坐标系与所述显示区域的对应关系,计算当前指示位置在显示区域的绝对坐标;
所述执行模块在所述手势确认模块确认手势为预设的指示手势时,在所述绝对坐标所在位置显示指示符号。
12.根据权利要求9所述的终端,其特征在于,所述位置转换模块包含:坐标计算子模块、位置和方向确定子模块、轨迹确定子模块;
所述坐标计算子模块用于根据所述手部信息,确定在投影坐标系的坐标;
所述位置和方向确定子模块用于根据坐标及角度,确定穿戴式设备的位置及方向;其中,所述角度为所述手部信息中的一个数据;
所述轨迹确定子模块用于将一定时间内穿戴式设备的位置及方向组成连续轨迹;
所述手势确认模块还用于确定所述连续轨迹是否构成手势;
所述执行模块还用于在所述手势确认模块确定的手势为预设手势中的一种时,根据所述确定的手势进行相应的显示控制,其中,所述预设手势与所述显示控制一一对应。
13.根据权利要求9所述的终端,其特征在于,所述位置转换模块包含:坐标计算子模块、偏移校正子模块、坐标转换子模块;
所述坐标计算子模块用于根据所述手部信息,计算当前位置在投影坐标系的坐标;
所述偏移校正子模块用于将当前坐标减去各轴偏移的偏移量,得到减偏坐标;
所述坐标转换子模块用于将所述减偏坐标转换到相应的显示区域;
其中,所述各轴偏移的偏移量是在所述校准模块进行校准之后,所述穿戴式设备离开原校准位置,获得的各轴偏移原校准位置的位移量。
CN201410217787.7A 2014-05-21 2014-05-21 穿戴式设备与终端进行信息交互的方法及终端 Pending CN103995592A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410217787.7A CN103995592A (zh) 2014-05-21 2014-05-21 穿戴式设备与终端进行信息交互的方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410217787.7A CN103995592A (zh) 2014-05-21 2014-05-21 穿戴式设备与终端进行信息交互的方法及终端

Publications (1)

Publication Number Publication Date
CN103995592A true CN103995592A (zh) 2014-08-20

Family

ID=51309780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410217787.7A Pending CN103995592A (zh) 2014-05-21 2014-05-21 穿戴式设备与终端进行信息交互的方法及终端

Country Status (1)

Country Link
CN (1) CN103995592A (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317398A (zh) * 2014-10-15 2015-01-28 天津三星电子有限公司 一种手势控制方法、穿戴式设备及电子设备
CN104375646A (zh) * 2014-11-24 2015-02-25 联想(北京)有限公司 一种信息处理方法、电子设备及穿戴式电子设备
CN104484644A (zh) * 2014-11-06 2015-04-01 三星电子(中国)研发中心 一种手势识别方法和装置
CN104484570A (zh) * 2014-12-18 2015-04-01 联想(北京)有限公司 一种电子终端及信息处理方法
CN104536556A (zh) * 2014-09-15 2015-04-22 联想(北京)有限公司 一种信息处理方法及电子设备
CN104750396A (zh) * 2015-03-09 2015-07-01 联想(北京)有限公司 一种控制方法及电子设备
CN104866103A (zh) * 2015-06-01 2015-08-26 联想(北京)有限公司 一种相对位置确定方法、穿戴式电子设备及终端设备
CN105159539A (zh) * 2015-09-10 2015-12-16 京东方科技集团股份有限公司 可穿戴设备的触控响应方法、装置及可穿戴设备
CN105373002A (zh) * 2015-11-03 2016-03-02 重庆码头联智科技有限公司 通过智能手环陀螺仪进行安全认证控制方法
CN105573692A (zh) * 2015-05-29 2016-05-11 宇龙计算机通信科技(深圳)有限公司 一种投影控制方法、相关终端及系统
CN105739673A (zh) * 2014-12-10 2016-07-06 鸿富锦精密工业(深圳)有限公司 手势创建系统及方法
CN106611403A (zh) * 2016-05-25 2017-05-03 北京数科技有限公司 一种图像拼接方法及装置
TWI587704B (zh) * 2015-03-10 2017-06-11 群邁通訊股份有限公司 投影裝置、控制裝置及穿戴式投影系統
WO2017147748A1 (zh) * 2016-02-29 2017-09-08 华为技术有限公司 一种可穿戴式系统的手势控制方法以及可穿戴式系统
CN107831920A (zh) * 2017-10-20 2018-03-23 广州视睿电子科技有限公司 光标移动显示方法、装置、移动终端及存储介质
CN107995886A (zh) * 2016-12-22 2018-05-04 深圳配天智能技术研究院有限公司 一种手势控制工业机器人方法以及工业机器人手持控制器
CN108227968A (zh) * 2018-02-08 2018-06-29 北京硬壳科技有限公司 光标控制方法和装置
CN108255317A (zh) * 2018-02-08 2018-07-06 北京硬壳科技有限公司 光标控制方法和装置
WO2018209877A1 (zh) * 2017-05-17 2018-11-22 广州视源电子科技股份有限公司 位置指示方法、操作装置、显示装置与位置指示装置
CN109101123A (zh) * 2018-08-23 2018-12-28 京东方科技集团股份有限公司 一种书写显示系统
WO2019037257A1 (zh) * 2017-08-20 2019-02-28 平安科技(深圳)有限公司 密码输入的控制设备、方法及计算机可读存储介质
US10842577B2 (en) 2015-02-24 2020-11-24 Sri International Hyperdexterous system user interface
US11301040B2 (en) 2019-12-19 2022-04-12 Google Llc Direct manipulation of display device using wearable computing device
CN114489341A (zh) * 2022-01-28 2022-05-13 北京地平线机器人技术研发有限公司 手势的确定方法和装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102033702A (zh) * 2009-10-05 2011-04-27 日立民用电子株式会社 影像显示装置及其显示控制方法
CN102193631A (zh) * 2011-05-05 2011-09-21 上海大学 可穿戴式三维手势交互系统及其使用方法
CN102508574A (zh) * 2011-11-09 2012-06-20 清华大学 基于投影屏幕的多点触控检测方法及多点触控系统
CN103034440A (zh) * 2012-12-05 2013-04-10 北京小米科技有限责任公司 一种识别手势指令的方法及装置
CN103324285A (zh) * 2013-05-24 2013-09-25 深圳Tcl新技术有限公司 基于手势系统的摄像头调整方法及终端
CN103500335A (zh) * 2013-09-09 2014-01-08 华南理工大学 一种基于手势识别的照片拍摄与浏览的方法及其装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102033702A (zh) * 2009-10-05 2011-04-27 日立民用电子株式会社 影像显示装置及其显示控制方法
CN102193631A (zh) * 2011-05-05 2011-09-21 上海大学 可穿戴式三维手势交互系统及其使用方法
CN102508574A (zh) * 2011-11-09 2012-06-20 清华大学 基于投影屏幕的多点触控检测方法及多点触控系统
CN103034440A (zh) * 2012-12-05 2013-04-10 北京小米科技有限责任公司 一种识别手势指令的方法及装置
CN103324285A (zh) * 2013-05-24 2013-09-25 深圳Tcl新技术有限公司 基于手势系统的摄像头调整方法及终端
CN103500335A (zh) * 2013-09-09 2014-01-08 华南理工大学 一种基于手势识别的照片拍摄与浏览的方法及其装置

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104536556A (zh) * 2014-09-15 2015-04-22 联想(北京)有限公司 一种信息处理方法及电子设备
CN104317398B (zh) * 2014-10-15 2017-12-01 天津三星电子有限公司 一种手势控制方法、穿戴式设备及电子设备
CN104317398A (zh) * 2014-10-15 2015-01-28 天津三星电子有限公司 一种手势控制方法、穿戴式设备及电子设备
CN104484644A (zh) * 2014-11-06 2015-04-01 三星电子(中国)研发中心 一种手势识别方法和装置
CN104484644B (zh) * 2014-11-06 2018-10-16 三星电子(中国)研发中心 一种手势识别方法和装置
CN104375646A (zh) * 2014-11-24 2015-02-25 联想(北京)有限公司 一种信息处理方法、电子设备及穿戴式电子设备
CN104375646B (zh) * 2014-11-24 2018-07-06 联想(北京)有限公司 一种信息处理方法、电子设备及穿戴式电子设备
CN105739673B (zh) * 2014-12-10 2018-06-05 南宁富桂精密工业有限公司 手势创建系统及方法
CN105739673A (zh) * 2014-12-10 2016-07-06 鸿富锦精密工业(深圳)有限公司 手势创建系统及方法
CN104484570A (zh) * 2014-12-18 2015-04-01 联想(北京)有限公司 一种电子终端及信息处理方法
CN104484570B (zh) * 2014-12-18 2020-12-18 联想(北京)有限公司 一种电子终端及信息处理方法
US10842577B2 (en) 2015-02-24 2020-11-24 Sri International Hyperdexterous system user interface
CN104750396B (zh) * 2015-03-09 2019-03-29 联想(北京)有限公司 一种控制方法及电子设备
CN104750396A (zh) * 2015-03-09 2015-07-01 联想(北京)有限公司 一种控制方法及电子设备
TWI587704B (zh) * 2015-03-10 2017-06-11 群邁通訊股份有限公司 投影裝置、控制裝置及穿戴式投影系統
US9860500B2 (en) 2015-03-10 2018-01-02 Chiun Mai Communication Systems, Inc. Projector device, portable device and wearable projector system
CN105573692A (zh) * 2015-05-29 2016-05-11 宇龙计算机通信科技(深圳)有限公司 一种投影控制方法、相关终端及系统
CN104866103B (zh) * 2015-06-01 2019-12-24 联想(北京)有限公司 一种相对位置确定方法、穿戴式电子设备及终端设备
CN104866103A (zh) * 2015-06-01 2015-08-26 联想(北京)有限公司 一种相对位置确定方法、穿戴式电子设备及终端设备
CN105159539B (zh) * 2015-09-10 2018-06-01 京东方科技集团股份有限公司 可穿戴设备的触控响应方法、装置及可穿戴设备
CN105159539A (zh) * 2015-09-10 2015-12-16 京东方科技集团股份有限公司 可穿戴设备的触控响应方法、装置及可穿戴设备
US10185433B2 (en) 2015-09-10 2019-01-22 Boe Technology Group Co., Ltd. Method and apparatus for touch responding of wearable device as well as wearable device
CN105373002A (zh) * 2015-11-03 2016-03-02 重庆码头联智科技有限公司 通过智能手环陀螺仪进行安全认证控制方法
WO2017147748A1 (zh) * 2016-02-29 2017-09-08 华为技术有限公司 一种可穿戴式系统的手势控制方法以及可穿戴式系统
US10948994B2 (en) 2016-02-29 2021-03-16 Huawei Technologies Co., Ltd. Gesture control method for wearable system and wearable system
CN108885487A (zh) * 2016-02-29 2018-11-23 华为技术有限公司 一种可穿戴式系统的手势控制方法以及可穿戴式系统
CN106611403A (zh) * 2016-05-25 2017-05-03 北京数科技有限公司 一种图像拼接方法及装置
CN107995886A (zh) * 2016-12-22 2018-05-04 深圳配天智能技术研究院有限公司 一种手势控制工业机器人方法以及工业机器人手持控制器
WO2018209877A1 (zh) * 2017-05-17 2018-11-22 广州视源电子科技股份有限公司 位置指示方法、操作装置、显示装置与位置指示装置
WO2019037257A1 (zh) * 2017-08-20 2019-02-28 平安科技(深圳)有限公司 密码输入的控制设备、方法及计算机可读存储介质
CN107831920A (zh) * 2017-10-20 2018-03-23 广州视睿电子科技有限公司 光标移动显示方法、装置、移动终端及存储介质
CN108227968A (zh) * 2018-02-08 2018-06-29 北京硬壳科技有限公司 光标控制方法和装置
CN108255317A (zh) * 2018-02-08 2018-07-06 北京硬壳科技有限公司 光标控制方法和装置
CN108255317B (zh) * 2018-02-08 2021-09-17 北京硬壳科技有限公司 光标控制方法和装置
CN108227968B (zh) * 2018-02-08 2021-09-17 北京硬壳科技有限公司 光标控制方法和装置
CN109101123A (zh) * 2018-08-23 2018-12-28 京东方科技集团股份有限公司 一种书写显示系统
US11301040B2 (en) 2019-12-19 2022-04-12 Google Llc Direct manipulation of display device using wearable computing device
CN114489341A (zh) * 2022-01-28 2022-05-13 北京地平线机器人技术研发有限公司 手势的确定方法和装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN103995592A (zh) 穿戴式设备与终端进行信息交互的方法及终端
US10511778B2 (en) Method and apparatus for push interaction
CN103472916B (zh) 一种基于人体手势识别的人机交互方法
TWI492146B (zh) 以組合資料爲基礎之虛擬手
CN105159539B (zh) 可穿戴设备的触控响应方法、装置及可穿戴设备
CN102317892B (zh) 控制信息输入装置的方法、信息输入装置、程序和信息存储介质
US20150185857A1 (en) User interface method and apparatus based on spatial location recognition
US20100103104A1 (en) Apparatus for user interface based on wearable computing environment and method thereof
CN105593787A (zh) 用于与数字设备交互的直接指向检测的系统和方法
US8810511B2 (en) Handheld electronic device with motion-controlled cursor
CN103440076A (zh) 基于薄膜压力传感器与三轴加速度计的三维多点式触摸屏
CN103869942A (zh) 一种输入控制方法及佩戴式电子装置
CN105487689A (zh) 一种指环鼠标及利用指环鼠标操控移动终端的方法
KR20110040165A (ko) 비접촉 입력 인터페이싱 장치 및 이를 이용한 비접촉 입력 인터페이싱 방법
CN105596006B (zh) 一种身高测量方法、装置及具有采集装置的电子设备
US20110320165A1 (en) Electronic pen system, positional variation measuring device, display method, and program
CN104951213B (zh) 防止误触发边缘滑动手势的方法
KR20070060580A (ko) 가속도 센서를 이용한 문자인식 장치 및 방법
CN102478996A (zh) 对映触控面板上的手指动作至电脑屏幕的方法
CN205050078U (zh) 一种可穿戴设备
KR20130101728A (ko) 모션 인식을 통한 인터페이스 장치 및 이의 제어방법
CN103142248A (zh) 用于触摸屏超声诊断仪的测量方法及触摸屏超声诊断仪
WO2012151914A1 (zh) 一种以三维移动轨迹为输入的方法及移动终端
Gao et al. Conductive inkjet printed passive 2D trackpad for VR interaction
CN103869959B (zh) 电子装置控制方法以及电子装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201203 Shanghai City, Pudong New Area Zhangjiang hi tech Park Keyuan Road No. 399 Building 1

Applicant after: HUAQIN TELECOM TECHNOLOGY CO., LTD.

Address before: 201203 Shanghai City, Pudong New Area Zhangjiang hi tech Park Keyuan Road No. 399 Building 1

Applicant before: Shanghai Huaqin Communication Technology Co., Ltd.

COR Change of bibliographic data
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140820