CN102306053B - 一种基于虚拟触摸屏的人机交互方法、装置及电子设备 - Google Patents

一种基于虚拟触摸屏的人机交互方法、装置及电子设备 Download PDF

Info

Publication number
CN102306053B
CN102306053B CN201110250621.1A CN201110250621A CN102306053B CN 102306053 B CN102306053 B CN 102306053B CN 201110250621 A CN201110250621 A CN 201110250621A CN 102306053 B CN102306053 B CN 102306053B
Authority
CN
China
Prior art keywords
user
touch screen
virtual touch
distance
xoy plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110250621.1A
Other languages
English (en)
Other versions
CN102306053A (zh
Inventor
吴倚龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Leiniao Network Media Co ltd
TCL Technology Group Co Ltd
Original Assignee
TCL Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Corp filed Critical TCL Corp
Priority to CN201110250621.1A priority Critical patent/CN102306053B/zh
Publication of CN102306053A publication Critical patent/CN102306053A/zh
Application granted granted Critical
Publication of CN102306053B publication Critical patent/CN102306053B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明适用于人机交互领域,提供了一种基于虚拟触摸屏的人机交互方法、装置及电子设备。所述方法包括:获取用户的手臂长度和用户的双肩宽度;根据所述用户的手臂长度和用户的双肩宽度确定虚拟触摸屏的属性参数,所述虚拟触摸屏的属性参数包括虚拟触摸屏的长度、宽度以及虚拟触摸屏与XOY平面的距离;根据用户手掌相对虚拟触摸屏的移动确定屏幕操作点的移动,再根据用户手掌中心质点与XOY平面的距离变化确定用户的操作指令;根据所述操作指令执行相应的操作。本发明实施例能够将虚拟触摸屏与XOY平面的距离、宽度等属性参数调整到操作者更舒服的状态,使人机交互更自然、方便。

Description

一种基于虚拟触摸屏的人机交互方法、装置及电子设备
技术领域
本发明属于人机交互领域,尤其涉及一种基于虚拟触摸屏的人机交互方法、装置及电子设备。 
背景技术
随着用户科学技术的发展,用户们可以用更多的用户化方式与机器设备进行交互,现有的用户与电子设备交互的方式主要有:通过传统鼠标、键盘等输入设备等向机器输入操作指令,然后根据该操作指令控制机器执行相应操作。 
现有的用户与电子设备交互的方法主要局限于传统鼠标、键盘等输入设备,该方法容易受到以及其他设备的限制,因此用户与电子设备的交互不够自然、方便。 
发明内容
本发明实施例提供了一种基于虚拟触摸屏的人机交互方法,旨在解决现有的人机交互方法存在的用户与电子设备交互不够自然、方便的问题。 
本发明实施例是这样实现的,一种基于虚拟触摸屏的人机交互方法,所述方法包括下述步骤: 
获取用户的手臂长度和用户的双肩宽度; 
根据所述用户的手臂长度和用户的双肩宽度确定虚拟触摸屏的属性参数,所述虚拟触摸屏的属性参数包括虚拟触摸屏的长度、宽度以及虚拟触摸屏与XOY平面的距离; 
根据用户手掌相对虚拟触摸屏的移动确定屏幕操作点的移动,再根据用户手掌中心质点与XOY平面的距离变化确定用户的操作指令; 
根据所述操作指令执行相应的操作。 
本发明实施例的另一目的在于提供一种基于虚拟触摸屏的人机交互系统,所述系统包括: 
用户特征参数获取单元,用于获取用户的手臂长度和用户的双肩宽度; 
虚拟触摸屏属性参数确定单元,用于根据所述用户的手臂长度和用户的双肩宽度确定虚拟触摸屏的属性参数,所述虚拟触摸屏的属性参数包括虚拟触摸屏的长度、宽度以及虚拟触摸屏与XOY平面的距离; 
操作指令确定单元,用于根据用户手掌相对虚拟触摸屏的移动确定屏幕操作点的移动,再根据用户手掌中心质点与XOY平面的距离变化确定用户的操作指令; 
操作执行单元,用于根据所述操作指令执行相应的操作。 
本发明实施例的另一目的在于提供一种包含上述基于虚拟触摸屏的人机交互系统的电子设备。 
本发明实施例根据用户舒服度确定虚拟触摸屏所在位置以及该虚拟触摸屏的屏幕大小,当触摸屏接收到用户的操作指令时,根据该操作指令执行相应的操作。由于能够将虚拟触摸屏与XOY平面的距离、虚拟触摸屏长度、宽度等属性参数调整到操作者更舒服的状态,因此使人机交互更自然、方便。 
附图说明
图1是本发明第一实施例提供的基于虚拟触摸屏的人机交互方法的流程图; 
图2是图1人机交互方法模型坐标系示意图; 
图3是图2坐标系示意图的俯视图; 
图4是图2的模型中双手在虚拟触摸屏的最大投影圆示意图; 
图5是本发明第二实施例提供的基于虚拟触摸屏的人机交互系统的结构示意图。 
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。 
本发明实施例根据用户舒服度确定虚拟触摸屏所在位置以及该虚拟触摸屏的屏幕大小,在接收到用户对虚拟触摸屏的操作指令时,根据该操作指令执行相应的操作。 
本发明实施例提供了一种:基于虚拟触摸屏的人机交互方法、装置及电子设备。 
所述方法包括:获取用户的手臂长度和用户的双肩宽度; 
根据所述用户的手臂长度和用户的双肩宽度确定虚拟触摸屏的属性参数,所述虚拟触摸屏的属性参数包括虚拟触摸屏的长度、宽度以及虚拟触摸屏与XOY平面的距离,其中XOY平面也即用户正视情况下用户脸所在的平面; 
根据用户手掌相对虚拟触摸屏的移动确定屏幕操作点的移动,再根据用户手掌中心质点与XOY平面的距离变化确定用户的操作指令; 
根据所述操作指令执行相应的操作。 
所述装置包括:用户特征参数获取单元,用于获取用户的手臂长度和用户的双肩宽度; 
虚拟触摸屏属性参数确定单元,用于根据所述用户的手臂长度和用户的双肩宽度确定虚拟触摸屏的属性参数,所述虚拟触摸屏的属性参数包括虚拟触摸屏的长度、宽度以及虚拟触摸屏与XOY平面的距离; 
操作指令确定单元,用于根据用户手掌相对虚拟触摸屏的移动确定屏幕操作点的移动,再根据用户手掌中心质点与XOY平面的距离变化确定用户的操作指令; 
操作执行单元,用于根据所述操作指令执行相应的操作。 
所述设备包括:包含上述基于虚拟触摸屏的人机交互系统的电子设备。 
本发明实施例根据用户舒服度确定虚拟触摸屏所在位置以及该虚拟触摸屏的屏幕大小,当触摸屏接收到用户的操作指令时,根据该操作指令执行相应的操作。由于能够将虚拟触摸屏与XOY平面的距离、宽度等属性参数调整到操作者更舒服的状态,因此使人机交互更自然、方便。 
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。 
实施例一:
图1示出了本发明第一实施例提供的一种基于虚拟触摸屏的人机交互方法,在本实施例中,根据用户舒服度确定虚拟触摸屏所在位置以及该虚拟触摸屏的屏幕大小,当触摸屏接收到用户的操作指令时,根据该操作指令执行相应的操作。详述如下: 
在步骤S11中,获取用户的手臂长度和用户的双肩宽度。 
进一步,在获取用户的手臂长度和用户的双肩宽度的步骤之前,包括下述步骤: 
构建人机交互模型。在本实施例中,构建的人机交互模型要素为操作者和人体特征采集功能的被操作对象,该人体特征采集功能的被操作对象包括PC机、电视机等。根据操作者和被操作对象的关系,建立如图2的坐标系。在图2中,用户双肩中心质点与虚拟触摸屏中心质点的连线和XOY平面确定坐标系的原点O,该XOY平面为用户脸所在的平面。 
其中,获取用户的手臂长度和用户的双肩宽度的步骤具体为: 
A、在用户张开双臂后,根据双目摄像系统、用户手识别技术以及用户脸识别技术采集用户手坐标和用户脸坐标,并根据用户手坐标的集合确定用户手掌中心质点坐标,根据用户脸坐标的集合确定用户脸中心质点坐标,再根据确定的用户手的中心质点坐标和用户脸的中心质点坐标确定最长的用户的手臂长度。根据双目摄像系统、用户手识别技术以及用户脸识别技术采集到多个用户手坐标和多个用户脸坐标,该多个用户手坐标组成了用户手坐标的集合,该多 个用户脸坐标组成了用户脸坐标的集合,中心质点的坐标分量值为所述集合的坐标分量值均值。 
本实施例中,在用户张开手臂后,获取用户手的中心质点坐标和用户脸的中心质点坐标,假设得到的用户脸的中心质点坐标为(Xf,Yf,Zf),用户手的中心质点坐标为(Xh,Yh,Zh),X轴正向的手臂肩部的坐标为(0.5Hs,0,0),用户的X轴正向的手臂长度Lh可根据下面公式确定:Lh=((0.5Hs-Xh)2+(-Yh)2+(-Zh)2)1/2,其中Hs为肩宽。为了简化运算,在本步骤的实际计算中可以只计算脸中心质点坐标为(Xf,Yf,Zf)与用户手的中心质点坐标为(Xh,Yh,Zh)的距离作为手臂的粗略长度。 
B、将采集的用户图像做一维投影,并比较标识用户双肩的像素与预设的像素长度阈值大小,从而根据比较的结果确定实际的用户的双肩宽度。在本实施例中,根据双目摄像系统和特征识别技术追踪用户,并将用户从背景图像中提取出来,再将提取出来的用户图像做一维投影,比如投影到X轴。预设一个像素长度阈值,预设的像素长度阈值大小可以根据实验统计确定,该像素长度阈值用于确定图像上标识双肩宽度的像素的长度,将一维投影的标识用户双肩的像素集合与像素长度阈值进行比较,便可以确定双肩在X轴投影长度,然后,通过双目视觉坐标系统就可以很容易将投影长度转换为用户实际的双肩宽度。 
作为本发明的另一实施方式,考虑到用户操作的简便,用户的手臂长度可根据标准人体的比例来计算。如肩宽是身高的1/4,平伸两臂的宽度等于身高等,因此可以根据人体标准比例以及用户双肩宽度确定用户的手臂长度。 
在步骤S12中,根据该用户的手臂长度和用户的双肩宽度确定虚拟触摸屏的属性参数,该虚拟触摸屏的属性参数包括虚拟触摸屏的长度、宽度以及虚拟触摸屏与XOY平面的距离。 
其中,根据该用户的手臂长度和用户的双肩宽度确定虚拟触摸屏的属性参数,该虚拟触摸屏的属性参数包括虚拟触摸屏的长度、宽度以及虚拟触摸屏与 XOY平面的距离的步骤具体为: 
1、确定虚拟触摸屏与XOY平面的距离和用户手臂长度的比例系数。在本实施例中,在确定了虚拟触摸屏与XOY平面(即用户脸所在的平面)的距离和用户手臂长度的比例系数之后,就能确定虚拟触摸屏与XOY平面的距离。假设虚拟触摸屏与XOY平面的距离为Dv,用户的手臂长度为Lh,虚拟触摸屏与XOY平面的距离和用户手臂长度的比例系数为a,则Dv=Lh*a,本实施例中,a可以根据操作者的舒适度自动调整,通常取a为0.7。 
2、根据虚拟触摸屏和用户手臂长度的比例系数确定单手在虚拟触摸屏的最大投影圆半径。图3是图2的俯视图,如图3所示,假设用户手臂与XOY平面的夹角为θ,用户的手臂长度为Lh,虚拟触摸屏与XOY平面的距离为Dv,则用户手臂与XOY平面的夹角取值满足下列条件:Dv≤Lh*sinθ。假设虚拟触摸屏与XOY平面的距离和用户手臂长度的比例系数为a,单手在虚拟触摸屏的投影圆半径为r,则根据公式Dv=Lh*a和Dv≤Lh*sinθ确定r=Lh*cosθ≤Lh*(1-a2)1/2,即单手在虚拟触摸屏的最大投影圆半径为:1减去虚拟触摸屏与XOY平面的距离和用户手臂长度的比例系数的平方差之后,再开平方后乘以用户手臂长度的值,即Lh*(1-a2)1/2。 
3、根据虚拟触摸屏与XOY平面的距离和用户手臂长度的比例系数以及虚拟触摸屏的最大投影圆半径确定虚拟触摸屏的长度和宽度。在本实施例中,双手在虚拟触摸屏的最大投影圆的相交弦即为虚拟触摸屏的宽度。如图4所示,假设虚拟触摸屏的长度为H,宽度为V,单手在虚拟触摸屏的最大投影圆半径为R,用户的双肩宽度为Hs,则根据图4可容易得出,虚拟触摸屏的长度等于2倍的用户的双肩宽度,即H=2*Hs。虚拟触摸屏的宽度等于单手在虚拟触摸屏的最大投影圆半径R与用户的双肩宽度一半的平方差之后,再开平方的2倍,即V=2*(R2-(Hs/2)2)1/2,又因为R=Lh*(1-a2)1/2,所以V=2*((Lh2*(1-a2))2-(Hs/2)2)1/2。 
在步骤S13中,根据用户手掌相对虚拟触摸屏的移动确定屏幕操作点的移 动,再根据用户手掌中心质点与XOY平面的距离变化确定用户的操作指令。 
其中,根据用户手掌中心质点与XOY平面的距离变化确定用户的操作指令的步骤具体为: 
A、根据用户手掌相对虚拟触摸屏的移动确定屏幕操作点的移动。在本实施例中,根据获取的用户手掌中心质点的坐标获取用户手掌相对虚拟触摸屏的移动距离,并进而确定屏幕操作点的移动。 
B、计算用户手掌在操作中手掌中心质点与XOY平面的距离Hd。作为本发明的一实施方式:获取用户手掌中心质点坐标和用户脸中心质点坐标,并根据该用户手掌中心质点坐标和用户脸中心质点坐标计算用户手掌中心质点与用户脸中心质点的距离作为Hd,具体在于,获取用户手掌中心质点的坐标和用户脸中心质点的坐标,并根据距离公式计算用户手掌中心质点与用户脸中心质点的距离。作为本发明的另外一实施方式:采用通过双目视觉坐标系统,精确获取用户手中心坐标(Xh,Yh,Zh),其深度分量Zh即为手掌中心质点与XOY平面的距离Hd。 
C、当距离Hd从小于虚拟触摸屏与XOY平面的距离Dv变为大于等于虚拟触摸屏与XOY平面的距离Dv时,判定操作指令为按下指令。 
D、当距离Hd从大于等于虚拟触摸屏与XOY平面的距离Dv变为小于虚拟触摸屏与XOY平面的距离Dv时,判定操作指令为抬起指令。 
在步骤S14中,根据该操作指令执行相应的操作。 
其中,根据该操作指令执行相应的操作的步骤具体为: 
1、在操作指令为按下指令时,触发操作点在实际设备坐标的计算,并根据操作点所在实际设备坐标确定相应的功能操作。在本实施例中,触发操作点在实际设备坐标的计算,并根据操作点在实际设备坐标确定相应的功能操作步骤具体为:e、触发操作点在虚拟触摸屏坐标的采集,并根据操作点在虚拟触摸屏的坐标映射到操作点在实际设备的坐标。在本实施例中,操作点在虚拟触摸屏的坐标是通过采集人体特征技术获得。获取实际设备的屏幕分辨率,并根 据该实际设备的屏幕分辨率、操作点在虚拟触摸屏的坐标以及虚拟触摸屏的长度和宽度计算操作点在实际设备的坐标。例如,假设操作点在虚拟触摸屏的坐标为(Px,Py),实际设备的屏幕分辨率为Hr×Vr,虚拟触摸屏的长度和宽度分别为H和V,操作点在实际设备的坐标为(Pxx,Pyy),则Pxx=Px*Hr/H,Pyy=Py*Vr/V。f、预设一个判断阈值,当操作点在实际设备的坐标的最大差值小于等于该判断阈值时,直接执行操作点在实际设备的坐标所对应的功能操作,否则,执行滑屏操作。在本实施例中,当操作点在实际设备的坐标变化不大时,说明操作点在实际设备的坐标所对应的是同一个功能区域,则直接执行该功能区域对应的功能;当操作点在实际设备的坐标变化较大时,说明操作点的位置变化较大,则触发滑屏功能操作,直到采集到用户的抬起或按下指令。 
2、在操作指令为抬起指令时,执行结束功能操作。 
在本发明第一实施例中,首先确定虚拟触摸屏与XOY平面的距离和用户手臂长度的比例系数,再结合用户的手臂长度和用户的双肩宽度确定虚拟触摸屏的属性参数。在虚拟触摸屏的属性参数对应的虚拟触摸屏上采集到用户发出的操作指令后,根据该操作指令执行相应的功能操作。由于能够根据操作者的操作舒适度自由调整虚拟触摸屏与XOY平面的距离,因此能够将虚拟触摸屏与XOY平面的距离、宽度等属性参数调整到操作者更舒服的状态,使人机交互更自然、方便。 
实施例二:
图5示出了本发明第二实施例提供的基于虚拟触摸屏的人机交互系统的结构,为了便于说明,仅示出了与本发明实施例相关的部分。 
该基于虚拟触摸屏的人机交互系统可以用于通过有线或者无线网络连接服务器的各种信息处理终端,例如口袋计算机(Pocket Personal Computer,PPC)、掌上电脑、计算机、笔记本电脑、电视机等,可以是运行于这些终端内的软件单元、硬件单元或者软硬件相结合的单元,也可以作为独立的挂件集成到这些终端中或者运行于这些终端的应用系统中,其中: 
用户特征参数获取单元21,用于获取用户的手臂长度和用户的双肩宽度。 
在本实施例中,根据操作者和被操作对象的关系,构建人机交互模型,并获取人机交互模型中用户的手臂长度和用户的双肩宽度。 
进一步地,用户特征参数获取单元21包括:用户手臂长度确定模块211和用户双肩宽度确定模块212。 
该用户手臂长度确定模块211用于采用双目摄像系统,提取人脸中心质点坐标(Xf,Yf,Zf)与手掌中心质点坐标(Xh,Yh,Zh),根据坐标运算计算手臂长度。在该计算步骤中,还可以计算手臂肩部的坐标为(0.5Hs,0,0),再根据坐标运算,计算手掌中心质点坐标(Xh,Yh,Zh)与手臂肩部的坐标(0.5Hs,0,0)的距离为手臂长度。 
该用户双肩宽度确定模块212用于根据用户双肩的投影长度确定用户实际的双肩宽度,或者根据人体标准比例系数以及用户的手臂长度确定用户实际的双肩宽度。 
虚拟触摸屏属性参数确定单元22,用于根据该用户的手臂长度和用户的双肩宽度确定虚拟触摸屏的属性参数,该虚拟触摸屏的属性参数包括虚拟触摸屏的长度、宽度以及虚拟触摸屏与XOY平面的距离。 
进一步地,虚拟触摸屏属性参数确定单元22包括:距离确定模块221、投影圆半径确定模块222、虚拟触摸屏长度确定模块223以及虚拟触摸屏宽度确定模块224。 
该距离确定模块221用于根据公式Dv=Lh*a确定虚拟触摸屏与XOY平面的距离,该Dv为虚拟触摸屏与XOY平面的距离,该Lh为用户的手臂长度,该a为虚拟触摸屏与XOY平面的距离和用户手臂长度的比例系数。 
该投影圆半径确定模块222用于根据公式Lh*(1-a2)1/2确定单手在虚拟触摸屏的最大投影圆半径,该Lh为用户的手臂长度,该a为虚拟触摸屏与XOY平面的距离和用户手臂长度的比例系数。 
该虚拟触摸屏长度确定模块223用于根据公式H=2*Hs确定虚拟触摸屏的长度,该H为虚拟触摸屏的长度,该Hs为用户的双肩宽度。 
该虚拟触摸屏宽度确定模块224用于根据公式V=2*(R2-(Hs/2)2)1/2确定虚拟触摸屏的宽度,该V为虚拟触摸屏的宽度,该R为单手在虚拟触摸屏的最大投影圆半径,该Hs为用户的双肩宽度。 
操作指令确定单元23,用于根据用户手掌相对虚拟触摸屏的移动确定屏幕操作点的移动,再根据用户手掌中心质点与XOY平面的距离变化确定用户的操作指令。 
进一步地,操作指令确定单元23包括:屏幕操作点确定模块231、手心距离确定模块232、按下指令确定模块233以及抬起指令确定模块234。 
屏幕操作点确定模块231,用于根据用户手掌相对虚拟触摸屏的移动确定屏幕操作点的移动。 
该手心距离确定模块232,用于获取用户手掌中心质点坐标和XOY平面的距离Hd,所述Hd也是用户手掌中心质点坐标坐标(Xh,Yh,Zh)的深度分量Zh。作为本发明的另一实施方式,也可以根据用户手掌中心质点坐标和用户脸中心质点坐标计算用户手掌中心质点与用户脸中心质点的距离粗略计算为Hd。 
该按下指令确定模块233,用于在用户手掌中心质点与与XOY平面的距离Hd从小于XOY平面到虚拟触摸屏的距离变化为大于等于XOY平面到虚拟触摸屏的距离时,判定操作指令为按下指令。 
该抬起指令确定模块234,用于在用户手掌中心质点与XOY平面的距离Hd从大于等于XOY平面到虚拟触摸屏的距离变化为小于XOY平面到虚拟触摸屏的距离时,判定操作指令为抬起指令。 
操作执行单元24,用于根据该操作指令执行相应的操作。 
在本实施例中,在操作指令为按下指令时,触发操作点在实际设备坐标的采集,并根据操作点在实际设备坐标的变化大小执行相应的功能操作。其中, 操作点在实际设备坐标的变化较小的功能操作为直接按下功能,操作点在实际设备坐标的变化较大的功能操作为滑屏功能。而在操作指令为抬起指令时,执行结束功能操作。 
在本发明第二实施例中,根据用户特征参数获取单元21以及虚拟触摸屏属性参数确定单元22确定虚拟触摸屏的位置、大小,操作执行单元24再根据操作指令确定单元23的指令执行相应的功能操作。由于能够根据操作者的操作舒适度自由调整虚拟触摸屏与XOY平面的距离和用户体手臂长度的比例系数,因此能够将虚拟触摸屏与XOY平面的距离、宽度等属性参数调整到操作者更舒服的状态,使人机交互更自然、方便。 
本发明实施例中,在确定了虚拟触摸屏与XOY平面的距离和用户手臂长度的比例系数之后,再结合用户的手臂长度和用户的双肩宽度确定虚拟触摸屏的属性参数。在虚拟触摸屏的属性参数对应的虚拟触摸屏上采集到用户发出的操作指令后,根据该操作指令执行相应的功能操作。由于能够根据操作者的操作舒适度自由调整虚拟触摸屏与XOY平面的距离和用户体手臂长度的比例系数,因此能够将虚拟触摸屏与XOY平面的距离、宽度等属性参数调整到操作者更舒服的状态,使人机交互更自然、方便。 
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。 

Claims (6)

1.一种基于虚拟触摸屏的人机交互方法,其特征在于,所述方法包括下述步骤:
获取用户的手臂长度和用户的双肩宽度;
根据所述用户的手臂长度和用户的双肩宽度确定虚拟触摸屏的属性参数,所述虚拟触摸屏的属性参数包括虚拟触摸屏的长度、宽度以及虚拟触摸屏与XOY平面的距离;
获取用户手掌中心质点的坐标和用户脸中心质点的坐标,并根据距离公式计算用户手掌中心质点与用户脸中心质点的距离,作为用户手掌在操作中手掌中心质点与XOY平面的距离,当手掌中心质点与XOY平面的距离从小于虚拟触摸屏与XOY平面的距离Dv变为大于等于虚拟触摸屏与XOY平面的距离Dv时,判定操作指令为按下指令,当手掌中心质点与XOY平面的距离从大于等于虚拟触摸屏与XOY平面的距离Dv变为小于虚拟触摸屏与XOY平面的距离Dv时,判定操作指令为抬起指令,其中,所述XOY平面为用户脸所在的平面;
根据所述操作指令执行相应的操作;
其中,根据公式Dv=Lh*a确定虚拟触摸屏与XOY平面的距离,所述Dv为虚拟触摸屏与XOY平面的距离,所述Lh为用户的手臂长度,所述a为虚拟触摸屏与XOY平面的距离和用户手臂长度的比例系数;
根据公式R=Lh*(1-a2)1/2确定单手在虚拟触摸屏的最大投影圆半径,所述Lh为用户的手臂长度,所述R为单手在虚拟触摸屏的最大投影圆半径,所述a为虚拟触摸屏与XOY平面的距离和用户手臂长度的比例系数;
根据公式H=2*Hs确定虚拟触摸屏的长度,所述H为虚拟触摸屏的长度,所述Hs为用户的双肩宽度;
根据公式V=2*(R2-(Hs/2)2)1/2确定虚拟触摸屏的宽度,所述V为虚拟触摸屏的宽度,所述R为单手在虚拟触摸屏的最大投影圆半径,所述Hs为用户的双肩宽度。
2.如权利要求1所述的方法,其特征在于,所述获取用户的手臂长度和用户的双肩宽度的步骤具体为:
根据用户双肩的投影长度确定用户实际的双肩宽度;
根据人体标准比例系数以及用户的双肩宽度确定用户实际的手臂长度或者采用双目摄像系统,提取人脸中心质点坐标(Xf,Yf,Zf)与手掌中心质点坐标(Xh,Yh,Zh),根据坐标运算计算手臂长度。
3.如权利要求1所述的方法,其特征在于,所述根据所述操作指令执行相应的操作的步骤具体为:
在操作指令为按下指令时,根据用户手掌在虚拟触摸屏的位置计算屏幕实际操作的位置,并根据屏幕实际位置设置的功能执行相应的功能操作;
在操作指令为抬起指令时,执行结束功能操作。
4.一种基于虚拟触摸屏的人机交互系统,其特征在于,所述系统包括:
用户特征参数获取单元,用于获取用户的手臂长度和用户的双肩宽度;
虚拟触摸屏属性参数确定单元,用于根据所述用户的手臂长度和用户的双肩宽度确定虚拟触摸屏的属性参数,所述虚拟触摸屏的属性参数包括虚拟触摸屏的长度、宽度以及虚拟触摸屏与XOY平面的距离;
操作指令确定单元,用于获取用户手掌中心质点的坐标和用户脸中心质点的坐标,并根据距离公式计算用户手掌中心质点与用户脸中心质点的距离,作为用户手掌在操作中手掌中心质点与XOY平面的距离,当手掌中心质点与XOY平面的距离从小于虚拟触摸屏与XOY平面的距离Dv变为大于等于虚拟触摸屏与XOY平面的距离Dv时,判定操作指令为按下指令,当手掌中心质点与XOY平面的距离从大于等于虚拟触摸屏与XOY平面的距离Dv变为小于虚拟触摸屏与XOY平面的距离Dv时,判定操作指令为抬起指令,其中,所述XOY平面为用户脸所在的平面;
操作执行单元,用于根据所述操作指令执行相应的操作;
其中,所述虚拟触摸屏属性参数确定单元包括:
距离确定模块,用于根据公式Dv=Lh*a确定虚拟触摸屏与XOY平面的距离,所述Dv为虚拟触摸屏与XOY平面的距离,所述Lh为用户的手臂长度,所述a为虚拟触摸屏与XOY平面的距离和用户手臂长度的比例系数;
投影圆半径确定模块,用于根据公式R=Lh*(1-a2)1/2确定单手在虚拟触摸屏的最大投影圆半径,所述Lh为用户的手臂长度,所述R为单手在虚拟触摸屏的最大投影圆半径,所述a为虚拟触摸屏与XOY平面的距离和用户手臂长度的比例系数;
虚拟触摸屏长度确定模块,用于根据公式H=2*Hs确定虚拟触摸屏的长度,所述H为虚拟触摸屏的长度,所述Hs为用户的双肩宽度;
虚拟触摸屏宽度确定模块,用于根据公式V=2*(R2-(Hs/2)2)1/2确定虚拟触摸屏的宽度,所述V为虚拟触摸屏的宽度,所述R为单手在虚拟触摸屏的最大投影圆半径,所述Hs为用户的双肩宽度。
5.如权利要求4所述的系统,其特征在于,所述用户特征参数获取单元包括:
用户双肩宽度确定模块,根据用户双肩的投影长度确定用户实际的双肩宽度;
用户手臂长度确定模块,用于采用双目摄像系统,提取人脸中心质点坐标(Xf,Yf,Zf)与手掌中心质点坐标(Xh,Yh,Zh),根据坐标运算计算手臂长度或者根据人体标准比例系数以及用户的双肩宽度确定用户手臂长度。
6.一种电子设备,其特征在于,所述电子设备包含权利要求4至5任一项所述的基于虚拟触摸屏的人机交互系统。
CN201110250621.1A 2011-08-29 2011-08-29 一种基于虚拟触摸屏的人机交互方法、装置及电子设备 Active CN102306053B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110250621.1A CN102306053B (zh) 2011-08-29 2011-08-29 一种基于虚拟触摸屏的人机交互方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110250621.1A CN102306053B (zh) 2011-08-29 2011-08-29 一种基于虚拟触摸屏的人机交互方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN102306053A CN102306053A (zh) 2012-01-04
CN102306053B true CN102306053B (zh) 2014-09-10

Family

ID=45379920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110250621.1A Active CN102306053B (zh) 2011-08-29 2011-08-29 一种基于虚拟触摸屏的人机交互方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN102306053B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012107892A2 (en) 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
WO2013144807A1 (en) * 2012-03-26 2013-10-03 Primesense Ltd. Enhanced virtual touchpad and touchscreen
CN103389793B (zh) * 2012-05-07 2016-09-21 深圳泰山在线科技有限公司 人机交互方法和系统
CN103941851B (zh) * 2013-01-23 2017-03-15 青岛海信电器股份有限公司 一种实现虚拟触摸校准的方法以及系统
CN104698827A (zh) * 2013-12-08 2015-06-10 崔允太 一种智能手表用屏幕
DE102014207959A1 (de) * 2014-04-28 2015-10-29 Robert Bosch Gmbh Programmierbare Bedienflächen
CN104391646B (zh) 2014-11-19 2017-12-26 百度在线网络技术(北京)有限公司 调整对象属性信息的方法及装置
CN106055108B (zh) * 2016-06-10 2020-11-13 北京行云时空科技有限公司 一种虚拟触摸屏的操控方法和系统
CN106774872A (zh) * 2016-12-09 2017-05-31 网易(杭州)网络有限公司 虚拟现实系统、虚拟现实交互方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101364159A (zh) * 2008-09-04 2009-02-11 合肥吉天电子科技有限公司 一种基于图像识别的虚拟触摸屏系统
CN101673161A (zh) * 2009-10-15 2010-03-17 复旦大学 一种可视可操作无实体的触摸屏系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1739528B1 (en) * 2000-07-05 2009-12-23 Smart Technologies ULC Method for a camera-based touch system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101364159A (zh) * 2008-09-04 2009-02-11 合肥吉天电子科技有限公司 一种基于图像识别的虚拟触摸屏系统
CN101673161A (zh) * 2009-10-15 2010-03-17 复旦大学 一种可视可操作无实体的触摸屏系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
US 7,692,625 B2,2010.04.06,全文.

Also Published As

Publication number Publication date
CN102306053A (zh) 2012-01-04

Similar Documents

Publication Publication Date Title
CN102306053B (zh) 一种基于虚拟触摸屏的人机交互方法、装置及电子设备
CN103472916B (zh) 一种基于人体手势识别的人机交互方法
CN102902473B (zh) 触摸数据的模式敏感处理
CN105210012B (zh) 用于与触敏表面一起使用的虚拟工具
CN103164022B (zh) 多指触摸方法和装置、便携式终端设备
CN102096471B (zh) 一种基于机器视觉的人机交互方法
CN103970264B (zh) 手势辨识与控制方法及其装置
CN109145802B (zh) 基于Kinect的多人手势人机交互方法及装置
TW201120681A (en) Method and system for operating electric apparatus
CN103809880A (zh) 人机交互系统及方法
CN104423569A (zh) 指向位置侦测装置、方法及计算机可读取纪录媒体
CN101256673A (zh) 用于在实时视频跟踪系统中跟踪手臂运动的方法
KR20180053416A (ko) 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 방법, 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 장치
JP6487642B2 (ja) 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
TWI431538B (zh) 基於影像之動作手勢辨識方法及系統
CN105929947B (zh) 一种基于场景态势感知的人机交互方法
CN104331154A (zh) 实现非接触式鼠标控制的人机交互方法和系统
CN103092334A (zh) 虚拟鼠标驱动装置及虚拟鼠标仿真方法
WO2013149475A1 (zh) 一种用户界面的控制方法及装置
CN104793738A (zh) 基于Leap Motion的非接触式计算机操控方法
CN105912126A (zh) 一种手势运动映射到界面的增益自适应调整方法
CN109395375A (zh) 一种基于增强现实与移动交互的三维游戏接口设计方法
CN106598422B (zh) 混合操控方法及操控系统和电子设备
CN112488059A (zh) 一种基于深度学习模型级联的空间手势控制方法
KR102227494B1 (ko) 오브젝트의 움직임을 이용하여 사용자 입력을 처리하는 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 516001 technical center, 8 floor, TCL Arts crafts emporium, 6 South Goose Road, Huizhou, Guangdong

Patentee after: TCL Technology Group Co.,Ltd.

Address before: 516001 technical center, 8 floor, TCL Arts crafts emporium, 6 South Goose Road, Huizhou, Guangdong

Patentee before: TCL Corp.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20200414

Address after: 518000 Guangdong city of Shenzhen province Qianhai Shenzhen Hong Kong cooperation zone before Bay Road No. 1 building 201 room A (located in Shenzhen Qianhai business secretary Co. Ltd.)

Patentee after: SHENZHEN LEINIAO NETWORK MEDIA CO.,LTD.

Address before: 516001 technical center, 8 floor, TCL Arts crafts emporium, 6 South Goose Road, Huizhou, Guangdong

Patentee before: TCL Technology Group Co.,Ltd.

TR01 Transfer of patent right