CN203930682U - 三维空间中多点触控与捕捉手势运动的识别系统 - Google Patents

三维空间中多点触控与捕捉手势运动的识别系统 Download PDF

Info

Publication number
CN203930682U
CN203930682U CN201420174520.XU CN201420174520U CN203930682U CN 203930682 U CN203930682 U CN 203930682U CN 201420174520 U CN201420174520 U CN 201420174520U CN 203930682 U CN203930682 U CN 203930682U
Authority
CN
China
Prior art keywords
module
information
laser
infrared camera
projection plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201420174520.XU
Other languages
English (en)
Inventor
周光磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201420174520.XU priority Critical patent/CN203930682U/zh
Application granted granted Critical
Publication of CN203930682U publication Critical patent/CN203930682U/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本实用新型公开了一种三维空间中多点触控与捕捉手势运动的识别系统,属于智能识别技术领域。本实用新型的三维空间中多点触控与捕捉手势运动的识别系统,包括一微型电脑主机、一激光投影仪、第一红外摄像头、第二红外摄像头、一LED照射灯、一字线型激光发射器和投影平面;所述激光投影仪将微型电脑主机处理内容进行投射产生投影平面;所述一字线型激光发射器的照射平面与投影平面平行;所述第一红外摄像头与所述第二红外摄像头的视野覆盖所述投影平面和空中手势识别区域。本实用新型摆脱了目前手势识别基于电脑显示器的缺陷,使空中手势识别系统可以方便应用在投影仪演讲演示等领域方面,并且识别精度高。

Description

三维空间中多点触控与捕捉手势运动的识别系统
技术领域
本实用新型涉及一种智能识别系统,基于多摄像头、利用红外光照射进行手部姿态与位置的感知的方法,特别涉及一种三维空间中多点触控与捕捉手势运动的识别系统。
背景技术
多年来,随着多媒体技术的普及与发展,人们在对新型人机交互技术进行着不懈的探索。使用肢体、手势等直观的方式完成计算机的操纵,成为一个技术热点。人的手部是一种复杂的执行机制,其灵活度高、表现力丰富且可以完成精细的操作,但这些特性也使其姿态的手部识别与跟踪成为计算机研究中的重大挑战。
对手部运动的识别,可以通过多种方法实现,其中来自Nintendo公司的专利US20080291160A1提供了利用红外传感器和加速度传感器捕获用户手部位置的方案。此外,现有技术中还有利用数据手套来辅助对手部姿态的识别的方案。这些方案实现了对手部运动的识别,但也存在着各种不足。缺点之一是价格昂贵。来自松下电器产业株式会社的CN1276572A提供了使用摄像头对手部进行拍照,然后对图像进行归一化分析,并将归一化得到的图像进行空间投影,并将所得的投影坐标与预先存储的图像的投影坐标进行比较。该方法比较直观,但需要经过复杂的数学计算过程,且无法对手的空间位置进行识别与跟踪。在手部运动感知领域存在着如何从获取的图像中有效的提取出手部的区域的问题,目前的技术存在环境光照条件对摄像头获取图像信息中的手部信息提取存在很大干扰和影响,降低了使用设备的准确程度和方便程度。
目前,市场上存在微软OmniTouch系统设计的Kinect体感摇控器和Leap motion公司推出的运动控制系统Leap 3D。
Leap motion公司推出运动控制系统Leap 3D,可以追踪多个物体并识别手势。当Leap 3D启动时,即可生成一块4立方英尺的3D空间,在此空间内的手指动作都会被捕捉到。Leap 3D由一块USB设备和一套由公司设计的复杂软件组成,USB设备中装有标准的传感器和摄像头,可以追踪多个物体并识别手势。Leap 3D可以识别出在你手中的任何物体并且追踪它们的动作。
另外,目前市场存在激光键盘,这种激光键盘的技术原理为投影元件先投影出键盘,手指按下投影同时发射出红外线,当手出来的键盘符号时,会阻断红外线,造成一个反射信号,这时感知器就会感知到反射信号的对应键盘坐标。另外也可以通过计算机视觉的方式,通过图像来识别;通过摄像头捕捉键盘区域的画面并进行分析,判断出键盘输入事件。相对来说计算机视觉的硬件较为简单,仅仅需要一个摄像头,但单摄像头存在识别精度不高的问题。
目前市场上还没有出现一种人机交互技术可以实现在三维空间中同时进行平面虚拟图像的多点触摸、图像追踪扫描和空中手势识别。
实用新型内容
为克服现有技术中存在的缺点与不足,本实用新型的目的在于提供一种三维空间中多点触控与捕捉手势运动的识别系统,能够通过投影方式显示电脑中的信息,并实现在三维空间中同时进行平面虚拟图像的多点触摸、图像追踪扫描和空中手势识别。
本实用新型的目的通过下述技术方案实现:一种三维空间中多点触控与捕捉手势运动的识别系统,包括一微型电脑主机、一激光投影仪、第一红外摄像头、第二红外摄像头、一LED照射灯、一字线型激光发射器和投影平面;所述激光投影仪将微型电脑主机处理内容进行投射产生投影平面;所述一字线型激光发射器的照射平面与投影平面平行;所述第一红外摄像头与所述第二红外摄像头的视野覆盖所述投影平面和空中手势识别区域;
所述投影平面为激光投影仪投射的信息内容在载体平面上形成;
所述载体平面为桌面、墙面或汽车前挡风玻璃面中的一种;也可以是任何平面载体;
所述空中手势识别区域为第一红外摄像头、第二红外摄像头及LED照射灯的视野所共同覆盖的空中区域;
所述第一红外摄像头和第二红外摄像头与投影平面的距离大于一字线型激光发射器与投影平面的距离;
所述激光投影仪,通过接收微型电脑主机的传输,显示数据或投影平面(虚拟主机界面)投影,将待处理信息投影到投影平面;
所述LED照射灯,提供适宜的光照对空间区域内的手势增大明暗对比,加强识别目标与背景的亮度校正,便于红外摄像头获取手部图形信息,同时使设备在光线较暗的环境中也可以使用;
所述第一红外摄像头和第二红外摄像头,分别从第一视角和第二视角获取摄像头区域内手势活动的深度信息,通过图像深度传感器传输将信息传输到微型电脑主机,经由微型电脑主机对两个红外摄像头捕捉深度信息与手部图形数字建模的模板数据库进行综合比对处理分析,对手势所包含的指令信息进行反应;
所述一字线型激光发射器,发射的一字型激光与投影平面平行,当手指按到投影平面时发射出的红外线,被两个红外摄像头捕捉;同时当手指贴近投影平面时,会阻断发射的激光光路,造成一个反射信号,这时感知器就会感知到反射信号的相对位置相对于投影平面信息,在微型电脑主机进行信息处理后,确认手指位置,鉴别手指指令信息。
所述微型电脑主机包括摄像头传感器模块、手部图像提取模块、微处理器模块、图像数据分析模块、对比模块、执行模块、激光投影控制模块、重力感应模块和马达旋转模块;
所述摄像头传感模块,用于接收第一红外摄像头和第二红外摄像头获取的图像信息(包括虚拟图像的多点触摸、图像追踪扫描和空中手势移动信息),传输给手部图像提取模块进行手部图像提取和数据输出;
所述手部图像提取模块,接收摄像头传感模块传送的图像信息,进行手部图像提取数据,并将获得的手部图像提取数据传输给微处理器模块进行数据输出;其中,所述的手部图像提取主要是获取指尖骨骼、手掌骨骼、手腕骨骼和手指骨骼等手部节点部位的信息;
所述微处理器模块,将接收的手部图像提取数据向图像数据分析模块进行数据输出;另外通过接收和处理激光投影控制模块传送的重力感应信息,发出马达旋转指令到激光投影控制模块;
所述图像数据分析模块,接收微处理器模块输出的手部图像提取数据,将手部图形提取数据信息与手部图形数字建模的模板数据库(通过对手部姿态与位置进行数字建模,生成模板数据库)校正整合后,获得手势的移动信息数据,判断出手指移动模式;
所述比对模块,将图像数据分析模块获得的手指移动模式与微型电脑主机中手部图形建模的模板数据库信息对比,判断出手势所给出的执行信息;
所述执行模块,将对比模块获得执行信息对投影平面信息内容进行操作执行指示。
所述激光投影控制模块,通过接受重力感应模块对微型电脑主机放置位置(如横向放置或竖向放置)的重力感应信息,传输给微处理器模块,并接收微处理器模块在经过感应信息的分析和处理后发出的执行信息,将执行信息转化为执行指令后,发送到马达旋转模块,从而实现对激光投影仪和红外摄像头的调控(包括激光投影仪和红外摄像头的转动、激光投影仪的投影内容信息的自动校正调正和投影仪焦距自动调整);同时在重力感应器感应到微型电脑主机横向放置时,发出指令自动关闭一字线型激光发射器,避免了微型电脑主机横向放置时,一字线型激光发射器的光信号干扰空中手势识别的信号获取;
所述重力感应模块,在微电脑主机放置后能够获取重力感应的信息,并将重力感应信息传送给激光投影控制模块,从而发挥通过重力感知获悉微电脑主机的放置状态(例如是水平放置或竖直放置),自动调整激光投影仪的投影方向;
所述马达旋转模块,通过接收激光投影控制模块发送的执行信息,发挥自动调整激光投影仪和红外摄像头,包括投影仪和红外摄像头的转动、投影仪的投影内容信息的自动校正调正和投影仪焦距自动调整。
进一步优选的实施方式,所述微型电脑主机还包括通话模块;
所述通话模块,与微处理器模块进行数据信息交换实现通话功能。
一种三维空间中多点触控与捕捉手势运动的识别方法,包括:
使所述激光投影仪通过接收微型电脑主机的传输,实现显示数据或虚拟主机界面投影,将待处理信息投影到投影平面;
使所述LED照射灯提供适宜的光照对空间区域内的手势增大明暗对比,加强识别目标与背景的亮度校正,便于红外摄像头获取手部图形信息;
使所述一字线型激光发射器发射的束线型激光与投影平面平行,当手指按到投影平面时发射出的红外线,被两个红外摄像头捕捉;
使所述第一红外摄像头和第二红外摄像头,分别从第一视角和第二视角获取摄像头区域内手势活动信息,通过图像传感器传输将信息传输到微型电脑主机;
使所述微型电脑主机基于根据第一红外摄像头和第二红外摄像头拍摄传输的第一视角和第二视角的图像信息(包括平面虚拟图像的多点触摸、图像追踪扫描和空中手势移动信息),经过两部分图像信息与手部图形建模的模板数据库进行分析整合校正后,获得手势的移动信息数据,判断出手指移动模式;将手指运动模式与微型电脑主机中运动执行数据库信息对比,判断出手势所给出的执行信息;将获得执行信息对投影平面信息内容进行操作执行指示。
提供一种所述的三维空间中多点触控与捕捉手势运动的识别系统在图像追踪扫描中应用,具体体现在:
使所述LED照射灯提供适宜的光照,对空间区域内的手势增大明暗对比,加强识别目标与背景的亮度校正,便于红外摄像头获取手部图形信息;
使所述一线型激光发射器发射的束线型激光与投影平面平行,当手指按到待追踪扫描载体平面时发射出的红外线,被两个红外摄像头捕捉;
使所述第一红外摄像头和第二红外摄像头,分别从第一视角和第二视角获取摄像头区域内触摸手在待追踪扫描载体(例如书籍等)的触控截屏区域信息,通过图像传感器传输将信息传输到微型电脑主机;
使所述微型电脑主机基于根据第一红外摄像头和第二红外摄像头拍摄传输的第一视角和第二视角的图像信息(即触摸手在待追踪扫描载体的触控截屏区域信息),经过两部分图像信息与手部图形数字建模的模板数据库进行分析整合校正后,获得手势的移动信息数据,判断出手指移动模式;将手指运动模式与微型电脑主机中运动执行数据库信息对比,判断出手势所给出的执行信息;将获得执行信息对待追踪扫描载体上的触控截屏内容进行扫描;
使所述激光投影仪通过接收微型电脑主机的传输,实现触控截屏内容投影到投影平面。
提供一种所述的三维空间中多点触控与捕捉手势运动的识别系统在车载地图手势控制中应用,具体体现在:
使所述激光投影仪通过接收微型电脑主机的传输,在汽车前挡风玻璃投影电子地图界面;
使所述第一红外摄像头和第二红外摄像头,分别从第一视角和第二视角获取摄像头区域内手势活动信息,通过图像传感器传输将信息传输到微型电脑主机;
使所述微型电脑主机基于根据第一红外摄像头和第二红外摄像头拍摄传输的第一视角和第二视角的图像信息(即空中手势移动),经过两部分图像信息与手部图形建模的模板数据库进行分析整合校正后,获得手势的移动信息数据,判断出手指移动模式;将手指运动模式与微型电脑主机中运动执行数据库信息对比,判断出手势所给出的执行信息;将获得执行信息对投影电子地图界面信息内容进行操作执行指示。
本实用新型中的平面和空中的手势识别原理为:利用激光三角测距原理用于手指空间坐标检测,在一副画面中找出每个手部关节相对画面的位置(x,y),并且手指距离投影平面的高度z,事实上就是在检测手指的三维空间坐标(x,y,z)的变化信息,通过对手指三维空间坐标变化信息的辨识和判断,对激光投影仪投射的微型电脑主机处理的信息进行操作和编辑。在虚拟图像显示触控操作中,若手指接近投影平面,则会阻挡住一字型激光的通路而产生反射,反射的光点画面会被两个红外摄像头拍摄到;能够对空间物体进行坐标定位,这是一个标准的三角测量法的结构设置。
本实用新型中手部图像建模的原理为:所述手部图形建模的过程包括提取背景图像、提取手部区域、提取动作数据和捕捉手部运动数据;具体过程为通过第一红外摄像头和第二红外摄像头进行图形采集测距计算,分别捕捉第一视角和第二视角的图像信息,提取手部姿态区域,计算图像角度差异,图像校正立体匹配,提取运动光斑区域,直角坐标面3D建模,获得数字模型拟合,从而实现数据库的手部动作以光标或模拟手来进行手势操作。
本实用新型相对于现有技术具有如下的优点及效果:
1. 本实用新型使用两个红外摄像头做双目视觉处理,提取目标画面物体的深度信息,通过拍摄物体产生的红外线变化信息,并转化为微型电脑主机处理信号;能够极大的增加图像捕捉能力,具有很好的摄像效果;同时通过两个红外摄像头摄取的图像信息,对手部位置信息进行修正,提高了手部运动信息识别的精度。
2. 本实用新型将投影仪直接安装在微型电脑主机,摆脱了目前手势识别基于电脑显示器的缺陷,使空中手势识别系统在使用投影仪进行演讲演示等方面被广泛应用,并且可以随时随地办公,形体小,便于携带,提供了很大方便。
3. 本实用新型通过LED照射灯和一线型激光照射器分别为空中手势识别与虚拟图像显示触控操作提供照射对比光源,将立体空间识别和平面触控操作积于一个操作系统,同时提高了红外摄像头对手势的辨识度。
4.本实用新型使用的地方非常广泛,比如汽车内,电视,电脑,手机和眼镜等领域进行广泛应用。
附图说明
图1是本实用新型的三维空间中多点触控识别系统的结构示意图;
图2是本实用新型的三维空间中捕捉手势运动的识别系统的结构示意图;
图3是本实用新型的手势识别过程中使用的手部模型的示意图;
图4是本实用新型的手部图形数字建模的分析示意图;
图5是本实用新型的实施例中微型电脑主机的内部组成模块连接的框图;
图6是本实用新型在图像追踪扫描中应用的结构示意图;
图7是本实用新型在车载地图手势控制中应用的结构示意图;
其中:1 微型电脑主机,2 激光投影仪,3 第一红外摄像头,4 第二红外摄像头,5 LED照射灯,6 一字线型激光发射器,7 投影平面,8 指尖骨骼,9 手掌骨骼,10 手腕骨骼,11 手指骨骼,12,待追踪扫描载体,13 触控截屏,14 触摸手,15 汽车前挡风玻璃投影地图界面。
具体实施方式
下面结合实施例及附图对本实用新型作进一步详细的描述,但本实用新型的实施方式不限于此。
如图1和图2所示,本实用新型提供了一种三维空间中多点触控与捕捉手势运动的识别系统,包括一微型电脑主机1、一激光投影仪2、第一红外摄像头3、第二红外摄像头4、一LED照射灯5、一字线型激光发射器6和投影平面7;所述激光投影仪2将微型电脑主机1处理内容进行投射产生投影平面7;所述一字线型激光发射器6的照射平面与投影平面7平行;所述第一红外摄像头3与所述第二红外摄像头4的视野覆盖所述投影平面7和空中手势识别区域;
所述投影平面7为激光投影仪2投射的信息内容在载体平面上形成;
所述载体平面为桌面、墙面或汽车前挡风玻璃面中的一种;
所述空中手势识别区域为第一红外摄像头3、第二红外摄像头4及LED照射灯5的视野所共同覆盖的空中区域;
所述第一红外摄像头3和第二红外摄像头4与投影平面7的距离大于一字线型激光发射器6与投影平面7的距离;
所述激光投影仪2,通过接收微型电脑主机1的传输,显示数据或投影平面7(虚拟主机界面)投影,将待处理信息投影到投影平面;
所述LED照射灯5,提供适宜的光照对空间区域内的手势增大明暗对比,加强识别目标与背景的亮度校正,便于红外摄像头获取手部图形信息,同时使设备在光线较暗的环境中也可以使用;
所述第一红外摄像头3和第二红外摄像头4,分别从第一视角和第二视角获取摄像头区域内手势活动深度信息,通过图像深度传感器传输将信息传输到微型电脑主机1,经由微型电脑主机1对两个红外摄像头捕捉深度信息与手部图形数字建模的模板数据库进行综合比对处理分析,对手势所包含的指令信息进行反应;
所述一字线型激光发射器6,发射的一字型激光与投影平面平行,当手指按到投影平面时发射出的红外线,被两个红外摄像头捕捉;同时当手指贴近投影平面时,会阻断发射的激光光路,造成一个反射信号,这时感知器就会感知到反射信号的相对位置相对于投影平面信息,在微型电脑主机1进行信息处理后,确认手指位置,鉴别手指指令信息。
如图5所示,本实用新型中所述微型电脑主机1包括摄像头传感器模块、手部图像提取模块、微处理器模块、图像数据分析模块、对比模块、执行模块、激光投影控制模块、重力感应模块和马达旋转模块;
所述摄像头传感模块,用于接收第一红外摄像头3和第二红外摄像头4获取的图像信息(包括虚拟图像的多点触摸、图像追踪扫描和空中手势移动信息),传输给手部图像提取模块进行手部图像提取和数据输出;
所述手部图像提取模块,接收摄像头传感模块传送的图像信息,进行手部图像提取数据,并将获得的手部图像提取数据传输给微处理器模块进行数据输出;其中,如图3所示,所述的手部图像提取主要是获取指尖骨骼8、手掌骨骼9、手腕骨骼10和手指骨骼11等手部节点部位的信息;
所述微处理器模块,将接收的手部图像提取数据向图像数据分析模块进行数据输出;另外通过接收和处理激光投影控制模块传送的重力感应信息,发出马达旋转指令到激光投影控制模块;
所述图像数据分析模块,接收微处理器模块输出的手部图像提取数据,将手部图形提取数据信息与手部图形数字建模的模板数据库(通过对手部姿态与位置进行数字建模,生成模板数据库)校正整合后,获得手势的移动信息数据,判断出手指移动模式;
所述比对模块,将图像数据分析模块获得的手指移动模式与微型电脑主机中手部图形建模的模板数据库信息对比,判断出手势所给出的执行信息;
所述执行模块,将对比模块获得执行信息对投影平面信息内容进行操作执行指示。
所述激光投影控制模块,通过接受重力感应模块对微型电脑主机放置位置(如横向放置或竖向放置)的重力感应信息,传输给微处理器模块,并接收微处理器模块在经过感应信息的分析和处理后发出的执行信息,将执行信息转化为执行指令后,发送到马达旋转模块,从而实现对激光投影仪和红外摄像头的调控(包括激光投影仪和红外摄像头的转动、激光投影仪的投影内容信息的自动校正调正和投影仪焦距自动调整);同时在重力感应器感应到微型电脑主机横向放置时,发出指令自动关闭一字线型激光发射器,避免了微型电脑主机横向放置时,一字线型激光发射器的光信号干扰空中手势识别的信号获取;
所述重力感应模块,在微电脑主机放置后能够获取重力感应的信息,并将重力感应信息传送给激光投影控制模块,从而发挥通过重力感知获悉微电脑主机的放置状态(例如是水平放置或竖直放置),自动调整激光投影仪的投影方向;
所述马达旋转模块,通过接收激光投影控制模块发送的执行信息,发挥自动调整激光投影仪和红外摄像头,包括投影仪和红外摄像头的转动、投影仪的投影内容信息的自动校正调正和投影仪焦距自动调整;
进一步优选的实施方式,所述微型电脑主机还包括通话模块;
所述通话模块,与微处理器模块进行数据信息交换实现通话功能。
一种三维空间中多点触控与捕捉手势运动的识别方法,包括:
使所述激光投影仪通过接收微型电脑主机的传输,实现显示数据或虚拟主机界面投影,将待处理信息投影到投影平面;
使所述LED照射灯提供适宜的光照,对空间区域内的手势增大明暗对比,加强识别目标与背景的亮度校正,便于红外摄像头获取手部图形信息;
使所述一线型激光发射器发射的束线型激光与投影平面平行,当手指按到投影平面时发射出的红外线,被两个红外摄像头捕捉;
使所述第一红外摄像头和第二红外摄像头,分别从第一视角和第二视角获取摄像头区域内手势活动信息,通过图像传感器传输将信息传输到微型电脑主机;
使所述微型电脑主机基于根据第一红外摄像头和第二红外摄像头拍摄传输的第一视角和第二视角的图像信息(包括平面虚拟图像的多点触摸、图像追踪扫描和空中手势移动信息),经过两部分图像信息与手部图形建模的模板数据库进行分析整校正合后,获得手势的移动信息数据,判断出手指移动模式;将手指运动模式与微型电脑主机中运动执行数据库信息对比,判断出手势所给出的执行信息;将获得执行信息对投影平面信息内容进行操作执行指示。
如图6所示,本实用新型提供一种所述的三维空间中多点触控与捕捉手势运动的识别系统在图像追踪扫描中应用,具体体现在:
使所述LED照射灯提供适宜的光照,对空间区域内的手势增大明暗对比,加强识别目标与背景的亮度校正,便于红外摄像头获取手部图形信息;
使所述一线型激光发射器发射的束线型激光与投影平面平行,当手指按到待追踪扫描载体平面时发射出的红外线,被两个红外摄像头捕捉;
使所述第一红外摄像头和第二红外摄像头,分别从第一视角和第二视角获取摄像头区域内触摸手14在待追踪扫描载体12(例如书籍等)的触控截屏13区域信息,通过图像传感器传输将信息传输到微型电脑主机;
使所述微型电脑主机基于根据第一红外摄像头和第二红外摄像头拍摄传输的第一视角和第二视角的图像信息(即触摸手在待追踪扫描载体的触控截屏区域信息),经过两部分图像信息与手部图形数字建模的模板数据库进行分析整合校正后,获得手势的移动信息数据,判断出手指移动模式;将手指运动模式与微型电脑主机中运动执行数据库信息对比,判断出手势所给出的执行信息;将获得执行信息对待追踪扫描载体上的触控截屏内容进行扫描;
使所述激光投影仪通过接收微型电脑主机的传输,实现触控截屏内容投影到投影平面。
如图7所示,本实用新型提供一种所述的三维空间中多点触控与捕捉手势运动的识别系统在车载地图手势控制中应用,具体体现在:
使所述激光投影仪通过接收微型电脑主机的传输,在汽车前挡风玻璃投影电子地图界面15;
使所述第一红外摄像头和第二红外摄像头,分别从第一视角和第二视角获取摄像头区域内手势活动信息,通过图像传感器传输将信息传输到微型电脑主机;
使所述微型电脑主机基于根据第一红外摄像头和第二红外摄像头拍摄传输的第一视角和第二视角的图像信息(即空中手势移动),经过两部分图像信息与手部图形建模的模板数据库进行分析整校正合后,获得手势的移动信息数据,判断出手指移动模式;将手指运动模式与微型电脑主机中运动执行数据库信息对比,判断出手势所给出的执行信息;将获得执行信息对投影电子地图界面信息内容进行操作执行指示。
本实用新型中的平面和空中的手势识别原理为:利用激光三角测距原理用于手指空间坐标检测,在一副画面中找出每个手部关节相对画面的位置(x,y),并且手指距离投影平面的高度z,事实上就是在检测手指的三维空间坐标(x,y,z)的变化信息,通过对手指三维空间坐标变化信息的辨识和判断,对激光投影仪投射的微型电脑主机处理的信息进行操作和编辑。在虚拟图像显示触控操作中,若手指接近投影平面,则会阻挡住一字型激光的通路而产生反射,反射的光点画面会被两个红外摄像头拍摄到;能够对空间物体进行坐标定位,这是一个标准的三角测量法的结构设置。
本实用新型中所述手部图像建模的原理如图4所示:本实用新型中手部图像建模的原理为:所述手部图形建模的过程包括提取背景图像、提取手部区域、提取动作数据和捕捉手部运动数据;具体过程为通过第一红外摄像头和第二红外摄像头进行图形采集测距计算,分别捕捉第一视角和第二视角的图像信息,提取手部姿态区域,计算图像角度差异,图像校正立体匹配,提取运动光斑区域,直角坐标面3D建模,获得数字模型拟合,从而实现数据库的手部动作以光标或模拟手来进行手势操作。
上述实施例为本实用新型较佳的实施方式,但本实用新型的实施方式并不受上述实施例的限制,其他的任何未背离本实用新型的精神实质与原理下所作的改变、修饰、替代、组合、简化、添加均应为等效的置换方式,都包含在本实用新型的保护范围之内。

Claims (4)

1.一种三维空间中多点触控与捕捉手势运动的识别系统,其特征在于包括一微型电脑主机、一激光投影仪、第一红外摄像头、第二红外摄像头、一LED照射灯、一字线型激光发射器和投影平面;所述激光投影仪将微型电脑主机处理内容进行投射产生投影平面;所述一字线型激光发射器的照射平面与投影平面平行;所述第一红外摄像头与所述第二红外摄像头的视野覆盖所述投影平面和空中手势识别区域;
所述投影平面为激光投影仪投射的信息内容在载体平面上形成;
所述载体平面为桌面、墙面或汽车前挡风玻璃面中的一种;
所述空中手势识别区域为第一红外摄像头、第二红外摄像头及LED照射灯的视野所共同覆盖的空中区域;
所述第一红外摄像头和第二红外摄像头与投影平面的距离大于一字线型激光发射器与投影平面的距离。
2.根据权利要求1所述的三维空间中多点触控与捕捉手势运动的识别系统,其特征在于:所述激光投影仪,通过接收微型电脑主机的传输,显示数据或投影平面投影,将待处理信息投影到投影平面;
所述LED照射灯,提供适宜的光照对空间区域内的手势增大明暗对比,加强识别目标与背景的亮度校正,便于红外摄像头获取手部图形信息,同时使设备在光线较暗的环境中也可以使用;
所述第一红外摄像头和第二红外摄像头,分别从第一视角和第二视角获取摄像头区域内手势活动深度信息,通过图像深度传感器传输将信息传输到微型电脑主机,经由微型电脑主机对两个红外摄像头捕捉深度信息与手部图形数字建模的模板数据库进行综合比对处理分析,对手势所包含的指令信息进行反应;
所述一字线型激光发射器,发射的一字型激光与投影平面平行,当手指按到投影平面时发射出的红外线,被两个红外摄像头捕捉;同时当手指贴近投影平面时,会阻断发射的激光光路,造成一个反射信号,这时感知器就会感知到反射信号的相对位置相对于投影平面信息,在微型电脑主机进行信息处理后,确认手指位置,鉴别手指指令信息。
3.根据权利要求1所述的三维空间中多点触控与捕捉手势运动的识别系统,其特征在于:所述微型电脑主机包括摄像头传感器模块、手部图像提取模块、微处理器模块、图像数据分析模块、对比模块、执行模块、激光投影控制模块、重力感应模块和马达旋转模块;
所述摄像头传感模块,用于接收第一红外摄像头和第二红外摄像头获取的图像信息,传输给手部图像提取模块进行手部图像提取和数据输出;
所述手部图像提取模块,接收摄像头传感模块传送的图像信息,进行手部图像提取数据,并将获得的手部图像提取数据传输给微处理器模块进行数据输出;其中,所述的手部图像提取主要是获取指尖骨骼、手掌骨骼、手腕骨骼和手指骨骼的手部节点部位信息;
所述微处理器模块,将接收的手部图像提取数据向图像数据分析模块进行数据输出;并且微处理器模块通过与通话模块进行数据信息交换获得通话功能;另外通过接收和处理激光投影控制模块传送的重力感应信息,发出马达旋转指令到激光投影控制模块;
所述图像数据分析模块,接收微处理器模块输出的手部图像提取数据,将手部图形提取数据信息与手部图形数字建模的模板数据库校正整合后,获得手势的移动信息数据,判断出手指移动模式;
所述比对模块,将图像数据分析模块获得的手指移动模式与微型电脑主机中手部图形建模的模板数据库信息对比,判断出手势所给出的执行信息;
所述执行模块,将对比模块获得执行信息对投影平面信息内容进行操作执行指示;
所述激光投影控制模块,通过接受重力感应模块对微型电脑主机放置位置的重力感应信息,传输给微处理器模块,并接收微处理器模块在经过感应信息的分析和处理后发出的执行信息,将执行信息转化为执行指令后,发送到马达旋转模块,从而实现对激光投影仪和红外摄像头的调控;同时在重力感应器感应到微型电脑主机横向放置时,发出指令自动关闭一字线型激光发射器;
所述重力感应模块,在微电脑主机放置后能够获取重力感应的信息,并将重力感应信息传送给激光投影控制模块,从而发挥通过重力感知获悉微电脑主机的放置状态,自动调整激光投影仪的投影方向;
所述马达旋转模块,通过接收激光投影控制模块发送的执行信息,发挥自动调整激光投影仪和红外摄像头。
4.根据权利要求3所述的三维空间中多点触控与捕捉手势运动的识别系统,其特征在于:所述微型电脑主机还包括通话模块;
所述通话模块,与微处理器模块进行数据信息交换实现通话功能。
CN201420174520.XU 2014-04-11 2014-04-11 三维空间中多点触控与捕捉手势运动的识别系统 Expired - Fee Related CN203930682U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201420174520.XU CN203930682U (zh) 2014-04-11 2014-04-11 三维空间中多点触控与捕捉手势运动的识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201420174520.XU CN203930682U (zh) 2014-04-11 2014-04-11 三维空间中多点触控与捕捉手势运动的识别系统

Publications (1)

Publication Number Publication Date
CN203930682U true CN203930682U (zh) 2014-11-05

Family

ID=51826462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201420174520.XU Expired - Fee Related CN203930682U (zh) 2014-04-11 2014-04-11 三维空间中多点触控与捕捉手势运动的识别系统

Country Status (1)

Country Link
CN (1) CN203930682U (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104698931A (zh) * 2015-02-13 2015-06-10 广西科技大学鹿山学院 人机交互智能地球仪的控制方法
CN104848800A (zh) * 2015-06-17 2015-08-19 中国地质大学(武汉) 一种基于线激光扫描的多视角三维成像装置
CN105786170A (zh) * 2015-01-08 2016-07-20 Lg电子株式会社 移动终端及其控制方法
CN105812187A (zh) * 2016-03-29 2016-07-27 上海斐讯数据通信技术有限公司 一种路由器的配置方法及路由器
CN106292305A (zh) * 2015-05-29 2017-01-04 青岛海尔洗碗机有限公司 一种用于厨房环境的多媒体装置
CN107197223A (zh) * 2017-06-15 2017-09-22 北京有初科技有限公司 微型投影设备和投影设备的手势控制方法
CN107426554A (zh) * 2016-05-24 2017-12-01 仁宝电脑工业股份有限公司 投影装置
TWI618027B (zh) * 2016-05-04 2018-03-11 國立高雄應用科技大學 基因演算三維手勢影像辨識方法及其系統
CN108268134A (zh) * 2017-12-30 2018-07-10 广州本元信息科技有限公司 拿放商品的手势识别装置及方法
US10209832B2 (en) 2016-07-25 2019-02-19 Google Llc Detecting user interactions with a computing system of a vehicle
CN112995629A (zh) * 2021-03-10 2021-06-18 英博超算(南京)科技有限公司 一种基于全息摄影技术的智能自拍馆实现方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105786170A (zh) * 2015-01-08 2016-07-20 Lg电子株式会社 移动终端及其控制方法
CN104698931A (zh) * 2015-02-13 2015-06-10 广西科技大学鹿山学院 人机交互智能地球仪的控制方法
CN106292305A (zh) * 2015-05-29 2017-01-04 青岛海尔洗碗机有限公司 一种用于厨房环境的多媒体装置
CN104848800A (zh) * 2015-06-17 2015-08-19 中国地质大学(武汉) 一种基于线激光扫描的多视角三维成像装置
CN105812187A (zh) * 2016-03-29 2016-07-27 上海斐讯数据通信技术有限公司 一种路由器的配置方法及路由器
TWI618027B (zh) * 2016-05-04 2018-03-11 國立高雄應用科技大學 基因演算三維手勢影像辨識方法及其系統
CN107426554A (zh) * 2016-05-24 2017-12-01 仁宝电脑工业股份有限公司 投影装置
CN107426554B (zh) * 2016-05-24 2019-09-24 仁宝电脑工业股份有限公司 投影装置
US10209832B2 (en) 2016-07-25 2019-02-19 Google Llc Detecting user interactions with a computing system of a vehicle
CN107197223A (zh) * 2017-06-15 2017-09-22 北京有初科技有限公司 微型投影设备和投影设备的手势控制方法
CN108268134A (zh) * 2017-12-30 2018-07-10 广州本元信息科技有限公司 拿放商品的手势识别装置及方法
CN112995629A (zh) * 2021-03-10 2021-06-18 英博超算(南京)科技有限公司 一种基于全息摄影技术的智能自拍馆实现方法

Similar Documents

Publication Publication Date Title
CN203930682U (zh) 三维空间中多点触控与捕捉手势运动的识别系统
CN103914152A (zh) 三维空间中多点触控与捕捉手势运动的识别方法与系统
US8923562B2 (en) Three-dimensional interactive device and operation method thereof
CN202584010U (zh) 一种腕上手势操控系统
EP2733585B1 (en) Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device
KR101872426B1 (ko) 깊이 기반 사용자 인터페이스 제스처 제어
CN114127669A (zh) 无源指示笔的可跟踪性增强
US9122353B2 (en) Kind of multi-touch input device
US10254847B2 (en) Device interaction with spatially aware gestures
CN102915111A (zh) 一种腕上手势操控系统和方法
CN110209273A (zh) 手势识别方法、交互控制方法、装置、介质与电子设备
CN103135753A (zh) 手势输入的方法及系统
CN104737102A (zh) 用于多维输入的导航方法
CN1630877A (zh) 基于计算机视觉的无线定向系统
CN103365617B (zh) 一种投影控制系统、装置及投影控制方法
CN102169366A (zh) 三维立体空间中的多目标跟踪方法
US11263818B2 (en) Augmented reality system using visual object recognition and stored geometry to create and render virtual objects
EP2996067A1 (en) Method and device for generating motion signature on the basis of motion signature information
CN103092437A (zh) 一种基于图像处理技术的便捷式触控交互系统
CN106569716B (zh) 单手操控方法及操控系统
CN107562205B (zh) 一种智能终端的投影键盘及该投影键盘的操作方法
CN204808201U (zh) 基于视觉的手势识别控制系统
Zhang et al. Near-field touch interface using time-of-flight camera
CN209168073U (zh) 一种非接触式虚拟触控装置
Bhowmik Natural and intuitive user interfaces with perceptual computing technologies

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141105

Termination date: 20190411

CF01 Termination of patent right due to non-payment of annual fee