CN101634919B - 一种手势识别的装置与方法 - Google Patents
一种手势识别的装置与方法 Download PDFInfo
- Publication number
- CN101634919B CN101634919B CN2009100906227A CN200910090622A CN101634919B CN 101634919 B CN101634919 B CN 101634919B CN 2009100906227 A CN2009100906227 A CN 2009100906227A CN 200910090622 A CN200910090622 A CN 200910090622A CN 101634919 B CN101634919 B CN 101634919B
- Authority
- CN
- China
- Prior art keywords
- contact
- light
- point
- gesture
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Abstract
本发明公开了一种手势识别的装置,包括:光源,用于向待触摸输入区域发射特定波长的光线;二维光学传感器,用于接收从待触摸输入区域反射的光线,并根据接收到的光线形成二维图像信号;数据处理模块,用于根据二维图像信号获取每个触摸输入点的屏幕坐标,并根据多个帧的触摸输入点的屏幕坐标识别输入的手势信息。本发明还公开了一种手势识别的方法。本发明具有准确的跟踪轨迹,应对图像的畸变效应有很好的精确定位性能,并且实时支持更多的触点,最大可在60帧的成像条件下支持多达512点的实时轨迹跟踪,再此基础上,可以快速的获得更为准确的手势信息。
Description
技术领域
本发明涉及触摸输入技术领域,特别是涉及一种手势识别的装置与方法。
背景技术
手势识别是一种基于对手指运动轨迹做行为分类的技术,而基于多点输入的手势识别是发展趋势。目前市场上能够提供多点运动轨迹的装置主要有以下两种:
一种是基于透明传感介质的多点触摸屏,该触摸屏主要依靠在玻璃材料中嵌入电容传感器矩阵,材料和工艺造价非常高昂,并不适合大屏幕显示。
另一种是基于红外线发射/扫描装置的的多点触摸屏,该触摸屏主要依靠在以一定顺序安装在屏幕表面四周的若干对红外线发射和接收元件,在微型计算机系统的控制下按照一定的顺序分别接通每一对发射和红外接收元件,检测每一对红外线发射与红外线接收的红外线是否被阻断,以此来判定是否有触摸事件发生。
但是,基于红外线发射/扫描装置的的多点触摸屏具有以下缺陷:发射/接收元件的对数和工作电路复杂性会随需要检测手指的个数呈指数级增长,很难实现超过2个手指以上的触摸检测。
发明内容
本发明要解决的问题是提供一种手势识别的装置与方法,以克服现有技术中很难实现多触点触摸检测的缺陷。
为达到上述目的,本发明的技术方案提供一种手势识别的装置,所述装置包括:光源,用于向待触摸输入区域发射特定波长的光线;二维光学传感器,用于接收从所述待触摸输入区域反射的光线,并根 据接收到的光线形成二维图像信号;数据处理模块,用于根据所述二维图像信号获取每个触摸输入点的屏幕坐标,并根据多个帧的触摸输入点的屏幕坐标识别输入的手势信息。
其中,所述光源发射的光线的波长为780nm以上。
其中,所述数据处理模块包括:触点检测子模块,用于根据所述二维图像信号,获取原始图像下的触点坐标信息;坐标校正子模块,用于对所述原始图像下的触点坐标信息进行校准;轨迹跟踪子模块,用于根据相邻帧间的触点关系,匹配触点的连续变化趋势,获取每一个触点的运动轨迹信息;手势识别子模块,用于将每个触点的运动轨迹与预先设定的手势信息进行匹配,识别出输入的手势信息。
本发明的技术方案还提供一种手势识别的方法,所述方法包括以下步骤:S1,向待触摸输入区域发射特定波长的光线;S2,接收从所述待触摸输入区域反射的光线,并根据接收到的光线形成二维图像信号;S3,根据所述二维图像信号获取每个触摸输入点的屏幕坐标,并根据多个帧的触摸输入点的屏幕坐标识别输入的手势信息。
其中,在步骤S2中,具体为:将接收到的光线信号转换为二维八位灰度图像。
其中,在步骤S3中,具体包括:S31,根据所述二维图像信号,获取原始图像下的触点坐标信息;S32,对所述原始图像下的触点坐标信息进行校准;S33,根据相邻帧间的触点关系,匹配触点的连续变化趋势,获取每一个触点的运动轨迹信息;S34,将每个触点的运动轨迹与预先设定的手势信息进行匹配,识别出输入的手势信息。
其中,所述步骤S31具体包括:S311,根据所述二维图像信号中各点的像素值概率,将所述二维八位灰度图像转换为二值图像,并划分为触点和背景两类区域;S312,对每个触点区域求得其中心坐标,将所述中心坐标作为原始图像下的触点坐标。
其中,所述步骤S311具体为:将各点的像素值概率与预先设定 的概率阈值进行比较,当像素值概率大于阈值时,为触点范围内,当像素值概率小于阈值时,为稳定背景区域。
其中,在所述步骤S33中,具体包括:S331,获取T0时刻触点的序列S0={(x00,y00)(x01,y01),...(x0m,y0m)};S332,获取T1时刻触点的序列S1={(x10,y10),(x11,y11),...(x1n,y1n)};S333,生成距离矩阵
其中dij为T0时刻第i个点距离T1时刻第j个点的距离;S334,遍历所述距离矩阵,找到全局最小值dpq,判断最小值dpq是否大于间隔最大值的阈值;如果小于,则p、q为帧间对应的同一点;如果大于,则判定尚未配对的点为移出和新加的点;S335,去除第p行、第q列,得到低一阶的距离矩阵;S336,根据步骤S335中得到的新的距离矩阵,重复步骤S334和S335,直到没有符合配对要求的点。
与现有技术相比,本发明的技术方案具有如下优点:
本发明能够结合各种显示设备使其具有触摸输入功能,对于光源和光学传感器的安装没有严格的结构要求。而相对于现有的手势识别技术,本发明具有更为准确的跟踪轨迹,应对图像的畸变效应有很好的精确定位性能,并且实时支持更多的触点,最大可在60帧的成像条件下支持多达512点的实时轨迹跟踪,再此基础上,可以快速的获得更为准确的手势信息。
附图说明
图1为本发明的一种手势识别装置的结构示意图;
图2为本发明的另一种手势识别装置的结构示意图;
图3为本发明的屏幕坐标校正示意图。
其中,11为激光发射器,12为激光发射器,13为触点,14为激光面,15为二维光学传感器,16为数据处理模块,21为激光发射器,22 为触点,23为触摸板,24为二维光学传感器,25为数据处理模块。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
本发明的一种手势识别装置的结构如图1所示,包括激光发射器光源11和12(本实施例中为激光发射器)、二维光学传感器15和数据处理模块16。激光发射器以平行于屏幕方向发射线状激光,当用户手指接触或物体接触到激光面14时,触点13处将激光反射至屏幕后方,置于屏幕后方的二维光学传感器接收的信号发生变化。
本发明的另一种手势识别装置的结构如图2所示,包括激光发射器光源21(本实施例中为激光发射器)、二维光学传感器24和数据处理模块25。其中触摸板23为可透射并具有衰减激光能量的材料,激光发射器21对着触摸板23发射面光源,当手指或物体贴近触摸板时,触点22处具有较强的反射能量,传感器接收的信号变化较大;当手指或物体没有贴近触摸板时,由于触摸板对光源能量的衰减,具有较弱的反射能量,传感器的信号变化很小。
在本发明中,光源用于向待触摸输入区域发射特定波长的光线,该波长为780nm以上;二维光学传感器用于接收从所述待触摸输入区域反射的光线,并根据接收到的光线形成二维图像信号;数据处理模块用于根据所述二维图像信号获取每个触摸输入点的屏幕坐标,并根据多个帧的触摸输入点的屏幕坐标识别输入的手势信息。该数据处理模块包括触点检测子模块、坐标校正子模块、轨迹跟踪子模块和手势识别子模块。触点检测子模块用于根据所述二维图像信号,获取原始图像下的触点坐标信息;坐标校正子模块用于对所述原始图像下的触点坐标信息进行校准;轨迹跟踪子模块用于根据相邻帧间的触点关系,匹配触点的连续变化趋势,获取每一个触点的运动轨迹信息;手势识别子模块用于将每个触点的运动轨迹与预先设定的手势信息进行匹配,识别出输入的手势信息。
当采用图1或图2所示的手势识别装置时,本发明的一种手势识别方法如下:
S1,向待触摸输入区域发射特定波长的光线。
S2,接收从所述待触摸输入区域反射的光线,并根据接收到的光线形成二维图像信号。
S3,根据所述二维图像信号获取每个触摸输入点的屏幕坐标,并根据多个帧的触摸输入点的屏幕坐标识别输入的手势信息。其过程包括:
S31,根据所述二维图像信号,获取原始图像下的触点坐标信息。二维光学传感器将接收到的光信号转化为二维八位灰度图像。在没有手指或物体进入感光区域时,图像各个像素值是稳定的,符合一定参数的高斯分布。当有手指或者物体进入感光区域时,图像对应的区域像素值发生变化,其对应的高斯概率降低。选定一个概率阈值,当像素值概率大于阈值时,为触点范围内,当像素值概率小于阈值时,为稳定背景区域。这样就把八位的灰度图像变化为一个二值图像,划分为触点和背景两类区域。对每个触点区域求得其中心坐标,即为原始图像下的触点坐标信息。
S32,对所述原始图像下的触点坐标信息进行校准。如图3所示,由于光学器件的光路畸变,二维光学传感器对矩形网格得到的图像,发生了较大的畸变。传统的图像校正技术,是针对于图像每一个像素,直接从畸变图像还原为标准图像,然后再对还原后的图像进行处理,得到在直角正交坐标系下的多触点的坐标信息。这对于实时的多触点检测来说,计算过于复杂,大量的冗余信息消耗了大量的计算资源。本发明首先在校准前的图像上做触点检测,然后仅对触点单一坐标进行校准计算,这样就极大的简化了校准过程。应用薄板样条函数得到弹性形变变换方程。
S33,根据相邻帧间的触点关系,匹配触点的连续变化趋势,获 取每一个触点的运动轨迹信息。多触点检测是在每一帧上得到的,但轨迹跟踪是要根据相邻帧间的关系来分析得到。以T0和T1时刻的两帧为例:
首先获取T0时刻触点的序列S0={(x00,y00),(x01,y01),...(x0m,y0m)},然后获取T1时刻触点的序列S1={(x10,y10),(x11,y11),...(x1n,y1n)},再生成距离矩阵
其中dij为T0时刻第i个点距离T1时刻第j个点的距离。然后进行以下步骤:
(a)遍历矩阵,找到全局最小值dpq,判断最小值dpq是否大于间隔最大值的阈值。如果小于此阈值,则p、q为帧间对应的同一点。如果dpq大于最大值阈值,则可判定尚未配对的点都是移出和新加的点。
(b)去除第p行、第q列,得到低一阶的矩阵。
(c)应用(a)得到新矩阵对应的行和列。
(d)直到没有符合配对要求的点。
S34,将每个触点的运动轨迹与预先设定的手势信息进行匹配,识别出输入的手势信息。不同的手势对应不同的轨迹组合。当获取到感兴趣的轨迹组合时,与已经定义好的手势做比对,有匹配成功的,则此轨迹组合即被识别为相应的手势,并通知应用程序。
本发明能够结合各种显示设备使其具有触摸输入功能,对于光源和光学传感器的安装没有严格的结构要求。而相对于现有的手势识别技术,本发明具有更为准确的跟踪轨迹,应对图像的畸变效应有很好的精确定位性能,并且实时支持更多的触点,最大可在60帧的成像条件下支持多达512点的实时轨迹跟踪,再此基础上,可以快速的获 得更为准确的手势信息。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种手势识别的装置,其特征在于,所述装置包括:
光源,用于向待触摸输入区域发射特定波长的光线;
二维光学传感器,用于接收从所述待触摸输入区域反射的光线,并根据接收到的光线形成二维图像信号;
数据处理模块,用于根据所述二维图像信号获取每个触摸输入点的屏幕坐标,并根据多个帧的触摸输入点的屏幕坐标识别输入的手势信息,所述数据处理模块包括:
触点检测子模块,用于根据所述二维图像信号,获取原始图像下的触点坐标信息;
坐标校正子模块,用于对所述原始图像下的触点坐标信息进行校准;
轨迹跟踪子模块,用于根据相邻帧间的触点关系,匹配触点的连续变化趋势,获取每一个触点的运动轨迹信息;
手势识别子模块,用于将每个触点的运动轨迹与预先设定的手势信息进行匹配,识别出输入的手势信息。
2.如权利要求1所述的手势识别的装置,其特征在于,所述光源发射的光线的波长为780nm以上。
3.一种手势识别的方法,其特征在于,所述方法包括以下步骤:
S1,向待触摸输入区域发射特定波长的光线;
S2,接收从所述待触摸输入区域反射的光线,并根据接收到的光线形成二维图像信号;
S3,根据所述二维图像信号获取每个触摸输入点的屏幕坐标,并根据多个帧的触摸输入点的屏幕坐标识别输入的手势信息,具体包括步骤:
S31,根据所述二维图像信号,获取原始图像下的触点坐标信息;
S32,对所述原始图像下的触点坐标信息进行校准;
S33,根据相邻帧间的触点关系,匹配触点的连续变化趋势,获取每一个触点的运动轨迹信息;
S34,将每个触点的运动轨迹与预先设定的手势信息进行匹配,识别出输入的手势信息。
4.如权利要求3所述的手势识别的方法,其特征在于,在步骤S2中,具体为:将接收到的光线信号转换为二维八位灰度图像。
5.如权利要求4所述的手势识别的方法,其特征在于,所述步骤S31具体包括:
S311,根据所述二维图像信号中各点的像素值概率,将所述二维八位灰度图像转换为二值图像,并划分为触点和背景两类区域;
S312,对每个触点区域求得其中心坐标,将所述中心坐标作为原始图像下的触点坐标。
6.如权利要求5所述的手势识别的方法,其特征在于,所述步骤S311具体为:将各点的像素值概率与预先设定的概率阈值进行比较,当像素值概率大于阈值时,为触点范围内,当像素值概率小于阈值时,为稳定背景区域。
7.如权利要求3所述的手势识别的方法,其特征在于,在所述步骤S33中,具体包括:
S331,获取T0时刻触点的序列S0={(x00,y00),(x01,y01),...(x0m,y0m)};
S332,获取T1时刻触点的序列S1={(x10,y10),(x11,y11),...(x1n,y1n)};
S333,生成距离矩阵
其中dij为T0时刻第i个点距离T1时刻第j个点的距离;
S334,遍历所述距离矩阵,找到全局最小值dpq,判断最小值dpq是否大于间隔最大值的阈值;如果小于,则p、q为帧间对应的同一点; 如果大于,则判定尚未配对的点为移出和新加的点;
S335,去除第p行、第q列,得到低一阶的距离矩阵;
S336,根据步骤S335中得到的新的距离矩阵,重复步骤S334和S335,直到没有符合配对要求的点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009100906227A CN101634919B (zh) | 2009-09-01 | 2009-09-01 | 一种手势识别的装置与方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009100906227A CN101634919B (zh) | 2009-09-01 | 2009-09-01 | 一种手势识别的装置与方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101634919A CN101634919A (zh) | 2010-01-27 |
CN101634919B true CN101634919B (zh) | 2011-02-02 |
Family
ID=41594121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009100906227A Expired - Fee Related CN101634919B (zh) | 2009-09-01 | 2009-09-01 | 一种手势识别的装置与方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101634919B (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101887327B (zh) * | 2010-07-02 | 2013-03-20 | 深圳市宇恒互动科技开发有限公司 | 一种多输入大面积书写方法、装置及系统 |
CN101882032B (zh) * | 2010-07-02 | 2013-04-17 | 廖明忠 | 一种手写输入方法、装置、接收器及系统 |
CN102402340B (zh) * | 2010-09-08 | 2014-07-09 | 北京汇冠新技术股份有限公司 | 触摸定位方法、触摸屏、触摸系统和显示器 |
US20120110517A1 (en) * | 2010-10-29 | 2012-05-03 | Honeywell International Inc. | Method and apparatus for gesture recognition |
US8576200B2 (en) * | 2011-02-03 | 2013-11-05 | Hong Kong Applied Science And Technology Research Institute Co. Ltd. | Multiple-input touch panel and method for gesture recognition |
CN102722309B (zh) * | 2011-03-30 | 2014-09-24 | 中国科学院软件研究所 | 一种多点触摸交互系统的触摸手势触控信息识别方法 |
CN103309517A (zh) * | 2012-03-15 | 2013-09-18 | 原相科技股份有限公司 | 光学式输入装置及其输入检测方法 |
US8782549B2 (en) * | 2012-10-05 | 2014-07-15 | Google Inc. | Incremental feature-based gesture-keyboard decoding |
US8850350B2 (en) | 2012-10-16 | 2014-09-30 | Google Inc. | Partial gesture text entry |
US8819574B2 (en) | 2012-10-22 | 2014-08-26 | Google Inc. | Space prediction for text input |
CN103970323A (zh) * | 2013-01-30 | 2014-08-06 | 北京汇冠新技术股份有限公司 | 一种触摸屏轨迹跟踪方法和系统 |
CN103970322B (zh) * | 2013-01-30 | 2017-09-01 | 北京科加触控技术有限公司 | 一种触摸屏轨迹跟踪处理的方法和系统 |
EP3250993B1 (en) * | 2015-01-28 | 2019-09-04 | FlatFrog Laboratories AB | Dynamic touch quarantine frames |
CN105426817B (zh) * | 2015-10-30 | 2019-08-20 | 上海集成电路研发中心有限公司 | 基于红外成像的手势位置识别装置及识别方法 |
CN105528592A (zh) * | 2016-01-18 | 2016-04-27 | 北京集创北方科技股份有限公司 | 一种指纹扫描和手势识别方法及装置 |
CN107784875A (zh) * | 2017-04-12 | 2018-03-09 | 青岛陶知电子科技有限公司 | 一种智能触控教学操作系统 |
CN110989867B (zh) * | 2019-12-04 | 2022-09-30 | 三星电子(中国)研发中心 | 一种非接触式屏幕的操作识别方法 |
CN111078018A (zh) | 2019-12-31 | 2020-04-28 | 深圳Tcl新技术有限公司 | 显示器的触摸控制方法、终端设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101183287A (zh) * | 2007-10-23 | 2008-05-21 | 埃派克森微电子有限公司 | 控制屏幕上光标的设备 |
CN101441540A (zh) * | 2007-11-20 | 2009-05-27 | 原相科技股份有限公司 | 光学触控装置 |
CN101441541A (zh) * | 2007-11-19 | 2009-05-27 | 乐金显示有限公司 | 多点触摸平板显示模块 |
-
2009
- 2009-09-01 CN CN2009100906227A patent/CN101634919B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101183287A (zh) * | 2007-10-23 | 2008-05-21 | 埃派克森微电子有限公司 | 控制屏幕上光标的设备 |
CN101441541A (zh) * | 2007-11-19 | 2009-05-27 | 乐金显示有限公司 | 多点触摸平板显示模块 |
CN101441540A (zh) * | 2007-11-20 | 2009-05-27 | 原相科技股份有限公司 | 光学触控装置 |
Also Published As
Publication number | Publication date |
---|---|
CN101634919A (zh) | 2010-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101634919B (zh) | 一种手势识别的装置与方法 | |
US8619060B2 (en) | Multi-touch positioning method and multi-touch screen | |
US9262011B2 (en) | Interactive input system and method | |
US8797446B2 (en) | Optical imaging device | |
US20120113062A1 (en) | Display with an optical sensor | |
KR20110005737A (ko) | 광학 베즐을 가진 대화형 입력 시스템 | |
CN101231450A (zh) | 多点及物体触摸屏装置及多点触摸的定位方法 | |
US20200278768A1 (en) | Electronic blackboard and control method thereof | |
EP3101591A1 (en) | Terminal for recognizing fingerprint | |
US20130002609A1 (en) | Optical navigation utilizing speed based algorithm selection | |
US20100295823A1 (en) | Apparatus for touching reflection image using an infrared screen | |
US20130328835A1 (en) | Optical touch panel | |
CN202217252U (zh) | 采用蓝牙通信的基于摄像头的触摸屏 | |
US9778796B2 (en) | Apparatus and method for sensing object, and method of identifying calibration pattern in object sensing apparatus | |
CN110213407B (zh) | 一种电子装置的操作方法、电子装置和计算机存储介质 | |
US20130016069A1 (en) | Optical imaging device and imaging processing method for optical imaging device | |
US20140131550A1 (en) | Optical touch device and touch control method thereof | |
CN201796348U (zh) | 采用无线方式传输数据的触摸屏 | |
CN107122084B (zh) | 红外触摸屏上触控操作的识别方法、装置及终端设备 | |
US20140267193A1 (en) | Interactive input system and method | |
US11397493B2 (en) | Method for touch sensing enhancement implemented in single chip, single chip capable of achieving touch sensing enhancement, and computing apparatus | |
CN101504580A (zh) | 光学触摸屏及其配套的触摸笔 | |
US20110122076A1 (en) | Position detection apparatus for a touch panel | |
JP2013525884A (ja) | 接触位置特定方法並びにシステム及びディスプレイ | |
US20120105373A1 (en) | Method for detecting touch status of surface of input device and input device thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110202 Termination date: 20160901 |
|
CF01 | Termination of patent right due to non-payment of annual fee |