CN103970364B - 用于检测悬浮及点击的手势检测装置 - Google Patents
用于检测悬浮及点击的手势检测装置 Download PDFInfo
- Publication number
- CN103970364B CN103970364B CN201310048012.7A CN201310048012A CN103970364B CN 103970364 B CN103970364 B CN 103970364B CN 201310048012 A CN201310048012 A CN 201310048012A CN 103970364 B CN103970364 B CN 103970364B
- Authority
- CN
- China
- Prior art keywords
- image
- imageing sensor
- difference
- hand gesture
- gesture detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
一种手势检测装置,包括两个图像传感器及一处理单元。该处理单元用于比较该两个图像传感器在同一时间间隔或不同时间间隔所获取的图像帧中的指示物图像尺寸以判断一点击事件。
Description
技术领域
本发明是关于一种人机接口装置,特别是关于一种能够进行悬浮检测及点击检测的光学式手势检测装置。
背景技术
手势控制因为是根据人类直觉的操作,因此被广泛应用于家电产品及可携式电子产品上,使用者只需执行预设的动作即可执行特定功能,其可在传统的按键功能之外提供更广泛的操作功能。
手势控制在操作方式上可被分为触控式以及悬浮式,其中触控式系统通常需搭配一触控面板,使用者可在该触控面板上进行滑动控制以及点击控制。然而,触控面板本身即具有较高的成本。
悬浮式手势控制系统通常可利用图像传感器来检测悬浮手势,即所谓的光学式手势控制系统。例如照相机可被用来获取二维图像帧,并根据连续的二维图像帧中手指的位置变化判断移动信息。然而,悬浮式手势控制系统并不容易进行点击事件的检测,其也为本领域中一个重要的课题。
有鉴于此,本发明还提出一种手势检测装置,其可利用至少两个图像传感器同时检测悬浮动作以及点击动作,并可排除环境光所造成的干扰。
发明内容
本发明的一目的在于提供一种手势检测装置,其使用线性图像感测阵列以降低成本并提高每秒可感测的图像数目。
本发明的另一目的在与提供一种手势检测装置,其可通过计算差分图像来排除环境光的影响,以增进判断精确度。
本发明提供一种手势检测装置,包括检测面、第一图像传感器、第二图像传感器以及处理单元。该检测面具有一法线方向。该第一图像传感器设置在该检测面,用于朝向该法线方向获取第一图像。该第二图像传感器设置在该检测面并在Z轴向与该第一图像传感器偏移一预设距离,用于朝向该法线方向获取第二图像。该处理单元用于根据该第一图像或该第二图像中指示物图像的位置计算X轴向坐标,根据该第一图像及该第二图像中指示物图像的视差计算Y轴向坐标以及当该第一图像与该第二图像中指示物图像尺寸的尺寸差异大于等于一差异阈值时判断该Z轴向的一点击事件。
本发明还提供一种手势检测装置,包括检测面、第一图像传感器、第二图像传感器及处理单元。该检测面具有一法线方向。该第一图像传感器设置在该检测面,用于朝向该法线方向获取第一图像。该第二图像传感器平行于该第一图像传感器而设置在该检测面,用于朝向该法线方向获取第二图像。该处理单元用于根据该第一图像或该第二图像中指示物图像的位置计算X轴向坐标,根据该第一图像及该第二图像中指示物图像的视差计算Y轴向坐标以及当不同时间所获取的该第一图像和/或该第二图像中指示物图像尺寸的尺寸变化大于等于一变化阈值时判断一点击事件。
本发明还提供一种手势检测装置,包括检测面、第一图像传感器、第二图像传感器、第三图像传感器以及处理单元。该检测面具有一法线方向。该第一图像传感器设置在该检测面,用于朝向该法线方向获取第一图像。该第二图像传感器平行与该第一图像传感器而设置在该检测面,用于朝向该法线方向获取第二图像。该第三图像传感器设置在该检测面并在Z轴向与该第一图像传感器及该第二图像传感器偏移一预设距离,用于朝向该法线方向获取第三图像。该处理单元用于根据该第一图像及该第二图像计算一二维坐标以及当该第一图像与该第三图像中或该第二图像与该第三图像中指示物图像尺寸的尺寸差异大于等于一差异阈值时判断该Z轴向的一点击事件。
本发明还提供一种手势检测装置,包括检测面、第一图像传感器、第二图像传感器以及处理单元。该检测面具有一法线方向。该第一图像传感器设置在该检测面,用于朝向偏离该法线方向一预设角度方向获取第一图像。该第二图像传感器设置在该检测面并在Z轴向与该第一图像传感器偏移一预设距离,用于朝向偏离该法线方向负数该预设角度方向获取第二图像。该处理单元用于根据该第一图像及该第二图像中指示物图像的位置计算一二维坐标以及当该第一图像与该第二图像中指示物图像尺寸的尺寸差异大于等于一差异阈值时判断该Z轴向的一点击事件。
本发明还提供一种手势检测装置,包括检测面、第一图像传感器、第二图像传感器及处理单元。该检测面具有一法线方向。该第一图像传感器设置在该检测面,用于朝向偏离该法线方向一预设角度方向获取第一图像。该第二图像传感器平行于该第一图像传感器而设置在该检测面,用于朝向偏离该法线方向负数该预设角度方向获取第二图像。该处理单元用于根据该第一图像及该第二图像中指示物图像的位置计算一二维坐标以及当不同时间所获取的该第一图像和/或该第二图像中指示物图像尺寸的尺寸变化大于等于一变化阈值时判断一点击事件。
本发明还提供一种手势检测装置,包括检测面、第一图像传感器、第二图像传感器、第三图像传感器以及处理单元。该检测面具有一法线方向。该第一图像传感器设置在该检测面,用于朝向偏离该法线方向一预设角度方向获取第一图像。该第二图像传感器平行于该第一图像传感器而设置在该检测面,用于朝向偏离该法线方向负数该预设角度方向获取第二图像。该第三图像传感器设置在该检测面并在Z轴向与该第一图像传感器及该第二图像传感器偏移一预设距离,用于朝向该法线方向获取第三图像。该处理单元用于根据该第一图像及该第二图像计算一二维坐标以及当该第一图像与该第三图像中或该第二图像与该第三图像中指示物图像尺寸的尺寸差异大于等于一差异阈值时判断该Z轴向的一点击事件。
一个实施方式中,当该第一图像及该第二图像中该指示物图像尺寸大致相同并大于等于一预设尺寸时,表示该指示物图像并非手指图像,因此该处理单元不计算悬浮坐标且不判断点击事件。
一个实施方式中,该手势检测装置还可包括一红外光光源用于照明所述图像传感器的视野范围;其中,该红外光光源可轮流以第一亮度及第二亮度发光,所述图像传感器分别相对该第一亮度获取一亮图像并分别相对该第二亮度获取一暗图像。该处理单元可计算每一图像传感器所获取的该亮图像及该暗图像的差分图像以消除环境光的影响;其中,该第一亮度可大于该第二亮度且该第二亮度可为零亮度或非零亮度。
一个实施方式中,所述图像传感器包括线性图像感测阵列,例如长度为750个像素(pixel)而宽度为1-6个像素等呈类似直线的图像感测阵列以形成一线性感测视野(linearfield of view)。
本发明实施方式的手势检测装置可形成为独立的检测装置以通过无线通讯(例如,但不限于,蓝牙通讯或微波通讯)或有线接口(例如,但不限于,USB接口)的方式耦接于包括显示屏的电子装置,例如智慧型电视。此外,本发明实施方式的手势检测装置亦可直接内建于包括显示屏的可携式电子装置,例如笔记型电脑、数字行动助理或手机。
本发明实施方式之手势检测装置中,可根据图像传感器间的间距设计所述图像传感器系大致朝向该法线方向获取图像帧或向内侧偏离该法线方向一预设角度获取图像帧,以使指示物图像能同时出现在所有图像传感器之视野范围内。
附图说明
图1显示本发明实施方式的手势检测装置的方块图;
图2A及2B显示本发明第一实施方式的手势检测装置的示意图;
图3A及3B显示本发明第二实施方式的手势检测装置的示意图;
图4A至4C显示本发明实施方式的手势检测装置搭配一电子装置使用的示意图;
图5显示本发明实施方式的第一实施例的手势检测装置的俯视图;
图6显示本发明实施方式的第二实施例的手势检测装置的俯视图;
图7A至7C显示本发明实施方式的第三实施方式的手势检测装置的俯视图;
图8显示本发明实施方式的手势检测装置中,计算X轴向坐标的示意图;
图9显示本发明实施方式的手势检测装置中,计算Y轴向坐标的示意图;
图10A至10B显示本发明实施方式的手势检测装置中,判断点击事件的示意图;
图11显示本发明实施方式的手势检测装置中,计算悬浮指示物的二维坐标的示意图;以及
图12显示本发明实施方式的手势检测装置中,图像传感器的图像获取及光源点亮的示意图。
附图标记说明
1手势检测装置 10检测面
111第一图像传感器 112第二图像传感器
113第三图像传感器 12处理单元
13光源 9电子装置
91光标 IF1-IF3图像帧
n检测面的法线方向 B1、B2亮度
Ip、Ip1、Ip2、Ip1′、Ip2′ 指示物图像
具体实施方式
为了让本发明的上述和其他目的、特征、和优点能更明显,下文将配合所附图示,作详细说明如下。在本发明的说明中,在此应该先说明,相同的构件是以相同的符号表示。
参照图1所示,其显示本发明实施方式的手势检测装置1的方块图。该手势检测装置1包括至少两个图像传感器、一个处理单元12及一个光源13。图像传感器的数目可根据不同实施方式决定;一个实施方式中,该手势检测装置1可包括一个第一图像传感器(S1)111及一个第二图像传感器(S2)112;另一个实施方式中,该手势检测装置1可包括一个第一图像传感器(S1)111、一个第二图像传感器(S2)112及一个第三图像传感器(S3)113。该处理单元12例如可为数字处理器(DSP),其接收该至少两个图像传感器输出的图像帧并进行后处理,以判断悬浮操作的二维坐标及一点击事件(click event)。该光源13用于照明该至少两个图像传感器的视野范围,其较佳发出不可见光,例如红外光;一个实施方式中,为了消除环境光的影响,该光源13例如可对应该至少两个图像传感器的图像获取以不同亮度来发光(详述于后)。
此外,为了降低成本并提高每秒可感测的图像数目,该至少两个图像传感器均可为主动式图像传感器,例如CMOS图像传感器且包括一线性图像感测阵列(linear imagesensing matrix);其中,此处所谓线性是指长度远大于宽度的图像感测阵列,例如长度为750个像素而宽度为1-6个像素以形成一线性感测视野(linear field of view)。此外,该光源13可由多个主动光源排列而成或可为单一主动光源(例如LED),只要能提供足够亮度即可。
参照图2A及图2B所示,其显示本发明第一实施方式的手势检测装置1的示意图,其包括一检测面10且该检测面10具有一法线方向n。该第一图像传感器111及该第二图像传感器112设置在该检测面10上,用于大致朝向该法线方向n获取图像帧;亦即,该第一图像传感器111及该第二图像传感器112是设置成其感测面系大致平行于该检测面10。一个实施方式中,该第一图像传感器111、该第二图像传感器112及该光源13可设置在该检测面10内部,如图2A所示;另一个实施方式中,该第一图像传感器111、该第二图像传感器112及该光源13可设置在该检测面10上,如图2B所示。本实施方式中,该第一图像传感器111及该第二图像传感器112的视野中心线可与该法线方向n具有一夹角,例如0-20度间,以利用后述本发明第一实施方式的悬浮操作演算法计算悬浮坐标;其中,该夹角较佳朝向两图像传感器的中间方向偏离。
参照图3A及图3B所示,其显示本发明第二实施方式的手势检测装置1的示意图,其包括一检测面10且该检测面10具有一法线方向n。该第一图像传感器111及该第二图像传感器112设置在该检测面10上,用于往偏离该法线方向n一预设角度的方向获取图像帧;亦即,该第一图像传感器111及该第二图像传感器112设置成其感测面是大致与该检测面10旋转该预设角度。一个实施方式中,该第一图像传感器111、该第二图像传感器112及该光源13可设置在该检测面10内部,如图3A所示;另一个实施方式中,该第一图像传感器111、该第二图像传感器112及该光源13可设置在该检测面10上,如图3B所示。本实施方式中,该第一图像传感器111及该第二图像传感器112的视野中心线较佳与该法线方向n具有一预设角度,例如θ=30-60度间,以利用后述本发明第二实施方式的悬浮操作演算法计算悬浮坐标;其中,该预设角度较佳朝向两图像传感器的中间方向偏离。例如图3A及3B中,该第一图像传感器111旋转+θ角度而该第二图像传感器112旋转-θ角度;其中,正负号系表示旋转方向相反。
可以了解的是,当所述图像传感器设置在该检测面10内部时,该检测面10至少一部分较佳地相对该光源13所发出的光为透明,例如可利用一透明盖体覆盖于其上以保护其内部元件;当所述图像传感器及光源设置在该检测面10上时,同样较佳利用一透明盖体覆盖所述元件以进行保护。
本发明实施方式的手势检测装置1可结合于一可携式电子装置,例如笔记型电脑、平板电脑、行动电话或个人数字助理上,用于检测一指示物(例如手指)的悬浮坐标及点击事件,如图4A所示。此外,该手势检测装置1还可形成独立元件并通过有线(如图4B)或无线(如图4C)的方式耦接于包括显示屏的电子装置9,例如电脑系统、电视或投影系统等。可以了解的是,该手势检测装置1包括传输单元用于将检测结果有线或无线地传输至该电子装置9。一个实施方式中,该手势检测装置1所检测的悬浮坐标例如可用于操作光标91的动作,而该点击事件(例如可为单击或多击)可用于执行所点选相对一图示(icon)应用程序。
参照图2A、2B及5所示,图5显示本发明第一实施方式的手势检测装置1的第一实施例的俯视图。本实施例中,该第一图像传感器111设置在该检测面10上,用于大致朝向该法线方向n获取第一图像IF1;该第二图像传感器112设置在该检测面10上并在Z轴向与该第一图像传感器111偏移一预设距离D,用于大致朝向该法线方向n获取第二图像IF2;该处理单元12用于根据该第一图像IF1或该第二图像IF2中一指示物图像的位置计算X轴向坐标,根据该第一图像IF1及该第二图像IF2中指示物图像的视差计算Y轴向坐标以及当该第一图像IF1与该第二图像IF2中指示物图像尺寸的尺寸差异大于等于一差异阈值时,判断该Z轴向的一点击事件。接着说明本实施例中判断该X轴向坐标、该Y轴向坐标以及该点击事件的方式。
参照图8所示,当该第一图像IF1或该第二图像IF2中包括一指示物图像Ip时,该指示物图像Ip可能涵盖多个像素。该处理单元12可计算该指示物图像Ip的一位置(例如该指示物图像Ip的一中心位置或一重心位置)以作为所述X轴向坐标。例如一个实施方式中,假设所述图像传感器为750×1的线性图像感测阵列,故可设定成一可操作范围0-Rx(此处例如为0-750)的每一个像素位置分别相对应一X轴向坐标。因此,该处理单元12可通过计算该指示物图像Ip位于该可操作范围0-Rx的位置以作为该X轴向坐标。
如果该X轴向坐标接着要被映射(map)至一投影幕上时,该处理单元12还根据该投影幕的一X轴向解析度与该可操作范围的比例关系将该X轴向坐标映射至该投影幕的正确位置;其中,所述映射方式已为现有,故于此不再赘述。可以了解的是,本实施方式中,该可操作范围亦可仅为该线性图像感测阵列的中间一部分而不包括两侧像素(例如,但不限于,第50个像素至第700个像素),以避免该指示物图像Ip位于边缘时无法正确计算该位置。
参照图9所示,当该第一图像IF1及该第二图像IF2中均包括一指示物图像时,该处理单元12则先分别计算该第一图像IF1中一第一指示物图像Ip1及该第二图像IF2中一第二指示物图像Ip2的位置(例如中心位置或重心位置)。接着,该处理单元12则计算该第一指示物图像Ip1的位置与该第二指示物图像Ip2的位置的位置差以作为视差值(disparity)。例如,当一指示物较远离所述图像传感器时,第一指示物图像Ip1及第二指示物图像Ip2则相距较近而当该指示物较接近所述图像传感器时,第一指示物图像Ip1′及第二指示物图像Ip2′则相距较远。因此,可设定成每一视差值对应一Y轴向坐标,该处理单元12可通过计算该视差值以作为该Y轴向坐标。
可以了解的是,本发明实施方式的手势检测装置1可包括一储存单元用于储存X轴向坐标与指示物图像Ip的位置的关系及Y轴向坐标与视差值的关系。
参照图10A所示,本实施例中该第一图像传感器111及该第二图像传感器112主要是用于检测手指的悬浮操作及点击事件。例如时间t1时,该第一图像IF1中第一指示物图像Ip1与该第二图像IF2中第二指示物图像Ip2具有大致相同的面积或宽度,此时表示使用者的手指介于该第一图像传感器111与该第二图像传感器112间,此时即执行悬浮操作;悬浮操作时则利用图8及图9的方式计算X轴向坐标及Y轴向坐标以作为悬浮二维坐标。时间t2时,该第一图像IF1中第一指示物图像Ip1′与该第二图像IF2中第二指示物图像Ip2′具有不相同的面积或宽度,此时表示使用者已将手指向前推进而使得该第一图像传感器111仍感测到手指图像而该第二图像传感器112却感测到拳头或手掌部分图像,此时则可判断时间t2时发生一点击事件。本实施方式中,当该处理单元12判断同一时间(即相同取样时间)所获取的该第一图像IF1及该第二图像IF2中指示物图像尺寸的一尺寸差异(例如Ip2′与Ip1′的尺寸差异)大于等于一差异阈值时,则可判断该Z轴向的一点击事件。
此外,本实施例中该处理单元12是判断不同图像传感器在相同取样时间所获取的图像帧中指示物图像的尺寸差异,其主要是区别手指图像及拳头或手掌图像的差异。然而,当该第一图像传感器111及该第二图像传感器112感测到的是其他部分图像(例如手腕图像),该第一图像IF1中第一指示物图像Ip1与该第二图像IF2中第二指示物图像Ip2也可能具有大致相同的宽度或面积。为避免此种情形,当该第一图像IF1及该第二图像IF2中指示物图像尺寸大于一预设尺寸(例如可根据实际手指图像来设计一上限值),该处理单元12则不动作,亦即不计算该X轴向坐标、该Y轴向坐标及判断该点击事件,以避免误动作的情形。
此外,为了排除环境光的影响,该光源13在该第一图像传感器111及该第二图像传感器112获取图像时可以不同亮度发光。例如图12所示,该光源13相对所述图像传感器的图像获取,轮流以一第一亮度B1及一第二亮度B2发光,该第一图像传感器111及该第二图像传感器112分别相对该第一亮度B1获取一亮图像IFB并分别相对该第二亮度B2获取一暗图像IFD,该处理单元12还计算每一图像传感器所获取的该亮图像IFB及该暗图像IFD的一差分图像(IFB-IFD)以消除环境光的影响;其中,该第二亮度B2可为零亮度或非零亮度。换句话说,上述实施例中,该第一图像IF1及该第二图像IF2均为差分图像。本实施例中,亮图像系指相对光源13点亮时所获取的图像帧而暗图像系指相对光源13熄灭或以较低亮度点亮时所获取的图像帧。
参照图2A、2B及6所示,图6显示本发明第一实施方式的手势检测装置1的第二实施例的俯视图。本实施例中,该第一图像传感器111设置在该检测面10上,用于大致朝向该法线方向n获取一第一图像IF1;该第二图像传感器112平行(即于该Z轴向无位置偏移)该第一图像传感器111设置在该检测面10上,用于大致朝向该法线方向n获取一第二图像IF2;该处理单元12用于根据该第一图像111或该第二图像112中一指示物图像的一位置计算一X轴向坐标,根据该第一图像IF1及该第二图像IF2中指示物图像的视差计算Y轴向坐标以及当不同时间所获取的该第一图像IF1和/或该第二图像IF2中指示物图像尺寸的一尺寸变化大于等于一变化阈值时,判断一点击事件。第二实施例与第一实施例的差异在于,该第一图像传感器111与该第二图像传感器112在Z轴向上没有距离偏移。本实施例中,计算该X轴向坐标及该Y轴向坐标的方式与第一实施例相同(参照图8及图9),故于此不再赘述。此处仅针对判断点击事件的方式进行说明。
参照图10B所示,本实施例中该第一图像传感器111及该第二图像传感器112同样是用于检测手指的悬浮操作及点击事件。例如时间t1时,该第一图像IF1中第一指示物图像Ip1与该第二图像IF2中第二指示物图像Ip2具有大致相同的面积或宽度时,表示使用者的手指介于该第一图像传感器111与该第二图像传感器112间,此时即执行悬浮操作;悬浮操作时则可利用图8及图9的方式计算X轴向坐标及Y轴向坐标以作为悬浮二维坐标。时间t2时,该第一图像IF1中第一指示物图像Ip1′与该第二图像IF2中第二指示物图像Ip2′的面积或宽度发生变化,表示使用者已将手指向前推进而使得该第一图像传感器111和/或该第二图像传感器112感测到拳头或手掌部分图像,则可判断时间t2时发生一点击事件。本实施方式中,当该处理单元12判断不同时间(即不同取样时间,例如t1、t2)所获取该第一图像IF1和/或该第二图像IF2中的指示物图像尺寸的一尺寸变化(例如Ip1与Ip1′的尺寸变化和/或Ip2与Ip2′的尺寸变化)大于等于一变化阈值时,则可判断该Z轴向的一点击事件;其中,该第一图像IF1及该第二图像IF2的尺寸变化可能不同。本实施例中,时间t1及t2较佳为两相邻的取样时间。
如前所述,为了避免误动作的情形,本实施例中当该第一图像IF1及该第二图像IF2中指示物图像尺寸大于一预设尺寸时,该处理单元12不动作。
同理,为了排除环境光的影响,本实施例中该光源13同样可相对所述图像传感器111、112的图像获取轮流以不同亮度发光,例如图12所示,以使该处理单元12能够据以计算差分图像。
参照图2A、2B及7A所示,图7A显示本发明第一实施方式的手势检测装置1的第三实施例的俯视图。本实施例包括一第一图像测器111、一第二图像测器112及一第三图像测器113;其中,该第一图像传感器111设置于该检测面10,用于大致朝向该法线方向n获取一第一图像IF1;该第二图像传感器112平行(即于该Z轴向无位置偏移)该第一图像传感器111设置于该检测面10,用于大致朝向该法线方向n获取一第二图像IF2;该第三图像传感器113设置于该检测面10并在Z轴向与该第一图像传感器111及该第二图像传感器112偏移一预设距离D,用于大致朝向该法线方向n获取一第三图像IF3。本实施例中,该处理单元12用于根据该第一图像IF1及该第二图像IF2计算一二维坐标,亦即X轴向坐标及Y轴向坐标;其中,计算该二维坐标的方式与第一实施样态(参照图8及图9)相同,故于此不再赘述。此外,该处理单元12还用于当该第一图像IF1与该第三图像IF3中或该第二图像IF2与该第三图像IF3中指示物图像尺寸的一尺寸差异大于等于一差异阈值时,判断该Z轴向的一点击事件;其中,判断一点击事件的方式与第一实施样态(参照图10A)相同,故于此不再赘述。
更详细地,第三实施例中,该处理单元12根据两平行设置的图像传感器计算二维坐标(类似图6)并根据在Z轴向上有距离偏移的两个图像传感器判断点击事件(类似图5)。然而,所述图像传感器的排列方式并不限于图7A所示,例如亦可排列成图7B及图7C的方式;其中,图7A-7C均利用该第一图像传感器111及该第二图像传感器112所获取的图像帧计算悬浮坐标。此外,图7B中,该处理单元12根据该第二图像传感器112及该第三图像传感器113所获取的图像帧判断点击事件;图7C中,该处理单元12根据该第一图像传感器111及该第三图像传感器113所获取的图像帧判断点击事件。
如前所述,为了避免误动作的情形,本实施例中当该第一图像IF1及该第二图像IF2中指示物图像尺寸大于一预设尺寸时,该处理单元12不动作。
同理,为了排除环境光的影响,本实施例中该光源13同样可相对所述图像传感器111-113的图像获取轮流以不同亮度发光,例如图12所示,以使该处理单元12能够据以计算差分图像。
参照图3A、3B及5所示,图5显示本发明第二实施方式的手势检测装置1的第一实施例的俯视图。本实施例中,该第一图像传感器111设置在该检测面10上,用于朝向偏离该法线方向n一预设角度(例如+θ)方向获取一第一图像IF1;该第二图像传感器112设置在该检测面10上并在Z轴向与该第一图像传感器111偏移一预设距离D,用于朝向偏离该法线方向n负数该预设角度(例如-θ)方向获取一第二图像IF2;该处理单元12用于根据该第一图像IF1及该第二图像IF2中指示物图像的位置计算一二维坐标以及当该第一图像IF1与该第二图像IF2中指示物图像尺寸的尺寸差异大于等于一差异阈值时,判断该Z轴向的一点击事件。本实施例与第一实施方式的第一实施例的差异在于所述图像传感器系朝向彼此倾斜一预设角度(θ角度)获取图像,以避免当图像传感器距离过大而使得指示物无法同时进入所有图像传感器的视野范围的情形。本实施例中,判断点击事件的方式与第一实施方式的第一实施例相同(参照图10A);亦即,当该处理单元12判断相同取样时间所获取的该第一图像IF1及该第二图像IF2中指示物图像尺寸的尺寸差异(例如Ip2′与Ip1′的尺寸差异)大于等于一差异阈值时,则可判断该Z轴向的一点击事件。接着针对计算二维坐标的方式进行说明。
参照图11所示,本实施例中X轴向坐标及Y轴向坐标是同时根据该第一图像IF1及该第二图像IF2来求得。例如,该第一图像IF1及该第二图像IF2的每一个位置均对应指示物位置的一相对角度,因此当一指示物进入该第一图像传感器111及该第二图像传感器112的视野范围时,该处理单元12则可根据该第一图像传感器111及该第二图像传感器112中的指示物图像计算一指示物图像位置(例如中心或重心),每一指示物图像位置则对应一角度,例如此处显示为30度以及60度。此时,若以该第一图像传感器111及该第二图像传感器112其中之一作为原点,即平面坐标为(0,0),则可决定两直线方程式L1及L2。该处理单元12可计算两直线方程式L1及L2的交点坐标以作为指示物位置的二维坐标。另一个实施方式中,亦可先预先建立指示物图像位置所对应的两个角度与二维坐标的一个查找表(lookuptable),该处理单元12则根据该第一图像IF1及该第二图像IF2中的指示物图像位置及该查找表决定该二维坐标。
如前所述,为了避免误动作的情形,本实施例中当该第一图像IF1及该第二图像IF2中指示物图像尺寸大于一预设尺寸时,该处理单元12不动作。
同理,为了排除环境光的影响,本实施例中该光源13同样可相对所述图像传感器111、112的图像获取轮流以不同亮度发光,例如图12所示,以使该处理单元12能够据以计算差分图像。
参照图3A、3B及6所示,图6显示本发明第二实施方式的手势检测装置1的第二实施例的俯视图。本实施例中,该第一图像传感器111设置在该检测面10上,用于朝向偏离该法线方向n一预设角度(例如+θ)方向获取一第一图像IF1;该第二图像传感器112平行(即于该Z轴向无位置偏移)该第一图像传感器111而设置在该检测面10,用于朝向偏离该法线方向n负数该预设角度(例如-θ)方向获取一第二图像IF2;该处理单元12用于根据该第一图像IF1及该第二图像IF2中指示物图像的位置计算一二维坐标以及当不同时间(即不同取样时间)所获取的该第一图像IF1及该第二图像IF2中指示物图像尺寸的尺寸变化大于等于一变化阈值时判断一点击事件。本实施例与第一实施方式的第二实施例的差异在于所述图像传感器是朝向彼此倾斜一预设角度(θ角度)获取图像,以避免当图像传感器距离过大而使得指示物无法同时进入所有图像传感器的视野范围的情形。本实施例中,判断点击事件的方式与第一实施方式的第二实施例相同(参照图10B);亦即,当该处理单元12判断不同取样时间所获取该第一图像IF1和/或该第二图像IF2中的指示物图像尺寸的尺寸变化(例如Ip1与Ip1′的尺寸变化和/或Ip2与Ip2′的尺寸变化)大于等于一变化阈值时,则可判断该Z轴向一点击事件。计算二维坐标的方式与第二实施方式的第一实施例(参照图11)相同,故于此不再赘述。
简而言之,该处理单元12系根据所述图像传感器在不同取样时间所获取图像帧中指示物图像的变化来判断点击事件,并根据该第一图像IF1及该第二图像IF2中指示物图像的位置所形成的两直线方程式或根据该第一图像IF1及该第二图像IF2中指示物图像的位置及一查找表决定该二维坐标。
如前所述,为了避免误动作的情形,本实施例中当该第一图像IF1及该第二图像IF2中指示物图像尺寸大于一预设尺寸时,该处理单元12不动作。
同理,为了排除环境光的影响,本实施例中该光源13同样可相对所述图像传感器111、112的图像获取轮流以不同亮度发光,例如图12所示,以使该处理单元12能够据以计算差分图像。
参照图3A、3B及7A所示,图7A显示本发明第二实施方式的手势检测装置1的第三实施例的俯视图。本实施例包括一第一图像测器111、一第二图像测器112及一第三图像测器113;其中,该第一图像传感器111设置在该检测面10上,用于朝向偏离该法线方向n一预设角度(例如+θ)方向获取一第一图像IF1;该第二图像传感器112平行(即于该Z轴向无位置偏移)该第一图像传感器111设置在该检测面10上,用于朝向偏离该法线方向n负数该预设角度(例如-θ)方向获取一第二图像IF2;该第三图像传感器113设置在该检测面10上并在Z轴向与该第一图像传感器111及该第二图像传感器112偏移一预设距离D,大致朝向该法线方向n获取一第三图像IF3。本实施例中,该处理单元12用于根据该第一图像IF1及该第二图像IF2计算一二维坐标,亦即X轴向坐标及Y轴向坐标;其中,计算该二维坐标的方式与第二实施方式的第一实施样态(参照图11)相同,故于此不再赘述。此外,该处理单元12还用于当该第一图像IF1与该第三图像IF3中或该第二图像IF2与该第三图像IF3中指示物图像尺寸的尺寸差异大于等于一差异阈值时,判断该Z轴向的一点击事件;其中,判断一点击事件的方式与第一实施方式的第一实施样态(参照图10A)相同,故于此不再赘述。此外,该第三图像传感器113的视野中心线与该法线方向偏离方向可根据其设置位置而定,例如图7B中该第三图像传感器113可朝向右侧偏离(例如+θ)而图7C中可朝向左侧偏离(例如-θ)。
简而言之,本实施例中,该处理单元12是根据在Z轴向上有距离偏移的两个图像传感器在相同取样时间所获取图像帧中指示物图像的差异来判断点击事件,并根据两平行设置的图像传感器中指示物图像的位置所形成的两直线方程式或根据两个平行设置的图像传感器中指示物图像的位置及一查找表决定该二维坐标。
如前所述,为了避免误动作的情形,本实施例中当该第一图像IF1及该第二图像IF2中指示物图像尺寸大于一预设尺寸时,该处理单元12不动作。
同理,为了排除环境光的影响,本实施例中该光源13同样可相对所述图像传感器111-113的图像获取轮流以不同亮度发光,例如图12所示,以使该处理单元12能够据以计算差分图像。
本发明各实施例中,该至少两个图像传感器(例如111-113)较佳是同步的获取图像帧。必须说明的是,图5-图7C所示XYZ轴的方向仅用于说明,并非用于限定本发明。
综上所述,现有的光学式手势辨识系统并不能容易地进行点击事件的判断而限制了可应用的功能。本发明还提出一种手势检测装置(图1、图2A-2B及图3A-3B),其可同时执行悬浮操作及点击操作,并可通过计算差分图像来排除环境的干扰。
虽然本发明已以前述实施方式公开,然其并非用于限定本发明,任何本发明所属技术领域中本领域技术人员,在不脱离本发明之精神和范围内,当可作各种的更动与修改。因此本发明的保护范围当视后附的申请专利范围所界定的为准。
Claims (16)
1.一种手势检测装置,该手势检测装置包括:
检测面,具有一法线方向;
红外光光源,轮流以第一亮度及第二亮度发光;
第一图像传感器,设置在所述检测面,朝向所述法线方向相对所述第一亮度获取第一亮图像并相对所述第二亮度获取第一暗图像;
第二图像传感器,设置在所述检测面并在Z轴向与所述第一图像传感器偏移一预设距离,朝向所述法线方向相对所述第一亮度获取第二亮图像并相对所述第二亮度获取第二暗图像;以及
处理单元,用于计算所述第一亮图像及所述第一暗图像的第一差分图像,计算所述第二亮图像及所述第二暗图像的第二差分图像,根据所述第一差分图像或所述第二差分图像中指示物图像的位置计算X轴向坐标,根据所述第一差分图像及所述第二差分图像中指示物图像的视差计算Y轴向坐标以及当所述第一差分图像与所述第二差分图像中指示物图像尺寸的尺寸差异大于等于一差异阈值时判断所述Z轴向的一点击事件。
2.根据权利要求1所述的手势检测装置,其中当所述第一差分图像及所述第二差分图像中所述指示物图像尺寸大于等于一预设尺寸时,所述处理单元不计算所述X轴向坐标、所述Y轴向坐标及判断所述点击事件。
3.根据权利要求1所述的手势检测装置,其中所述红外光光源用于照明所述第一图像传感器及所述第二图像传感器的视野范围。
4.根据权利要求1所述的手势检测装置,其中所述第二亮度为零亮度或非零亮度。
5.根据权利要求1-4中任一项权利要求所述的手势检测装置,其中所述第一图像传感器及所述第二图像传感器包括一线性图像感测阵列。
6.一种手势检测装置,该手势检测装置包括:
检测面,具有一法线方向;
红外光光源,轮流以第一亮度及第二亮度发光;
第一图像传感器,设置在所述检测面,朝向所述法线方向相对所述第一亮度获取第一亮图像并相对所述第二亮度获取第一暗图像;
第二图像传感器,平行所述第一图像传感器设置在所述检测面,朝向所述法线方向相对所述第一亮度获取第二亮图像并相对所述第二亮度获取第二暗图像;以及
处理单元,用于计算所述第一亮图像及所述第一暗图像的第一差分图像,计算所述第二亮图像及所述第二暗图像的第二差分图像,根据所述第一差分图像或所述第二差分图像中指示物图像的位置计算X轴向坐标,根据所述第一差分图像及所述第二差分图像中指示物图像的视差计算Y轴向坐标以及当不同时间所获取的所述第一差分图像和/或所述第二差分图像中指示物图像尺寸的尺寸变化大于等于一变化阈值时判断一点击事件。
7.根据权利要求6所述的手势检测装置,其中当所述第一差分图像及所述第二差分图像中所述指示物图像尺寸大于等于一预设尺寸时,所述处理单元不计算所述X轴向坐标、所述Y轴向坐标及判断所述点击事件。
8.根据权利要求6所述的手势检测装置,其中所述红外光光源用于照明所述第一图像传感器及所述第二图像传感器的视野范围。
9.根据权利要求6所述的手势检测装置,其中所述第二亮度为零亮度或非零亮度。
10.根据权利要求6-9中任一项权利要求所述的手势检测装置,其中所述第一图像传感器及所述第二图像传感器包括一线性图像感测阵列。
11.一种手势检测装置,该手势检测装置包括:
检测面,具有一法线方向;
红外光光源,轮流以第一亮度及第二亮度发光;
第一图像传感器,设置在所述检测面,朝向所述法线方向相对所述第一亮度获取第一亮图像并相对所述第二亮度获取第一暗图像;
第二图像传感器,平行所述第一图像传感器而设置在所述检测面,朝向所述法线方向相对所述第一亮度获取第二亮图像并相对所述第二亮度获取第二暗图像;
第三图像传感器,设置在所述检测面并在Z轴向与所述第一图像传感器及所述第二图像传感器偏移一预设距离,朝向所述法线方向相对所述第一亮度获取第三亮图像并相对所述第二亮度获取第三暗图像;以及
处理单元,用于计算所述第一亮图像及所述第一暗图像的第一差分图像,计算所述第二亮图像及所述第二暗图像的第二差分图像,计算所述第三亮图像及所述第三暗图像的第三差分图像,根据所述第一差分图像及所述第二差分图像计算一二维坐标以及当所述第一差分图像与所述第三差分图像中或所述第二差分图像与所述第三差分图像中指示物图像尺寸的一尺寸差异大于等于一差异阈值时判断所述Z轴向的一点击事件。
12.根据权利要求11所述的手势检测装置,其中所述二维坐标包括X轴向坐标及Y轴向坐标,所述处理单元根据所述第一差分图像或所述第二差分图像中指示物图像的位置计算所述X轴向坐标并根据所述第一差分图像及所述第二差分图像中指示物图像的视差计算所述Y轴向坐标。
13.根据权利要求11所述的手势检测装置,其中当所述第一差分图像及所述第二差分图像中所述指示物图像尺寸大于等于一预设尺寸时,所述处理单元不计算所述二维坐标及判断所述点击事件。
14.根据权利要求11所述的手势检测装置,其中所述红外光光源用于照明所述第一图像传感器、所述第二图像传感器及所述第三图像传感器的视野范围。
15.根据权利要求11所述的手势检测装置,其中所述第二亮度为零亮度或非零亮度。
16.根据权利要求11-15中任一项权利要求所述的手势检测装置,其中所述第一图像传感器、所述第二图像传感器及所述第三图像传感器包括一线性图像感测阵列。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310048012.7A CN103970364B (zh) | 2013-02-06 | 2013-02-06 | 用于检测悬浮及点击的手势检测装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310048012.7A CN103970364B (zh) | 2013-02-06 | 2013-02-06 | 用于检测悬浮及点击的手势检测装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103970364A CN103970364A (zh) | 2014-08-06 |
CN103970364B true CN103970364B (zh) | 2017-04-12 |
Family
ID=51239947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310048012.7A Active CN103970364B (zh) | 2013-02-06 | 2013-02-06 | 用于检测悬浮及点击的手势检测装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103970364B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106022319A (zh) * | 2016-06-30 | 2016-10-12 | 联想(北京)有限公司 | 一种手势识别方法及手势识别系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101534387A (zh) * | 2008-03-14 | 2009-09-16 | 奥林巴斯映像株式会社 | 摄影装置及摄影装置的图像合成方法 |
CN101690168A (zh) * | 2008-04-25 | 2010-03-31 | 松下电器产业株式会社 | 图像处理装置、图像处理方法及图像处理用集成电路 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7348963B2 (en) * | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
KR100851977B1 (ko) * | 2006-11-20 | 2008-08-12 | 삼성전자주식회사 | 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치. |
-
2013
- 2013-02-06 CN CN201310048012.7A patent/CN103970364B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101534387A (zh) * | 2008-03-14 | 2009-09-16 | 奥林巴斯映像株式会社 | 摄影装置及摄影装置的图像合成方法 |
CN101690168A (zh) * | 2008-04-25 | 2010-03-31 | 松下电器产业株式会社 | 图像处理装置、图像处理方法及图像处理用集成电路 |
Also Published As
Publication number | Publication date |
---|---|
CN103970364A (zh) | 2014-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI501121B (zh) | 手勢辨識方法及使用該方法之觸控系統 | |
US8338725B2 (en) | Camera based touch system | |
US20100201812A1 (en) | Active display feedback in interactive input systems | |
US20100225588A1 (en) | Methods And Systems For Optical Detection Of Gestures | |
TWI420357B (zh) | 觸控系統及其指示物座標偵測方法 | |
US10884518B2 (en) | Gesture detection device for detecting hovering and click | |
US9213440B2 (en) | System and method for remote touch detection | |
TWI525505B (zh) | 無邊框光學觸控裝置及用於無邊框光學觸控裝置之影像處理方法 | |
US20130285957A1 (en) | Display device and method using a plurality of display panels | |
KR101103058B1 (ko) | 컴퓨터 시스템 및 이의 구동방법 | |
TW201126397A (en) | Optical touch control display and method thereof | |
US9423893B2 (en) | Gesture detection device for detecting hovering and click | |
CN103970364B (zh) | 用于检测悬浮及点击的手势检测装置 | |
KR20140025676A (ko) | 터치스크린의 터치 인식방법 | |
CN103970365B (zh) | 用于检测悬浮及点击的手势检测装置 | |
CN104699327B (zh) | 光学触控系统及其悬浮判断方法 | |
CN103543883A (zh) | 光学触控方法及其系统 | |
CN102141859B (zh) | 光学式触控显示装置及其方法 | |
KR20090037535A (ko) | 터치스크린의 입력 처리 방법 | |
KR101792397B1 (ko) | 배경 광량 제어 기술을 이용하는 터치 감지 장치 및 방법 | |
TW201520857A (zh) | 光學觸控系統及其懸浮判斷方法 | |
KR101004671B1 (ko) | 공간 투영 및 공간 터치 기능이 구비된 네트워크 단말 장치및 그 제어 방법 | |
KR20130053153A (ko) | 비접촉 방식의 휴대단말기 | |
CN102306067A (zh) | 基于光学传感分布式多系统并行检测多点测控系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |