CN103679182B - 手势识别系统及手势识别方法 - Google Patents

手势识别系统及手势识别方法 Download PDF

Info

Publication number
CN103679182B
CN103679182B CN201210326393.6A CN201210326393A CN103679182B CN 103679182 B CN103679182 B CN 103679182B CN 201210326393 A CN201210326393 A CN 201210326393A CN 103679182 B CN103679182 B CN 103679182B
Authority
CN
China
Prior art keywords
definition
current
depth
image
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210326393.6A
Other languages
English (en)
Other versions
CN103679182A (zh
Inventor
许恩峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pixart Imaging Inc
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Priority to CN201210326393.6A priority Critical patent/CN103679182B/zh
Publication of CN103679182A publication Critical patent/CN103679182A/zh
Application granted granted Critical
Publication of CN103679182B publication Critical patent/CN103679182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种手势识别系统,包含扩展景深透镜、图像传感器及处理单元。所述图像传感器通过所述扩展景深透镜连续获取图像帧。所述处理单元根据所述图像帧中清晰度范围内的至少一物体图像进行手势判断,以排除背景物体的影响。

Description

手势识别系统及手势识别方法
技术领域
本发明是关于一种人机接口装置,特别是关于一种应用扩展景深(Extend DepthofField)透镜的手势识别系统及手势识别方法。
背景技术
近年来,在多媒体系统导入互动机制以增加操作便利性的方式已成为热门的技术,其中手势识别更成为取代传统鼠标、摇杆或遥控器的重要技术。
手势识别系统通常包含图像传感器及处理单元,其中所述图像传感器用以获取包含操控物体,例如手指的图像;所述处理单元则后处理所述图像并据此控制应用程序。
例如图1所示,图像传感器91用以获取包含其焦距范围FR内的物体O的多个图像,处理单元92则根据所述图像识别所述物体O的位置变化。然而,所述处理单元92并无法根据所述图像判断所述物体O的深度(depth),而且当所述焦距范围FR内包含其它物体时,例如背景物体O′,所述处理单元92并无法区别所述物体O及O′,因而可能导致误控制的情形。
请参照图2所示,为了能够识别物体O的深度,已知可利用红外光源93投射出图案,例如棋盘图案,至所述物体O,如此所述处理单元92则可根据所述图像传感器91所获取的图像中所述图案的尺寸来识别所述物体O的深度。然而,当所述图案受到环境光源干扰时,仍可能出现误控制的情形。
有鉴于此,本发明还提出一种手势识别系统及手势识别方法,其可识别物体的三维坐标并可根据所述三维坐标的坐标变化与图像装置进行互动。
发明内容
本发明的目的在提供一种手势识别系统及手势识别方法,其可根据事先建立的扩展景深透镜的不同色光相关的深度与清晰度的对照信息或关系图决定至少一物体深度。
本发明另一目的在于提供一种手势识别系统及手势识别方法,其可排除预设的操作范围以外的物体,借此消除环境物体的干扰。
本发明另一目的在于提供一种手势识别系统及手势识别方法,其可搭配部分取样(subsampling)技术以节省处理单元的运算耗能。
本发明提供一种手势识别系统,包含扩展景深透镜(EDOF透镜)、图像传感器及处理单元。所述图像传感器通过所述扩展景深透镜获取一图像帧。所述处理单元用以计算所述图像帧中至少一物体图像的目前清晰度,并根据所述目前清晰度与对照信息求得所述物体图像的目前深度。
一实施例中,所述对照信息包含所述扩展景深透镜的各色光相关的深度与清晰度的对照信息,并储存在存储单元中。所述对照信息例如可以对照表或其它形式储存在所述存储单元中,并无特定限制。
本发明还提供一种手势识别方法,包含下列步骤:建立并储存扩展景深透镜的各色光相关的深度与清晰度的对照信息;利用图像传感器通过所述扩展景深透镜获取图像帧;利用处理单元计算所述图像帧中至少一物体图像的目前清晰度;以及根据所述目前清晰度及所述对照信息求得所述至少一物体图像的目前深度。
一实施例中,所述物体图像的目前清晰度为所求得所述图像帧中所包含物体图像的清晰度数值最高的清晰度。
本发明还提供一种手势识别系统,包含扩展景深透镜、图像传感器、存储单元及处理单元。所述图像传感器通过所述扩展景深透镜连续获取图像帧。所述存储单元预先储存有所述扩展景深透镜的各色光相关的清晰度范围。所述处理单元根据所述图像帧中所述清晰度范围内的至少一物体图像进行手势判断。
一实施例中,可预先设定并储存操作范围以使所述处理单元能够据此将所述操作范围外的物体图像排除,借此消除环境物体的影响;其中,所述操作范围可为出厂前预先设定或在实际操作前通过设定阶段所设定的深度范围或清晰度范围。所述清晰度范围包含各颜色子图像的清晰度范围,所述深度范围包含各颜色子图像的深度范围。例如,所述各颜色子图像包含红色子图像、绿色子图像及蓝色子图像。
另一实施例中,所述操作范围可为深度阈值或清晰度阈值,本发明仅使用深度小于所述深度阈值或清晰度大于所述清晰度阈值的至少一物体图像进行手势识别,并排除其它环境物体。
一实施例中,所述处理单元求得所述目前清晰度前还可针对所述图像帧执行部分取样处理,以节省所述处理单元的运行耗能;其中,所述部分取样处理的部份取样像素区域至少为6×6像素区域或者每一轴向至少包含3个各颜色像素。
本发明的手势识别方法还包含下列步骤:将所述图像帧分割为三个颜色子图像;利用所述处理单元计算所述图像帧的至少一颜色子图像中至少一物体图像的目前颜色清晰度;以及根据所述目前颜色清晰度及所述对照信息求得所述物体图像的所述目前深度。
本发明的手势识别系统及手势识别方法中,所述处理单元可根据所述图像传感器获取的图像帧或所述图像帧的至少一颜色子图像计算所述物体图像的三维坐标,例如利用所述物体图像在所述图像帧或所述图像帧的至少一颜色子图像中重心或中心坐标作为所述三维坐标,其可包含两横向坐标及一深度坐标。所述处理单元还可根据多个图像帧或多个各颜色子图像间所述三维坐标的坐标变化与显示装置进行互动,例如控制光标动作或应用程序等。
附图说明
图1显示已知手势识别系统的示意图;
图2显示另一种已知手势识别系统的示意图;
图3A显示本发明实施例的手势识别系统的示意图;
图3B显示本发明实施例的手势识别系统中,分离各颜色子图像的示意图;
图4A及图4B显示本发明实施例的手势识别系统中,各色光清晰度与物距的关系图;
图5A及图5B显示本发明实施例的手势识别系统中,各色光清晰度与物体深度的对照信息;
图6显示本发明实施例的手势识别系统的部分取样处理的示意图;
图7显示本发明实施例的手势识别方法的流程图。
附图标记说明
11 扩展景深透镜 12 图像传感器
13 处理单元 14 存储单元
2 显示装置 91 图像传感器
92 处理单元 93 光源
O、O′ 物体 S31-S39 步骤
IF 图像帧 IFR 红色子图像
IFG 绿色子图像 IFB 蓝色子图像
D 目前深度 IF_部分取样 部分取样像素区域。
具体实施方式
为了让本发明的上述和其它目的、特征、和优点能更明显,下文将配合所附图示,作详细说明如下。在本发明的说明中,相同的构件是以相同的符号表示,在此事先说明。
请参照图3A所示,其显示本发明实施例的手势识别系统的示意图。手势识别系统包含扩展景深(Extend Depth of Field,EDOF)透镜11、图像传感器12、处理单元13及存储单元14,并可耦接显示装置2用来与其互动。所述图像传感器12例如可为CCD图像传感器、CMOS图像传感器或其它用以感测光能量的传感器,用以通过所述扩展景深透镜11连续获取物体O的图像并输出图像帧IF;其中,此处是以感测数组示意所述图像传感器12。
所述存储单元14预先储存有所述扩展景深透镜11的各色光相关的深度与清晰度的对照信息以及各色光相关的操作范围;其中,所述操作范围例如为清晰度范围或深度范围。例如参照图4A及图5A所示,图4A显示当所述扩展景深透镜11的绿色光最佳物距为30公分时各色光相关的深度(即物距)与清晰度的关系图,图5A显示当所述扩展景深透镜11的绿色光最佳物距为30公分时各色光相关的深度与清晰度的对照信息。例如参照图4B及图5B所示,图4B显示当所述扩展景深透镜11的绿色光最佳物距为200公分(或无限远)时各色光相关的深度与清晰度的关系图,图5B显示当所述扩展景深透镜11的绿色光最佳物距为200公分时各色光相关的深度与清晰度的对照信息。由于所述对照信息包含各色光(例如红色光、绿色光及蓝色光)的信息,因此所述清晰度范围可包含各颜色子图像的清晰度范围,例如包含红色光清晰度范围、绿色光清晰度范围及蓝色光清晰度范围;所述深度范围也可包含各颜色子图像的深度范围,例如包含红色光深度范围、绿色光深度范围及蓝色光深度范围。可以了解的是,图4A、4B、5A及5B中的各数值仅为例示性,并非用以限定本发明。本发明实施例的手势识别系统及手势识别方法仅使用所述清晰度范围内的至少一物体图像进行手势识别。
一实施例中,所述操作范围可为手势识别系统出厂前预先设定并储存在所述存储单元14中的操作范围。另一实施例中,所述操作范围可为手势识别系统实际操作前通过设定阶段所设定并储存在所述存储单元14中,例如可在开机过程进入设定阶段或使用者通过选择开关或按件选择进入设定阶段进行设定的操作范围。必须说明的是,本发明所指范围并不限定为介于两个数值间,也可为预先设定的阈值,例如所述操作范围可为深度阈值或清晰度阈值,本发明例如使用深度小于所述深度阈值或清晰度大于所述清晰度阈值的至少一物体图像进行手势识别。
本发明的手势识别系统在实际运行时,所述处理单元13根据所述图像帧IF中所述清晰度范围内的至少一物体图像进行手势判断,并根据所判断出的手势与所述显示装置2进行互动,例如控制光标动作、画面更新或应用程序等(但并不以此为限)。
一实施例中,所述处理单元13计算所述图像帧IF中至少一物体图像的目前清晰度,并根据所述目前清晰度与一对照信息求得所述物体图像的目前深度D;其中,所述目前清晰度例如可为所述图像帧中所包含物体图像的数值最高的清晰度。请参照图3B所示,其显示以拜耳排列(Bayer)的图像帧IF,所述处理单元13先将所述图像帧IF分解成不同颜色子图像,例如包含红色子图像IFR、绿色子图像IFG及蓝色子图像IFB;所述处理单元13则可根据所述图像帧IF的至少一颜色子图像中所述物体图像的目前颜色清晰度与所述对照信息求得所述物体图像的所述目前深度D,例如将所述绿色子图像IFG的目前绿色清晰度对照所述对照信息以求出所述目前深度D;将所述绿色子图像IFG的目前绿色清晰度及所述蓝色子图像IFB的目前蓝色清晰度对照所述对照信息以求出所述目前深度D;将所述绿色子图像IFG的目前绿色清晰度及所述红色子图像IFR的目前红色清晰度对照所述对照信息以求出所述目前深度D。选择两个颜色子图像的好处在于,可克服无法识别正确深度的问题;例如,如果使用图5A的对照信息,当目前绿色清晰度数值为0.7时会对应到两个物体深度,因此较佳另对比其它颜色目前清晰度的数值以确认正确的物体深度,例如当目前蓝色清晰度数值同时为0.8时则表示物体深度为25公分而当目前蓝色清晰度数值同时为0.6时则表示物体深度为35公分。当然,也可同时将所有颜色子图像进行对比以增加精确度。换句话说,本实施例中可将一个颜色子图像的目前颜色清晰度、两个颜色子图像的目前颜色清晰度或三个颜色子图像的目前颜色清晰度与所述对照信息进行对比以求得所述目前深度D。
此外,为了排除背景物体的图像,本实施例中所述处理单元13还可将操作范围外的物体图像排除。请再参照图3A所示,例如可在出厂前预先设定操作范围为10-40公分(或相对应的清晰度范围)并储存在所述存储单元14中;或者在操作本发明的手势识别系统前通过设定阶段来设定所述操作范围,例如可提供切换模式(例如于开机过程中或者致能选择开关)选择所述设定阶段来进行设定并储存在所述存储单元14中。如果所述操作范围为清晰度范围,当所述处理单元13计算出物体图像的目前清晰度(例如包含至少一目前颜色清晰度)时并不对比所述对照信息,直接根据所述清晰度范围则可决定是否保留所述物体图像以进行后处理;如果所述操作范围为深度范围,所述处理单元13可将所述物体图像的目前清晰度先根据所述对照信息转换为目前深度D后,再根据所述深度范围来决定是否保留所述物体图像以进行后处理。
此外,为了节省所述处理单元13的运算耗能,所述处理单元13可在求得所述目前清晰度前(或进行手势判断前),先针对所述图像帧IF执行部分取样处理(subsampling)。本实施例中,由于必须根据不同的目前清晰度识别物体深度,因此为了避免于部分取样处理时遗失模糊区域的图像信息,所述部分取样处理的部分取样像素区域的每一个轴向至少包含3个各颜色像素。例如参照图6所示,所述图像传感器12例如获取并输出18×18的图像帧IF,所述处理单元13在后处理时仅获取部分像素区域,如图5中由虚线框起的部分取样像素区域IF_subsampled(IF_部分取样),而未被虚线框起的像素则予以舍弃,此即本发明所指部分取样处理。可以了解的是,根据所述图像帧IF的尺寸,所述部分取样像素区域IF_subsampled的尺寸只要大于6×6像素区域即可,并无特定限制。此外,所述部分取样处理的部分取样像素区域还可根据所获取图像的图像质量来动态的改变,只要改变图像传感器的时序控制即可实现。本实施例中,所述部分取样处理可由所述处理单元13执行,或另外设置一部分取样单元在所述处理单元13前来执行。
当物体图像的目前深度D计算出或获取出所述操作范围内的物体图像后,所述处理单元13即可根据所述图像帧IF或所述图像帧IF的至少一颜色子图像(IFR、IFG、IFB)计算所述物体图像的三维坐标;例如,根据所述物体图像相对所述取样装置10的横向位置计算平面坐标(x,y),例如重心坐标,并配合所述物体图像相对所述扩展景深透镜11的所述目前深度D求得所述物体图像的三维坐标(x,y,D)。所述处理单元13可根据所述三维坐标的坐标变化(Δx,Δy,ΔD)与所述显示装置2进行互动,例如控制所述显示装置2上所显示光标的光标动作、画面更新和/或应用程序(例如图标点选)等,但并不以此为限;其中,手势可以是单纯的二维横向轨迹(平面移动),或是一维纵向轨迹(相对图像传感器12或扩展景深透镜11的深浅距离的移动),又或者是结合三维移动的轨迹,此部分可依据使用者的定义而有丰富的变化。特别的是,本实施例是可检测物体的三维移动信息,因此是可用三维信息来定义手势的动作,而具有更复杂且丰富的手势命令。
请参照图7所示,其显示本发明实施例的手势识别方法的流程图,包含下列步骤:建立并储存扩展景深透镜的各色光相关的深度与清晰度的对照信息(步骤S31);设定操作范围(步骤S32);利用图像传感器通过所述扩展景深透镜获取图像帧(步骤S33);针对所述图像帧执行部分取样处理(步骤S34);计算所述图像帧中至少一物体图像的目前清晰度(步骤S35);根据所述目前清晰度及所述对照信息求得所述至少一物体图像的目前深度(步骤S36);排除所述操作范围外的所述物体图像(步骤S37);计算所述物体图像的三维坐标(步骤S38);以及根据所述三维坐标的坐标变化控制显示装置(步骤S39)。
请再参照图3至图7所示,以下说明本实施例的手势识别方法。
步骤S31:较佳地,在手势识别系统出厂前,先建立所述扩展景深透镜11的各色光相关的深度与清晰度的关系图或对照信息,如图4A及图4B显示的物距(即深度)与蓝色光清晰度、绿色光清晰度及红色光清晰度的关系图或者如图5A及图5B显示的物体深度与蓝色光清晰度、绿色光清晰度及红色光清晰度的对照信息;并将所述关系图或所述对照信息储存在所述存储单元14以供实际操作时作为查表的依据。
步骤S32:接着设定操作范围,其可根据手势识别系统的不同应用而决定。一种实施例中,所述操作范围可在手势识别系统出厂前预先设定。另一实施例中,所述操作范围可在实际操作前由使用者通过设定阶段来设定;也即,所述操作范围可根据使用者的需求而自行设定。如前所述,所述操作范围可为清晰度范围(包括各颜色子图像的清晰度范围)或深度范围(包括各颜色子图像的深度范围)。其它实施例中,若手势识别系统的操作环境无须考虑环境物体的干扰,步骤S32也可不予实施。
步骤S33:在实际操作时,所述图像传感器12通过所述扩展景深透镜11获取图像帧IF并输出至所述处理单元13。所述图像帧IF的尺寸则根据不同的感测数组尺寸而决定。
步骤S34:所述处理单元13接收所述图像帧IF后并且在计算物体图像的目前清晰度前,可选择针对所述图像帧IF执行部分取样处理,以节省消耗电能;如前所述,所述部分取样处理的部份取样像素区域IF_subsampled至少为6×6像素区域,以使每一个轴向至少包含3个各颜色像素,例如图6的横向方向包含三个红色像素及三个绿色像素而在纵向方向包含三个红色像素及三个绿色像素或三个绿色像素及三个蓝色像素;其中,每个轴向所包含颜色像素根据各颜色像素的配置而有所不同,并不限于图6所揭示的颜色像素。此外,所述部份取样像素区域的尺寸例如可根据所述图像帧IF的尺寸和/或图像质量来决定。其它实施例中,步骤S34也可不予实施。
步骤S35:所述处理单元13根据所述图像帧IF或经部分取样处理后的图像帧计算所述图像帧IF中至少一物体图像的目前清晰度。本实施例中,所述图像传感器12通过所述扩展景深透镜11获取图像帧IF后,所述处理单元13先将所述图像帧IF或经部分取样处理后的图像帧分为三个颜色子图像,例如图3B的红色子图像IFR、绿色子图像IFG及蓝色子图像IFB;所述处理单元13接着计算所述图像帧IF的至少一颜色子图像中至少一物体图像的目前颜色清晰度,例如目前红色光清晰度、目前绿色光清晰度或目前蓝色光清晰度。本实施例中,计算图像中物体图像清晰度的方式已为已知,例如计算图像帧的调变转换函数(modulation transfer function,MTF)值,故在此不再赘述。例如,所述物体图像的各目前颜色清晰度为所求得所述图像帧中所包含物体图像的数值最高的目前颜色清晰度。
步骤S36:所述处理单元13则将所述目前清晰度与所述对照信息相对比,以求得所述目前清晰度所对应的所述至少一物体图像的目前深度D,例如物体O的深度。更详而言之,所述处理单元13根据所述目前颜色清晰度与所述对照信息求得所述物体图像的所述目前深度D,例如根据步骤S35所求得的目前红色光清晰度、目前绿色光清晰度及目前蓝色光清晰度至少其中之一与所述对照信息求得所述目前深度D。此外,当所述目前清晰度的数值并未包含于所述对照信息中时,则可通过内差(interpolation)的方式来得到相对应的目前深度D。
步骤S37:为了排除环境物体对手势识别系统的影响,所述处理单元13在求得每一物体图像的所述目前深度D后,则判定所述目前深度D是否介于所述操作范围内,并将所述操作范围以外的所述物体图像排除。可以了解的是,当不实施步骤S32时,步骤S37也不予实施。此外,步骤S37还可与计算所述目前清晰度(即步骤S35)同时进行,当所述处理单元13依次接收(例如从左上方第一个像素依次至右下方最后一个像素)所述图像帧IF的每一个像素值时,即立即判断所述像素的清晰度是否介于所述操作范围(即清晰度范围)内,若不介于所述操作范围内则直接移除而不予处理,同时保留介于所述操作范围内的像素信息。换句话说,清晰度数值的判定可根据已储存的整张图像帧来进行,或者依次根据各像素来进行并仅储存所述操作范围内的像素信息。本实施例中,所述处理单元13将介于所述操作范围内的像素区域视为所述图像帧中所欲识别的物体图像而将所述操作范围外的像素区域视为背景物体。
步骤S38:接着,所述处理单元13可根据所述图像帧IF或所述图像帧的至少一颜色子图像(IFR、IFG、IFB)计算所述操作范围内所有物体图像的三维坐标,例如包含两横向坐标及深度坐标(即步骤S36所求得的目前深度D);其中,所述处理单元13计算所述横向坐标的方式已为已知,故在此不再赘述。本实施例主要在于如何正确计算所述物体O的深度。
步骤S39:最后,所述处理单元13可根据多个图像帧IF间或多个颜色子图像(IFR、IFG、IFB)间所述三维坐标的坐标变化控制显示装置2,例如控制光标动作和/或应用程序;其中,所述显示装置2例如可为电视、投影幕、计算机屏幕、游戏机屏幕或其它可用以显示/投射图像的显示装置,并无特定限制。
当物体图像的三维坐标计算出后,本实施例的手势识别方法则重新回到步骤S31以重新获取图像帧IF,并判定所述物体O的后续位置及位置变化。若仅判断所述物体O的深度,当物体图像的目前深度D算出后,本实施例的手势识别方法则重新回到步骤S31以重新获取一图像帧IF,并判定所述物体O的后续深度及深度变化。
综上所述,已知手势识别方法存在有无法识别物体深度的问题或具有另外投射光学图案的需求。本发明另提出一种手势识别系统(图3A)及手势识别方法(图7),其应用扩展景深透镜配合事先建立的所述扩展景深透镜的各色光相关的深度与清晰度的关系图(图4A及图4B)或对照信息(图5A及图5B),以实现识别物体深度的目的。此外,本发明的手势识别系统还可在存储单元预先储存有所述扩展景深透镜的各色光相关的清晰度范围,以根据所述图像帧中所述清晰度范围内的至少一物体图像进行手势判断,并排除所述清晰度范围外的环境物体以增加手势识别的精确度。
虽然本发明通过以前述实施例披露,但是其并非用以限定本发明,任何本发明所属技术领域中具有通常知识的技术人员,在不脱离本发明的精神和范围内,当可作各种的更动与修改。因此本发明的保护范围当视后附的申请专利范围所界定的范围为准。

Claims (18)

1.一种手势识别系统,该手势识别系统包含:
扩展景深透镜;
图像传感器,通过所述扩展景深透镜获取图像帧;以及
处理单元,用以
将所述图像帧分解成红色子图像、绿色子图像及蓝色子图像,
计算所述红色子图像中至少一个物体图像的目前红色清晰度,所述绿色子图像中所述至少一个物体图像的目前绿色清晰度,所述蓝色子图像中至少一个物体图像的目前蓝色清晰度的其中两者,
并将计算的所述目前红色清晰度、所述目前绿色清晰度及所述目前蓝色清晰度的两者对照对照信息以求得所述物体图像的目前深度。
2.根据权利要求1所述的手势识别系统,其中所述对照信息包含所述扩展景深透镜的红色光、绿色光及蓝色光相关的深度与清晰度的对照信息。
3.根据权利要求1所述的手势识别系统,其中所述处理单元还将操作范围之外的所述物体图像排除。
4.根据权利要求3所述的手势识别系统,其中所述操作范围为清晰度范围或深度范围。
5.根据权利要求4所述的手势识别系统,其中所述清晰度范围包含各颜色子图像的清晰度范围,所述深度范围包含各颜色子图像的深度范围。
6.根据权利要求1所述的手势识别系统,其中所述处理单元在求得目前清晰度之前还针对所述图像帧执行部分取样处理,且所述部分取样处理的部分取样像素区域至少为6×6像素区域。
7.根据权利要求1所述的手势识别系统,其中所述处理单元还根据所述图像帧或所述图像帧的至少一个颜色子图像计算所述物体图像的三维坐标。
8.根据权利要求7所述的手势识别系统,其中所述处理单元还根据所述三维坐标的坐标变化与显示装置互动。
9.一种手势识别方法,该手势识别方法包含:
建立并储存扩展景深透镜的红色光、绿色光及蓝色光的每个色光相关的深度与清晰度的对照信息;
利用图像传感器通过所述扩展景深透镜获取图像帧;
将所述图像帧分解成红色子图像、绿色子图像及蓝色子图像;
利用处理单元计算所述红色子图像中至少一个物体图像的目前红色清晰度,所述绿色子图像中所述至少一个物体图像的目前绿色清晰度,所述蓝色子图像中所述至少一个物体图像的目前蓝色清晰度的其中两者;以及
将计算的所述目前红色清晰度、所述目前绿色清晰度及所述目前蓝色清晰度的两者对照所述对照信息以求得所述至少一个物体图像的目前深度。
10.根据权利要求9所述的手势识别方法,该手势识别方法还包含:设定操作范围。
11.根据权利要求10所述的手势识别方法,该手势识别方法还包含:将所述操作范围之外的所述物体图像排除。
12.根据权利要求10或11所述的手势识别方法,其中所述操作范围为清晰度范围或深度范围。
13.根据权利要求12所述的手势识别方法,其中所述清晰度范围包含各颜色子图像的清晰度范围,所述深度范围包含各颜色子图像的深度范围。
14.根据权利要求9所述的手势识别方法,其中在计算目前清晰度之前,该手势识别方法还包含:利用所述处理单元针对所述图像帧执行部分取样处理,且所述部分取样处理的部分取样像素区域至少为6×6像素区域。
15.根据权利要求9所述的手势识别方法,该手势识别方法还包含:利用所述处理单元根据所述图像帧或所述图像帧的至少一个颜色子图像计算所述物体图像的三维坐标。
16.根据权利要求15所述的手势识别方法,该手势识别方法还包含:利用所述处理单元根据所述三维坐标的坐标变化控制显示装置。
17.一种手势识别系统,该手势识别系统包含:
扩展景深透镜;
图像传感器,通过所述扩展景深透镜连续获取图像帧;
存储单元,预先储存有所述扩展景深透镜的红色光、绿色光及蓝色光相关的深度与清晰度的对照信息;以及
处理单元,
将所述图像帧分解成红色子图像、绿色子图像及蓝色子图像,
计算所述红色子图像中至少一个物体图像的目前红色清晰度,所述绿色子图像中所述至少一个物体图像的目前绿色清晰度,所述蓝色子图像中所述至少一个物体图像的目前蓝色清晰度的其中两者,
将计算的所述目前红色清晰度、所述目前绿色清晰度及所述目前蓝色清晰度的两者对照所述对照信息以求得所述物体图像的目前深度,及
当所述目前深度位于预设操作范围内时,根据所述目前深度进行手势判断。
18.根据权利要求17所述的手势识别系统,其中所述处理单元在进行所述手势判断之前先针对所述图像帧执行部分取样处理,且所述部分取样处理的部份取样像素区域至少为6×6像素区域。
CN201210326393.6A 2012-09-05 2012-09-05 手势识别系统及手势识别方法 Active CN103679182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210326393.6A CN103679182B (zh) 2012-09-05 2012-09-05 手势识别系统及手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210326393.6A CN103679182B (zh) 2012-09-05 2012-09-05 手势识别系统及手势识别方法

Publications (2)

Publication Number Publication Date
CN103679182A CN103679182A (zh) 2014-03-26
CN103679182B true CN103679182B (zh) 2017-08-04

Family

ID=50316671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210326393.6A Active CN103679182B (zh) 2012-09-05 2012-09-05 手势识别系统及手势识别方法

Country Status (1)

Country Link
CN (1) CN103679182B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102263114A (zh) * 2010-05-24 2011-11-30 博立多媒体控股有限公司 多景深感光器件、系统、景深扩展方法及光学成像系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102263114A (zh) * 2010-05-24 2011-11-30 博立多媒体控股有限公司 多景深感光器件、系统、景深扩展方法及光学成像系统

Also Published As

Publication number Publication date
CN103679182A (zh) 2014-03-26

Similar Documents

Publication Publication Date Title
CN103135881B (zh) 显示控制方法及系统
CN101477631B (zh) 图像中提取目标的方法、设备及人机交互系统
CN102316263A (zh) 图像处理设备和图像处理方法
CN106201173B (zh) 一种基于投影的用户交互图标的交互控制方法及系统
CN105425954B (zh) 应用于智能家居中的人机交互方法及系统
CN106664465A (zh) 用于创建和再现增强现实内容的系统以及使用其的方法
CN103096094B (zh) 视觉识别装置和方法
JP5895569B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
US10447940B2 (en) Photographing apparatus using multiple exposure sensor and photographing method thereof
TWI502956B (zh) 由行動掃描器重新繼續擷取物體之基本影像之系統與方法
CN109271983A (zh) 屏幕画面截图中识别物体的显示方法及显示终端
CN108205998A (zh) 透明显示的控制器与相关控制方法
CN107087150A (zh) 一种基于双目立体和光度立体的三维摄像方法、系统及装置
CN105183269B (zh) 自动辨识游标所在屏幕的方法
CN108572772A (zh) 图片内容呈现方法及装置
CN103000054B (zh) 智能厨房烹饪教学机及其控制方法
CN105676652A (zh) 一种智能家居系统控制方法
CN111199583A (zh) 一种虚拟内容显示方法、装置、终端设备及存储介质
CN106251348A (zh) 一种面向深度相机的自适应多线索融合背景减除方法
CN101262557A (zh) 遥控器、视频设备遥控系统及电视机遥控方法
CN115643485B (zh) 拍摄的方法和电子设备
CN105892637A (zh) 手势识别方法及虚拟现实显示输出设备
CN103679182B (zh) 手势识别系统及手势识别方法
CN104184941A (zh) 一种监控系统
JP2016146188A (ja) 情報処理装置、情報処理方法およびコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant