CN104951732A - 体感侦测方法 - Google Patents

体感侦测方法 Download PDF

Info

Publication number
CN104951732A
CN104951732A CN201410117733.3A CN201410117733A CN104951732A CN 104951732 A CN104951732 A CN 104951732A CN 201410117733 A CN201410117733 A CN 201410117733A CN 104951732 A CN104951732 A CN 104951732A
Authority
CN
China
Prior art keywords
finger
image block
point
palm
finger tip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410117733.3A
Other languages
English (en)
Inventor
方宗舟
罗业鑫
庞宗璧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Anxuan Software Co Ltd
Original Assignee
Zhuhai Anxuan Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Anxuan Software Co Ltd filed Critical Zhuhai Anxuan Software Co Ltd
Priority to CN201410117733.3A priority Critical patent/CN104951732A/zh
Publication of CN104951732A publication Critical patent/CN104951732A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明的目的在于提供一种体感侦测方法。体感侦测方法适用于辨识人体的至少一手部特征,其特征在于:包括下列步骤:确认先前的一图像区块中的人手的一手掌掌心点、五根手指的各个指尖顶点的位置及所有手指对应的手指中线的位置;在当前的一图像区块中,确认一组运动方向最一致的指尖顶点;从确认出的该些指尖顶点在当前的该图像区块中与先前的该图像区块中的该些指尖顶点的个别位移,估算缺失的该至少一指尖顶点的位置;及修正经过估算出的该至少一指尖顶点所找出的一手掌掌心点的位置;及当所有的该些手指中线的角度变化方向皆同时为顺时针和逆时针交替改变,且该手掌掌心点接近不变时,辨识出人手的一摇动手势。

Description

体感侦测方法
技术领域
本发明乃是有关于一种体感侦测方法,且尤其指关于辨识人体手部特征的体感侦测方法。 
背景技术
近年来,基于影像动作之手势辨识方法及其系统快速发展,尤其是游戏系统。其中,透过电脑分析使用者之动作来执行指令已成为未来最具可能性的互动方法,如何让使用者与电脑之间的互动介面更友善是一项日渐重要的课题。然而,传统的解决方案往往需要在使用者手指上配置一感应器,此举虽然可以增加侦测手部动作的准确性,但是亦增加使用者的负担。另一较佳的方式为直接将使用者的手部视为一指令下达器具,以光学式红外线感测处理的方式分析使用者的手部移动方式来输入指令,控制电脑的作业系统或是周边装置。但是,此种传统的光学影像分析方法过于复杂且不够稳定。 
因此,如何让使用者可以徒手手势与电脑操作介面进行互动,是一项亟待解决的问题。 
发明内容
有鉴于上述问题,本发明提供一种体感侦测方法,透过先前的图像区块中的人手的手掌掌心点及各个指尖顶点的位置和当前的指尖顶点的个别位移,估算缺失的指尖顶点,以找出所有的指尖顶点的位置,如此可补足当前图像区块的不足。 
本发明的一目的在于提供一种体感侦测方法,用于辨识人体的至少一手部特征,其特征在于:包括下列步骤:确认先前的一图像区块中的人手的一手掌掌心点、五根手指的各个指尖顶点的位置及所有手指对应的手指中线的位置;在当前的一图像区块中,确认一组运动方向最一致的指尖顶点;从确认出的该些指尖顶点在当前的该图像区块中与先前的该图像区块 中的该些指尖顶点的个别位移,估算缺失的该至少一指尖顶点的位置;修正经过估算出的该至少一指尖顶点所找出的一手掌掌心点的位置;及当所有的该些手指中线的角度变化方向皆同时为顺时针和逆时针交替改变,且该手掌掌心点接近不变时,辨识出人手的一摇动手势。 
依据本发明之一实施态样,其特征在于:确认先前的一图像区块中的人手的一手掌掌心点、五根手指的各个指尖顶点的位置及所有手指对应的手指中线的位置的步骤更包括下列步骤:辨识出多个图像区块的每个图像区块内的所有的候选的指尖边缘线;从每一该候选的指尖边缘线计算出至少一手指边缘方向;比较每一手指边缘方向与从该图像区块中获得的一手指方向估计值,将与该手指方向估计值最接近的该至少一手指边缘方向储存作为一最佳手指方向,并将与该手指方向估计值最接近的该至少一手指边缘方向对应的一手指长度估计值储存作为一最佳手指长度;依据该最佳手指方向及该最佳手指长度,在该些图像区块中判断至少一候选的手指边缘线;及计算出该候选的指尖边缘线上,具有到该候选的指尖边缘线的两端点连线的距离最大值的一点,并将此点作为一指尖顶点。 
依据本发明之一实施态样,其特征在于:确认先前的一图像区块中的人手的一手掌掌心点、五根手指的各个指尖顶点的位置及所有手指对应的手指中线的位置的步骤更包括下列步骤:取得通过该指尖顶点、与该候选的指尖边缘线的两端点的连线垂直的一垂线,并将之作为一手指中线;及取得对应拇指与中指的该些手指中线的交点,并将之作为一手掌掌心点。 
依据本发明之一实施态样,其特征在于:更包括下列步骤:依据该手掌掌心点及其与对应拇指的该手指中线的一末端点的距离,将该手掌掌心点作为圆心、该手掌掌心点与对应拇指的该手指中线的该末端点的距离作为半径所形成的圆辨识为一手掌。 
依据本发明之一实施态样,其特征在于:辨识出多个图像区块的每个图像区块内的所有的候选的指尖边缘线的步骤更包括下列步骤:在该些图像区块之每个图像区块中,辨识出所有的单向弯曲的曲线:及在该些单向弯曲的曲线中,辨识出弧度对应圆心角接近π/2的至少一曲线,作为该候选的指尖边缘线。 
依据本发明之一实施态样,其特征在于:在该些图像区块之每个图像区块中,辨识出所有的单向弯曲的曲线的步骤更包括下列步骤:计算在该 图像区块中的每个像点的梯度值及其梯度方向;以坎尼(Canny)边缘检测运算元提取出该图像区块中多个图像边缘;及对该些图像边缘之每个逐一判断,当一图像边缘中的任意连续三点的梯度方向满足梯度方向渐大或渐小的变化关系时,将该图像边缘辩识为一单向弯曲的曲线。 
依据本发明之一实施态样,其特征在于:从每一该候选的指尖边缘线计算出至少一手指边缘方向的步骤更包括下列步骤:从该候选的指尖边缘线的两端点,将该手指长度估计值与从该图像区块中获得的一手指方向估计值带入一预定方程式,以在该图像区块中找出对应的多个像素点;及从该些像素点的梯度方向的平均值计算出该至少一手指边缘方向;其中,该预定方程式为: 
tan(Dfinger)=(y-yn)/(x-xn); 
其中x∈{xn,…,xn+Lmax×cos(Dfinger)},y∈{yn,…,yn+Lmax×sin(Dfinger)},n∈{1,2},Dfinger代表该候选的指尖边缘线的一端点的一预定切线方向,Lmax代表一预定手指最大长度,满足下列关系: 
Lmax=Westimate×max(RL/W), 
Westimate代表该候选的指尖边缘线的两端点之间的距离,max(RL/W)为一预定值,代表指长与指宽比值的最大值,该指尖边缘线的两端点的座标为(Xn,yn)(n∈{1,2})。 
附图说明
图1显示一示范例的装置架构示意图,用于辨识人体或动物的至少一外观特征。 
图2显示依据一体感侦测装置使用的一时脉示意图。 
图3显示依据本发明之一实施例的体感侦测方法在一影像中辨识出人体的至少一手部特征的示意图。 
图4显示一指尖边缘线的示意图。 
图5依据本发明之另一实施例的体感侦测方法在一影像中辨识出人体的至少一手部特征的示意图。 
图6显示依据本发明之一实施例的体感侦测方法的一选用流程图。 
图7显示本发明之一实施例的体感侦测方法的另一选用流程图。 
图8显示本发明之一实施例的体感侦测方法的另一选用流程图。 
图9显示依据本发明之一实施例的体感侦测方法的另一选用流程图。 
图10显示依据本发明之一实施例的体感侦测方法的另一选用流程图。 
图11显示依据本发明之一实施例的体感侦测方法的一流程图。 
具体实施方式
为进一步说明各实施例,本发明乃提供有图式。此些图式乃为本发明揭露内容之一部分,其主要系用以说明实施例,并可配合说明书之相关描述来解释实施例的运作原理。配合参考这些内容,本领域具有通常知识者应能理解其他可能的实施方式以及本发明之优点。图中的元件并未按比例绘制,而类似的元件符号通常用来表示类似的元件。 
本发明提供一种体感侦测方法,透过先前的图像区块中的人手的手掌掌心点及各个指尖顶点的位置和当前的指尖顶点的个别位移,估算缺失的指尖顶点,以找出所有的指尖顶点的位置,如此可补足当前图像区块的不足。 
在实际应用上,当前图像区块的不足可能是来自于人手在运动过程中,部分手指可能会被遮蔽,或者因为运动速度导致影像品质下降,无法确切辨识位置。 
在硬件架构方面,此处给出一示范例,本发明并不限于此。请参考图1,其显示应用依据本发明的一实施例的体感侦测方法的一示范例的装置架构示意图,用于辨识人体或动物的至少一外观特征。如图中所示,体感侦测装置1包括一镜头模组11、一影像传感单元12旁设于镜头模组11、一光源供应单元13、一影像处理单元14及一体感辨识模组15。 
镜头模组11包括多个镜片,透过此些镜片的光学特性,改变从一入光口射入的光线的路径,从而在影像传感单元12上形成一影像。 
在本实施例中,影像传感单元12示例为一CMOS传感器,光源供应单元13示范性地为面射型红外光源,然而本发明并不限于此,在其他实施例中,影像传感单元可为其他型态的传感器,如:CCD传感器,光源供应单元可选用室内灯、包括红色、绿色、蓝色光源的RGB灯或其他型态的光源供应单元。 
影像处理单元14控制光源供应单元13及影像传感单元12的作动,使光源供应单元13提供一光源,影像传感单元12感测一影像。详细地说, 光源供应单元13是被影像处理单元14控制以每点亮n帧就熄灭一帧的方式明灭,影像传感单元12是被影像处理单元14控制以周期性一帧一帧地方式感测该影像,在光源供应单元13点亮时感测到每一帧影像之后,影像处理单元14作动以对该帧影像进行影像处理。 
在此请一并参考图2的时脉示意图,其给出影像传感单元12、光源供应单元13及影像处理单元14工作时脉的一示范例,以便说明本实施例。举例来说,由图2中可以看出,示范例里的光源供应单元13是每点亮四帧就熄灭一帧的方式明灭,对于每一帧,影像传感单元12都感测到该影像并送出该影像给影像处理单元14。因此,影像处理单元14会接收到光源供应单元13没有点亮时感测到的一帧影像和之后光源供应单元13连续点亮时感测到的四帧影像。当影像处理单元14接收到这光源供应单元13连续点亮时感测到的四帧影像的每一帧影像之后,会依据光源供应单元13熄灭时由影像传感单元12感测到的该帧影像,弱化其他光源供应单元13点亮时感测到的其他帧影像的背景干扰,以提升其他帧影像的反差,再将其他帧影像输出至体感辨识模组15。体感辨识模组15接收到影像处理单元14的输出之后,可执行一体感侦测方法,以辨识出人体或动物的至少一外观特征。 
经由影像处理单元14分别控制光源供应单元13与影像传感单元12使其间的作动得以互相配合,获得光源供应单元13熄灭时的影像与光源供应单元13点亮时的影像,从而藉由光源供应单元13熄灭时的影像弱化光源供应单元13点亮时的影像中的背景光干扰,强化光源供应单元13点亮时的影像的反差,使前景物件图像越趋明显。在其他实施例中,影像处理单元14可进一步控制光源供应单元13的明暗、光谱、色温,以优化各性质的反差,为物件辨识提供优质的图像。 
在其他实施例中,若影像传感单元以90fps的帧率操作,建议光源供应单元是每点亮四帧就熄灭一帧的方式明灭,报点率是72;若影像传感单元以60fps的帧率操作,建议光源供应单元是每点亮九帧就熄灭一帧的方式明灭,报点率是54。另一方面,当选用的光源种类是RGB灯,可适应室内、室外、阴天、投射灯等环境,此时的控制方式为使用光源供应单元熄灭时的影像用以分析红外光、红光、绿光和蓝光较弱的光谱,使用较弱光谱的灯座为增强反差的照明。 
体感辨识模组15可以藉由亮度、颜色、光普等性质提取物件图像的反差,分析反差的边缘线过滤出与辨识的物件。关于体感辨识模组15执行的体感侦测方法,请参考后续说明。 
关于本发明的一实施例的一体感侦测方法,请参考图11,本方法是用于辨识人体的至少一手部特征。本方法的第一步骤是先确认先前的一图像区块中的人手的一手掌掌心点、五根手指的各个指尖顶点的位置及所有手指对应的手指中线的位置(步骤S1110)。为了获得指尖顶点的位置,较佳地是先辨识出指尖边缘线并进而确定手指中线。 
关于辨识指尖边缘线并进而确定手指中线的方法,在此亦给出一示范例。请一并参考图3及图6,其中图3显示依据本发明之一实施例的体感侦测方法在一影像中辨识出人体的至少一手部特征的示意图,图6显示依据本发明之一实施例的体感侦测方法的一选用流程图。如图中所示,首先,可选择性地对于一帧帧的影像,可经一连串包括影像转换,如从RGB图像转换为256灰阶图、高斯卷积模糊处理去除毛刺、亮点等噪讯的影像处理步骤成为多个图像区块。接着,在多个图像区块中辨识出每个图像区块内的所有的候选的指尖边缘线(步骤S100)。另请参考图7,其中更细致地显示本发明之一实施例的体感侦测方法的一选用流程图。如图7中所示,为了辨识出候选的指尖边缘线,先是在图像区块之每个图像区块中,辨识出所有的单向弯曲的曲线(步骤S110)。接着,在此些单向弯曲的曲线中,辨识出弧度对应圆心角接近一预定值的至少一曲线,作为候选的指尖边缘线(步骤S120)。 
另请参考图8,其中更细致地显示本发明之一实施例的体感侦测方法的另一选用流程图。关于在图像区块之每个图像区块中,辨识出所有的单向弯曲的曲线之进行,在此可以依据图8的流程。在步骤S111中,计算图像区块中的每个像点的梯度值及梯度方向。举例来说,可以透过对图像区块进行水平方向以及垂直方向上Sobel卷积处理演算找出图像区块中每一个像点的梯度值及梯度方向,接着再用过两个正交梯度算出每个像点在欧式平面上的梯度值及梯度方向。接着,在步骤S112中,以坎尼(Canny)边缘检测运算元提取出图像区块中的多个图像边缘,此些图像边缘较佳是对比度较为明显的边缘线。接着,在步骤S113中,结合图像边缘及边元上连续像素点之间梯度方向的关系,对该些图像边缘之每个逐一判断,当一图 像边缘中的任意连续三点的梯度方向满足梯度方向渐大或渐小的变化关系时,将该图像边缘辩识为一单向弯曲的曲线。 
本体感侦测方法是依据对人体特征的观察而设计,因此可辨识贴合人体的实际特征,而有较好的辨识正确性。比如说为了辨识手部特征,观察伸直状态的手指的几何形状,可以将手指近似地看成一个圆柱状,投影到二维平面上则可以看成是有两条平行线以及指尖半源曲线构成的图形。其次,依据人体一般的生理特性,人手的中指最长,故具有最大值的指长与指宽的比值(以max(RL/W)代表),并且可预先设定一值作为max(RL/W)。观察人手的指尖轮廓,建议将前述预定值设定为π/2。因此,在此以Sx(x∈1,2,3…)标示出手指尖有效区域,特定出弧度对应圆心角接近π/2的曲线,作为候选的指尖边缘线。 
在步骤S100辨识出每个图像区块内的所有的候选的指尖边缘线之后,便从每一该候选的指尖边缘线计算出至少一手指边缘方向(步骤S200)。详细地说,如图10所示,首先进行步骤S210,从候选的指尖边缘线的两端点,将从图像区块中获得的一手指长度估计值与一手指方向估计值带入一预定方程式,以在图像区块中找出对应的多个像素点。此预定方程式的设计乃是从手指的外观特征而来。候选的指尖边缘线的两端点的距离可以Westimate表示,如此一来,候选的指尖边缘线对应的手指最大长度Lmax可以Westimate×max(RL/W)表示,并且得到代表手指边缘的线段方程为: 
tan(Dfinger)=(y-yn)/(x-xn)   方程式(1); 
线段长度L为: 
L=[(xn-x)×(xn-x)+(yn-y)×(yn-y)]1/2   方程式(2); 
其中x∈{xn,…,xn+Lmax×cos(Dfinger)},y∈{yn,…,yn+Lmax×sin(Dfinger)},n∈{1,2},Dfinger代表该候选的指尖边缘线的一端点的一预定切线方向,指尖边缘线的两端点的座标为(xn,yn)(n∈{1,2})。因此,将从图像区块中获得的一手指长度估计值Lestimate与一手指方向估计值Dfinger_estimate带入方程式(1)、(2)中,假设Lestimate为(0,Lmax]、Dfinger_estimate为[Dfinger-θ,Dfinger+θ],在图像区块中拟合找出线段对应的像素点Px。接着,如步骤S220中所述,从该些像素点Px的梯度方向Gx的平均值Gmean计算出该至少一手指边缘方向。由于梯度方向是与手指边缘方向垂直,取得梯度方向的平均值Gmean之后,可得到手指边缘方向Destimate_edge为Gmean±π/2。 
接着,在获得手指边缘方向Destimate_edge之后,在步骤S300中比较每一手指边缘方向Destimate_edge与从该图像区块中获得的手指方向估计值Dfinger_estimate,将与该手指方向估计值Dfinger_estimate最接近的手指边缘方向Destimate_edge储存作为一最佳手指方向Dfinger_best,并将与手指方向估计值Dfinger_estimate最接近的手指边缘方向Destimate_edge对应的手指长度估计值Lestimate储存作为最佳手指长度Lfinger_best。 
以上步骤乃是针对各个不同的手指,如:拇指、食指、中指、无名指、小指进行,因此对于各个不同的手指有不同的最佳手指方向及最佳手指长度。在取得了最佳手指方向Dfinger_best和最佳手指长度Lfinger_best之后,便可据此在图像区块中判断候选的手指边缘线(步骤S400)。判断的标准可以是在角度临近最佳手指方向Dfinger_best一范围内和长度临近最佳手指长度Lfinger_best的一范围内的指尖边缘线和形成手指边缘的像素点Px,被视作是候选的手指边缘线。 
在图像区块中判断候选的手指边缘线之后,可进行指尖顶点的判断,对此,请额外参考图4,其显示一指尖边缘线的示意图,从中可以看出在候选的指尖边缘线上的指尖顶点P3到两端点的距离是最大的,因此,判断手指中线的第一步是计算出此候选的指尖边缘线上,具有到候选的指尖边缘线的两端点连线的距离最大值的一点,并将此点作为指尖顶点P3(步骤S500)。若以数学方程式代表,假设以(xn,yn)(n∈{1,2,3,…,m})代表候选的指尖边缘线上的各点,由向量外积可得候选的指尖边缘线上的一点到两端点连线的距离SΔp1p2pn为: 
p1p2pn=[(x2-x1)×(yn-y1)-(y2-y1)×(xn-x1)]/2; 
并且计算出SΔp1p2pn具有最大值时的(xn,yn),则此(xn,yn)值即为指尖顶点P3的座标。 
另请参考图9,其显示依据本发明之一实施例的体感侦测方法的另一选用流程图,示范性地判断出人手的一手掌掌心点。在此,手掌掌心点可藉由判断手指中线得出。接续步骤S500,在步骤S600中,取得通过指尖顶点P3、与该候选的指尖边缘线的两端点的连线垂直的一垂线,并将之作为一手指中线。举例来说,手指中线的长度可以依据对应的手指边缘线的长度决定。接着,另请参考图5,其显示依据本发明之另一实施例的体感侦测方法在一影像中辨识出人体的至少一手部特征的示意图。在取得手指 中线之后,在步骤S700中,据此找出对应拇指与中指的该些手指中线的交点,并将之作为一手掌掌心点。详细地说,首先,乃是从中指的手指中线的末端M3进行延长,即作出直线S2M3,记作LS2M3,接着,过拇指的手指中线的末端M1作LS2M3的垂线,交于C点,此C点即为手掌掌心点。 
在另一实施例中,当欲辨识掌心的手部特征时,可依据所找出的手掌掌心点C点与拇指的手指中线的末端M1之间的距离为半径、手掌掌心点C点为圆心作出一圆,此圆可代表手掌的一个内接圆,如此一来,手掌掌心的位置与手掌的范围即可以确定。 
在确认先前的一图像区块中的人手的一手掌掌心点、五根手指的各个指尖顶点的位置及所有手指对应的手指中线之后,接着,在当前的一图像区块中,确认一组运动方向最一致的指尖顶点(步骤S1120)。举例来说,可以透过结合第一次辨识到的手的信息和当前找到类似手指的物体,来找出运动方向最一致的一组指尖。 
接着,在步骤S1130中,从确认出的该些指尖顶点在当前的该图像区块中与先前的该图像区块中的该些指尖顶点的个别位移,估算缺失的该至少一指尖顶点的位置。详细地说,可以分别对于对应到同一根手指的指尖顶点在先前的和当前的图像区块中的位置,计算出这根手指的位移、方向、速度等参数,关连到人手的每根手指当中彼此之间的关系,再以内插或其他数学方式计算出缺失的手指对应的指尖顶点的当前的位置。如此即使是因为影像中难以辨识出全部手指的指尖顶点位置,也可通过本方法找出全部手指的指尖顶点位置,进而持续追踪全部手指的指尖顶点位置的变化。 
接着,在步骤S1140中,修正经过估算出的该至少一指尖顶点所找出的一手掌掌心点的位置。在此示范性地是使用运动学方程(Equation of motion)的卡尔曼滤波器(Kalman filter)进行修正,然而本发明并未限制于此。 
在其他实施例中,可以不仅追踪手指的指尖顶点和手掌掌心点的当前位置与变化,更可以藉由此些数据辨识出人手的手势。这些辨识的机制主要都是透过观察人手手势的特征而设计的,因此可辨识贴合人体的实际特征,而有较好的辨识正确性。举例来说,第一例是辨识出人手的一拍击手势。辨识的机制是当判断出所有的指尖顶点(包括可直接辨识出和缺失却透过估算得出的指尖顶点)及手掌掌心点在多个图像区块中的位置变化为,除 了对应拇指之外的所有指尖顶点皆往下运动,手掌掌心点位置接近不变,且除了对应拇指之外的对应同一根手指的该些手指边缘线之间距离变大时,就可以辨识出人手的一拍击手势。第二例为辨识出人手的一合拢手势,辨识机制为当所有的指尖顶点及手掌掌心点在多个图像区块中的位置变化为,除了对应拇指之外的所有指尖顶点皆往下运动,对应剩余四根手指的该些手指中线之间的夹角不断缩小,对应拇指的该手指中线逐渐接近该手掌掌心点,且所有的该些指尖顶点变化为缺失时,辨识出人手的一合拢手势。第三例是辨识出人手的一旋转手势,辨识的机制是当所有的该些手指中线的角度变化方向与变化率相同,且该手掌掌心点接近不变时,辨识出人手的一旋转手势。第四例是辨识出人手的一摇动手势,辨识的机制是当所有的手指中线的角度变化方向皆同时为顺时针和逆时针交替改变,且该手掌掌心点接近不变时,辨识出人手的一摇动手势。 
是故,从上述中可以得知,本发明的体感侦测方法即使在人手是运动的情形之下,也可估算出缺失的指尖顶点,从而提高追踪人手特征的正确率,并可进一步辨识出人手的不同手势,提供更完整的体感辨识功能。 
以上叙述依据本发明多个不同实施例,其中各项特征可以单一或不同结合方式实施。因此,本发明实施方式之揭露为阐明本发明原则之具体实施例,应不拘限本发明于所揭示的实施例。进一步言之,先前叙述及其附图仅为本发明示范之用,并不受其限囿。其它元件之变化或组合皆可能,且不悖于本发明之精神与范围。 
【主要元件符号说明】 
1体感侦测装置11镜头模组 
                             12影像传感单元 
                             13光源供应单元 
                             14影像处理单元 
                             15体感辨识模组 
S100,S110,S111,S112,S113,S120,S200,S210,S220,S300,S400,S500,S600,S700,S1110,S1120,S1103,S1140步骤。 

Claims (7)

1.一种体感侦测方法,用于追踪人体的至少一手部特征,其特征在于:包括下列步骤:
确认先前的一图像区块中的人手的一手掌掌心点、五根手指的各个指尖顶点的位置及所有手指对应的手指中线;
在当前的一图像区块中,确认一组运动方向最一致的指尖顶点;
从确认出的该些指尖顶点在当前的该图像区块中与先前的该图像区块中的该些指尖顶点的个别位移,估算缺失的该至少一指尖顶点的位置;
修正经过估算出的该至少一指尖顶点所找出的一手掌掌心点的位置;及
当所有的该些手指中线的角度变化方向皆同时为顺时针和逆时针交替改变,且该手掌掌心点接近不变时,辨识出人手的一摇动手势。
2.如权利要求1所述的体感侦测方法,其特征在于:确认先前的一图像区块中的人手的一手掌掌心点、五根手指的各个指尖顶点的位置及所有手指对应的手指中线的步骤更包括下列步骤:
辨识出多个图像区块的每个图像区块内的所有的候选的指尖边缘线;
从每一该候选的指尖边缘线计算出至少一手指边缘方向;
比较每一手指边缘方向与从该图像区块中获得的一手指方向估计值,将与该手指方向估计值最接近的该至少一手指边缘方向储存作为一最佳手指方向,并将与该手指方向估计值最接近的该至少一手指边缘方向对应的一手指长度估计值储存作为一最佳手指长度;
依据该最佳手指方向及该最佳手指长度,在该些图像区块中判断至少一候选的手指边缘线;及
计算出该候选的指尖边缘线上,具有到该候选的指尖边缘线的两端点连线的距离最大值的一点,并将此点作为一指尖顶点。
3.如权利要求2所述的体感侦测方法,其特征在于:确认先前的一图像区块中的人手的一手掌掌心点、五根手指的各个指尖顶点的位置及所有手指对应的手指中线的步骤更包括下列步骤:
取得通过该指尖顶点、与该候选的指尖边缘线的两端点的连线垂直的一垂线,并将之作为一手指中线;及
取得对应拇指与中指的该些手指中线的交点,并将之作为一手掌掌心点。
4.如权利要求3所述的体感侦测方法,其特征在于:更包括下列步骤:
依据该手掌掌心点及其与对应拇指的该手指中线的一末端点的距离,将该手掌掌心点作为圆心、该手掌掌心点与对应拇指的该手指中线的该末端点的距离作为半径所形成的圆辨识为一手掌。
5.如权利要求2所述的体感侦测方法,其特征在于:辨识出多个图像区块的每个图像区块内的所有的候选的指尖边缘线的步骤更包括下列步骤:
在该些图像区块之每个图像区块中,辨识出所有的单向弯曲的曲线:及
在该些单向弯曲的曲线中,辨识出弧度对应圆心角接近π/2的至少一曲线,作为该候选的指尖边缘线。
6.如权利要求5所述的体感侦测方法,其特征在于:在该些图像区块之每个图像区块中,辨识出所有的单向弯曲的曲线的步骤更包括下列步骤:
计算在该图像区块中的每个像点的梯度值及其梯度方向;
以坎尼(Canny)边缘检测运算元提取出该图像区块中多个图像边缘;及
对该些图像边缘之每个逐一判断,当一图像边缘中的任意连续三点的梯度方向满足梯度方向渐大或渐小的变化关系时,将该图像边缘辩识为一单向弯曲的曲线。
7.如权利要求2所述的体感侦测方法,其特征在于:从每一该候选的指尖边缘线计算出至少一手指边缘方向的步骤更包括下列步骤:
从该候选的指尖边缘线的两端点,将该手指长度估计值与从该图像区块中获得的一手指方向估计值带入一预定方程式,以在该图像区块中找出对应的多个像素点;及
从该些像素点的梯度方向的平均值计算出该至少一手指边缘方向;
其中,该预定方程式为:
tan(Dfinger)=(y-yn)/(x-xn);
其中x∈{xn,…,xn+Lmax×cos(Dfinger)},y∈{yn,…,yn+Lmax×sin(Dfinger)},n∈{1,2},Dfinger代表该候选的指尖边缘线的一端点的一预定切线方向,
Lmax代表一预定手指最大长度,满足下列关系:
Lmax=Westimate×max(RL/W),
Westimate代表该候选的指尖边缘线的两端点之间的距离,max(RL/W)为一预定值,代表指长与指宽比值的最大值,该指尖边缘线的两端点的座标为(Xn,yn)(n∈{1,2})。
CN201410117733.3A 2014-03-26 2014-03-26 体感侦测方法 Pending CN104951732A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410117733.3A CN104951732A (zh) 2014-03-26 2014-03-26 体感侦测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410117733.3A CN104951732A (zh) 2014-03-26 2014-03-26 体感侦测方法

Publications (1)

Publication Number Publication Date
CN104951732A true CN104951732A (zh) 2015-09-30

Family

ID=54166378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410117733.3A Pending CN104951732A (zh) 2014-03-26 2014-03-26 体感侦测方法

Country Status (1)

Country Link
CN (1) CN104951732A (zh)

Similar Documents

Publication Publication Date Title
CN110308789B (zh) 用于与外围设备的混合现实交互的方法和系统
EP3035164B1 (en) Wearable sensor for tracking articulated body-parts
US10540812B1 (en) Handling real-world light sources in virtual, augmented, and mixed reality (xR) applications
CN106598227B (zh) 基于Leap Motion和Kinect的手势识别方法
US9310891B2 (en) Method and system enabling natural user interface gestures with user wearable glasses
CN104808795B (zh) 一种增强现实眼镜的手势识别方法及增强现实眼镜系统
US20150205364A1 (en) System and method for gesture based control system
JP6547013B2 (ja) 生体情報解析装置及びその頬紅解析方法
EP2175229A1 (en) Object position and orientation detection system
JP2010522922A (ja) 電子機器を追跡するためのシステム及び方法
CN110489027B (zh) 手持输入设备及其指示图标的显示位置控制方法和装置
US10497179B2 (en) Apparatus and method for performing real object detection and control using a virtual reality head mounted display system
WO2003079179A1 (en) Motion mouse system
CN205080499U (zh) 一种基于手势识别的虚拟现实交互设备
CN109839827B (zh) 一种基于全空间位置信息的手势识别智能家居控制系统
CN105302295A (zh) 一种具有3d摄像组件的虚拟现实交互设备
CN113160260B (zh) 一种头眼双通道智能人机交互系统及运行方法
US10824237B2 (en) Screen display control method and screen display control system
CN205080498U (zh) 一种具有3d摄像组件的虚拟现实交互设备
US20200184222A1 (en) Augmented reality tools for lighting design
CN108401452B (zh) 使用虚拟现实头戴式显示器系统来执行真实目标检测和控制的装置和方法
CN104951734A (zh) 体感侦测装置
CN104951732A (zh) 体感侦测方法
CN104951733A (zh) 体感侦测方法
CN104951738A (zh) 体感侦测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150930

WD01 Invention patent application deemed withdrawn after publication