CN205608659U - 一种腕式设备 - Google Patents
一种腕式设备 Download PDFInfo
- Publication number
- CN205608659U CN205608659U CN201521138934.8U CN201521138934U CN205608659U CN 205608659 U CN205608659 U CN 205608659U CN 201521138934 U CN201521138934 U CN 201521138934U CN 205608659 U CN205608659 U CN 205608659U
- Authority
- CN
- China
- Prior art keywords
- hand
- images
- specific region
- finger
- wrist
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 210000000707 wrist Anatomy 0.000 title claims abstract description 35
- 230000009471 action Effects 0.000 claims description 59
- 238000012544 monitoring process Methods 0.000 claims description 14
- 210000003811 finger Anatomy 0.000 description 53
- 238000000034 method Methods 0.000 description 41
- 238000006243 chemical reaction Methods 0.000 description 15
- 210000004247 hand Anatomy 0.000 description 14
- 230000008569 process Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 210000003813 thumb Anatomy 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 210000005224 forefinger Anatomy 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000004932 little finger Anatomy 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005059 dormancy Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本实用新型提供一种腕式设备,包括:摄像装置,用于沿佩戴者手腕向手心方向采集佩戴者手部图像;处理器,用于接收所采集的手部图像,并对所述手部图像进行处理。
Description
技术领域
本实用新型涉及智能穿戴设备技术领域,具体涉及一种腕式设备。
背景技术
随着软硬件相关科技的快速发展,腕式智能装置,如智能手表,智能手环等的集成度越来越高,功能越来越丰富,很大比例的手机功能可以通过智能手表,智能手环实现,大大简化用户接收和传递信息的方法。但和传统智能手机比较,腕式智能装置受限于小尺寸显示屏幕,一方面,使用者在使用时无法很好地利用触屏或者按键完成相关功能的操作,易造成误操作,另一方面,当智能手表佩戴在一只手上时,要对其进行操作,除了唤醒,休眠等简单操作不需要另一只手操作外,其余的较为复杂的操作都有另一只手完成,无法使用单手独立对智能手表进行操作,因此,智能手表在内容显示和操作上仍存在很大的缺陷。
针对上述问题,中国专利申请CN104756045A公开了一种用于对计算设备进行基于姿势的控制的可佩戴感测设备,所述可佩戴感测设备包括:相机,所述相机用于捕捉所述感测设备的佩戴者的身体的由关节连接的部位的图像;跟踪模块,所述跟踪模块被安排成使用捕捉到的图像来实时地跟踪所述由关节连接的身体部位的3D的由关节连接的模型,而无需在所述由关节连接的身体部位上佩戴标记;通信接口,所述通信接口被安排成将跟踪到的3D的由关节连接的模型发送给计算设备,以便根据所述由关节连接的身体部位的3D关节连接来控制所述计算设备。该设备可以对佩戴者的手部进行3D建模,然后利用3D模型反映佩戴者手部动作,根据手部动作实现对设备的控制。但是该设备所采用的3D建模操作需要依赖诸如上述摄像 机和跟踪模块等多个比较复杂的辅助设备,该方案对硬件性能的要求较高,功耗较大,并且该设备便携性较差。
实用新型内容
因此,本实用新型要解决的技术问题在于现有技术中的腕式设备控制方案对硬件设备性能要求高且功耗大。
有鉴于此,本实用新型还提供一种腕式设备,包括:
摄像装置,用于沿佩戴者手腕向手心方向采集佩戴者手部图像;
处理器,用于接收所采集的手部图像,并对所述手部图像进行处理。
优选地,所述腕式设备为智能手表,所述摄像装置设置在表带上,所述处理器设置在表盘处,所述摄像装置与所述处理器通过设置在表带内的连接部件连接。
优选地,所述连接部件为柔性电路板。
优选地,所述处理器用于在所述手部图像中识别出各个手部特定区域,监测所识别出的手部特定区域的位置,当至少2个手部特定区域之间的距离小于预设阈值时,判定所述至少2个手部特定区域所对应的部位相接触。
优选地,所述处理器用于在所述手部图像中识别出各个手部特定区域;监测所识别出的手部特定区域的位置,当至少2个手部特定区域之间的距离小于预设阈值时,判定所述至少2个手部特定区域所对应的部位相接触;根据相接触的部位的接触时间和/或预设时间内的接触次数执行预设动作。
优选地,所述处理器用于在所述手部图像中识别出各个手部特定区域;监测所识别出的手部特定区域的位置,当至少2个手部特定区域之间的距离小于预设阈值时,判定所述至少2个手部特定区域所对应的部位相接触;识别相接触的部位;根据相接触的部位所关联的标记信息执行预设动作。根据上述手势动作识别方法及装置,通过在手部图像中识别出各个特定区域,可实现将三维空间中的人体手部部位转化为二维画面中的区域,然后通过对二维画面中区域的位置和距离的判断,即可识别佩戴者手部部位相接触的手势动作。由此可见,本实用新型不需要使用高性能的硬件对人体 手部进行三维建模,仅通过手部的二维图像即可判断手部的动作,由此可以降低对硬件性能的要求,并且数据计算量较小本方法更易于实现,且实用性更强。
上述腕式设备可利用其摄像装置沿佩戴者手腕向手心方向采集佩戴者手部图像,其采集的图像可以展现出用户手指的影像,然后其处理器可对手部图像进行分析判断等处理,通过手部图像识别出用户的手势动作,进而可实现对设备的控制。
附图说明
为了更清楚地说明本实用新型具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本实用新型的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本实用新型实施例提供的腕式设备的结构示意图;
图2为本实用新型实施例提供的智能手表的摄像装置所采集的手部图像;
图3为本实用新型实施例提供的智能手表的结构示意图;
图4为本实用新型实施例提供的手势动作识别方法的流程图;
图5为利用本实用新型实施例提供的手势动作识别方法识别出的指尖区域示意图;
图6为利用本实用新型实施例提供的手势动作识别方法对图2所示图像进行转换后的示意图;
图7为利用本实用新型实施例提供的手势动作识别方法对图5所示图像进行转换后的示意图;
图8为本实用新型实施例提供的一种手势动作控制方法的流程图;
图9为本实用新型实施例提供的另一种手势动作控制方法的流程图;
图10为本实用新型实施例提供的第三种手势动作控制方法的流程图;
图11为本实用新型实施例提供的手势动作识别装置的结构图;
图12为本实用新型实施例提供的一种手势动作控制装置的结构图;
图13为本实用新型实施例提供的另一种手势动作控制装置的结构图。
具体实施方式
下面将结合附图对本实用新型的技术方案进行清楚、完整地描述,显然,所描述的实施例是本实用新型一部分实施例,而不是全部的实施例。基于本实用新型中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本实用新型保护的范围。
在本实用新型的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本实用新型和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本实用新型的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本实用新型的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,还可以是两个元件内部的连通,可以是无线连接,也可以是有线连接。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本实用新型中的具体含义。
此外,下面所描述的本实用新型不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本实用新型实施例提供一种智能腕式设备,如图1所示,该设备包括:
摄像装置11,用于沿佩戴者手腕向手心方向采集佩戴者手部图像,针对不同种类的腕式设备,摄像装置11的设置方式不同,但其与佩戴者手臂的角度是比较固定的。按此方式设置的摄像装置11可采集到如图2所示的手部图像。
处理器12,用于接收并对手部图像进行处理,处理器12可以对图像进行多种处理,例如在图像中识别手部动作、根据图像反映出的手部动作对设备进行控制等,具体将在后续实施例中进行详细介绍。
上述设备可利用其摄像装置11沿佩戴者手腕向手心方向采集佩戴者手部图像,其采集的图像可以展现出用户手指的影像,然后其处理器12可对手部图像进行分析判断等处理,通过手部图像识别出用户的手势动作,进而可实现对设备的控制。
上述腕式设备可以是智能手表,摄像装置11可设置在表盘处,如此设置则需使用者将表盘佩戴在手腕内侧,这显然不符合一般的佩戴习惯,所以作为一个优选的实施方式,如图3所示上述摄像装置11可设置在表带上,用户佩戴手表时使摄像装置11贴在手腕内侧朝向手部,其角度和方向恰好可拍到手指,此结构不需要用户调整摄像装置11的位置,便于用户佩戴。处理器12作为智能手表的处理核心,可设置在表盘处,摄像装置11与所述处理器12的连接部件设置在所述表带内,该连接部件可以是柔性电路板。
实施例2
本实用新型实施例提供一种手势动作识别方法,该方法可以由实施例1中的处理器12执行,如图4所示该方法包括如下步骤:
S1,获取手部图像,该图像可以是由实施例1中的摄像装置11采集到的图像。
S2,在手部图像中识别出各个手部特定区域。在这里,特定区域可以是各个手指、手掌、各个指尖等各种部位对应的区域。
具体地,可以根据图像中的手部皮肤纹路对手掌、手指进行识别,也可以根据图像中的手部轮廓对手指、指尖进行识别。并且在识别前还可以图像进行预处理,例如首先对图像进行色彩空间转换处理,以区分出手部与背景,然后识别手部,最终根据轮廓、皮肤纹路特征识别特定区域。本领域技术人员可以理解,识别指定目标的方法有多种,例如可以根据线条的特点进行识别,或者利用神经网络模型等方式进行识别都是可行的。其中,以指尖为例,可以识别出的指尖区域可以是如图5所示的像素区域,即在每个指尖的位置都可以捕捉到一个像素区域。
S3,监测所识别出的手部特定区域的位置,当至少2个手部特定区域之间的距离小于预设阈值时,判定所述至少2个手部特定区域所对应的部位相接触。具体地,各个特定区域都有一组二维坐标值,随着佩戴者手部的活动,上述各个区域会发生移动,由此各个特定区域的坐标值会实时放生变化。以2个手指的指尖为例,当佩戴者的2个手指(例如拇指和食指)的指尖相互靠近时,相应的指尖区域会相互靠近,当该2个指尖区域之间的距离小于预设阈值时(预设阈值可以为0),则判定佩戴者的2个手指相接触。需要说明的是,本实用新型并不限于监测2个指尖区域的接触动作,监测更多的指尖区域相接处的动作都是可行的(例如拇指、食指和中指3手指相接触于一点的动作)。之后,可以通过接触事件进一步实现各种操作,接触事件例如可以用于控制智能手表,以接触事件来触发手表的各种功能。
根据上述手势动作识别方法,通过在手部图像中识别出各个特定区域,可实现将三维空间中的人体手部部位转化为二维画面中的区域,然后通过对二维画面中区域的位置和距离的判断,即可识别佩戴者手部部位相接触的手势动作。由此可见,本实用新型不需要使用高性能的硬件对人体手部进行三维建模,仅通过手部的二维图像即可判断手部的动作,由此可以降低对硬件性能的要求,并且数据计算量较小本方法更易于实现,且实用性更强。
佩戴者所处的环境将影响在图像中识别手部部位的难度,为了便于在图像中识别特定部位,可以对获取到的手部图像进行预处理。并且,从人 为操作习惯的角度考虑,指尖相触更适合作为控制操作;从识别难度的角度考虑,指尖部位的特点更突出,更容易被识别。因此,上述手部特定区域优选为各个手指的指尖区域。
作为一个优选的实施方式,上述步骤S2可以包括如下步骤:
S21,从所述手部图像中去除前景和/或背景图像,从图像中确定前景或背景图像的方法有多种,由于人体的皮肤颜色具有一定范围,所以在图像中,手部区域的像素点的RGB值都应当在某一范围内,由此可以根据预设的RGB值范围对图像中的内容进行判断,可筛选出目标图像和背景图像;也可以根据图像的锐度值或深度值对图像中的内容进行判断和去除,现有的去除方法都是可行的。
S22,在去除了前景和/或背景后的手部图像中识别手部轮廓,具体可识别手部区域的边缘即可得到手部轮廓。去除了背景图像后的手部图像中只保留有皮肤区域,可以认为该区域为手的区域。为了识别手指部分,需依据手指的形态特征进行判别。因而,可采用Canny算子提取手部区域的边缘轮廓。Canny算子通过对信噪比与定位乘积进行测度,通过最优化方法进行逼近,得到边缘信息。
具体地址,首先需要对图像进行高斯滤波平滑图像噪声,以减小噪声对检测结果的影响,高斯核函数如下:
然后计算图像灰度值的梯度,即做两个方向的一阶差分。计算每个像素点的梯度幅度及方向:
相应的强度与方向为:
得到整个图像中每个点的梯度幅度与方向后,计算局部最大值,保留相应的像素点。最后,根据双阈值计算应该保留的像素点,对于保留下的像素点进行边界追踪,完成边缘提取。S23,根据手部轮廓的曲率识别出指尖区域。得到手指边缘后,可以利用手指形态进行指尖部位的提取。通过对于指尖部分形态的分析可以知道,手指指尖边缘具有曲率突变的情况,即手指两侧线条走向较为一致,而指尖线条弯曲程度较大,且接近180度转弯。
基于上述特性,首先对图像边缘进行采样并矢量化图像边缘线,以形成具有长度与走向统计的特征线。矢量化时,依据像素点间的位置求距离以及一阶差分得到方向走向。然后,计算这些矢量的点乘结果,得到矢量线间的夹角大小。而后,针对所有边缘寻找所有的较直的直线段(例如平均夹角不大于25度)。按顺序排列这些直线段,计算直线段间曲线段的走向变化,例如将走向变化大于140度,且距离大于一定阈值,则判定为相应的指尖。去除相应噪声以及重复的结果,判定为指尖部位。上述优选方案的识别效率以及准确性更高。
由于佩戴者所处的环境可能比较复杂,由此可能给背景图像的去除操作带来一定难度,为解决此问题,上述步骤S21可进一步包括如下子步骤:
S211a,对手部图像进行色彩空间转换处理,人体皮肤由真皮层和覆盖其上的较薄的表皮层构成,光在表皮层中被黑色素吸收,而在真皮层中则同时发生吸收和散射。不同个体的肤色差异主要表现为由表皮层中黑色素的浓度不同所引起的亮度变化,其真皮层光学特性则基本相同,而且同种族的个体肤色具有较强的共性,并明显区别于大多数背景颜色,在颜色空间中形成一个小而紧致的聚簇。因而,基于颜色进行皮肤的检测是可行的。
进行肤色检测需要选择恰当的彩色空间,在此空间中肤色能团簇、聚合在一起,并且与非肤色的重叠部分要尽可能少。摄像头采集的图像是RGB图像,在RGB彩色空间中,肤色与非肤色的重叠部分较多,且会受亮度的影响严重;在HSV彩色空间中由于色调、色饱和度及亮度很好的分离,与非肤色点重叠的较少;在YCbCr彩色空间中的CbCr子空间上,肤色很好的 聚集在一个类椭圆范围内,而且在Cb、Cr分量上的分布也比较集中。因此,将手部图像由RGB空间转换为YCbCr彩色空间或HSV彩色空间都是可行的。
RGB至HSV的转换公式为:
RGB至YCbCr的转换公式为:
经过转换,可将如图2所示的图像处理为如图6所示的图像。色彩空间转换的方法有多种,利用现有的转换方法都是可行的。
S212a,对经过色彩空间转换处理后的手部图像进行二值化处理,经过转换,可将如图6所示的图像转换为如图7所示的只有黑白两种颜色的线条图;
S213a,在经过二值化处理后的手部图像中去除背景图像。
上述优选方案可以进一步提高识别指尖区域的准确性。
作为另一个优选的实施方式,上述步骤S21可以包括如下步骤:
S211b,获取所述手部图像中各个像素点的深度值;
S212b,将所述各个像素点的深度值与预设深度范围值进行比较,以从所述手部图像中确定手指图像、前景和/或背景图像。
由于腕式设备的特殊性,需成像的手指部分距离摄像装置约为10-15cm左右,因此摄像装置的对焦点可以是固定的,仅需保证10-15cm内的对焦清晰即可;同时,成像范围内的其他物体(前景和背景)通常距离手部较近或较远,不在10-15cm距离范围内,因此前景和背景失焦,通过模糊度 的算法可以容易的分辨前背景。由此即可判断出距离摄像装置11过近的内容(前景图像)和距离摄像装置11过远的内容(背景图像)。
S213b,去除所述前景和/或背景图像。
上述优选方案根据景深信息将前景和背景图像均去除掉,只保留手指前部的景象,在该景象中进一步识别指尖区域,由此可进一步提高识别效率。
实施例3
本实用新型实施例提供一种手势动作控制方法,该方法可以由实施例1中的处理器12执行,如图8所示,该方法包括如下步骤:
S1a,获取手部图像;
S2a,在所述手部图像中识别出各个手部特定区域;
S3a,监测所识别出的手部特定区域的位置,当至少2个手部特定区域之间的距离小于预设阈值时,判定所述至少2个手部特定区域所对应的部位相接触。
S4a,记录相接触的部位的接触时间和/或预设时间内的接触次数。具体地,以2个相接触的手指(拇指和食指)为例,当相接触时,处理器12可记录当前接触的持续时间;还可以记录前后两次接触的间隔时间,进一步统计预定时间内的接触次数。
S5a,根据相接触的部位的接触时间和/或预设时间内的接触次数执行预设动作。可以预先存储若干控制指令,每一个控制指令关联时间信息和/或次数信息。由此,可以根据所记录的接触时间和/或接触次数与预存控制指令的关联关系确定一个控制指令,然后执行该指令实现预设动作。预设动作可以有多种,例如关机、在软件界面中的选中、退出、选择等,每一种预设动作都可以关联唯一的接触时间和/或预设时间内的接触次数。例如,单次手指相接触时间超过3s,可控制设备关机、0.5s内手指相接触2次,可在设备界面中执行选定操作。此外,对接触时间进行判断还可以有效的避免误操作的情况发生。
根据上述手势动作控制方法,通过在手部图像中识别出各个特定区域,可实现将三维空间中的人体手部部位转化为二维画面中的区域,然后通过对二维画面中的区域的位置和距离的判断,即可识别佩戴者手部部位相接触的手势动作,然后进一步根据手部部位相接触的持续时间以及一定时间内的接触次数,实现对智能手表的控制,本方案对硬件性能的要求较低、数据计算量较小,其便利性和实用性较强。
如上所述,步骤S5a可分为三种情况,分别为只考虑接触时间的情况、只考虑接触次数的情况和同时考虑上述两种因素的情况。
对于只考虑接触时间的情况,上述S5a可包括:
S51a,判断相接触的部位的接触持续时间是否达到第一预设时间;
S52a,当达到第一预设时间时,执行第一预设动作,当未达到第一预设时间时,执行与所述第一预设动作不同的第二预设动作。例如短接触是“选中”动作、长接触是“退出”动作,由此可根据接触时间进行不同的控制动作。
上述优选方案可实现对短接触和长接触进行判断,从而根据判断结果执行不同的预设动作,该方案可以使智能腕式设备支持更丰富的手势控制动作。
对于只考接触次数的情况,上述S5a可包括:
S51b,统计第二预设时间内所述部位的接触次数,具体可以在当前接触动作完毕后开始记录时间,直到下一次接触动作出现,判断间隔时间是否小于第二预设时间,之后还可能有更多次的接触,即n秒内的双击、三连击等操作都是可以被统计到的。
S52b,执行与接触次数相关联的预设动作。例如单击是“选中”动作、双击是“退出”动作,由此可根据接触次数进行不同的控制动作。
上述优选方案可实现对多次连击的次数进行统计,从而根据统计结果执行不同的预设动作,该方案可以使智能腕式设备支持更丰富的手势控制动作。
实际应用中还可以同时考虑上述两种因素,上述两种因素的组合方式 很多,由此可以提供更多的手势动作,从而关联更多的预设动作,进一步提高控制操作的丰富性。
实施例4
本实用新型实施例提供另一种手势动作控制方法,与实施例3的区别在于本实施例通过不同的指尖区域的组合接触情况,来确定预设动作。如图9所示,该方法包括如下步骤:
S1b,获取手部图像;
S2b,在手部图像中识别出各个手部特定区域;
S3b,监测所识别出的手部特定区域的位置,当至少2个手部特定区域之间的距离小于预设阈值时,判定至少2个手部特定区域所对应的部位相接触。
S4b,识别相接触的部位。具体可以在识别出特定区域之时对各个特定区域赋予标记,例如对于5个指尖区域,可以分别标记A(拇指)、B(食指)、C(中指)、D(无名指)、E(小指)5个标记,假设佩戴者拇指和食指相接触,则相应的指尖区域A和指尖区域B相触。预设动作可以关联上述标记信息,且不同的预设动作关联不同的标记组合。
S5b,根据相接触的部位所关联的标记信息执行预设动作,可以预先存储若干控制指令,每一个控制指令关联不同的预设动作。即在忽略接触时间等因素的情况下,直接根据特定区域的标记确定控制指令,进而执行预设动作。
在一个具体的实施例中,假设需要在大拇指分别与其他四个指头进行接触时进行判定,以分别输出四个不同的信号。因而,需要判定大拇指同何手指进行接触。判定时,首先依据手指模型判定图像中的四个手指尖,即由水平方向决定的手指顺序(小指、无名指、中指、食指)。然后依据输入的视频图像,检测手指运动位置的变化以及图像中的手指数量。若检测出两手指位置“相撞”且保持一定时间,同时还可以参考图像中剩余手指个数产生变化(认为手指间点击会造成图像中可识别的指尖个数减少),则 认为产生了点击动作。
根据上述手势动作控制方法,通过在手部图像中识别出各个特定区域,可实现将三维空间中的人体手部部位转化为二维画面中的区域,然后通过对二维画面中区域的位置和距离的判断,即可识别手部部位相接触的手势动作,然后进一步对相接触的部位进行判断,根据不同的部位接触组合实现各种对智能手表的控制操作,本方案对硬件性能的要求较低、数据计算量较小,其便利性和实用性较强。
实施例5
为了实现更多复杂的控制,可将实施例3、4结合,即可以同时根据上述接触持续时间、接触次数、部位接触组合来确定预设动作。具体地,本实施提供一种手势动作控制方法,如图10所示,该方法包括:
S1c,获取手部图像;
S2c,在所述手部图像中识别出各个手部特定区域;
S3c,监测所识别出的手部特定区域的位置,当至少2个手部特定区域之间的距离小于预设阈值时,判定所述至少2个手部特定区域所对应的部位相接触;
S4c,识别相接触的部位;
S5c,记录相接触的部位的接触时间和/或预设时间内的接触次数;
S6c,根据相接触的部位手指的接触时间和/或预设时间内的接触次数以及相接触的部位手指所关联的标记信息执行预设动作。
由此,在考虑接触时间和/或预设时间内的接触次数的基础上,还可以同时考虑相接触的部位所关联的标记,例如,预设动作“向右翻页”可关联指尖区域A和指尖区域B、以及预设接触时间1s;预设动作“向右跳转到最终页面”可关联指尖区域A和指尖区域B、以及预设接触时间2s,假设当佩戴者的拇指和食指相触时,再通过对接触时间进行判断,即可确定执行“向右翻页”或“向右跳转到最终页面”。
上述优选方案在判断出接触时间和接触次数的基础上,进一步对特定 区域的组合接触情况进行判断,从而根据判断结果执行更多不同的预设动作,该方案可以使智能腕表腕式设备支持更丰富的手势控制动作。
实施例6
本实用新型提供一种手势动作识别装置,如图11所示该装置包括:获取单元101,用于获取手部图像;特征识别单元102,用于在所述手部图像中识别出各个手部特定区域;判定单元103,用于监测所识别出的手部特定区域的位置,当至少2个手部特定区域之间的距离小于预设阈值时,判定所述至少2个手部特定区域所对应的部位相接触。
上述手势动作识别装置通过在手部图像中识别出各个特定区域,可实现将三维空间中的人体手部部位转化为二维画面中的区域,然后通过对二维画面中区域的位置和距离的判断,即可识别佩戴者手部部位相接触的手势动作。由此可见,本实用新型不需要使用高性能的硬件对人体手部进行三维建模,仅通过手部的二维图像即可判断手部的动作,由此可以降低对硬件性能的要求,并且数据计算量较小本方法更易于实现,且实用性更强。
如实施例2所述,上述手部特定区域可优选为指尖区域。
优选地,所述特征识别单元102包括:
背景去除子单元,用于从所述手部图像中去除前景和/或背景图像;
轮廓识别子单元,用于在去除了背景图像后的手部图像中识别手部轮廓;
指尖识别子单元,用于根据所述手部轮廓的曲率识别出指尖区域。
上述优选方案的识别效率以及准确性更高。
优选地,所述背景去除子单元可以包括:
色彩空间转换单元,用于对所述手部图像进行色彩空间转换处理;
二值化单元,用于对经过色彩空间转换处理后的手部图像进行二值化处理;
背景去除单元,用于在经过二值化处理后的手部图像中去除前景和/或背景图像。
上述优选方案可以进一步提高识别指尖区域的准确性。
优选地,所述背景去除子单元可以包括:
深度值获取子单元,用于获取所述手部图像中各个像素点的深度值;
图像确定子单元,用于将所述各个像素点的深度值与预设深度范围值进行比较,以从所述手部图像中确定手指图像、前景和/或背景图像;
图像去除子单元,用于去除所述前景和/或背景图像。
上述优选方案根据景深信息将前景和背景图像均去除掉,只保留手指前部的景象,在该景象中进一步识别指尖区域,由此可进一步提高识别效率。
实施例7
本实用新型还提供一种手势动作控制装置,如图12所示该装置包括:获取单元111,用于获取手部图像;特征识别单元112,用于在所述手部图像中识别出各个手部特定区域;判定单元113,用于监测所识别出的手部特定区域的位置,当至少2个手部特定区域之间的距离小于预设阈值时,判定所述至少2个手部特定区域所对应的部位相接触;记录单元114,用于记录相接触的部位的接触时间和/或预设时间内的接触次数;
执行单元115,用于根据相接触的部位的接触时间和/或预设时间内的接触次数执行预设动作。
上述手势动作控制装置通过在手部图像中识别出各个特定区域,可实现将三维空间中的人体手部部位转化为二维画面中的区域,然后通过对二维画面中的区域的位置和距离的判断,即可识别佩戴者手部部位相接触的手势动作,然后进一步根据手部部位相接触的持续时间以及一定时间内的接触次数,实现对智能手表的控制,本方案对硬件性能的要求较低、数据计算量较小,其便利性和实用性较强。
优选地,所述执行单元115包括:判定子单元,用于判断相接触的部位的接触持续时间是否达到第一预设时间;第一执行子单元,用于当达到第一预设时间时,执行第一预设动作,当未达到第一预设时间时,执行与所述第一预设动作不同的第二预设动作。上述优选方案可实现对短接触和 长接触进行判断,从而根据判断结果执行不同的预设动作,该方案可以使智能腕式设备支持更丰富的手势控制动作。
优选地,所述执行单元115包括:统计子单元,用于统计第二预设时间内所述部位的接触次数;第二执行子单元,执行与接触次数相关联的预设动作。上述优选方案可实现对多次连击的次数进行统计,从而根据统计结果执行不同的预设动作,该方案可以使智能腕式设备支持更丰富的手势控制动作。
优选地,还包括:部位识别单元,用于识别相接触的部位;所述执行单元用于根据相接触的部位的接触时间和/或预设时间内的接触次数以及相接触的部位所关联的标记信息执行预设动作。
上述优选方案在判断出接触时间和接触次数的基础上,进一步对特定区域的组合接触情况进行判断,从而根据判断结果执行更多不同的预设动作,该方案可以使智能腕表腕式设备支持更丰富的手势控制动作。
实施例8
本实用新型还提供另一种手势动作控制装置,如图13所示该装置包括:获取单元121,用于获取手部图像;特征识别单元122,用于在所述手部图像中识别出各个手部特定区域;判定单元123,用于监测所识别出的手部特定区域的位置,当至少2个手部特定区域之间的距离小于预设阈值时,判定所述至少2个手部特定区域所对应的部位相接触;部位识别单元124,用于识别相接触的部位;执行单元125,用于根据相接触的部位所关联的标记信息执行预设动作。
上述手势动作控制装置通过在手部图像中识别出各个特定区域,可实现将三维空间中的人体手部部位转化为二维画面中的区域,然后通过对二维画面中区域的位置和距离的判断,即可识别手部部位相接触的手势动作,然后进一步对相接触的部位进行判断,根据不同的部位接触组合实现各种对智能手表的控制操作,本方案对硬件性能的要求较低、数据计算量较小,其便利性和实用性较强。
优选地,还包括:记录单元,用于记录相接触的部位的接触时间和/或 预设时间内的接触次数;所述执行单元用于根据相接触的部位的接触时间和/或预设时间内的接触次数以及相接触的部位所关联的标记信息执行预设动作。
上述优选方案在识别出不同的特定区域的组合接触情况的基础上,进一步对接触时间和接触次数进行判断,从而根据判断结果执行更多不同的预设动作,该方案可以使智能腕表支持更丰富的手势控制动作。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本实用新型创造的保护范围之中。
Claims (5)
1.一种腕式设备,包括表盘和表带,其特征在于,还包括:
摄像装置,设置在所述表带上,用于沿佩戴者手腕向手心方向采集佩戴者手部图像;
处理器,设置在所述表盘处,与所述摄像装置通过设置在所述表带内的连接部件连接,用于接收所采集的手部图像,并对所述手部图像进行处理。
2.根据权利要求1所述的腕式设备,其特征在于,所述连接部件为柔性电路板。
3.根据权利要求1所述的腕式设备,其特征在于,所述处理器用于在所述手部图像中识别出各个手部特定区域,监测所识别出的手部特定区域的位置,当至少2个手部特定区域之间的距离小于预设阈值时,判定所述至少2个手部特定区域所对应的部位相接触。
4.根据权利要求1所述的腕式设备,其特征在于,所述处理器用于在所述手部图像中识别出各个手部特定区域;监测所识别出的手部特定区域的位置,当至少2个手部特定区域之间的距离小于预设阈值时,判定所述至少2个手部特定区域所对应的部位相接触;根据相接触的部位的接触时间和/或预设时间内的接触次数执行预设动作。
5.根据权利要求1所述的腕式设备,其特征在于,所述处理器用于在所述手部图像中识别出各个手部特定区域;监测所识别出的手部特定区域的位置,当至少2个手部特定区域之间的距离小于预设阈值时,判定所述至少2个手部特定区域所对应的部位相接触;识别相接触的部位;根据相接触的部位所关联的标记信息执行预设动作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201521138934.8U CN205608659U (zh) | 2015-12-31 | 2015-12-31 | 一种腕式设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201521138934.8U CN205608659U (zh) | 2015-12-31 | 2015-12-31 | 一种腕式设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN205608659U true CN205608659U (zh) | 2016-09-28 |
Family
ID=56959919
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201521138934.8U Expired - Fee Related CN205608659U (zh) | 2015-12-31 | 2015-12-31 | 一种腕式设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN205608659U (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017113794A1 (zh) * | 2015-12-31 | 2017-07-06 | 北京体基科技有限公司 | 手势动作识别方法、控制方法和装置以及腕式设备 |
CN106997584A (zh) * | 2017-04-12 | 2017-08-01 | 哈尔滨理工大学 | 一种雾霾天气图像增强方法 |
-
2015
- 2015-12-31 CN CN201521138934.8U patent/CN205608659U/zh not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017113794A1 (zh) * | 2015-12-31 | 2017-07-06 | 北京体基科技有限公司 | 手势动作识别方法、控制方法和装置以及腕式设备 |
CN106997584A (zh) * | 2017-04-12 | 2017-08-01 | 哈尔滨理工大学 | 一种雾霾天气图像增强方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106933340A (zh) | 手势动作识别方法、控制方法和装置以及腕式设备 | |
CN101583924B (zh) | 多点触摸输入辨别 | |
CN104090659B (zh) | 基于人眼图像和视线追踪的操作指针指示控制设备 | |
US20150323998A1 (en) | Enhanced user interface for a wearable electronic device | |
CN108037821B (zh) | 一种用于手势识别的可穿戴掌带 | |
Kim et al. | Quantitative evaluation of a low-cost noninvasive hybrid interface based on EEG and eye movement | |
CN103995621B (zh) | 一种穿戴式触控装置和穿戴式触控方法 | |
Jiang et al. | Pupil responses to continuous aiming movements | |
CN107874739A (zh) | 眼底图像捕获系统 | |
CN101344816A (zh) | 基于视线跟踪和手势识别的人机交互方法及装置 | |
CN105068646B (zh) | 终端的控制方法和系统 | |
CN103324284A (zh) | 基于人脸和眼部检测的鼠标控制方法 | |
CN103995595A (zh) | 一种基于手势的游戏体感控制方法 | |
CN205608659U (zh) | 一种腕式设备 | |
CN109656493A (zh) | 控制方法及装置 | |
KR101571848B1 (ko) | 뇌전도 및 눈동자 움직임 기반 하이브리드형 인터페이스 장치 및 이의 제어 방법 | |
CN104808776A (zh) | 检测头戴式智能设备持续附着在人体上的装置和方法 | |
CN106933341B (zh) | 一种在图像中确定手指所处区域的方法、装置及腕式设备 | |
CN106681509A (zh) | 界面操作的方法和系统 | |
CN104809371A (zh) | 判断头戴式智能设备的鉴权信息有效性的装置和方法 | |
CN107450672B (zh) | 一种高识别率的腕式智能装置 | |
CN109343694A (zh) | 一种用于猜拳划拳游戏的手势识别系统和方法 | |
CN202235300U (zh) | 眼球运动监测设备 | |
CN104375631A (zh) | 一种基于移动终端的非接触式交互方法 | |
Everitt et al. | EEG electrode localization with 3D iPhone scanning using point-cloud electrode selection (PC-ES) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160928 |