CN106933340B - 手势动作识别方法、控制方法和装置以及腕式设备 - Google Patents
手势动作识别方法、控制方法和装置以及腕式设备 Download PDFInfo
- Publication number
- CN106933340B CN106933340B CN201511030898.8A CN201511030898A CN106933340B CN 106933340 B CN106933340 B CN 106933340B CN 201511030898 A CN201511030898 A CN 201511030898A CN 106933340 B CN106933340 B CN 106933340B
- Authority
- CN
- China
- Prior art keywords
- hand
- image
- contact
- preset
- preset time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 210000000707 wrist Anatomy 0.000 title claims abstract description 34
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 230000009471 action Effects 0.000 claims description 91
- 238000012545 processing Methods 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 210000003811 finger Anatomy 0.000 description 51
- 210000003491 skin Anatomy 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 210000003813 thumb Anatomy 0.000 description 8
- 239000003086 colorant Substances 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 210000004207 dermis Anatomy 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 210000002615 epidermis Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 2
- 210000004932 little finger Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005059 dormancy Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种手势动作识别方法、控制方法和装置以及腕式设备，所述手势动作识别方法包括：获取手部图像；在所述手部图像中识别出各个手部特定区域；监测所识别出的手部特定区域的位置，当至少2个手部特定区域之间的距离小于预设阈值时，判定所述至少2个手部特定区域所对应的部位相接触。
Description
技术领域
本发明涉及智能穿戴设备技术领域，具体涉及手势动作识别方法、控制方法和装置以及腕式设备。
背景技术
随着软硬件相关科技的快速发展，腕式智能装置，如智能手表，智能手环等的集成度越来越高，功能越来越丰富，很大比例的手机功能可以通过智能手表，智能手环实现，大大简化用户接收和传递信息的方法。但和传统智能手机比较，腕式智能装置受限于小尺寸显示屏幕，一方面，使用者在使用时无法很好地利用触屏或者按键完成相关功能的操作，易造成误操作，另一方面，当智能手表佩戴在一只手上时，要对其进行操作，除了唤醒，休眠等简单操作不需要另一只手操作外，其余的较为复杂的操作都有另一只手完成，无法使用单手独立对智能手表进行操作，因此，智能手表在内容显示和操作上仍存在很大的缺陷。
针对上述问题，中国专利申请CN104756045A公开了一种用于对计算设备进行基于姿势的控制的可佩戴感测设备，所述可佩戴感测设备包括：相机，所述相机用于捕捉所述感测设备的佩戴者的身体的由关节连接的部位的图像；跟踪模块，所述跟踪模块被安排成使用捕捉到的图像来实时地跟踪所述由关节连接的身体部位的3D的由关节连接的模型，而无需在所述由关节连接的身体部位上佩戴标记；通信接口，所述通信接口被安排成将跟踪到的3D的由关节连接的模型发送给计算设备，以便根据所述由关节连接的身体部位的3D关节连接来控制所述计算设备。该设备可以对佩戴者的手部进行3D建模，然后利用3D模型反映佩戴者手部动作，根据手部动作实现对设备的控制。但是该设备所采用的3D建模操作需要依赖诸如上述摄像机和跟踪模块等多个比较复杂的辅助设备，该方案对硬件性能的要求较高，功耗较大，并且该设备便携性较差。
发明内容
因此，本发明要解决的技术问题在于现有技术中的腕式设备控制方案对硬件设备性能要求高且功耗大。
有鉴于此，本发明提供一种手势动作识别方法，包括：获取手部图像；在所述手部图像中识别出各个手部特定区域；监测所识别出的手部特定区域的位置，当至少2个手部特定区域之间的距离小于预设阈值时，判定所述至少2个手部特定区域所对应的部位相接触。
本发明还提供一种手势动作控制方法，包括：获取手部图像；在所述手部图像中识别出各个手部特定区域；监测所识别出的手部特定区域的位置，当至少2个手部特定区域之间的距离小于预设阈值时，判定所述至少2个手部特定区域所对应的部位相接触；记录相接触的部位的接触时间和/或预设时间内的接触次数；根据相接触的部位的接触时间和/或预设时间内的接触次数执行预设动作。
优选地，所述根据相接触的部位的接触时间执行预设动作，包括：判断相接触的部位的接触持续时间是否达到第一预设时间；当达到第一预设时间时，执行第一预设动作，当未达到第一预设时间时，执行与所述第一预设动作不同的第二预设动作。
优选地，所述根据相接触的部位预设时间内的接触次数执行预设动作，包括：统计第二预设时间内所述部位的接触次数；执行与接触次数相关联的预设动作。
优选地，还包括：识别相接触的部位；所述根据相接触的部位的接触时间和/或预设时间内的接触次数执行预设动作包括：根据相接触的部位的接触时间和/或预设时间内的接触次数以及相接触的部位所关联的标记信息执行预设动作。
本发明还提供另一种手势动作控制方法，包括：获取手部图像；在所述手部图像中识别出各个手部特定区域；监测所识别出的手部特定区域的位置，当至少2个手部特定区域之间的距离小于预设阈值时，判定所述至少2个手部特定区域所对应的部位相接触；识别相接触的部位；根据相接触的部位所关联的标记信息执行预设动作。
优选地，还包括：记录相接触的部位的接触时间和/或预设时间内的接触次数；所述根据相接触的部位所关联的标记信息执行预设动作包括：根据相接触的部位的接触时间和/或预设时间内的接触次数以及相接触的部位所关联的标记信息执行预设动作。
优选地，所述手部特定区域是指尖区域。
优选地，所述在所述手部图像中识别出手部特定区域，包括：从所述手部图像中去除前景和/或背景图像；在去除了背景图像后的手部图像中识别手部轮廓；根据所述手部轮廓的曲率识别出指尖区域。
优选地，所述从所述手部图像中去除前景和/或背景图像，包括：对所述手部图像进行色彩空间转换处理；对经过色彩空间转换处理后的手部图像进行二值化处理；在经过二值化处理后的手部图像中去除前景和/或背景图像。
优选地，所述从所述手部图像中去除前景和/或背景图像，包括：获取所述手部图像中各个像素点的深度值；将所述各个像素点的深度值与预设深度范围值进行比较，以从所述手部图像中确定手指图像、前景和/或背景图像；去除所述前景和/或背景图像。
相应地，本发明提供一种手势动作识别装置，包括：获取单元，用于获取手部图像；特征识别单元，用于在所述手部图像中识别出各个手部特定区域；判定单元，用于监测所识别出的手部特定区域的位置，当至少2个手部特定区域之间的距离小于预设阈值时，判定所述至少2个手部特定区域所对应的部位相接触。
本发明还提供一种手势动作控制装置，包括：获取单元，用于获取手部图像；特征识别单元，用于在所述手部图像中识别出各个手部特定区域；判定单元，用于监测所识别出的手部特定区域的位置，当至少2个手部特定区域之间的距离小于预设阈值时，判定所述至少2个手部特定区域所对应的部位相接触；记录单元，用于记录相接触的部位的接触时间和/或预设时间内的接触次数；执行单元，用于根据相接触的部位的接触时间和/或预设时间内的接触次数执行预设动作。
优选地，所述执行单元包括：判定子单元，用于判断相接触的部位的接触持续时间是否达到第一预设时间；第一执行子单元，用于当达到第一预设时间时，执行第一预设动作，当未达到第一预设时间时，执行与所述第一预设动作不同的第二预设动作。
优选地，所述执行单元包括：统计子单元，用于统计第二预设时间内所述部位的接触次数；第二执行子单元，执行与接触次数相关联的预设动作。
优选地，还包括：部位识别单元，用于识别相接触的部位；所述执行单元用于根据相接触的部位的接触时间和/或预设时间内的接触次数以及相接触的部位所关联的标记信息执行预设动作。
本发明还提供另一种手势动作控制装置，包括：获取单元，用于获取手部图像；特征识别单元，用于在所述手部图像中识别出各个手部特定区域；判定单元，用于监测所识别出的手部特定区域的位置，当至少2个手部特定区域之间的距离小于预设阈值时，判定所述至少2个手部特定区域所对应的部位相接触；部位识别单元，用于识别相接触的部位；执行单元，用于根据相接触的部位所关联的标记信息执行预设动作。
优选地，还包括：记录单元，用于记录相接触的部位的接触时间和/或预设时间内的接触次数；所述执行单元用于根据相接触的部位的接触时间和/或预设时间内的接触次数以及相接触的部位所关联的标记信息执行预设动作。
优选地，所述手部特定区域是指尖区域。
优选地，所述特征识别单元包括：背景去除子单元，用于从所述手部图像中去除前景和/或背景图像；轮廓识别子单元，用于在去除了背景图像后的手部图像中识别手部轮廓；指尖识别子单元，用于根据所述手部轮廓的曲率识别出指尖区域。
优选地，所述背景去除子单元包括：色彩空间转换单元，用于对所述手部图像进行色彩空间转换处理；二值化单元，用于对经过色彩空间转换处理后的手部图像进行二值化处理；背景去除单元，用于在经过二值化处理后的手部图像中去除前景和/或背景图像。
优选地，所述背景去除子单元包括：深度值获取子单元，用于获取所述手部图像中各个像素点的深度值；图像确定子单元，用于将所述各个像素点的深度值与预设深度范围值进行比较，以从所述手部图像中确定手指图像、前景和/或背景图像；图像去除子单元，用于去除所述前景和/或背景图像。
本发明还提供一种腕式设备，包括：摄像装置，用于沿佩戴者手腕向手心方向采集佩戴者手部图像；处理器，用于接收所采集的手部图像，并对所述手部图像进行处理。
优选地，所述处理器利用上述方法以所述摄像装置采集的手部图像识别手势动作。
优选地，所述处理器利用上述方法以所述摄像装置采集的手部图像进行手势动作控制。
优选地，所述腕式设备为智能手表，所述摄像装置设置在表带上，所述处理器设置在表盘处，所述摄像装置与所述处理器通过设置在表带内的连接部件连接。
根据上述手势动作识别方法及装置，通过在手部图像中识别出各个特定区域，可实现将三维空间中的人体手部部位转化为二维画面中的区域，然后通过对二维画面中区域的位置和距离的判断，即可识别佩戴者手部部位相接触的手势动作。由此可见，本发明不需要使用高性能的硬件对人体手部进行三维建模，仅通过手部的二维图像即可判断手部的动作，由此可以降低对硬件性能的要求，并且数据计算量较小本方法更易于实现，且实用性更强。
根据上述第一种手势动作控制方法及装置，通过在手部图像中识别出各个特定区域，可实现将三维空间中的人体手部部位转化为二维画面中的区域，然后通过对二维画面中的区域的位置和距离的判断，即可识别佩戴者手部部位相接触的手势动作，然后进一步根据手部部位相接触的持续时间以及一定时间内的接触次数，实现对智能手表的控制，本方案对硬件性能的要求较低、数据计算量较小，其便利性和实用性较强。
根据上述第二种手势动作控制方法及装置，通过在手部图像中识别出各个特定区域，可实现将三维空间中的人体手部部位转化为二维画面中的区域，然后通过对二维画面中区域的位置和距离的判断，即可识别手部部位相接触的手势动作，然后进一步对相接触的部位进行判断，根据不同的部位接触组合实现各种对智能手表的控制操作，本方案对硬件性能的要求较低、数据计算量较小，其便利性和实用性较强。
上述腕式设备可利用其摄像装置沿佩戴者手腕向手心方向采集佩戴者手部图像，其采集的图像可以展现出用户手指的影像，然后其处理器可对手部图像进行分析判断等处理，通过手部图像识别出用户的手势动作，进而可实现对设备的控制。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的腕式设备的结构示意图；
图2为本发明实施例提供的智能手表的摄像装置所采集的手部图像；
图3为本发明实施例提供的智能手表的结构示意图；
图4为本发明实施例提供的手势动作识别方法的流程图；
图5为利用本发明实施例提供的手势动作识别方法识别出的指尖区域示意图；
图6为利用本发明实施例提供的手势动作识别方法对图2所示图像进行转换后的示意图；
图7为利用本发明实施例提供的手势动作识别方法对图5所示图像进行转换后的示意图；
图8为本发明实施例提供的一种手势动作控制方法的流程图；
图9为本发明实施例提供的另一种手势动作控制方法的流程图；
图10为本发明实施例提供的第三种手势动作控制方法的流程图；
图11为本发明实施例提供的手势动作识别装置的结构图；
图12为本发明实施例提供的一种手势动作控制装置的结构图；
图13为本发明实施例提供的另一种手势动作控制装置的结构图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供一种智能腕式设备，如图1所示，该设备包括：
摄像装置11，用于沿佩戴者手腕向手心方向采集佩戴者手部图像，针对不同种类的腕式设备，摄像装置11的设置方式不同，但其与佩戴者手臂的角度是比较固定的。按此方式设置的摄像装置11可采集到如图2所示的手部图像。
处理器12，用于接收并对手部图像进行处理，处理器12可以对图像进行多种处理，例如在图像中识别手部动作、根据图像反映出的手部动作对设备进行控制等，具体将在后续实施例中进行详细介绍。
上述设备可利用其摄像装置11沿佩戴者手腕向手心方向采集佩戴者手部图像，其采集的图像可以展现出用户手指的影像，然后其处理器12可对手部图像进行分析判断等处理，通过手部图像识别出用户的手势动作，进而可实现对设备的控制。
上述腕式设备可以是智能手表，摄像装置11可设置在表盘处，如此设置则需使用者将表盘佩戴在手腕内侧，这显然不符合一般的佩戴习惯，所以作为一个优选的实施方式，如图3所示上述摄像装置11可设置在表带上，用户佩戴手表时使摄像装置11贴在手腕内侧朝向手部，其角度和方向恰好可拍到手指，此结构不需要用户调整摄像装置11的位置，便于用户佩戴。处理器12作为智能手表的处理核心，可设置在表盘处，摄像装置11与所述处理器12的连接部件设置在所述表带内，该连接部件可以是柔性电路板。
实施例2
本发明实施例提供一种手势动作识别方法，该方法可以由实施例1中的处理器12执行，如图4所示该方法包括如下步骤：
S1，获取手部图像，该图像可以是由实施例1中的摄像装置11采集到的图像。
S2，在手部图像中识别出各个手部特定区域。在这里，特定区域可以是各个手指、手掌、各个指尖等各种部位对应的区域。
具体地，可以根据图像中的手部皮肤纹路对手掌、手指进行识别，也可以根据图像中的手部轮廓对手指、指尖进行识别。并且在识别前还可以图像进行预处理，例如首先对图像进行色彩空间转换处理，以区分出手部与背景，然后识别手部，最终根据轮廓、皮肤纹路特征识别特定区域。本领域技术人员可以理解，识别指定目标的方法有多种，例如可以根据线条的特点进行识别，或者利用神经网络模型等方式进行识别都是可行的。其中，以指尖为例，可以识别出的指尖区域可以是如图5所示的像素区域，即在每个指尖的位置都可以捕捉到一个像素区域。
S3，监测所识别出的手部特定区域的位置，当至少2个手部特定区域之间的距离小于预设阈值时，判定所述至少2个手部特定区域所对应的部位相接触。具体地，各个特定区域都有一组二维坐标值，随着佩戴者手部的活动，上述各个区域会发生移动，由此各个特定区域的坐标值会实时放生变化。以2个手指的指尖为例，当佩戴者的2个手指(例如拇指和食指)的指尖相互靠近时，相应的指尖区域会相互靠近，当该2个指尖区域之间的距离小于预设阈值时(预设阈值可以为0)，则判定佩戴者的2个手指相接触。需要说明的是，本发明并不限于监测2个指尖区域的接触动作，监测更多的指尖区域相接处的动作都是可行的(例如拇指、食指和中指3手指相接触于一点的动作)。之后，可以通过接触事件进一步实现各种操作，接触事件例如可以用于控制智能手表，以接触事件来触发手表的各种功能。
根据上述手势动作识别方法，通过在手部图像中识别出各个特定区域，可实现将三维空间中的人体手部部位转化为二维画面中的区域，然后通过对二维画面中区域的位置和距离的判断，即可识别佩戴者手部部位相接触的手势动作。由此可见，本发明不需要使用高性能的硬件对人体手部进行三维建模，仅通过手部的二维图像即可判断手部的动作，由此可以降低对硬件性能的要求，并且数据计算量较小本方法更易于实现，且实用性更强。
佩戴者所处的环境将影响在图像中识别手部部位的难度，为了便于在图像中识别特定部位，可以对获取到的手部图像进行预处理。并且，从人为操作习惯的角度考虑，指尖相触更适合作为控制操作；从识别难度的角度考虑，指尖部位的特点更突出，更容易被识别。因此，上述手部特定区域优选为各个手指的指尖区域。
作为一个优选的实施方式，上述步骤S2可以包括如下步骤：
S21，从所述手部图像中去除前景和/或背景图像，从图像中确定前景或背景图像的方法有多种，由于人体的皮肤颜色具有一定范围，所以在图像中，手部区域的像素点的RGB值都应当在某一范围内，由此可以根据预设的RGB值范围对图像中的内容进行判断，可筛选出目标图像和背景图像；也可以根据图像的锐度值或深度值对图像中的内容进行判断和去除，现有的去除方法都是可行的。
S22，在去除了前景和/或背景后的手部图像中识别手部轮廓，具体可识别手部区域的边缘即可得到手部轮廓。去除了背景图像后的手部图像中只保留有皮肤区域，可以认为该区域为手的区域。为了识别手指部分，需依据手指的形态特征进行判别。因而，可采用Canny算子提取手部区域的边缘轮廓。Canny算子通过对信噪比与定位乘积进行测度，通过最优化方法进行逼近，得到边缘信息。
具体地址，首先需要对图像进行高斯滤波平滑图像噪声，以减小噪声对检测结果的影响，高斯核函数如下：
然后计算图像灰度值的梯度，即做两个方向的一阶差分。计算每个像素点的梯度幅度及方向：
f′x(x，y)≈Gx＝[f(x+1，y)-f(x，y)+f(x+1，y+1)-f(x，y+1)]/2
f′y(x，y)≈Gy＝[f(x，y+1)-f(x，y)+f(x+1，y+1)-f(x+1，y)]/2；
相应的强度与方向为：
θ[x，y]＝arctan(Gx(x，y)/Gy(x，y))。
得到整个图像中每个点的梯度幅度与方向后，计算局部最大值，保留相应的像素点。最后，根据双阈值计算应该保留的像素点，对于保留下的像素点进行边界追踪，完成边缘提取。S23，根据手部轮廓的曲率识别出指尖区域。得到手指边缘后，可以利用手指形态进行指尖部位的提取。通过对于指尖部分形态的分析可以知道，手指指尖边缘具有曲率突变的情况，即手指两侧线条走向较为一致，而指尖线条弯曲程度较大，且接近180度转弯。
基于上述特性，首先对图像边缘进行采样并矢量化图像边缘线，以形成具有长度与走向统计的特征线。矢量化时，依据像素点间的位置求距离以及一阶差分得到方向走向。然后，计算这些矢量的点乘结果，得到矢量线间的夹角大小。而后，针对所有边缘寻找所有的较直的直线段(例如平均夹角不大于25度)。按顺序排列这些直线段，计算直线段间曲线段的走向变化，例如将走向变化大于140度，且距离大于一定阈值，则判定为相应的指尖。去除相应噪声以及重复的结果，判定为指尖部位。上述优选方案的识别效率以及准确性更高。
由于佩戴者所处的环境可能比较复杂，由此可能给背景图像的去除操作带来一定难度，为解决此问题，上述步骤S21可进一步包括如下子步骤：
S211a，对手部图像进行色彩空间转换处理，人体皮肤由真皮层和覆盖其上的较薄的表皮层构成，光在表皮层中被黑色素吸收，而在真皮层中则同时发生吸收和散射。不同个体的肤色差异主要表现为由表皮层中黑色素的浓度不同所引起的亮度变化，其真皮层光学特性则基本相同，而且同种族的个体肤色具有较强的共性，并明显区别于大多数背景颜色，在颜色空间中形成一个小而紧致的聚簇。因而，基于颜色进行皮肤的检测是可行的。
进行肤色检测需要选择恰当的彩色空间，在此空间中肤色能团簇、聚合在一起，并且与非肤色的重叠部分要尽可能少。摄像头采集的图像是RGB图像，在RGB彩色空间中，肤色与非肤色的重叠部分较多，且会受亮度的影响严重；在HSV彩色空间中由于色调、色饱和度及亮度很好的分离，与非肤色点重叠的较少；在YCbCr彩色空间中的CbCr子空间上，肤色很好的聚集在一个类椭圆范围内，而且在Cb、Cr分量上的分布也比较集中。因此，将手部图像由RGB空间转换为YCbCr彩色空间或HSV彩色空间都是可行的。
RGB至HSV的转换公式为：
RGB至YCbCr的转换公式为：
Y＝0.257R′+0.504G′+0.098B′+16
Cb＝-0.148R′-0.291G′+0.439B′+128
Cr＝0.439R′-0.368G′-0.071B′+128。
经过转换，可将如图2所示的图像处理为如图6所示的图像。色彩空间转换的方法有多种，利用现有的转换方法都是可行的。
S212a，对经过色彩空间转换处理后的手部图像进行二值化处理，经过转换，可将如图6所示的图像转换为如图7所示的只有黑白两种颜色的线条图；
S213a，在经过二值化处理后的手部图像中去除背景图像。
上述优选方案可以进一步提高识别指尖区域的准确性。
作为另一个优选的实施方式，上述步骤S21可以包括如下步骤：
S211b，获取所述手部图像中各个像素点的深度值；
S212b，将所述各个像素点的深度值与预设深度范围值进行比较，以从所述手部图像中确定手指图像、前景和/或背景图像。
由于腕式设备的特殊性，需成像的手指部分距离摄像装置约为10-15cm左右，因此摄像装置的对焦点可以是固定的，仅需保证10-15cm内的对焦清晰即可；同时，成像范围内的其他物体(前景和背景)通常距离手部较近或较远，不在10-15cm距离范围内，因此前景和背景失焦，通过模糊度的算法可以容易的分辨前背景。由此即可判断出距离摄像装置11过近的内容(前景图像)和距离摄像装置11过远的内容(背景图像)。
S213b，去除所述前景和/或背景图像，。
上述优选方案根据景深信息将前景和背景图像均去除掉，只保留手指前部的景象，在该景象中进一步识别指尖区域，由此可进一步提高识别效率。
实施例3
本发明实施例提供一种手势动作控制方法，该方法可以由实施例1中的处理器12执行，如图8所示，该方法包括如下步骤：
S1a，获取手部图像；
S2a，在所述手部图像中识别出各个手部特定区域；
S3a，监测所识别出的手部特定区域的位置，当至少2个手部特定区域之间的距离小于预设阈值时，判定所述至少2个手部特定区域所对应的部位相接触。
S4a，记录相接触的部位的接触时间和/或预设时间内的接触次数。具体地，以2个相接触的手指(拇指和食指)为例，当相接触时，处理器12可记录当前接触的持续时间；还可以记录前后两次接触的间隔时间，进一步统计预定时间内的接触次数。
S5a，根据相接触的部位的接触时间和/或预设时间内的接触次数执行预设动作。可以预先存储若干控制指令，每一个控制指令关联时间信息和/或次数信息。由此，可以根据所记录的接触时间和/或接触次数与预存控制指令的关联关系确定一个控制指令，然后执行该指令实现预设动作。预设动作可以有多种，例如关机、在软件界面中的选中、退出、选择等，每一种预设动作都可以关联唯一的接触时间和/或预设时间内的接触次数。例如，单次手指相接触时间超过3s，可控制设备关机、0.5s内手指相接触2次，可在设备界面中执行选定操作。此外，对接触时间进行判断还可以有效的避免误操作的情况发生。
根据上述手势动作控制方法，通过在手部图像中识别出各个特定区域，可实现将三维空间中的人体手部部位转化为二维画面中的区域，然后通过对二维画面中的区域的位置和距离的判断，即可识别佩戴者手部部位相接触的手势动作，然后进一步根据手部部位相接触的持续时间以及一定时间内的接触次数，实现对智能手表的控制，本方案对硬件性能的要求较低、数据计算量较小，其便利性和实用性较强。
如上所述，步骤S5a可分为三种情况，分别为只考虑接触时间的情况、只考虑接触次数的情况和同时考虑上述两种因素的情况。
对于只考虑接触时间的情况，上述S5a可包括：
S51a，判断相接触的部位的接触持续时间是否达到第一预设时间；
S52a，当达到第一预设时间时，执行第一预设动作，当未达到第一预设时间时，执行与所述第一预设动作不同的第二预设动作。例如短接触是“选中”动作、长接触是“退出”动作，由此可根据接触时间进行不同的控制动作。
上述优选方案可实现对短接触和长接触进行判断，从而根据判断结果执行不同的预设动作，该方案可以使智能腕式设备支持更丰富的手势控制动作。
对于只考接触次数的情况，上述S5a可包括：
S51b，统计第二预设时间内所述部位的接触次数，具体可以在当前接触动作完毕后开始记录时间，直到下一次接触动作出现，判断间隔时间是否小于第二预设时间，之后还可能有更多次的接触，即n秒内的双击、三连击等操作都是可以被统计到的。
S52b，执行与接触次数相关联的预设动作。例如单击是“选中”动作、双击是“退出”动作，由此可根据接触次数进行不同的控制动作。
上述优选方案可实现对多次连击的次数进行统计，从而根据统计结果执行不同的预设动作，该方案可以使智能腕式设备支持更丰富的手势控制动作。
实际应用中还可以同时考虑上述两种因素，上述两种因素的组合方式很多，由此可以提供更多的手势动作，从而关联更多的预设动作，进一步提高控制操作的丰富性。
实施例4
本发明实施例提供另一种手势动作控制方法，与实施例3的区别在于本实施例通过不同的指尖区域的组合接触情况,来确定预设动作。如图9所示，该方法包括如下步骤：
S1b，获取手部图像；
S2b，在手部图像中识别出各个手部特定区域；
S3b，监测所识别出的手部特定区域的位置，当至少2个手部特定区域之间的距离小于预设阈值时，判定至少2个手部特定区域所对应的部位相接触。
S4b,识别相接触的部位。具体可以在识别出特定区域之时对各个特定区域赋予标记，例如对于5个指尖区域，可以分别标记A(拇指)、B(食指)、C(中指)、D(无名指)、E(小指)5个标记，假设佩戴者拇指和食指相接触，则相应的指尖区域A和指尖区域B相触。预设动作可以关联上述标记信息，且不同的预设动作关联不同的标记组合。
S5b,根据相接触的部位所关联的标记信息执行预设动作，可以预先存储若干控制指令，每一个控制指令关联不同的预设动作。即在忽略接触时间等因素的情况下，直接根据特定区域的标记确定控制指令，进而执行预设动作。
在一个具体的实施例中，假设需要在大拇指分别与其他四个指头进行接触时进行判定，以分别输出四个不同的信号。因而，需要判定大拇指同何手指进行接触。判定时，首先依据手指模型判定图像中的四个手指尖，即由水平方向决定的手指顺序(小指、无名指、中指、食指)。然后依据输入的视频图像，检测手指运动位置的变化以及图像中的手指数量。若检测出两手指位置“相撞”且保持一定时间，同时还可以参考图像中剩余手指个数产生变化(认为手指间点击会造成图像中可识别的指尖个数减少)，则认为产生了点击动作。
根据上述手势动作控制方法，通过在手部图像中识别出各个特定区域，可实现将三维空间中的人体手部部位转化为二维画面中的区域，然后通过对二维画面中区域的位置和距离的判断，即可识别手部部位相接触的手势动作，然后进一步对相接触的部位进行判断，根据不同的部位接触组合实现各种对智能手表的控制操作，本方案对硬件性能的要求较低、数据计算量较小，其便利性和实用性较强。
实施例5
为了实现更多复杂的控制，可将实施例3、4结合，即可以同时根据上述接触持续时间、接触次数、部位接触组合来确定预设动作。具体地，本实施提供一种手势动作控制方法，如图10所示，该方法包括：
S1c，获取手部图像；
S2c，在所述手部图像中识别出各个手部特定区域；
S3c，监测所识别出的手部特定区域的位置，当至少2个手部特定区域之间的距离小于预设阈值时，判定所述至少2个手部特定区域所对应的部位相接触；
S4c，识别相接触的部位；
S5c，记录相接触的部位的接触时间和/或预设时间内的接触次数；
S6c，根据相接触的部位手指的接触时间和/或预设时间内的接触次数以及相接触的部位手指所关联的标记信息执行预设动作。
由此，在考虑接触时间和/或预设时间内的接触次数的基础上，还可以同时考虑相接触的部位所关联的标记，例如，预设动作“向右翻页”可关联指尖区域A和指尖区域B、以及预设接触时间1s；预设动作“向右跳转到最终页面”可关联指尖区域A和指尖区域B、以及预设接触时间2s，假设当佩戴者的拇指和食指相触时，再通过对接触时间进行判断，即可确定执行“向右翻页”或“向右跳转到最终页面”。
上述优选方案在判断出接触时间和接触次数的基础上，进一步对特定区域的组合接触情况进行判断，从而根据判断结果执行更多不同的预设动作，该方案可以使智能腕表腕式设备支持更丰富的手势控制动作。
实施例6
本发明提供一种手势动作识别装置，如图11所示该装置包括：获取单元101，用于获取手部图像；特征识别单元102，用于在所述手部图像中识别出各个手部特定区域；判定单元103，用于监测所识别出的手部特定区域的位置，当至少2个手部特定区域之间的距离小于预设阈值时，判定所述至少2个手部特定区域所对应的部位相接触。
上述手势动作识别装置通过在手部图像中识别出各个特定区域，可实现将三维空间中的人体手部部位转化为二维画面中的区域，然后通过对二维画面中区域的位置和距离的判断，即可识别佩戴者手部部位相接触的手势动作。由此可见，本发明不需要使用高性能的硬件对人体手部进行三维建模，仅通过手部的二维图像即可判断手部的动作，由此可以降低对硬件性能的要求，并且数据计算量较小本方法更易于实现，且实用性更强。
如实施例2所述，上述手部特定区域可优选为指尖区域。
优选地，所述特征识别单元102包括：
背景去除子单元，用于从所述手部图像中去除前景和/或背景图像；
轮廓识别子单元，用于在去除了背景图像后的手部图像中识别手部轮廓；
指尖识别子单元，用于根据所述手部轮廓的曲率识别出指尖区域。
上述优选方案的识别效率以及准确性更高。
优选地，所述背景去除子单元可以包括：
色彩空间转换单元，用于对所述手部图像进行色彩空间转换处理；
二值化单元，用于对经过色彩空间转换处理后的手部图像进行二值化处理；
背景去除单元，用于在经过二值化处理后的手部图像中去除前景和/或背景图像。
上述优选方案可以进一步提高识别指尖区域的准确性。
优选地，所述背景去除子单元可以包括：
深度值获取子单元，用于获取所述手部图像中各个像素点的深度值；
图像确定子单元，用于将所述各个像素点的深度值与预设深度范围值进行比较，以从所述手部图像中确定手指图像、前景和/或背景图像；
图像去除子单元，用于去除所述前景和/或背景图像。
上述优选方案根据景深信息将前景和背景图像均去除掉，只保留手指前部的景象，在该景象中进一步识别指尖区域，由此可进一步提高识别效率。
实施例7
本发明还提供一种手势动作控制装置，如图12所示该装置包括：获取单元111，用于获取手部图像；特征识别单元112，用于在所述手部图像中识别出各个手部特定区域；判定单元113，用于监测所识别出的手部特定区域的位置，当至少2个手部特定区域之间的距离小于预设阈值时，判定所述至少2个手部特定区域所对应的部位相接触；记录单元114，用于记录相接触的部位的接触时间和/或预设时间内的接触次数；
执行单元115，用于根据相接触的部位的接触时间和/或预设时间内的接触次数执行预设动作。
上述手势动作控制装置通过在手部图像中识别出各个特定区域，可实现将三维空间中的人体手部部位转化为二维画面中的区域，然后通过对二维画面中的区域的位置和距离的判断，即可识别佩戴者手部部位相接触的手势动作，然后进一步根据手部部位相接触的持续时间以及一定时间内的接触次数，实现对智能手表的控制，本方案对硬件性能的要求较低、数据计算量较小，其便利性和实用性较强。
优选地，所述执行单元115包括：判定子单元，用于判断相接触的部位的接触持续时间是否达到第一预设时间；第一执行子单元，用于当达到第一预设时间时，执行第一预设动作，当未达到第一预设时间时，执行与所述第一预设动作不同的第二预设动作。上述优选方案可实现对短接触和长接触进行判断，从而根据判断结果执行不同的预设动作，该方案可以使智能腕式设备支持更丰富的手势控制动作。
优选地，所述执行单元115包括：统计子单元，用于统计第二预设时间内所述部位的接触次数；第二执行子单元，执行与接触次数相关联的预设动作。上述优选方案可实现对多次连击的次数进行统计，从而根据统计结果执行不同的预设动作，该方案可以使智能腕式设备支持更丰富的手势控制动作。
优选地，还包括：部位识别单元，用于识别相接触的部位；所述执行单元用于根据相接触的部位的接触时间和/或预设时间内的接触次数以及相接触的部位所关联的标记信息执行预设动作。
上述优选方案在判断出接触时间和接触次数的基础上，进一步对特定区域的组合接触情况进行判断，从而根据判断结果执行更多不同的预设动作，该方案可以使智能腕表腕式设备支持更丰富的手势控制动作。
实施例8
本发明还提供另一种手势动作控制装置，如图13所示该装置包括：获取单元121，用于获取手部图像；特征识别单元122，用于在所述手部图像中识别出各个手部特定区域；判定单元123，用于监测所识别出的手部特定区域的位置，当至少2个手部特定区域之间的距离小于预设阈值时，判定所述至少2个手部特定区域所对应的部位相接触；部位识别单元124，用于识别相接触的部位；执行单元125，用于根据相接触的部位所关联的标记信息执行预设动作。
上述手势动作控制装置通过在手部图像中识别出各个特定区域，可实现将三维空间中的人体手部部位转化为二维画面中的区域，然后通过对二维画面中区域的位置和距离的判断，即可识别手部部位相接触的手势动作，然后进一步对相接触的部位进行判断，根据不同的部位接触组合实现各种对智能手表的控制操作，本方案对硬件性能的要求较低、数据计算量较小，其便利性和实用性较强。
优选地，还包括：记录单元，用于记录相接触的部位的接触时间和/或预设时间内的接触次数；所述执行单元用于根据相接触的部位的接触时间和/或预设时间内的接触次数以及相接触的部位所关联的标记信息执行预设动作。
上述优选方案在识别出不同的特定区域的组合接触情况的基础上，进一步对接触时间和接触次数进行判断，从而根据判断结果执行更多不同的预设动作，该方案可以使智能腕表支持更丰富的手势控制动作。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (14)
1.一种手势动作控制方法，其特征在于，包括：
获取手部图像；
基于所述手部图像中的手部皮肤纹路对手掌、手指进行识别，在所述手部图像中识别出各个手部特定区域，其中，所述手部特定区域至少包括各个手指、手掌、各个指尖对应的区域；
监测所识别出的手部特定区域的位置，当至少2个手部特定区域之间的距离小于预设阈值时，判定所述至少2个手部特定区域所对应的部位相接触；
记录所述至少2个手部特定区域相接触的部位的接触时间和/或预设时间内的接触次数；
判断相接触的部位的接触持续时间是否达到第一预设时间；
当达到第一预设时间时，执行第一预设动作，当未达到第一预设时间时，执行与所述第一预设动作不同的第二预设动作；和/或，
统计第二预设时间内所述部位的接触次数；
执行与接触次数相关联的预设动作。
2.根据权利要求1所述的方法，其特征在于，还包括：识别相接触的部位；
根据相接触的部位的接触时间和/或预设时间内的接触次数执行预设动作包括：根据相接触的部位的接触时间和/或预设时间内的接触次数以及相接触的部位所关联的标记信息执行预设动作。
3.根据权利要求1所述的方法，其特征在于，所述手部特定区域是指尖区域。
4.根据权利要求1所述的方法，其特征在于，所述在所述手部图像中识别出手部特定区域，包括：
从所述手部图像中去除前景和/或背景图像；
在去除了前景和/或背景图像后的手部图像中识别手部轮廓；
根据所述手部轮廓的曲率识别出指尖区域。
5.根据权利要求4所述的方法，其特征在于，所述从所述手部图像中去除前景和/或背景图像，包括：
对所述手部图像进行色彩空间转换处理；
对经过色彩空间转换处理后的手部图像进行二值化处理；
在经过二值化处理后的手部图像中去除前景和/或背景图像。
6.根据权利要求4所述的方法，其特征在于，所述从所述手部图像中去除前景和/或背景图像，包括：
获取所述手部图像中各个像素点的深度值；
将所述各个像素点的深度值与预设深度范围值进行比较，以从所述手部图像中确定手指图像、前景和/或背景图像；
去除所述前景和/或背景图像。
7.一种手势动作控制装置，其特征在于，包括：
获取单元，用于获取手部图像；
特征识别单元，用于基于所述手部图像中的手部皮肤纹路对手掌、手指进行识别，在所述手部图像中识别出各个手部特定区域，其中，所述手部特定区域至少包括各个手指、手掌、各个指尖对应的区域；
判定单元，用于监测所识别出的手部特定区域的位置，当至少2个手部特定区域之间的距离小于预设阈值时，判定所述至少2个手部特定区域所对应的部位相接触；
记录单元，用于记录所述至少2个手部特定区域相接触的部位的接触时间和/或预设时间内的接触次数；
判定子单元，用于判断所述至少2个手部特定区域相接触的部位的接触持续时间是否达到第一预设时间；
第一执行子单元，用于当达到第一预设时间时，执行第一预设动作，当未达到第一预设时间时，执行与所述第一预设动作不同的第二预设动作；
统计子单元，用于统计第二预设时间内所述部位的接触次数；
第二执行子单元，执行与接触次数相关联的预设动作。
8.根据权利要求7所述的装置，其特征在于，还包括：部位识别单元，用于识别相接触的部位；
执行单元用于根据相接触的部位的接触时间和/或预设时间内的接触次数以及相接触的部位所关联的标记信息执行预设动作。
9.根据权利要求7所述的装置，其特征在于，所述手部特定区域是指尖区域。
10.根据权利要求7所述的装置，其特征在于，所述特征识别单元包括：
背景去除子单元，用于从所述手部图像中去除前景和/或背景图像；
轮廓识别子单元，用于在去除了背景图像后的手部图像中识别手部轮廓；
指尖识别子单元，用于根据所述手部轮廓的曲率识别出指尖区域。
11.根据权利要求10所述的装置，其特征在于，所述背景去除子单元包括：
色彩空间转换单元，用于对所述手部图像进行色彩空间转换处理；
二值化单元，用于对经过色彩空间转换处理后的手部图像进行二值化处理；
背景去除单元，用于在经过二值化处理后的手部图像中去除前景和/或背景图像。
12.根据权利要求10所述的装置，其特征在于，所述背景去除子单元包括：
深度值获取子单元，用于获取所述手部图像中各个像素点的深度值；
图像确定子单元，用于将所述各个像素点的深度值与预设深度范围值进行比较，以从所述手部图像中确定手指图像、前景和/或背景图像；
图像去除子单元，用于去除所述前景和/或背景图像。
13.一种腕式设备，其特征在于，包括：
摄像装置，用于沿佩戴者手腕向手心方向采集佩戴者手部图像，摄像装置设置在表带上,且贴在手腕内侧朝向手部；
处理器，用于接收所采集的手部图像，并基于所述手部图像中的手部皮肤纹路对手掌、手指，对所述手部图像进行处理，识别出各个手部特定区域，其中，所述手部特定区域至少包括各个手指、手掌、各个指尖对应的区域；监测所识别出的手部特定区域的位置，当至少2个手部特定区域之间的距离小于预设阈值时，判定所述至少2个手部特定区域所对应的部位相接触；记录所述至少2个手部特定区域相接触的部位的接触时间和/或预设时间内的接触次数；判断相接触的部位的接触持续时间是否达到第一预设时间；当达到第一预设时间时，执行第一预设动作，当未达到第一预设时间时，执行与所述第一预设动作不同的第二预设动作；和/或，统计第二预设时间内所述部位的接触次数；执行与接触次数相关联的预设动作。
14.根据权利要求13所述的腕式设备，其特征在于，所述腕式设备为智能手表，所述摄像装置设置在表带上，所述处理器设置在表盘处，所述摄像装置与所述处理器通过设置在表带内的连接部件连接。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201511030898.8A CN106933340B (zh) | 2015-12-31 | 2015-12-31 | 手势动作识别方法、控制方法和装置以及腕式设备 |
| PCT/CN2016/093226 WO2017113794A1 (zh) | 2015-12-31 | 2016-08-04 | 手势动作识别方法、控制方法和装置以及腕式设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201511030898.8A CN106933340B (zh) | 2015-12-31 | 2015-12-31 | 手势动作识别方法、控制方法和装置以及腕式设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106933340A CN106933340A (zh) | 2017-07-07 |
| CN106933340B true CN106933340B (zh) | 2024-04-26 |
Family
ID=59224445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201511030898.8A Active CN106933340B (zh) | 2015-12-31 | 2015-12-31 | 手势动作识别方法、控制方法和装置以及腕式设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN106933340B (zh) |
| WO (1) | WO2017113794A1 (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107491763A (zh) * | 2017-08-24 | 2017-12-19 | 歌尔科技有限公司 | 基于深度图像的手指区域分割方法及装置 |
| CN107450672B (zh) * | 2017-09-19 | 2024-03-29 | 曾泓程 | 一种高识别率的腕式智能装置 |
| CN108748139A (zh) * | 2018-04-18 | 2018-11-06 | 四川文理学院 | 基于体感式的机器人控制方法及装置 |
| CN109902547B (zh) | 2018-05-29 | 2020-04-28 | 华为技术有限公司 | 动作识别方法和装置 |
| CN108985191A (zh) * | 2018-06-28 | 2018-12-11 | 广东技术师范学院 | 一种基于移动设备手势识别的轮廓提取方法 |
| TWI683237B (zh) * | 2018-07-19 | 2020-01-21 | 宏碁股份有限公司 | 使用仿生韌帶之手勢感應系統 |
| TWI672611B (zh) * | 2018-07-23 | 2019-09-21 | 宏碁股份有限公司 | 使用仿生韌帶之觸覺回饋系統 |
| CN110858404B (zh) * | 2018-08-22 | 2023-07-07 | 瑞芯微电子股份有限公司 | 一种基于区域偏移的识别方法及终端 |
| CN111443831A (zh) * | 2020-03-30 | 2020-07-24 | 北京嘉楠捷思信息技术有限公司 | 一种手势识别方法及装置 |
| CN111466882A (zh) * | 2020-04-23 | 2020-07-31 | 上海祉云医疗科技有限公司 | 一种智能中医手诊分析系统及方法 |
| CN111949134A (zh) * | 2020-08-28 | 2020-11-17 | 深圳Tcl数字技术有限公司 | 人机交互方法、设备及计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005301583A (ja) * | 2004-04-09 | 2005-10-27 | Nara Institute Of Science & Technology | タイピング入力装置 |
| CN202584010U (zh) * | 2012-04-06 | 2012-12-05 | 寇传阳 | 一种腕上手势操控系统 |
| CN102915111A (zh) * | 2012-04-06 | 2013-02-06 | 寇传阳 | 一种腕上手势操控系统和方法 |
| CN105027030A (zh) * | 2012-11-01 | 2015-11-04 | 艾卡姆有限公司 | 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法 |
| CN105184268A (zh) * | 2015-09-15 | 2015-12-23 | 北京国承万通信息科技有限公司 | 手势识别设备、手势识别方法及虚拟现实系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN205608659U (zh) * | 2015-12-31 | 2016-09-28 | 北京体基科技有限公司 | 一种腕式设备 |
-
2015
- 2015-12-31 CN CN201511030898.8A patent/CN106933340B/zh active Active
-
2016
- 2016-08-04 WO PCT/CN2016/093226 patent/WO2017113794A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005301583A (ja) * | 2004-04-09 | 2005-10-27 | Nara Institute Of Science & Technology | タイピング入力装置 |
| CN202584010U (zh) * | 2012-04-06 | 2012-12-05 | 寇传阳 | 一种腕上手势操控系统 |
| CN102915111A (zh) * | 2012-04-06 | 2013-02-06 | 寇传阳 | 一种腕上手势操控系统和方法 |
| CN105027030A (zh) * | 2012-11-01 | 2015-11-04 | 艾卡姆有限公司 | 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法 |
| CN105184268A (zh) * | 2015-09-15 | 2015-12-23 | 北京国承万通信息科技有限公司 | 手势识别设备、手势识别方法及虚拟现实系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106933340A (zh) | 2017-07-07 |
| WO2017113794A1 (zh) | 2017-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106933340B (zh) | 手势动作识别方法、控制方法和装置以及腕式设备 | |
| CN107949863B (zh) | 使用生物体信息的认证装置以及认证方法 | |
| US9460339B2 (en) | Combined color image and depth processing | |
| JP4711885B2 (ja) | 遠隔操作装置及び方法 | |
| US11715231B2 (en) | Head pose estimation from local eye region | |
| US20170086712A1 (en) | System and Method for Motion Capture | |
| CN102402289B (zh) | 一种基于机器视觉的手势鼠标识别方法 | |
| CN110045823A (zh) | 一种基于动作捕捉的动作指导方法和装置 | |
| CN106547356B (zh) | 智能交互方法和装置 | |
| CN104407694A (zh) | 一种结合人脸和手势控制的人机交互方法及装置 | |
| CN103995595A (zh) | 一种基于手势的游戏体感控制方法 | |
| CN111367415B (zh) | 一种设备的控制方法、装置、计算机设备和介质 | |
| KR20120006819A (ko) | 시선 추적 방법 및 이를 적용하는 장치 | |
| JP2015075914A (ja) | 眼部検出装置、方法、およびプログラム | |
| CN105335711A (zh) | 一种复杂环境下指尖检测方法 | |
| CN106933341B (zh) | 一种在图像中确定手指所处区域的方法、装置及腕式设备 | |
| Gu et al. | Hand gesture interface based on improved adaptive hand area detection and contour signature | |
| CN205485915U (zh) | 一种腕式设备 | |
| CN205608659U (zh) | 一种腕式设备 | |
| JP5464661B2 (ja) | 情報端末装置 | |
| JP2012003724A (ja) | 三次元指先位置検出方法、三次元指先位置検出装置、及びプログラム | |
| JP7384157B2 (ja) | 情報処理装置、ウエアラブル機器、情報処理方法及びプログラム | |
| CN104375631A (zh) | 一种基于移动终端的非接触式交互方法 | |
| CN107506731A (zh) | 一种人脸识别系统 | |
| CN104866112A (zh) | 一种基于移动终端的非接触式交互方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |