CN106933341A - 一种在图像中确定手指所处区域的方法、装置及腕式设备 - Google Patents
一种在图像中确定手指所处区域的方法、装置及腕式设备 Download PDFInfo
- Publication number
- CN106933341A CN106933341A CN201511031085.0A CN201511031085A CN106933341A CN 106933341 A CN106933341 A CN 106933341A CN 201511031085 A CN201511031085 A CN 201511031085A CN 106933341 A CN106933341 A CN 106933341A
- Authority
- CN
- China
- Prior art keywords
- image
- finger
- wrist
- camera head
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000000707 wrist Anatomy 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 43
- 210000003811 finger Anatomy 0.000 claims description 120
- 238000006243 chemical reaction Methods 0.000 claims description 29
- 210000004932 little finger Anatomy 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 210000005224 forefinger Anatomy 0.000 claims description 13
- 210000003491 skin Anatomy 0.000 description 15
- 230000000694 effects Effects 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 7
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 4
- 230000005057 finger movement Effects 0.000 description 4
- 210000002615 epidermis Anatomy 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000002478 hand joint Anatomy 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005059 dormancy Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
Abstract
本发明提供一种在图像中确定手指所处区域的方法、装置及腕式设备，其中所述方法包括：获取第一图像和第二图像，其中所述第一图像是沿手腕向手背方向拍摄的图像，所述第二图像是沿所述手腕向手心方向拍摄的图像；根据所述第一图像确定手指所处的方向；根据所述手指所处的方向确定手指在所述第二图像中所处的区域。
Description
技术领域
本发明涉及智能穿戴设备领域，具体涉及一种在图像中确定手指所处区域的方法、装置及腕式设备。
背景技术
随着软硬件相关科技的快速发展，腕式智能装置，如智能手表，智能手环等的集成度越来越高，功能越来越丰富，很大比例的手机功能可以通过智能手表，智能手环实现，大大简化用户接收和传递信息的方法。但和传统智能手机比较，腕式智能装置受限于小尺寸显示屏幕，一方面，使用者在使用时无法很好地利用触屏或者按键完成相关功能的操作，易造成误操作，另一方面，当智能手表佩戴在一只手上时，要对其进行操作，除了唤醒，休眠等简单操作不需要另一只手操作外，其余的较为复杂的操作都有另一只手完成，无法使用单手独立对智能手表进行操作，因此，智能手表在内容显示和操作上仍存在很大的缺陷。
目前，已有一些腕式设备通过设置在设备上的摄像头捕捉用户手指的动作，实现根据手指的动作对设备进行控制，该类设备的摄像头通常设置在手腕内侧，向用户手心方向的拍摄手指图像。但是由于用户所处的环境比较复杂，在该图像中识别手指或关节等特定区域时，易受环境光线以及拍摄背景等因素的干扰，由此在该图像中寻找手指所处区域的准确率较低。
发明内容
因此，本发明要解决的技术问题在于现有技术中在手部图像中寻找手指所处区域的准确率较低。
有鉴于此，本发明提供一种在图像中确定手指所处区域的方法，包括如下步骤：获取第一图像和第二图像，其中所述第一图像是沿手腕向手背方向拍摄的图像，所述第二图像是沿所述手腕向手心方向拍摄的图像；根据所述第一图像确定手指所处的方向；根据所述手指所处的方向确定手指在所述第二图像中所处的区域。
优选地，所述根据所述第一图像确定手指所处的方向，包括：在所述第一图像中识别出食指、中指、无名指和小拇指中的至少两个与手背的连接关节的顶点；利用各个所述关节的顶点拟合直线；将与所述直线成预定角度的方向作为所述手指所处的方向。
优选地，所述在所述第一图像中识别出食指、中指、无名指和小拇指中的至少两个与手背的连接关节的顶点，包括：从所述第一图像中去除前景和/或背景图像；在去除了前景和/或背景图像后的第一图像中识别出食指、中指、无名指和小拇指中的至少两个与手背的连接关节的轮廓；根据所述轮廓的曲率识别出关节的顶点。
优选地，所述从所述第一图像中去除前景和/或背景图像，包括：对所述第一图像进行色彩空间转换处理；对经过色彩空间转换处理后的第一图像进行二值化处理；在经过二值化处理后的第一图像中去除前景和/或背景图像。
优选地，所述从所述第一图像中去除前景和/或背景图像，包括：获取所述第一图像中各个像素点的深度值；将所述各个像素点的深度值与预设深度范围值进行比较，以从所述第一图像中中确定手指图像、前景和/或背景图像；去除所述前景和/或背景图像。
相应地，本发明还提供一种在图像中确定手指所处区域的装置，包括：
获取单元，用于获取第一图像和第二图像，其中所述第一图像是沿手腕向手背方向拍摄的图像，所述第二图像是沿所述手腕向手心方向拍摄的图像；方向确定单元，用于根据所述第一图像确定手指所处的方向；区域确定单元，用于根据所述手指所处的方向确定手指在所述第二图像中所处的区域。
优选地，所述方向确定单元包括：顶点确定单元，用于在所述第一图像中识别出食指、中指、无名指和小拇指中的至少两个与手背的连接关节的顶点；拟合单元，用于利用各个所述关节的顶点拟合直线；角度方向确定单元，用于将与所述直线成预定角度的方向作为所述手指所处的方向。
优选地，所述顶点确定单元包括：背景去除单元，用于从所述第一图像中去除前景和/或背景图像；轮廓识别单元，用于在去除了前景和/或背景图像后的第一图像中识别出食指、中指、无名指和小拇指中的至少两个与手背的连接关节的轮廓；顶点识别单元，用于根据所述轮廓的曲率识别出关节的顶点。
优选地，所述背景去除单元包括：色彩空间转换单元，用于对所述第一图像进行色彩空间转换处理；二值化处理单元，用于对经过色彩空间转换处理后的第一图像进行二值化处理；背景处理单元，用于在经过二值化处理后的第一图像中去除前景和/或背景图像。
优选地，所述背景去除单元包括：深度值获取单元，用于获取所述第一图像中各个像素点的深度值；图像确定单元，用于将所述各个像素点的深度值与预设深度范围值进行比较，以从所述第一图像中中确定手指图像、前景和/或背景图像；图像去除单元，用于去除所述前景和/或背景图像。
本发明还提供一种腕式设备，包括：腕带；第一摄像装置，设置在所述腕带上；第二摄像装置，设置在所述腕带上且与所述第一摄像装置相对，并且所述第二摄像装置镜头所指向的方向与所述第一摄像装置相同；处理器，用于对所述第一摄像装置和所述第二摄像装置采集的手部图像进行处理。
优选地，所述第一摄像装置用于沿手腕向手背方向拍摄第一图像，所述第二摄像装置用于沿所述手腕向手心方向拍摄第二图像，所述处理器利用上述方法确定手指在所述第二图像中所处的区域。
优选地，所述腕式设备为智能手表，所述处理器设置在表盘内，所述第一摄像装置设置和第二摄像装置分别设置在表盘处和表带上，设置在表带上的摄像装置与所述处理器通过设置在表带内的连接部件连接。
优选地，所述连接部件为柔性电路板。
本发明还提供另一种腕式设备，包括：腕带；第一摄像装置，设置在所述腕带上；第二摄像装置，设置在所述腕带上且与所述第一摄像装置相对，并且所述第二摄像装置镜头所指向的方向与所述第一摄像装置相同；第一处理器，用于对所述第一摄像装置采集的手部图像进行处理；第二处理器，用于根据所述第一处理器的处理结果对所述第二摄像装置采集的手部图像进行处理。
优选地，所述第一摄像装置用于沿手腕向手背方向拍摄第一图像；所述第二摄像装置用于沿所述手腕向手心方向拍摄第二图像；所述第一处理器用于根据所述第一图像确定手指所处的方向；所述第二处理器用于根据所述手指所处的方向确定手指在所述第二图像中所处的区域。
优选地，所述腕式设备为智能手表，所述第一处理器和第二处理器分别设置在表盘处和表带上，所述第一摄像装置和第二摄像装置分别设置在表盘处和表带上，设置在表带上的处理器与设置在表盘内的处理器通过设置在表带内的连接部件连接。
优选地，所述连接部件为柔性电路板。
本发明提供的在图像中确定手指所处区域的方法及装置，通过对沿手腕向手背方向拍摄的图像进行分析，可得到手指所处的方向，然后根据该方向在沿手腕向手心方向拍摄的图像中即可确定手指所在的区域，进而可以在该区域中判断手指的活动，最终根据手指特定部位的活动实现各种控制操作。利用该方案识别手指特定部位活动时不需在整张图像中寻找特定部位，只需在确定出的区域中寻找手指特定部位即可，由此该方案可提高在图像中寻找手指所处区域的效率，从而可提高手指活动识别操作的效率。
本发明提供的腕式设备可利用其2个摄像装置分别沿佩戴者手腕向手心和手背方向采集佩戴者手部图像，其采集的图像可以展现出用户手部的影像，然后其处理器可对手部图像进行分析判断等处理，通过手部图像识别出用户的手势动作，进而可实现对设备的控制。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的腕式设备的结构示意图；
图2为本发明实施例提供的腕式设备的一个摄像装置所采集到的手部图像示意图；
图3为本发明实施例提供的腕式设备的另一个摄像装置所采集到的手部图像示意图；
图4为本发明实施例2提供的腕式设备的结构示意图；
图5为本发明实施例提供的在图像中确定手指所处区域的方法的流程图；
图6为根据本发明实施例提供的在图像中确定手指所处区域的方法所确定的手指所处方向的示意图；
图7为根据本发明实施例提供的在图像中确定手指所处区域的方法所确定的手指所处区域示意图；
图8为一个具体的确定手指所处方向的场景示意图；
图9为本发明实施例提供的在图像中确定手指所处区域的装置的结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供一种腕式设备，如图1所示该装置包括：腕带10、第一摄像装置11和第二摄像装置12；其中，第一摄像装置11和第二摄像装置12均设置在腕带10上，第一摄像装置11和第二摄像装置12相对设置，且二者所指向的方向相同。
用户佩戴后，第一摄像装置11可以沿佩戴者手腕向手背方向拍摄手部图像，第二摄像装置12可以沿佩戴者手腕向手心方向拍摄手部图像。针对不同种类的腕式设备，摄像装置的设置方式不同，但其与佩戴者手臂的角度是比较固定的。按此方式设置的第一摄像装置11和第二摄像装置12可分别采集到如图2和图3所示的手部图像。
处理器13，与所述第一摄像装置11和第二摄像装置12连接，用于对所述第一摄像装置11和所述第二摄像装置12采集的手部图像进行处理。处理器13可以对图像进行多种处理，例如在图像中识别手部动作、根据图像反映出的手部动作对设备进行控制等，具体将在后续实施例中进行详细介绍。
上述设备可利用其2个摄像装置分别沿佩戴者手腕向手心和手背方向采集佩戴者手部图像，其采集的图像可以展现出用户手部的影像，然后其处理器13可对手部图像进行分析判断等处理，通过手部图像识别出用户的手势动作，进而可实现对设备的控制。
上述腕式设备可以是智能手表，用户佩戴手表时，表盘通常位于手腕外侧，表带环绕手腕，因此第一摄像装置11可设置在表盘处，第二摄像装置12可设置在表带上，由此第一摄像装置11设置在此朝向手部，其角度和方向恰好可拍到手背；第二摄像装置12设置在表带上(例如表带扣附近或表带扣上)朝向手部，其角度和方向恰好可拍到手心及手指，此结构不需要用户调整摄像装置的位置，便于用户佩戴。并且，将上述2个摄像头的位置进行调换也是可行的。处理器13作为智能手表的处理核心，可设置在表盘处，第二摄像装置12与处理器13的连接部件设置在表带内，该连接部件可以是柔性电路板。
实施例2
本发明实施例提供一种腕式设备，如图4所示该装置包括：腕带20、第一摄像装置21和第二摄像装置22；其中，第一摄像装置21和第二摄像装置22均设置在腕带20上，第一摄像装置21和第二摄像装置22相对设置且二者所指向的方向相同。
按此方式设置的第一摄像装置21和第二摄像装置22可采分别集到如图2和图3所示的手部图像。
第一处理器23，与第一摄像装置21连接，用于对第一摄像装置21采集的手部图像进行处理；
第二处理器24，与第二摄像装置22连接，用于根据第一处理器23的处理结果对第二摄像装置22采集的手部图像进行处理。
第一处理器23和第二处理器24可以分别对各自接收到的图像进行多种处理，例如在图像中识别手部动作、根据图像反映出的手部动作对设备进行控制等，具体将在后续实施例中进行详细介绍。
上述设备可利用其2个摄像装置分别沿佩戴者手腕向手心和手背方向采集佩戴者手部图像，其采集的图像可以展现出用户手部的影像，然后其2个处理器可分别对手部图像进行分析判断等处理，通过手部图像识别出用户的手势动作，进而可实现对设备的控制。
上述腕式设备可以是智能手表，第一摄像装置21和第二摄像装置22分别设置在表盘处和表带上，相应的处理器可以就近设置，例如可将第一摄像装置21和第一处理器23设置在表盘处，第二摄像装置22和第二处理器24设置在表带上接近表带扣的位置，设置在表带上的处理器与设置在表盘内的处理器通过设置在表带内的连接部件连接，连接部件优选为柔性电路板。在图4所示的示例中，第一处理器23与第二处理器24分立设置，然而并不限于此，也可以将这两个处理器设置在一起。
实施例3
本发明实施例提供一种在图像中确定手指所处区域的方法，该方法可以由实施例1中的处理器13或实施例2中的第一处理器23和第二处理器24来执行，如图5所示，该方法包括如下步骤：
S1，获取第一图像和第二图像，其中第一图像例如是如图2所示的图像，第二图像例如是如图3所示的图像。
S2，根据第一图像确定手指所处的方向，需要说明的是，常态下佩戴者的手掌是自然向内弯曲(半握拳状)的，因此第一摄像装置11通常不会采集到手指图像，在此步骤中根据图2所示图像估算出来的只是一个方向信息。
具体地，如图2所示的图像中显示有佩戴者手背部的影像，通过对该图像进行分析和处理可得到诸如手背轮廓、图像内容的倾斜角度、手部关节的倾斜状态等特征信息，然后则可以根据上述特征信息来估算佩戴者手指所在的方位。本领域技术人员可以理解，手指所处方向并不一定是垂直于图像下沿的，由于用户佩戴状态以及手部关节的状态等因素的影响，如图6中的箭头所示，该方向通常与图像下沿形成一定的角度。
S3，根据手指所处的方向确定手指在第二图像中所处的区域，其中，手指所处区域即为指尖、手指关节所在的区域。常态下第二摄像装置12可以采集到包含有手指的图像，所以则可以按照步骤S2中估算出的方向在图3所示图像中来寻找指尖的位置。具体可以根据一个预设的长度以及上述方向在图像中确定区域。进一步地，通过设置预设距离，可以确定诸如指尖和关节等更具体的区域。以指尖区域为例根据上述方法可以确定出一个如图7所示的可能存在指尖的区域；或者还可以按照预设的比例值和上述方向信息将图像划分成多段，然后判定在其中一段或多段区域。
对于除上述手指所处区域以外的区域，可以直接忽略，或者赋予较低的权值，在识别手指动作时，可以优先在上述确定的区域内寻找特定部位，由此可以降低识别操作的计算量。
根据上述方案，通过对沿手腕向手背方向拍摄的图像进行分析，可得到手指所处的方向，然后根据该方向在沿手腕向手心方向拍摄的图像中即可确定手指所在的区域，进而可以在该区域中判断手指的活动，最终根据手指特定部位的活动实现各种控制操作。利用该方案识别手指特定部位活动时不需在整张图像中寻找特定部位，只需在确定出的区域中寻找手指特定部位即可，由此该方案可提高在图像中寻找手指所处区域的效率，从而可提高手指活动识别操作的效率。
作为一个优选的实施方式，上述步骤S2可以包括：
S21，在第一图像中识别出食指、中指、无名指和小拇指中的至少两个与手背的连接关节的顶点，具体可以根据图像中的手部形状特征进行识别，从图像中寻找具有明显特征的部位的方式有多种，利用现有的特征识别算法都是可行的。由此可以识别出如图8所示的食指、中指、无名指和小拇指这4个关节的顶点，本实施例优选使用4个关节顶点进行后续处理，由此得到的结果最准确。但本发明并不限于使用4个顶点，使用2或3个顶点拟合直线都是可行的。
S22，利用各个关节的顶点拟合直线，利用点拟合直线的算法有多种，利用现有算法都是可行的；
S23，将与所述直线成预定角度的方向作为所述手指所处的方向。由于手指必然处在关节顶点向下的方向上，因此可确定与该直线成一定角度向下的方向即为手指所处的方向，其中预设角度可以是90度。上述优选方案根据关节位置确定手指方向，其准确率较高。
如上所述，从图像中寻找具有明显特征的部位的方式有多种，作为一个优选的实施方式，上述步骤S21可以包括：
S211，从第一图像中去除前景和/或背景图像。从图像中确定前景和背景图像的方法有多种，由于人体的皮肤颜色数据具有一定的数值范围，所以在图像中，手部区域的像素点的RGB值都应当在某一范围内，由此可以根据预设的RGB值范围对图像中的内容进行判断，可筛选出目标图像和背景图像；也可以根据图像的锐度值或深度值对图像中的内容进行判断和去除，现有的背景去除方法都是可行的。
S212，在去除了前景和/或背景图像后的第一图像中识别出食指、中指、无名指和小拇指中的至少两个与手背的连接关节的轮廓，去除了背景图像后的手部图像中只保留有皮肤区域，可以认为该区域为手的区域。为了识别手指部分，需依据手指的形态特征进行判别。因而，可采用Canny算子提取手部区域的边缘轮廓。Canny算子通过对信噪比与定位乘积进行测度，通过最优化方法进行逼近，得到边缘信息。
具体地址，首先需要对图像进行高斯滤波平滑图像噪声，以减小噪声对检测结果的影响，高斯核函数如下：
然后计算图像灰度值的梯度，即做两个方向的一阶差分。计算每个像素点的梯度幅度及方向。
f′x(x，y)≈Gx＝[f(x+1，y)-f(x，y)+f(x+1，y+1)-f(x，y+1)]/2
f′y(x，y)≈Gy＝[f(x，y+1)-f(x，y)+f(x+1，y+1)-f(x+1，y)]/2
相应的强度与方向为：
θ[x，y]＝arctan(Gx(x，y)/Gy(x，y))；
得到整个图像中每个点的梯度幅度与方向后，计算局部最大值，保留相应的像素点。最后，根据双阈值计算应该保留的像素点，对于保留下的像素点进行边界追踪，完成边缘提取。
S213，根据轮廓的曲率识别出关节的顶点，得到手背边缘后，可以利用手背形态进行关节凸起部位的提取。通过对于关节凸起部分形态的分析可以知道，关节凸起边缘具有曲率突变的情况，即关节凸起两侧线条走向较为一致，而凸起线条弯曲程度较大，且接近180度转弯。
基于上述特性，首先对图像边缘进行采样并矢量化图像边缘线，以形成具有长度与走向统计的特征线。矢量化时，依据像素点间的位置求距离以及一阶差分得到方向走向。然后，计算这些矢量的点乘结果，得到矢量线间的夹角大小。而后，针对所有边缘寻找所有的较直的直线段(例如平均夹角不大于25度)。按顺序排列这些直线段，计算直线段间曲线段的走向变化，例如将走向变化大于140度，且距离大于一定阈值，则判定为相应的关节。去除相应噪声以及重复的结果，判定为关节凸起部位。
作为一个优选的实施方式，上述步骤S211可以包括：
S2111a，对第一图像进行色彩空间转换处理；人体皮肤由真皮层和覆盖其上的较薄的表皮层构成，光在表皮层中被黑色素吸收，而在真皮层中则同时发生吸收和散射。不同个体的肤色差异主要表现为由表皮层中黑色素的浓度不同所引起的亮度变化，其真皮层光学特性则基本相同，而且同种族的个体肤色具有较强的共性，并明显区别于大多数背景颜色，在颜色空间中形成一个小而紧致的聚簇。因而，基于颜色进行皮肤的检测是可行的。
进行肤色检测需要选择恰当的彩色空间，在此空间中肤色能团簇、聚合在一起，并且与非肤色的重叠部分要尽可能少。摄像头采集的图像是RGB图像，在RGB彩色空间中，肤色与非肤色的重叠部分较多，且会受亮度的影响严重；在HSV彩色空间中由于色调、色饱和度及亮度很好的分离，与非肤色点重叠的较少；在YCbCr彩色空间中的CbCr子空间上，肤色很好的聚集在一个类椭圆范围内，而且在Cb、Cr分量上的分布也比较集中。因此，将手部图像由RGB空间转换为YCbCr彩色空间或HSV彩色空间都是可行的。
RGB至HSV的转换公式为：
RGB至YCbCr的转换公式为：
Y＝0.257R′+0.504G′+0.098B′+16
Cb＝-0.14R′-0.291G′+0.439B′+128
Cr＝0.439R′-0.3681G′-0.071B′+128。
S2112a，对经过色彩空间转换处理后的第一图像进行二值化处理，经过转换，可将图像转换为只有黑白两种颜色的线条图；
S2113a，在经过二值化处理后的第一图像中去除前景和/或背景图像。上述优选方案可以进一步提高识别操作的准确性。
作为另一个优选的实施方式，上述步骤S211可以包括：
S2111b，获取第一图像中各个像素点的深度值
S2112b，将所述各个像素点的深度值与预设深度范围值进行比较，以从所述第一图像中中确定手指图像、前景和/或背景图像。由于腕式设备的特殊性，需成像的部分距离摄像装置约为10-15cm左右，因此摄像装置的对焦点可以是固定的，仅需保证10-15cm内的对焦清晰即可；同时，当抬腕操作时，成像范围内的其他物体(前景和背景)通常距离手部较近或较远，不在10-15cm距离范围内，因此前景和背景失焦，通过模糊度的算法可以容易的分辨前背景。
S212b，去除前景和/或背景图像，其中距离第一摄像装置11过近的内容为前景图像，距离第一摄像装置11过远的内容为背景图像。
上述优选方案根据景深信息将前景和背景图像均去除掉，只保留手背前部的景象，然后可在该景象中进一步识别关节，由此可进一步提高识别效率。
实施例4
本发明实施例提供一种在图像中确定手指所处区域的装置，如图9所示包括：
获取单元91，用于获取第一图像和第二图像，其中所述第一图像是沿手腕向手背方向拍摄的图像，所述第二图像是沿所述手腕向手心方向拍摄的图像；
方向确定单元92，用于根据所述第一图像确定手指所处的方向；
区域确定单元93，用于根据所述手指所处的方向确定手指在所述第二图像中所处的区域。
根据上述方案，通过对沿手腕向手背方向拍摄的图像进行分析，可得到手指所处的方向，然后根据该方向在沿手腕向手心方向拍摄的图像中即可确定手指所在的区域，进而可以在该区域中判断手指特定部位的活动，最终根据手指特定部位的活动实现各种控制操作。利用该方案识别手指特定部位活动时不需在整张图像中寻找特定部位，只需在确定出的区域中寻找手指特定部位即可，由此该方案可提高在图像中寻找手指所处区域的效率，从而可提高手指活动识别操作的效率。
优选地，所述方向确定单元92包括：
顶点确定单元，用于在所述第一图像中识别出食指、中指、无名指和小拇指中的至少两个与手背的连接关节的顶点；
拟合单元，用于利用各个所述关节的顶点拟合直线；
角度方向确定单元，用于将与所述直线成预定角度的方向作为所述手指所处的方向。
上述优选方案根据关节位置确定手指方向，其准确率较高。
优选地，所述顶点确定单元包括：
背景去除单元，用于从所述第一图像中去除背景图像；
轮廓识别单元，用于在去除了背景图像后的第一图像中识别出各个手指与手背的连接关节的轮廓；
顶点识别单元，用于根据所述轮廓的曲率识别出关节的顶点。
优选地，所述背景去除单元包括：
色彩空间转换单元，用于对所述第一图像进行色彩空间转换处理；
二值化处理单元，用于对经过色彩空间转换处理后的第一图像进行二值化处理；
背景处理单元，用于在经过二值化处理后的第一图像中去除背景图像。
上述优选方案可以进一步提高识别操作的准确性。
优选地，所述顶点确定单元包括：
图像确定单元，用于根据所述第一图像的中各个像素点的深度值以及预设深度范围值从所述第一图像中确定各个手指与手背的连接关节的图像、前景和/或背景图像；
图像去除单元，用于去除所述前景和/或背景图像；
轮廓识别单元，用于在去除了前景和/或背景图像后的第一图像中识别出各个手指与手背的连接关节的轮廓；
顶点识别单元，用于根据所述轮廓的曲率识别出关节的顶点。
上述优选方案根据景深信息将前景和背景图像均去除掉，只保留手背前部的景象，然后可在该景象中进一步识别关节，由此可进一步提高识别效率。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (18)
1.一种在图像中确定手指所处区域的方法，其特征在于，包括如下步骤：
获取第一图像和第二图像，其中所述第一图像是沿手腕向手背方向拍摄的图像，所述第二图像是沿所述手腕向手心方向拍摄的图像；
根据所述第一图像确定手指所处的方向；
根据所述手指所处的方向确定手指在所述第二图像中所处的区域。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像确定手指所处的方向，包括：
在所述第一图像中识别出食指、中指、无名指和小拇指中的至少两个与手背的连接关节的顶点；
利用各个所述关节的顶点拟合直线；
将与所述直线成预定角度的方向作为所述手指所处的方向。
3.根据权利要求2所述的方法，其特征在于，所述在所述第一图像中识别出食指、中指、无名指和小拇指中的至少两个与手背的连接关节的顶点，包括：
从所述第一图像中去除前景和/或背景图像；
在去除了前景和/或背景图像后的第一图像中识别出食指、中指、无名指和小拇指中的至少两个与手背的连接关节的轮廓；
根据所述轮廓的曲率识别出关节的顶点。
4.根据权利要求3所述的方法，其特征在于，所述从所述第一图像中去除前景和/或背景图像，包括：
对所述第一图像进行色彩空间转换处理；
对经过色彩空间转换处理后的第一图像进行二值化处理；
在经过二值化处理后的第一图像中去除前景和/或背景图像。
5.根据权利要求3所述的方法，其特征在于，所述从所述第一图像中去除前景和/或背景图像，包括：
获取所述第一图像中各个像素点的深度值；
将所述各个像素点的深度值与预设深度范围值进行比较，以从所述第一图像中确定手指图像、前景和/或背景图像；
去除所述前景和/或背景图像。
6.一种在图像中确定手指所处区域的装置，其特征在于，包括：
获取单元，用于获取第一图像和第二图像，其中所述第一图像是沿手腕向手背方向拍摄的图像，所述第二图像是沿所述手腕向手心方向拍摄的图像；
方向确定单元，用于根据所述第一图像确定手指所处的方向；
区域确定单元，用于根据所述手指所处的方向确定手指在所述第二图像中所处的区域。
7.根据权利要求6所述的装置，其特征在于，所述方向确定单元包括：
顶点确定单元，用于在所述第一图像中识别出食指、中指、无名指和小拇指中的至少两个与手背的连接关节的顶点；
拟合单元，用于利用各个所述关节的顶点拟合直线；
角度方向确定单元，用于将与所述直线成预定角度的方向作为所述手指所处的方向。
8.根据权利要求7所述的装置，其特征在于，所述顶点确定单元包括：
背景去除单元，用于从所述第一图像中去除前景和/或背景图像；
轮廓识别单元，用于在去除了前景和/或背景图像后的第一图像中识别出食指、中指、无名指和小拇指中的至少两个与手背的连接关节的轮廓；
顶点识别单元，用于根据所述轮廓的曲率识别出关节的顶点。
9.根据权利要求8所述的装置，其特征在于，所述背景去除单元包括：
色彩空间转换单元，用于对所述第一图像进行色彩空间转换处理；
二值化处理单元，用于对经过色彩空间转换处理后的第一图像进行二值化处理；
背景处理单元，用于在经过二值化处理后的第一图像中去除前景和/或背景图像。
10.根据权利要求8所述的装置，其特征在于，所述背景去除单元包括：
深度值获取单元，用于获取所述第一图像中各个像素点的深度值；
图像确定单元，用于将所述各个像素点的深度值与预设深度范围值进行比较，以从所述第一图像中确定手指图像、前景和/或背景图像；
图像去除单元，用于去除所述前景和/或背景图像。
11.一种腕式设备，其特征在于，包括：
腕带；
第一摄像装置，设置在所述腕带上；
第二摄像装置，设置在所述腕带上且与所述第一摄像装置相对，并且所述第二摄像装置镜头所指向的方向与所述第一摄像装置相同；
处理器，用于对所述第一摄像装置和所述第二摄像装置采集的手部图像进行处理。
12.根据权利要求11所述的腕式设备，其特征在于，所述第一摄像装置用于沿手腕向手背方向拍摄第一图像，所述第二摄像装置用于沿所述手腕向手心方向拍摄第二图像，所述处理器利用权利要求1-5中任一项所述的方法确定手指在所述第二图像中所处的区域。
13.根据权利要求11或12所述的腕式设备，其特征在于，所述腕式设备为智能手表，所述处理器设置在表盘内，所述第一摄像装置设置和第二摄像装置分别设置在表盘处和表带上，设置在表带上的摄像装置与所述处理器通过设置在表带内的连接部件连接。
14.根据权利要求13所述的腕式设备，其特征在于，所述连接部件为柔性电路板。
15.一种腕式设备，其特征在于，包括：
腕带；
第一摄像装置，设置在所述腕带上；
第二摄像装置，设置在所述腕带上且与所述第一摄像装置相对，并且所述第二摄像装置镜头所指向的方向与所述第一摄像装置相同；
第一处理器，用于对所述第一摄像装置采集的手部图像进行处理；
第二处理器，用于根据所述第一处理器的处理结果对所述第二摄像装置采集的手部图像进行处理。
16.根据权利要求15所述的腕式设备，其特征在于，
所述第一摄像装置用于沿手腕向手背方向拍摄第一图像；
所述第二摄像装置用于沿所述手腕向手心方向拍摄第二图像；
所述第一处理器用于根据所述第一图像确定手指所处的方向；
所述第二处理器用于根据所述手指所处的方向确定手指在所述第二图像中所处的区域。
17.根据权利要求15或16所述的腕式设备，其特征在于，所述腕式设备为智能手表，所述第一处理器和第二处理器分别设置在表盘处和表带上，所述第一摄像装置和第二摄像装置分别设置在表盘处和表带上，设置在表带上的处理器与设置在表盘内的处理器通过设置在表带内的连接部件连接。
18.根据权利要求17所述的腕式设备，其特征在于，所述连接部件为柔性电路板。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201511031085.0A CN106933341B (zh) | 2015-12-31 | 一种在图像中确定手指所处区域的方法、装置及腕式设备 | |
| PCT/CN2016/093225 WO2017113793A1 (zh) | 2015-12-31 | 2016-08-04 | 一种在图像中确定手指所处区域的方法、装置及腕式设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201511031085.0A CN106933341B (zh) | 2015-12-31 | 一种在图像中确定手指所处区域的方法、装置及腕式设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106933341A true CN106933341A (zh) | 2017-07-07 |
| CN106933341B CN106933341B (zh) | 2024-04-26 |
Family
ID=
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111666792A (zh) * | 2019-03-07 | 2020-09-15 | 阿里巴巴集团控股有限公司 | 图像识别方法、图像采集和识别方法以及商品识别方法 |
| CN112839172A (zh) * | 2020-12-31 | 2021-05-25 | 深圳瞬玩科技有限公司 | 基于手部识别的拍摄主体识别方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005301583A (ja) * | 2004-04-09 | 2005-10-27 | Nara Institute Of Science & Technology | タイピング入力装置 |
| CN102915111A (zh) * | 2012-04-06 | 2013-02-06 | 寇传阳 | 一种腕上手势操控系统和方法 |
| CN105027030A (zh) * | 2012-11-01 | 2015-11-04 | 艾卡姆有限公司 | 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法 |
| CN105184268A (zh) * | 2015-09-15 | 2015-12-23 | 北京国承万通信息科技有限公司 | 手势识别设备、手势识别方法及虚拟现实系统 |
| CN205485915U (zh) * | 2015-12-31 | 2016-08-17 | 北京体基科技有限公司 | 一种腕式设备 |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005301583A (ja) * | 2004-04-09 | 2005-10-27 | Nara Institute Of Science & Technology | タイピング入力装置 |
| CN102915111A (zh) * | 2012-04-06 | 2013-02-06 | 寇传阳 | 一种腕上手势操控系统和方法 |
| CN105027030A (zh) * | 2012-11-01 | 2015-11-04 | 艾卡姆有限公司 | 用于三维成像、映射、建网和界面连接的无线腕式计算和控制设备和方法 |
| CN105184268A (zh) * | 2015-09-15 | 2015-12-23 | 北京国承万通信息科技有限公司 | 手势识别设备、手势识别方法及虚拟现实系统 |
| CN205485915U (zh) * | 2015-12-31 | 2016-08-17 | 北京体基科技有限公司 | 一种腕式设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111666792A (zh) * | 2019-03-07 | 2020-09-15 | 阿里巴巴集团控股有限公司 | 图像识别方法、图像采集和识别方法以及商品识别方法 |
| CN111666792B (zh) * | 2019-03-07 | 2023-04-28 | 阿里巴巴集团控股有限公司 | 图像识别方法、图像采集和识别方法以及商品识别方法 |
| CN112839172A (zh) * | 2020-12-31 | 2021-05-25 | 深圳瞬玩科技有限公司 | 基于手部识别的拍摄主体识别方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017113793A1 (zh) | 2017-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6523925B2 (ja) | 生体情報を用いた認証装置及び認証方法 | |
| CN106133752B (zh) | 眼睛注视跟踪 | |
| CN103597518B (zh) | 生成反映玩家外观的化身 | |
| EP3225154A2 (en) | Gaze detection apparatus and gaze detection method | |
| JP4307496B2 (ja) | 顔部位検出装置及びプログラム | |
| Li et al. | Learning to predict gaze in egocentric video | |
| CN108549884A (zh) | 一种活体检测方法及装置 | |
| US20170017827A1 (en) | On-the-go touchless fingerprint scanner | |
| CN107874739A (zh) | 眼底图像捕获系统 | |
| CN107004114A (zh) | 血管图像拍摄装置和个人认证系统 | |
| CN107239772B (zh) | 掌纹掌脉图像采集装置及通关闸机 | |
| US10311583B2 (en) | Eye motion detection method, program, program storage medium, and eye motion detection device | |
| CN105426843B (zh) | 一种单镜头下掌静脉和掌纹图像采集装置及图像增强和分割方法 | |
| CN103942539B (zh) | 一种人头部椭圆精确高效提取及遮蔽人脸检测方法 | |
| CN105095893A (zh) | 图像采集装置和方法 | |
| CN102426652A (zh) | 基于图像分析的中医面色识别和检索方法 | |
| CN107798281A (zh) | 一种基于lbp特征的人脸活体检测方法和装置 | |
| JP2007272435A (ja) | 顔特徴抽出装置及び顔特徴抽出方法 | |
| WO2019067903A1 (en) | HEAD POSTURE ESTIMATION FROM A LOCAL EYE REGION | |
| CN103324284A (zh) | 基于人脸和眼部检测的鼠标控制方法 | |
| WO2017118285A1 (zh) | 一种高速提取圆形图像中心点的方法 | |
| CN205485915U (zh) | 一种腕式设备 | |
| CN104809371B (zh) | 判断头戴式智能设备的鉴权信息有效性的装置和方法 | |
| WO2017113794A1 (zh) | 手势动作识别方法、控制方法和装置以及腕式设备 | |
| KR20150139183A (ko) | 정맥인식이 가능한 손목용 웨어러블 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |