CN105825193A - 手掌的掌心位置定位、手势识别方法、装置及智能终端 - Google Patents

手掌的掌心位置定位、手势识别方法、装置及智能终端 Download PDF

Info

Publication number
CN105825193A
CN105825193A CN201610177407.0A CN201610177407A CN105825193A CN 105825193 A CN105825193 A CN 105825193A CN 201610177407 A CN201610177407 A CN 201610177407A CN 105825193 A CN105825193 A CN 105825193A
Authority
CN
China
Prior art keywords
palm
centre
exterior contour
connected region
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610177407.0A
Other languages
English (en)
Inventor
李艳杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leshi Zhixin Electronic Technology Tianjin Co Ltd
LeTV Holding Beijing Co Ltd
Original Assignee
Leshi Zhixin Electronic Technology Tianjin Co Ltd
LeTV Holding Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leshi Zhixin Electronic Technology Tianjin Co Ltd, LeTV Holding Beijing Co Ltd filed Critical Leshi Zhixin Electronic Technology Tianjin Co Ltd
Priority to CN201610177407.0A priority Critical patent/CN105825193A/zh
Priority to PCT/CN2016/089380 priority patent/WO2017161778A1/zh
Publication of CN105825193A publication Critical patent/CN105825193A/zh
Priority to US15/245,159 priority patent/US20170277944A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种手掌的掌心位置定位、手势识别方法、装置及智能终端，其中手掌的掌心位置定位方法先获取包括手掌和手臂的图像；再基于图像中的肤色特征获取图像中手掌和手臂的连通区域；之后获取连通区域的外部轮廓，明确连通区域的界限以消除误差；最后根据外部轮廓内连通区域中的各像素点到外部轮廓的最短距离的最大值就可以获取手掌的掌心的位置信息了。步骤简单易行，定位准确率高。

Description

手掌的掌心位置定位、手势识别方法、装置及智能终端
技术领域
本发明涉及计算机视觉与图像处理技术领域，具体涉及一种手掌的掌心位置定位、手势识别方法、装置及智能终端。
背景技术
随着计算机技术的飞速发展，以触摸、语音、手势、体感等为主的新型交互方式已经成为近年来研究的热点，使得以人为中心的人机交互技术具有广泛的应用前景。其中手势识别是人机交互领域的一个重要研究方向，对构建智能的人机交互方式发挥着重要的作用。但由于手势具有复杂性、多样性、多变性和时空差异性等特点，再加上光照、温度等外界因素的干扰，使得手势识别在技术上还存在很多困难问题，成为了人机交互领域的一个富有挑战性的研究课题。
因为手指的形状比较细长，在图像中难以准确识别，相较于手指，手掌则较为宽大，如果基于手掌来对手势进行识别，显然会降低手势识别的难度。手掌识别的重点在于对掌心位置进行定位，在现有技术中常采用三角形增量法来对掌心位置进行定位，首先要获取手势轮廓图像，再对手势轮廓的凸包进行凸缺陷检测来获取凸缺陷深度点作为三角形增量法的点集，之后以点集中任选的两个凸缺陷深度点的距离为直径，这两个凸缺陷点距离的中心为圆心，构造一个圆，判断这个圆是否包括所有的凸缺陷深度点，如果包括，才会将该圆作为手掌内接圆对掌心位置进行定位；如果不包括，还要再任意选取该圆外的一个凸缺陷深度点，之后判断这三个凸缺陷深度点构成的三角形的形状是否能构成直角三角形或者钝角三角形，如果能，再将与直角或者钝角相对的两个凸缺陷深度点根据上述方法重新构造一个圆判断这个圆是否包括所有的凸缺陷深度点，如果包括，才会将该圆作为手掌内接圆对掌心位置进行定位；如果不包括，还要不断重复上述操作，直至构造出一个能够包括所有的凸缺陷深度点的圆作为手掌内接圆对掌心位置进行定位；如果三个凸缺陷深度点构成的三角形的形状是锐角三角形，则步骤就更为复杂了，先要根据这三个凸缺陷深度点形成的锐角三角形构造一个外接圆，再判断该圆是否包括所有的凸缺陷深度点，如果包括，才会将该圆作为手掌内接圆对掌心位置进行定位；如果不包括，还要重新选取凸缺陷深度点不断重复上述操作，直至构造出一个能够包括所有的凸缺陷深度点的圆作为手掌内接圆。可见，现有技术中对掌心位置进行定位的方法不仅步骤复杂，而且任何一个环节出现误差，都会导致定位不准确。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中的掌心位置定位方法步骤复杂，准确率低，从而提供一种简单易行、准确率高的手掌的掌心位置定位、手势识别方法、装置及智能终端。
为此，本发明提供了如下技术方案：
本发明提供了一种手掌的掌心位置定位方法，包括如下步骤：
获取包括手掌和手臂的图像；
基于所述图像中的肤色特征获取所述图像中手掌和手臂的连通区域；
获取所述连通区域的外部轮廓；
根据所述外部轮廓内连通区域中的各像素点到所述外部轮廓的最短距离的最大值获取所述手掌的掌心的位置信息。
上述方法，所述根据所述外部轮廓内连通区域中的各像素点到所述外部轮廓的最短距离的最大值获取所述手掌的掌心的位置信息的步骤之前还包括：
若所述外部轮廓内连通区域存在孔洞，对所述孔洞进行填充。
上述方法，所述根据所述外部轮廓内连通区域中的各像素点到所述外部轮廓的最短距离的最大值获取所述手掌的掌心的位置信息，包括：
计算所述外部轮廓内连通区域中的每一个像素点到所述外部轮廓的最短距离；
获取所述最短距离中的最大值；
将所述最大值对应的像素点所在的位置确定为手掌的掌心位置；
获取所述掌心的位置信息。
本发明还提供了一种手掌的掌心位置定位装置，包括：
图像获取单元，用于获取包括手掌和手臂的图像；
连通区域获取单元，用于基于所述图像中的肤色特征获取所述图像中手掌和手臂的连通区域；
外部轮廓获取单元，用于获取所述连通区域的外部轮廓；
位置信息获取单元，用于根据所述外部轮廓内连通区域中的各像素点到所述外部轮廓的最短距离的最大值获取所述手掌的掌心的位置信息。
上述装置，还包括：
填充单元，用于在所述外部轮廓内连通区域存在孔洞时对所述孔洞进行填充。
本发明还提供了一种手势识别方法，包括如下步骤：
采用上述手掌的掌心位置定位方法获取手掌掌心的位置信息；
以所述掌心为圆心，以所述最大值为半径确定手掌内接圆；
根据预定时间内所获取的手掌掌心的位置信息的变化值和/或手掌内接圆的面积值的变化值进行手势识别。
本发明还提供了一种手势识别装置，包括：
位置信息获取单元，用于采用上述手掌的掌心位置定位方法获取手掌掌心的位置信息；
手掌内接圆确定单元，用于以所述掌心为圆心，以所述最大值为半径确定手掌内接圆；
手势识别单元，用于根据预定时间内所获取的手掌掌心的位置信息的变化值和/或手掌内接圆的面积值的变化值进行手势识别。
本发明还提供了一种智能终端，包括上述手掌的掌心位置定位装置和/或上述手势识别装置。
本发明还提供了一种智能终端，包括图像采集装置和上述手掌的掌心位置定位装置；
所述图像采集装置，用于采集包括手掌和手臂的图像。
本发明还提供了一种智能终端，包括图像采集装置和上述手势识别装置；
所述图像采集装置，用于采集包括手掌和手臂的图像。
本发明技术方案，具有如下优点：
本发明提供了一种手掌的掌心位置定位方法及装置，先获取包括手掌和手臂的图像；再基于图像中的肤色特征获取图像中手掌和手臂的连通区域；之后获取连通区域的外部轮廓，明确连通区域的界限以消除误差；最后根据外部轮廓内连通区域中的各像素点到外部轮廓的最短距离的最大值就可以获取手掌的掌心的位置信息了。步骤简单易行，定位准确率高。
本发明还提供了一种手势识别方法及装置，采用上述手掌的掌心位置定位方法获取手掌掌心的位置信息；以掌心为圆心，以最大值为半径确定手掌内接圆；根据预定时间内所获取的手掌掌心的位置信息的变化值和/或手掌内接圆的面积值的变化值进行手势识别。因为对手掌的掌心位置定位的步骤简单易行，定位准确率高。从而也简化了手势识别的步骤，提升了手势识别的效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中手掌的掌心位置定位方法的一个具体实例的流程图；
图2为本发明实施例1中手掌的掌心位置定位方法中获取的包括手掌和手臂的图像的一个具体实例的示意图；
图3为本发明实施例1中手掌的掌心位置定位方法中手掌和手臂的连通区域的一个具体实例的示意图；
图4为本发明实施例1手掌的掌心位置定位方法中获取掌心的位置信息的一个具体实例的流程图；
图5为本发明实施例1中手掌的掌心位置定位方法的一个优选的具体实例的流程图；
图6为本发明实施例1中手掌的掌心位置定位方法中存在孔洞的连通区域的一个具体实例的示意图；
图7为本发明实施例1中手掌的掌心位置定位方法中对存在孔洞的连通区域填充后的效果示意图；
图8为本发明实施例2中手掌的掌心位置定位装置的一个具体实例的结构框图；
图9为本发明实施例3中手势识别方法的一个具体实例的流程图；
图10为本发明实施例4中手势识别装置的一个具体实例的结构框图。
附图标记：
1-图像获取单元；2-连通区域获取单元；3-外部轮廓获取单元；4-位置信息获取单元；a-填充单元；41-最短距离计算子单元；42-最大值获取子单元；43-掌心位置确定子单元；44-信息获取子单元；5-位置信息获取单元；6-手掌内接圆确定单元；7-手势识别单元。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本实施例提供了一种手掌的掌心位置定位方法，如图1所示，包括如下步骤：
S1.获取包括手掌和手臂的图像。具体地，当使用者在具有摄像、拍照等功能的装置，比如摄像头的拍摄范围内做出手势动作后，就可以拍摄到包括使用者手掌和手臂的图像并传输至存储装置存储了，从该存储装置中就可以获取到上述包括手掌和手臂的图像了。图2即为一幅包括手掌和手臂的图像。
S2.基于图像中的肤色特征获取图像中手掌和手臂的连通区域。具体地，以图2所示包括手掌和手臂的图像为例，可以将该图像转化到HSV或YCrCb色彩空间，然后根据肤色特征判断图像中的每一个像素点属于皮肤还是非皮肤，据此获取到图像中手掌和手臂的连通区域，如图3所示。
S3.获取连通区域的外部轮廓。具体地，可以利用OpenCV(OpenSourceComputerVisionLibrary)中的cvFindContours函数来获取连通区域的外部轮廓。通过获取连通区域的外部轮廓，为后期定位掌心位置提供了一个参照，优选地，可以采用基于轮廓跟踪的二值图像去毛刺算法进一步去除该外部轮廓上的毛刺，对手掌和手臂的连通区域的边界进行准确划分，以进一步提升对掌心位置定位的精准度。
S4.根据外部轮廓内连通区域中的各像素点到外部轮廓的最短距离的最大值获取手掌的掌心的位置信息。具体地，根据掌心的位置特征可知，掌心所在位置对应的像素点到外部轮廓的最短距离应该是最大的，根据外部轮廓内连通区域中的各像素点到外部轮廓的最短距离的最大值获取手掌的掌心的位置信息，符合实际情况，确保了对掌心的准确定位。
优选地，如图4所示，步骤S4包括：
S41.计算外部轮廓内连通区域中的每一个像素点到外部轮廓的最短距离。具体地，以其中的某一个像素点为例，要先遍历外部轮廓上所有的轮廓点，计算该像素点到每个轮廓点间的距离，遍历完后再比对该像素点到每个轮廓点间的距离，就可以从中选取出该像素点到外部轮廓的最短距离了。采用上述方法遍历完外部轮廓内连通区域中的每一个像素点后，就可以获取到每一个像素点到外部轮廓的最短距离了。通过计算每个像素点到外部轮廓的最短距离，能够事先把手掌区域内的像素点到手指外部轮廓的距离或者手指区域内的像素点到手掌外部轮廓的距离予以剔除，降低了误判率。
S42.获取最短距离中的最大值。具体地，通过比对每个像素点间的最短距离，就可以获取到最短距离中的最大值是多少了。
S43.将最大值对应的像素点所在的位置确定为手掌的掌心位置。具体地，掌心到手掌边缘的最短距离应该是最大的，因此最短距离中的最大值对应的像素点即为手掌的掌心位置。
S44.获取掌心的位置信息。具体地，可以根据需求，通过掌心对应的像素点在手掌和手臂的连通区域所处的位置，获取掌心在手势中所处的位置，据此估计出当前的手型；通过获取同一个手掌在预定时间内的多个掌心对应的像素点的坐标，可以获取掌心的移动轨迹等等。因此只要确定了掌心位置对应的像素点，可以获取掌心所处的位置、运动轨迹等多个掌心的位置信息，为后期手势识别提供数据支持。
优选地，如图5所示，步骤S4之前还包括：
Sa.若外部轮廓内连通区域存在孔洞，对孔洞进行填充。具体地，如图6所示，基于肤色检测得到的手掌和手臂的连通区域有可能会存在孔洞，当孔洞位于手掌中心区域附近时，有可能恰好掌心所在的位置对应的像素点是缺失的，导致手掌的掌心定位出现偏移，不利于后期手势的准确识别。通过对孔洞进行填充，确保了掌心所在位置对应的像素点不会出现缺失，降低了对掌心位置进行定位的误差率。实际应用中，可以利用OpenCV(OpenSourceComputerVisionLibrary)中的cvDrawContours函数来对孔洞进行填充，填充后的效果如图7所示，能够达到很好的填充效果。当然也可以采用区域生长法，以外部轮廓为边界，以外部轮廓内的任意一个像素点为种子点进行区域生长，就可以对外部轮廓内的孔洞进行填充了。
本实施例中的手掌的掌心位置定位方法，先获取包括手掌和手臂的图像；再基于图像中的肤色特征获取图像中手掌和手臂的连通区域；之后获取连通区域的外部轮廓，明确连通区域的界限以消除误差；最后根据外部轮廓内连通区域中的各像素点到外部轮廓的最短距离的最大值就可以获取手掌的掌心的位置信息了。步骤简单易行，定位准确率高。
实施例2
本实施例提供了一种手掌的掌心位置定位装置，如图8所示，包括：
图像获取单元1，用于获取包括手掌和手臂的图像。
连通区域获取单元2，用于基于图像中的肤色特征获取图像中手掌和手臂的连通区域。
外部轮廓获取单元3，用于获取连通区域的外部轮廓。通过获取连通区域的外部轮廓，能够对手掌和手臂的连通区域的边界进行准确划分，为后期定位掌心位置提供了精准的参照标准，提升了对掌心位置定位的精准度。
位置信息获取单元4，用于根据外部轮廓内连通区域中的各像素点到外部轮廓的最短距离的最大值获取手掌的掌心的位置信息。根据外部轮廓内连通区域中的各像素点到外部轮廓的最短距离的最大值获取手掌的掌心的位置信息，符合实际情况，确保了对掌心的准确定位。
优选地，位置信息获取单元4包括：
最短距离计算子单元41，用于计算外部轮廓内连通区域中的每一个像素点到外部轮廓的最短距离。
最大值获取子单元42，用于获取最短距离中的最大值。
掌心位置确定子单元43，用于将最大值对应的像素点所在的位置确定为手掌的掌心位置。
信息获取子单元44，用于获取掌心的位置信息。
优选地，本实施例中的手掌的掌心位置定位装置，还包括填充单元a，用于在外部轮廓内连通区域存在孔洞时对孔洞进行填充。通过对孔洞进行填充，确保了掌心所在位置对应的像素点不会出现缺失，降低了对掌心位置进行定位的误差率。
本实施例中的手掌的掌心位置定位装置，通过图像获取单元1先获取包括手掌和手臂的图像；再通过连通区域获取单元2基于图像中的肤色特征获取图像中手掌和手臂的连通区域；之后通过外部轮廓获取单元3获取连通区域的外部轮廓，明确连通区域的界限以消除误差；最后通过位置信息获取单元4根据外部轮廓内连通区域中的各像素点到外部轮廓的最短距离的最大值就可以获取手掌的掌心的位置信息了。步骤简单易行，定位准确率高。
实施例3
本实施例提供了一种手势识别方法，如图9所示，包括如下步骤：
Y1.采用实施例1中的手掌的掌心位置定位方法获取手掌掌心的位置信息。实施例1中的手掌的掌心位置定位方法，先获取包括手掌和手臂的图像；再基于图像中的肤色特征获取图像中手掌和手臂的连通区域；之后获取连通区域的外部轮廓，明确连通区域的界限以消除误差；最后根据外部轮廓内连通区域中的各像素点到外部轮廓的最短距离的最大值就可以获取手掌的掌心的位置信息了。步骤简单易行，定位准确率高。从而也简化了手势识别的步骤，提升了手势识别的效率。
Y2.以掌心为圆心，以最大值为半径确定手掌内接圆。具体地，掌心对应的像素点到外部轮廓的最短距离在所有最短距离中应该是最大的，因此以掌心为圆心，以该最大值为半径能够获取到与当前手掌的面积较为匹配的手掌内接圆，相应地，其面积值的变化值也能够准确反映手掌的掌心面积值的变化值。因手掌内接圆的半径与手掌的面积值正相关，而手掌的面积值又与各个手指的长度正相关，因此通过手掌内接圆的半径就可以估计出各个手指的长度和分布范围。比如五指张开、握拳等不同的手势，其手掌的面积值必然不同，对应的手掌内接圆的面积值自然也有差别，相应的手掌内接圆的半径也是不同的。综上所述，通过上述方式能够获取到与手掌的面积值较为匹配的手掌内接圆，为后期进行手势识别提供了较为准确的参考依据。
Y3.根据预定时间内所获取的手掌掌心的位置信息的变化值和/或手掌内接圆的面积值的变化值进行手势识别。具体地，如果将手的运动轨迹作为用于识别手势的参考数据，可以只获取预定时间内手掌掌心的位置信息的变化值，根据掌心的位置信息的变化值，就可以获取掌心的运动轨迹了，比如运动轨迹为圆形代表一种手势，运动轨迹为S形代表另一种手势等等；如果对手势的识别主要是基于识别手当前的形态，则可以只获取预定时间内手掌内接圆的面积值的变化值，据此获取手掌的掌心面积的变化值以识别对应的手势是五指张开还是握拳等形态；当然也可以同时获取预定时间内的手掌掌心的位置信息的变化值和手掌内接圆的面积值的变化值，进行更为复杂的手势识别，比如五指张开画圆圈代表一种手势，五指张开画S形代表另一种手势，握拳画圆圈代表第三种手势等等，生成更多的手势控制指令。
本实施例中的手势识别方法，先获取包括手掌和手臂的图像；再基于图像中的肤色特征获取图像中手掌和手臂的连通区域；之后获取连通区域的外部轮廓，明确连通区域的界限以消除误差；最后根据外部轮廓内连通区域中的各像素点到外部轮廓的最短距离的最大值就可以获取手掌的掌心的位置信息了。步骤简单易行，定位准确率高。从而也简化了手势识别的步骤，提升了手势识别的效率。
实施例4
本实施例提供了一种手势识别装置，如图10所示，包括：
位置信息获取单元5，用于采用实施例1中的手掌的掌心位置定位方法获取手掌掌心的位置信息。
手掌内接圆确定单元6，用于以掌心为圆心，以最大值为半径确定手掌内接圆。
手势识别单元7，用于根据预定时间内所获取的手掌掌心的位置信息的变化值和/或手掌内接圆的面积值的变化值进行手势识别。
本实施例中的手势识别装置，先获取包括手掌和手臂的图像；再基于图像中的肤色特征获取图像中手掌和手臂的连通区域；之后获取连通区域的外部轮廓，明确连通区域的界限以消除误差；最后根据外部轮廓内连通区域中的各像素点到外部轮廓的最短距离的最大值就可以获取手掌的掌心的位置信息了。步骤简单易行，定位准确率高。从而也简化了手势识别的步骤，提升了手势识别的效率。
实施例5
本实施例提供了一种智能终端，包括但不限于智能手机、智能电视、平板电脑、计算机等。本实施例中的智能终端，包括实施例2中的手掌的掌心位置定位装置和/或实施例4中的手势识别装置。
本实施例中的智能终端，其掌心位置定位装置通过图像获取单元先获取包括手掌和手臂的图像；再通过连通区域获取单元基于图像中的肤色特征获取图像中手掌和手臂的连通区域；之后通过外部轮廓获取单元获取连通区域的外部轮廓，明确连通区域的界限以消除误差；最后通过位置信息获取单元根据外部轮廓内连通区域中的各像素点到外部轮廓的最短距离的最大值就可以获取手掌的掌心的位置信息了。步骤简单易行，定位准确率高。而手势识别也是基于采用上述掌心定位方法获取的掌心的位置信息，根据预定时间内所获取的手掌掌心的位置信息的变化值和/或手掌内接圆的面积值的变化值进行手势识别的，从而也简化了手势识别的步骤，提升了手势识别的效率。
实施例6
本实施例提供了一种智能终端，包括但不限于智能手机、智能电视、平板电脑、计算机等。本实施例中的智能终端，包括图像采集装置和实施例2中的手掌的掌心位置定位装置。
图像采集装置，用于采集包括手掌和手臂的图像。具体地，图像采集装置可以为安装于智能终端的摄像头。
本实施例中的智能终端，其掌心位置定位装置通过图像获取单元先获取包括手掌和手臂的图像；再通过连通区域获取单元基于图像中的肤色特征获取图像中手掌和手臂的连通区域；之后通过外部轮廓获取单元获取连通区域的外部轮廓，明确连通区域的界限以消除误差；最后通过位置信息获取单元根据外部轮廓内连通区域中的各像素点到外部轮廓的最短距离的最大值就可以获取手掌的掌心的位置信息了。步骤简单易行，定位准确率高。
实施例7
本实施例提供了一种智能终端，包括但不限于智能手机、智能电视、平板电脑、计算机等。本实施例中的智能终端，包括图像采集装置和实施例4中的手势识别装置。
图像采集装置，用于采集包括手掌和手臂的图像。具体地，图像采集装置可以为安装于智能终端的为摄像头。
本实施例中的智能终端，手势识别装置，先获取包括手掌和手臂的图像；再基于图像中的肤色特征获取图像中手掌和手臂的连通区域；之后获取连通区域的外部轮廓，明确连通区域的界限以消除误差；最后根据外部轮廓内连通区域中的各像素点到外部轮廓的最短距离的最大值就可以获取手掌的掌心的位置信息了。步骤简单易行，定位准确率高。从而也简化了手势识别的步骤，提升了手势识别的效率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (10)

1.一种手掌的掌心位置定位方法，其特征在于，包括如下步骤：
获取包括手掌和手臂的图像；
基于所述图像中的肤色特征获取所述图像中手掌和手臂的连通区域；
获取所述连通区域的外部轮廓；
根据所述外部轮廓内连通区域中的各像素点到所述外部轮廓的最短距离的最大值获取所述手掌的掌心的位置信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述外部轮廓内连通区域中的各像素点到所述外部轮廓的最短距离的最大值获取所述手掌的掌心的位置信息的步骤之前还包括：
若所述外部轮廓内连通区域存在孔洞，对所述孔洞进行填充。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述外部轮廓内连通区域中的各像素点到所述外部轮廓的最短距离的最大值获取所述手掌的掌心的位置信息，包括：
计算所述外部轮廓内连通区域中的每一个像素点到所述外部轮廓的最短距离；
获取所述最短距离中的最大值；
将所述最大值对应的像素点所在的位置确定为手掌的掌心位置；
获取所述掌心的位置信息。
4.一种手掌的掌心位置定位装置，其特征在于，包括：
图像获取单元(1)，用于获取包括手掌和手臂的图像；
连通区域获取单元(2)，用于基于所述图像中的肤色特征获取所述图像中手掌和手臂的连通区域；
外部轮廓获取单元(3)，用于获取所述连通区域的外部轮廓；
位置信息获取单元(4)，用于根据所述外部轮廓内连通区域中的各像素点到所述外部轮廓的最短距离的最大值获取所述手掌的掌心的位置信息。
5.根据权利要求4所述的装置，其特征在于，还包括：
填充单元(a)，用于在所述外部轮廓内连通区域存在孔洞时对所述孔洞进行填充。
6.一种手势识别方法，其特征在于，包括如下步骤：
采用权利要求1-3任一项所述的手掌的掌心位置定位方法获取手掌掌心的位置信息；
以所述掌心为圆心，以所述最大值为半径确定手掌内接圆；
根据预定时间内所获取的手掌掌心的位置信息的变化值和/或手掌内接圆的面积值的变化值进行手势识别。
7.一种手势识别装置，其特征在于，包括：
位置信息获取单元(5)，用于采用权利要求1-3任一项所述的手掌的掌心位置定位方法获取手掌掌心的位置信息；
手掌内接圆确定单元(6)，用于以所述掌心为圆心，以所述最大值为半径确定手掌内接圆；
手势识别单元(7)，用于根据预定时间内所获取的手掌掌心的位置信息的变化值和/或手掌内接圆的面积值的变化值进行手势识别。
8.一种智能终端，其特征在于，包括权利要求4或5所述的手掌的掌心位置定位装置和/或权利要求7所述的手势识别装置。
9.一种智能终端，其特征在于，包括图像采集装置和权利要求4或5所述的手掌的掌心位置定位装置；
所述图像采集装置，用于采集包括手掌和手臂的图像。
10.一种智能终端，其特征在于，包括图像采集装置和权利要求7所述的手势识别装置；
所述图像采集装置，用于采集包括手掌和手臂的图像。
CN201610177407.0A 2016-03-25 2016-03-25 手掌的掌心位置定位、手势识别方法、装置及智能终端 Pending CN105825193A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610177407.0A CN105825193A (zh) 2016-03-25 2016-03-25 手掌的掌心位置定位、手势识别方法、装置及智能终端
PCT/CN2016/089380 WO2017161778A1 (zh) 2016-03-25 2016-07-08 手掌的掌心位置定位、手势识别方法、装置及智能终端
US15/245,159 US20170277944A1 (en) 2016-03-25 2016-08-23 Method and electronic device for positioning the center of palm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610177407.0A CN105825193A (zh) 2016-03-25 2016-03-25 手掌的掌心位置定位、手势识别方法、装置及智能终端

Publications (1)

Publication Number Publication Date
CN105825193A true CN105825193A (zh) 2016-08-03

Family

ID=56525238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610177407.0A Pending CN105825193A (zh) 2016-03-25 2016-03-25 手掌的掌心位置定位、手势识别方法、装置及智能终端

Country Status (2)

Country Link
CN (1) CN105825193A (zh)
WO (1) WO2017161778A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503619A (zh) * 2016-09-23 2017-03-15 南京理工大学 基于bp神经网络的手势识别方法
CN106980828A (zh) * 2017-03-17 2017-07-25 深圳市魔眼科技有限公司 在手势识别中确定手掌区域的方法、装置及设备
CN107589850A (zh) * 2017-09-26 2018-01-16 深圳睛灵科技有限公司 一种手势移动方向的识别方法及系统
WO2018113259A1 (zh) * 2016-12-22 2018-06-28 深圳光启合众科技有限公司 获取目标对象的方法、装置和机器人
CN108748139A (zh) * 2018-04-18 2018-11-06 四川文理学院 基于体感式的机器人控制方法及装置
CN108921129A (zh) * 2018-07-20 2018-11-30 网易（杭州）网络有限公司 图像处理方法、系统、介质和电子设备
CN110533714A (zh) * 2019-08-21 2019-12-03 合肥晌玥科技有限公司 基于图像处理技术检测目标物体最大内接圆的方法和系统
CN111309149A (zh) * 2020-02-21 2020-06-19 河北科技大学 一种手势识别方法及手势识别装置
CN111626168A (zh) * 2020-05-20 2020-09-04 中移雄安信息通信科技有限公司 手势识别方法、装置、设备和介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109857244B (zh) * 2017-11-30 2023-09-01 百度在线网络技术（北京）有限公司 一种手势识别方法、装置、终端设备、存储介质及vr眼镜
CN111291749B (zh) * 2020-01-20 2024-04-23 深圳市优必选科技股份有限公司 手势识别方法、装置及机器人
CN117455940B (zh) * 2023-12-25 2024-02-27 四川汉唐云分布式存储技术有限公司 基于云值守的顾客行为检测方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081918A (zh) * 2010-09-28 2011-06-01 北京大学深圳研究生院 一种视频图像显示控制方法及视频图像显示器
CN104102347A (zh) * 2014-07-09 2014-10-15 东莞万士达液晶显示器有限公司 指尖定位方法及指尖定位终端
CN104899600A (zh) * 2015-05-28 2015-09-09 北京工业大学 一种基于深度图的手部特征点检测方法
CN105138990A (zh) * 2015-08-27 2015-12-09 湖北师范学院 一种基于单目摄像头的手势凸包检测与掌心定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722701B (zh) * 2012-05-24 2014-03-26 清华大学 指纹采集过程中的视觉监控方法及其设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081918A (zh) * 2010-09-28 2011-06-01 北京大学深圳研究生院 一种视频图像显示控制方法及视频图像显示器
CN104102347A (zh) * 2014-07-09 2014-10-15 东莞万士达液晶显示器有限公司 指尖定位方法及指尖定位终端
CN104899600A (zh) * 2015-05-28 2015-09-09 北京工业大学 一种基于深度图的手部特征点检测方法
CN105138990A (zh) * 2015-08-27 2015-12-09 湖北师范学院 一种基于单目摄像头的手势凸包检测与掌心定位方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503619A (zh) * 2016-09-23 2017-03-15 南京理工大学 基于bp神经网络的手势识别方法
WO2018113259A1 (zh) * 2016-12-22 2018-06-28 深圳光启合众科技有限公司 获取目标对象的方法、装置和机器人
CN108230328A (zh) * 2016-12-22 2018-06-29 深圳光启合众科技有限公司 获取目标对象的方法、装置和机器人
CN108230328B (zh) * 2016-12-22 2021-10-22 新沂阿凡达智能科技有限公司 获取目标对象的方法、装置和机器人
KR20190099259A (ko) * 2016-12-22 2019-08-26 선전 쾅-츠 허종 테크놀로지 엘티디. 목표대상을 획득하는 방법, 장치와 로봇
US11127151B2 (en) 2016-12-22 2021-09-21 Shen Zhen Kuang-Chi Hezhong Technology Ltd Method and device for acquiring target object, and robot
KR102293163B1 (ko) 2016-12-22 2021-08-23 선전 쾅-츠 허종 테크놀로지 엘티디. 목표대상을 획득하는 방법, 장치와 로봇
CN106980828A (zh) * 2017-03-17 2017-07-25 深圳市魔眼科技有限公司 在手势识别中确定手掌区域的方法、装置及设备
CN106980828B (zh) * 2017-03-17 2020-06-19 深圳市魔眼科技有限公司 在手势识别中确定手掌区域的方法、装置及设备
CN107589850A (zh) * 2017-09-26 2018-01-16 深圳睛灵科技有限公司 一种手势移动方向的识别方法及系统
CN108748139A (zh) * 2018-04-18 2018-11-06 四川文理学院 基于体感式的机器人控制方法及装置
CN108921129B (zh) * 2018-07-20 2021-05-14 杭州易现先进科技有限公司 图像处理方法、系统、介质和电子设备
CN108921129A (zh) * 2018-07-20 2018-11-30 网易（杭州）网络有限公司 图像处理方法、系统、介质和电子设备
CN110533714A (zh) * 2019-08-21 2019-12-03 合肥晌玥科技有限公司 基于图像处理技术检测目标物体最大内接圆的方法和系统
CN111309149A (zh) * 2020-02-21 2020-06-19 河北科技大学 一种手势识别方法及手势识别装置
CN111309149B (zh) * 2020-02-21 2022-08-19 河北科技大学 一种手势识别方法及手势识别装置
CN111626168A (zh) * 2020-05-20 2020-09-04 中移雄安信息通信科技有限公司 手势识别方法、装置、设备和介质
CN111626168B (zh) * 2020-05-20 2022-12-02 中移雄安信息通信科技有限公司 手势识别方法、装置、设备和介质

Also Published As

Publication number Publication date
WO2017161778A1 (zh) 2017-09-28

Similar Documents

Publication Publication Date Title
CN105825193A (zh) 手掌的掌心位置定位、手势识别方法、装置及智能终端
CN107801413B (zh) 对电子设备进行控制的终端及其处理方法
US9001208B2 (en) Imaging sensor based multi-dimensional remote controller with multiple input mode
US20220066545A1 (en) Interactive control method and apparatus, electronic device and storage medium
CN107818290B (zh) 基于深度图的启发式手指检测方法
EP4044146A1 (en) Method and apparatus for detecting parking space and direction and angle thereof, device and medium
CN107449427B (zh) 一种生成导航地图的方法及设备
EP3477593B1 (en) Hand detection and tracking method and device
KR20140086463A (ko) 영상 변형 장치 및 그 방법
CN106934351B (zh) 手势识别方法、装置及电子设备
CN110866497B (zh) 基于点线特征融合的机器人定位与建图方法和装置
US20230057965A1 (en) Robot and control method therefor
US20160104037A1 (en) Method and device for generating motion signature on the basis of motion signature information
TWI431538B (zh) 基於影像之動作手勢辨識方法及系統
CN110546679B (zh) 识别装置、识别系统，识别方法以及存储介质
CN102236409A (zh) 基于影像的动作手势辨识方法及系统
CN110146098A (zh) 一种机器人地图扩建方法、装置、控制设备和存储介质
CN108830180A (zh) 电子考勤方法、装置及电子设备
CN114138121B (zh) 用户手势识别方法、装置、系统、存储介质及计算设备
CN109839827A (zh) 一种基于全空间位置信息的手势识别智能家居控制系统
CN114529621B (zh) 户型图生成方法、装置、电子设备及介质
CN113780201B (zh) 手部图像的处理方法及装置、设备和介质
CN116263622A (zh) 手势识别方法、装置、电子设备、介质及程序产品
CN111898552B (zh) 一种判别人员关注目标物的方法、装置及计算机设备
CN109313822A (zh) 基于机器视觉的虚拟墙构建方法及装置、地图构建方法、可移动电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160803

WD01 Invention patent application deemed withdrawn after publication