CN105787471B - 一种应用于助老助残移动服务机器人控制的手势识别方法 - Google Patents
一种应用于助老助残移动服务机器人控制的手势识别方法 Download PDFInfo
- Publication number
- CN105787471B CN105787471B CN201610180343.XA CN201610180343A CN105787471B CN 105787471 B CN105787471 B CN 105787471B CN 201610180343 A CN201610180343 A CN 201610180343A CN 105787471 B CN105787471 B CN 105787471B
- Authority
- CN
- China
- Prior art keywords
- gesture
- profile
- point
- palm
- maximum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000003068 static effect Effects 0.000 claims abstract description 21
- 210000000707 wrist Anatomy 0.000 claims description 16
- 230000033001 locomotion Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 238000005530 etching Methods 0.000 claims description 4
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 230000000903 blocking effect Effects 0.000 abstract description 3
- 230000002452 interceptive effect Effects 0.000 abstract description 3
- 230000003993 interaction Effects 0.000 abstract description 2
- 230000011218 segmentation Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000035976 Developmental Disabilities Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 125000000623 heterocyclic group Chemical group 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
- A61G5/04—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
- A61G5/10—Parts, details or accessories
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2200/00—Information related to the kind of patient or his position
- A61G2200/30—Specific positions of the patient
- A61G2200/34—Specific positions of the patient sitting
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
- G06V10/473—Contour-based spatial representations, e.g. vector-coding using gradient analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种应用于助老助残移动服务机器人控制的手势识别方法，将静态手势识别与动态手势识别相结合，能排除手势分割时由于复杂背景、大面积肤色或遮挡造成的干扰，具有自然友好的人机交互方式，运用到基于手势识别的移动服务机器人交互系统中可以快速准确识别出手势指令并安全地控制轮椅，增大用户的活动范围，有效地改善其生活质量。
Description
技术领域
本发明涉及人机控制技术领域，具体涉及一种应用于助老助残移动服务机器人控制并可将静态手势与动态手势相结合的识别方法。
背景技术
近几年来，手势识别系统的发展大大增加了研究者的兴趣，特别是运用到帮助老年人和那些由于先天残疾或者后天各种灾难和疾病造成的残障人士的辅助系统，轮椅就是其中应用较广的一种辅助运动系统。目前工程师和开发人员可以通过提供像操纵杆这样一个友好的用户界面来控制电动轮椅，随着交互方式手段的多样化的发展，也可以提供一种更新颖的、更直观的方式来操作。
助老助残移动服务机器人是以轮椅为基础运用手势识别的控制系统，在设计中既要提高其自主性，也要在考虑用户自身特点和环境因素下有效弥补用户的身体缺陷并排除外界因素的干扰。如果环境比较嘈杂，那么语音识别的效果就会比较差；如果是在公共场合用户不想打扰他人的情况下，通过手势识别来控制轮椅就显得更加人性化。因此用户可以利用手势获取控制信号，将手势指令转化为驱动指令，比起其他控制轮椅运动的方式更具优势。
从事手势识别研究的人员和机构有很多，方法也不尽相同。中国科学院自动化研究所的鲁涛通过手部加速度传感器的检测将训练的手势模型结合贝叶斯算法识别出手势指令来控制轮椅；瑞士的Uebersax采用三种不同的分类方法来标签手语字母：一种基于平均邻域边界最大化(Average Neighborhood Margin Maximization,简称ANMM)，一种基于被观察的手势与假设的模型之间的像素深度差异，以及一种基于被估计的手势运动，然后对字母置信度加权求和来得到手势识别出的单词；土耳其的Keskin通过改善利用官方的Kinect SDK和Xbox360对手势的高鲁棒性位姿估计方法提取骨架关节作为识别用手语表示的十位数集合的特征；日本产业技术综合研究所的桥本运用基于图像块分类稀疏表示(SRC)的手势识别算法来实时控制轮椅的运行。
手势识别根据手部的不同特征可以分为动态手势识别和静态手势识别。静态手势识别不涉及图像的时空序列的研究，主要以手的姿势和形状作为识别对象，因此在应用上具有局限性，只能用于相对简单的场合。而单纯利用手部轨迹做动态手势其识别方式也有限。
发明内容
本发明旨在针对现有智能移动服务机器人中，手势识别只能用于简单环境，在复杂环境中识别手势效果差，手势方式单一，并且不利于用户操作，很难在实际生活中应用等技术问题，提出一种应用于助老助残移动服务机器人控制的手势识别方法，可将静态手势与动态手势相结合进行识别。
本发明的上述目的通过独立权利要求的技术特征实现，从属权利要求以另选或有利的方式发展独立权利要求的技术特征。
为达成上述目的，本发明提出一种应用于助老助残移动服务机器人控制的手势识别方法，包括以下步骤：
S1：获取Kinect静态手势的深度图像并使用骨骼追踪方法获取手掌心坐标S0，同时以掌心坐标S0为中心截出一块包含手掌图像的正方形区域；
S2：采取自适应邻近值法对所述正方形区域所在的深度图像进行分割，以取得精确的手掌轮廓，然后对手掌轮廓进行图像形态学处理以降低手掌轮廓的细节；
S3：对形态学处理过后的手掌轮廓进行椭圆拟合，以椭圆圆心为手掌轮廓的几何中心S1，建立圆周序列曲线，求出圆周序列曲线上的所有极大值和极小值，并使用一个极大值和左右各一个极小值构成极值点对；
S4：求极值点对内的所有轮廓点，通过计算每个轮廓点的梯度排除掉不合适的轮廓点，剩下的部分便是手指轮廓或是手腕轮廓；再比较各轮廓的宽度，取其中宽度最大且比任何其他的轮廓宽度均大两倍以上的为手腕轮廓；
S5：通过手指轮廓确定手指的个数，从而得出静态手势的识别结果来调节移动服务机器人，即调节智能轮椅的速度大小；
S6：在步骤S5确定移动服务机器人的速度之后，做动态手势由Kinect获取其不同时刻的手心位置，计算得到手势轨迹角度，再根据所得角度采用12方向链码进行离散化将手势轨迹不同时刻的切线角度变化作为手势特征向量；
S7：根据经过训练的HMM模型对手势特征向量进行预测分类，其中HMM模型为根据对样本手势区域通过使用Baum-Welch算法进行训练得到的分类模型；
S8：以步骤S6中得到的手势特征向量中的局部特征和全局特征作为输入，运用HMM模型进行动态手势的识别，选用Viterbi算法计算似然度识别出当前帧中的动态手势类别，其结果用来确定移动服务机器人的运动方向，从而完成全部的识别工作。
如此，在完成全部的识别工作以后，我们可以利用计算机来根据手势识别的结果通过串口发送命令给DSP控制器，DSP再发送控制命令给电机驱动从而控制轮椅的运动。
本发明的优点在于：本发明将静态手势识别与动态手势识别相结合，能排除手势分割时由于复杂背景、大面积肤色或遮挡造成的干扰，具有自然友好的人机交互方式，运用到基于手势识别的移动服务机器人交互系统中可以快速准确识别出手势指令并安全地控制轮椅，增大用户的活动范围，有效地改善其生活质量。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：
图1为本发明中助老助残移动服务机器人的结构示意图。
图2为本发明采用静态与动态相结合的方法进行手势识别系统流程图。
图3为本发明中动态手势轨迹训练流程图。
图4为本发明中基于手势识别的移动服务机器人硬件示意图。
图5为本发明中手势控制的移动服务机器人示意图。
图6为本发明中提取手部区域以及手心坐标的样例图。
图7为本发明中静态手势手指轮廓图。
图8为本发明中动态手势轨迹图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
图1为助老助残移动服务机器人的结构示意图，它具有一个主体以及设置在主体上的各个构件，这些构件包括：101头枕、102Kinect摄像头、103PC控制器、104操纵杆、105电机、106电池、107前轮、108后轮以及109防后倾轮。如图所示，Kinect摄像头102安装在使用者胸口的正前方约50cm左右处，确保能够在用户做手势时能正对手部且将整个手部包含在采集的画面中，距离50cm左右能够较好地采集彩色图像和深度图像。
应当理解，图1中，前述101头枕、103PC控制器、104操纵杆、105电机、电池106、前轮107、后轮108以及防后倾轮109，均为智能移动服务机器人上的常用设置，其具体构造、功能和/或效果在此不再赘述。这些构件在图1所示的安装位置和/或其组合仅仅是示例性的，在一些需要或者必要的例子中，这些构件的构造方式、组合和/或其安装位置可以是任意方式的。
图2为本发明采用静态与动态相结合的方法进行手势识别系统流程图；如图所示：本发明提供的手势识别方法，包括以下步骤：
S1：使用Kinect获取深度图像并使用骨骼追踪技术获取手掌心坐标S0，如图6所示，以掌心坐标S0为中心截出一块包含手掌图像的正方形区域。
S2：采取自适应邻近值法对S1中截出的正方形区域对应的深度图像进行分割，以取得精确的手掌轮廓，然后对手掌轮廓进行形态学处理。
邻近值法是指利用掌心坐标及其深度信息，使用一个先进先出队列进行前景检测，从而把前景手掌提取出来。
具体执行过程如下：先将所有像素点置为白色，掌心坐标S0因为已被发现，所以设为源像素，置为灰色同时入队。只要队列不为空，就循环执行出队操作，对于每一个出队的像素点Pij如果Pij与掌心坐标S0的深度值之差不超过Threshold，则将该像素置为黑色，否则置为白色。如果为黑色则计算该像素Pij的深度值及与其曼哈顿距离为1的所有白色像素Pwhile的深度值之差，其中差不超过1的就将Pwhile设为灰色Pgray同时入队列。当队列为空时，算法终止，标为黑色的像素便是前景像素。
本发明采用自适应邻近值法进行前景检测，自适应邻近值法指不强行规定Threshold应该取何值，每次进行前景检测时Threshold的值先从3开始取，然后依次递增分别使用邻近值法获取前景图像，当前景图像所包含的像素与上一次检测所包含的前景图像像素个数相差少于10时，表明前景检测已经稳定，Threshold的值不用再递增。取已经稳定的前景图像与上一次并未稳定的前景图像之差，这个差值图像里最大的一块区域便是手腕的位置。
在取出手掌前景图像后，对前景图像进行图像形态学处理。具体是指：先对图像作腐蚀操作，然后再做膨胀，腐蚀操作与膨胀操作所使用的均是3×3的核，这个处理是为了减少手掌图像轮廓的细节。最后寻找手掌轮廓，并用序列表示，这样便完成了手掌的检测。
S3：对手掌轮廓进行椭圆拟合，以椭圆圆心作为新的轮廓几何中心S1，建立圆周序列曲线。圆周序列曲线是手指轮廓的另一种表示形式，它在X轴上有360个刻度，Y轴表示手掌轮廓上各角度X的点距手掌几何中心S1的最大欧几里德距离(同一角度下可能存在几个轮廓点的情况，取其中距离最大的一个)。圆周序列曲线的意义是将整个手掌轮廓以几何中心S1进行360度展开。
使用极值点对法对圆周序列曲线上的点进行运算，求出所有的极大值点和极小值点作为候选极大值点和候选极小值点。对于这些候选极值点，通过以下条件进行逐个筛选：
(1)对于相连的几个极大值点，取出其中最大的一个；
(2)两个极大值点之间有且只有两个极小值点，如果大于两个，则将中间的候选极小值点删掉，留下两边的，如果只有一个，则复制一个跟它一样的极小值点；
(3)将一个极大值点和紧帖在它两边的两个极小值点组成一组极值点对，每组极值点对为一根候选手指或候选手腕，计算各组点对中极大值与极小值的平均差，对于平均差较小的点对，属于干扰点对，从候选手指中删除。
S4：取出极值点对中所包含的所有轮廓点，以极大值点为中点分为左右两部分，对左边部分上的每一个轮廓点求它的梯度方向上的直线是否能与右边部分相交，如果不相交，则该轮廓点作为孤立点从手指轮廓或手腕轮廓中剔除；取对右边部分上每一个轮廓点求它的梯度方向上的直线是否能与左边部分相交，如果不相交，则该轮廓点作为孤立点从手指轮廓或手腕轮廓中剔除；在删除两头部分孤立点之后，取剩下的轮廓为手指轮廓或手腕轮廓。之所以进行梯度运算是因为极值点对所求出的结果会带有一些多余的部分，这多出的部分会影响手指的形状，以至于影响最终的结果。
比较各轮廓的宽度，取其中宽度最大的且比任何其他的轮廓宽度均大两倍以上的为手腕轮廓；
S5：通过手指轮廓确定手指的个数，如图7所示，从而得出静态手势的识别结果来调节移动服务机器人即智能轮椅的速度大小，手指数从一到五分别代表其运行速度从小到大的五个档位，而握拳即识别手指数为零则代表停止。
S6：在得出静态手势识别结果后开始做动态手势，向前后左右四个方向挥动给出轮椅运动的方向信号。这里通过Kinect获取不同时刻手心位置，计算手势运动轨迹，如图8所示，并分别提取手势轨迹方向角和三维质心距函数作为局部特征和全局特征。具体方法如下：
S61：根据手心位置计算手势运动轨迹
S62：提取手势轨迹方向角作为局部特征：
设t和t-1时刻的手心坐标为根据下式就可以计算出手势轨迹的方向角，
根据所得方向角度对其进行12方向链码离散化
S63：根据下式提取三维质心距函数作为全局特征：
其中：xc,yc表示N个节点的加权质心。
S7：根据经过训练的HMM模型对手势特征向量进行预测分类，其中HMM模型为根据对样本手势区域通过使用Baum-Welch算法进行训练得到的分类模型。
训练就是动态手势的建模过程，即利用参数重估算法不断调整模型的参数，不断优化模型。如图3手势轨迹训练流程图所示，在初始化模型参数后，采用Baum-Welch算法作为手势轨迹模型训练的算法。训练的原理就是根据Baum-Welch算法反复迭代特性，保存前一次得出的输出概率结果P(O|λ)，再计算出本次迭代的输出概率结果比较两次的结果，如果有产生，则得到训练模型。操作的具体步骤如下：
S71:按照矩阵形式对HMM的参数λ＝{π,A,B}初始化。
S72:输入样本特征序列。
S73:利用Baum-Welch算法进行参数重估，得到新模型，并代替原有的模型。
Baum-Welch算法为前后向递推算法，具体计算方法如下：
前向递推算法：定义变量at(i)＝P(o1,o2,...,oT,qt＝i|λ)为前向变量。at(i)表示在给定模型λ的情况下，设在t时刻下的状态i，到t时刻为止的部分观察序列为o1,o2,...,oT的概率，具体步骤为：
首先初始化at(i)＝πibi(o1)，其中bi(o1)表示状态i所产生观测序列o1的概率值，πi表示在状态i下的初始值；再进行递推
最后终止在t＝T时刻
后向递推算法：定义后向变量为βt(i)＝P(ot+1,ot+2,...,oT,qt＝i|λ)，βt(i)表示在给定模型λ的情况下，设在t时刻下的状态i，到t时刻为止的部分观察序列为ot+1,ot+2,...,oT的概率，具体步骤为：
首先初始化βT(i)＝1,i＝1～N，然后递推
最后终止在t＝T时刻
前向递推法结合后向递推法就是前后递推法，假设前半部分时间为0～t，后半部分为t～T，那么此时：
S74：若满足收敛条件，即两次比较结果的差值小于预设值，则转入步骤S75，若不满足收敛条件，则返回步骤S73；
S75：判断样本是否输入完毕，输入完毕则结束，反之，则返回步骤S71，并将新的模型作为下一个样本的HMM模型初始化。
S8：以S6中得到的局部特征和全局特征作为输入，运用HMM模型进行动态手势的识别，选用Viterbi算法计算似然度识别出当前帧中的手势类别。
动态手势识别的过程就是将待动态识别的手势与己经建立好的动态手势HMM模型库进行匹配，通过计算从而搜索到最佳匹配的过程。动态手势轨迹识别是在训练好HMM模型后进行，主要利用前后向算法和Viterbi算法，通过与训练好的模型库匹配来计算相似度。识别的流程如下：
S81首先提取手势轨迹特征，转换成观测向量值；
S82然后采用前向后向算法或者Viterbi算法，计算出此动态手势轨迹的观察值向量序列与手势模型库中各个动态手势轨迹的HMM模型的概率P(O|λ)；
S83比较得到概率值最大手势模型，则这个分类为待识别动态手势轨迹的手势模型。因Viterbi算法更具有实际应用性，因此本发明采用Viterbi算法来进行动态手势轨迹识别。
应当理解，在完成步骤S8的识别后，也即实现了全部识别之后，我们就可以利用计算机来根据手势识别的结果通过串口发送命令给DSP控制器，DSP再发送控制命令给电机驱动从而控制轮椅的运动。如图4系统硬件示意图所示，包括Kinect、笔记本电脑、DSP控制器和轮椅本体，图像采集采用Kinect来进行视频图像的实时采集，触摸屏笔记本电脑用来进行对图像的实时处理，DSP控制器通过发送运行状态数据、接收控制指令来进行笔记本与轮椅本体之间的通信连接。
图5为本发明中手势控制的移动服务机器人示意图，如图所示，主要包括图像采集，静态手势识别、动态手势识别、轮椅控制四大模块。首先利用Kinect采集手势图像，再分别识别出静态与动态手势并输出结果，定义每一类手势对应固定的控制指令，最后根据识别结果向轮椅发送控制命令，控制轮椅的运动。
作为上述实施例的进一步改进，所述控制指令包括驱动电机来控制轮椅的前进、后退、左转、右转、停止的指令，对应的手势分别是向上挥、向下挥，向左挥手、向右挥手、握拳，至于速度的控制则通过静态手势手指数目大小调节。
本发明采用静态与动态相结合的方法进行手势识别，在手势从复杂环境中分割出来进行一系列预处理之后，计算手势轨迹不同时刻的切线角度变化作为特征向量，利用HMM模型对当前帧手势进行预测识别。该方法快速准确可靠，能较好地解决识别时复杂背景、大面积肤色或遮挡造成的干扰问题。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。
Claims (6)
1.一种应用于助老助残移动服务机器人控制的手势识别方法，其特征在于，包括以下步骤：
S1：获取Kinect静态手势的深度图像并使用骨骼追踪方法获取手掌心坐标S0，同时以掌心坐标S0为中心截出一块包含手掌图像的正方形区域；
S2：采取自适应邻近值法对所述正方形区域所在的深度图像进行分割，以取得精确的手掌轮廓，然后对手掌轮廓进行图像形态学处理以降低手掌轮廓的细节；
S3：对形态学处理过后的手掌轮廓进行椭圆拟合，以椭圆圆心为手掌轮廓的几何中心S1，建立圆周序列曲线，求出圆周序列曲线上的所有极大值和极小值，并使用一个极大值和左右各一个极小值构成极值点对；
S4：求极值点对内的所有轮廓点，通过计算每个轮廓点的梯度排除掉不合适的轮廓点，剩下的部分便是手指轮廓或是手腕轮廓；再比较各轮廓的宽度，取其中宽度最大且比任何其他的轮廓宽度均大两倍以上的为手腕轮廓；
S5：通过手指轮廓确定手指的个数，从而得出静态手势的识别结果来调节移动服务机器人，即调节智能轮椅的速度大小；
S6：在步骤S5确定移动服务机器人的速度之后，做动态手势由Kinect获取其不同时刻的手心位置，计算得到手势轨迹角度，再根据所得角度采用12方向链码进行离散化将手势轨迹不同时刻的切线角度变化作为手势特征向量；
S7：根据经过训练的HMM模型对手势特征向量进行预测分类，其中HMM模型为根据对样本手势区域通过使用Baum-Welch算法进行训练得到的分类模型；
S8：以步骤S6中得到的手势特征向量中的局部特征和全局特征作为输入，运用HMM模型进行动态手势的识别，选用Viterbi算法计算似然度识别出当前帧中的动态手势类别，其结果用来确定移动服务机器人的运动方向，从而完成全部的识别工作；
所述步骤S5中，通过手指轮廓确定手指的个数，从而得出静态手势的识别结果来调节移动服务机器人即智能轮椅的速度大小，手指数从一到五分别代表其运行速度从小到大的五个档位，而握拳即识别手指数为零则代表停止。
2.根据权利要求1所述的应用于助老助残移动服务机器人控制的手势识别方法，其特征在于，所述步骤S2的具体实现包括：
先将深度图像所有像素点置为白色，将掌心坐标S0设为源像素，置为灰色同时入队；只要队列不为空，就循环执行出队操作，对于每一个出队的像素点Pij如果Pij与掌心坐标S0的深度值之差不超过阈值Threshold，则将该像素置为黑色，否则置为白色；如果为黑色，则计算该像素Pij的深度值及与其曼哈顿距离为1的所有白色像素Pwhile的深度值之差，其中差值不超过1的就将Pwhile设为灰色Pgray同时入队列；当队列为空时，算法终止，标为黑色的像素便是前景像素；采用自适应邻近值法进行前景检测，自适应邻近值法指不强行规定阈值Threshold应该取何值，每次进行前景检测时阈值Threshold的值先从3开始取，然后依次递增分别使用邻近值法获取前景图像，当前景图像所包含的像素与上一次检测所包含的前景图像像素个数相差少于10时，表明前景检测已经稳定，阈值Threshold的值不用再递增；取已经稳定的前景图像与上一次并未稳定的前景图像之差，这个差值图像里最大的一块区域便是手腕的位置；在取出手掌前景图像后，对前景图像进行图像形态学处理，具体是指：先对图像作腐蚀操作，然后再做膨胀，腐蚀操作与膨胀操作所使用的均是3×3的核，以减少手掌图像轮廓的细节；最后寻找手掌轮廓，用序列表示，完成手掌的检测。
3.根据权利要求1所述的应用于助老助残移动服务机器人控制的手势识别方法，其特征在于，所述步骤S3的实现具体包括：
对手掌轮廓进行椭圆拟合，以椭圆圆心作为新的轮廓几何中心S1，建立圆周序列曲线，圆周序列曲线是手指轮廓的另一种表示形式，它在X轴上有360个刻度，Y轴表示手掌轮廓上各角度X的点距手掌几何中心S1的最大欧几里德距离；
使用极值点对法对圆周序列曲线上的点进行运算，求出所有的极大值点和极小值点作为候选极大值点和候选极小值点，对于这些候选极值点，通过以下条件进行逐个筛选：
(1)对于相连的几个极大值点，取出其中最大的一个；
(2)两个极大值点之间有且只有两个极小值点，如果大于两个，则将中间的候选极小值点删掉，留下两边的，如果只有一个，则复制一个跟它一样的极小值点；
(3)将一个极大值点和紧帖在它两边的两个极小值点组成一组极值点对，每组极值点对为一根候选手指或候选手腕，计算各组点对中极大值与极小值的平均差，对于平均差较小的点对，属于干扰点对，从候选手指中删除。
4.根据权利要求1所述的应用于助老助残移动服务机器人控制的手势识别方法，其特征在于，所述步骤S4的实现具体包括：
取出极值点对中所包含的所有轮廓点，以极大值点为中点分为左右两部分，对左边部分上的每一个轮廓点求它的梯度方向上的直线是否能与右边部分相交，如果不相交，则该轮廓点作为孤立点从手指轮廓或手腕轮廓中剔除；取对右边部分上每一个轮廓点求它的梯度方向上的直线是否能与左边部分相交，如果不相交，则该轮廓点作为孤立点从手指轮廓或手腕轮廓中剔除；在删除两头部分孤立点之后，取剩下的轮廓为手指轮廓或手腕轮廓；比较各轮廓的宽度，取其中宽度最大的且比任何其他的轮廓宽度均大两倍以上的为手腕轮廓。
5.根据权利要求1所述的应用于助老助残移动服务机器人控制的手势识别方法，其特征在于，所述步骤S6中，在得出静态手势识别结果后开始做动态手势，向前后左右四个方向挥动给出轮椅运动的方向信号，通过Kinect获取不同时刻手心位置，计算手势运动轨迹，并分别提取手势轨迹方向角和三维质心距函数作为局部特征和全局特征，具体方法如下：
S61：根据手心位置计算手势运动轨迹
S62：提取手势轨迹方向角作为局部特征：
设t和t-1时刻的手心坐标为根据下式就可以计算出手势轨迹的方向角，根据所得方向角度对其进行12方向链码离散化；
S63：根据下式提取三维质心距函数作为全局特征：
其中：xc,yc表示N个节点的加权质心。
6.根据权利要求1所述的应用于助老助残移动服务机器人控制的手势识别方法，其特征在于，所述步骤8中，动态手势识别的过程是指将待动态识别的手势与己经建立好的动态手势HMM模型库进行匹配，通过计算从而搜索到最佳匹配的过程，动态手势轨迹识别是在训练好HMM模型后进行，利用前后向算法和Viterbi算法，通过与训练好的模型库匹配来计算相似度，识别的具体流程包括：
S81、首先提取手势轨迹特征，转换成观测向量值；
S82、然后采用前向后向算法或者Viterbi算法，计算出此动态手势轨迹的观察值向量序列与手势模型库中各个动态手势轨迹的HMM模型的概率P(O|λ)；
S83、比较得到概率值最大手势模型，则这个分类为待识别动态手势轨迹的手势模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610180343.XA CN105787471B (zh) | 2016-03-25 | 2016-03-25 | 一种应用于助老助残移动服务机器人控制的手势识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610180343.XA CN105787471B (zh) | 2016-03-25 | 2016-03-25 | 一种应用于助老助残移动服务机器人控制的手势识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105787471A CN105787471A (zh) | 2016-07-20 |
| CN105787471B true CN105787471B (zh) | 2019-05-03 |
Family
ID=56392153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610180343.XA Active CN105787471B (zh) | 2016-03-25 | 2016-03-25 | 一种应用于助老助残移动服务机器人控制的手势识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105787471B (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107696028B (zh) * | 2016-08-08 | 2021-11-02 | 新沂阿凡达智能科技有限公司 | 用于智能机器人的控制方法和装置及机器人 |
| CN106599771B (zh) * | 2016-10-21 | 2019-11-22 | 上海未来伙伴机器人有限公司 | 一种手势图像的识别方法及系统 |
| CN106557173B (zh) * | 2016-11-29 | 2019-10-18 | 重庆重智机器人研究院有限公司 | 动态手势识别方法及装置 |
| WO2018148951A1 (zh) * | 2017-02-18 | 2018-08-23 | 广州艾若博机器人科技有限公司 | 基于手势识别的机器人控制方法、装置及机器人 |
| CN107247466B (zh) * | 2017-06-12 | 2020-10-20 | 中山长峰智能自动化装备研究院有限公司 | 一种机器人头部手势控制方法及系统 |
| CN107390573B (zh) * | 2017-06-28 | 2020-05-29 | 长安大学 | 基于手势控制的智能轮椅系统及控制方法 |
| CN107260412B (zh) * | 2017-07-11 | 2019-01-04 | 雷磊 | 可折叠式智能化担架 |
| CN107212971B (zh) * | 2017-07-11 | 2018-09-21 | 薛红 | 一种可折叠式智能化担架 |
| CN107349078B (zh) * | 2017-07-13 | 2018-08-10 | 泰州腾翔信息科技有限公司 | 手术椅智能化操控方法 |
| CN109597405A (zh) * | 2017-09-30 | 2019-04-09 | 阿里巴巴集团控股有限公司 | 控制机器人移动的方法及机器人 |
| CN107678551B (zh) | 2017-10-19 | 2021-12-28 | 京东方科技集团股份有限公司 | 手势识别方法和装置、电子设备 |
| CN107765855A (zh) * | 2017-10-25 | 2018-03-06 | 电子科技大学 | 一种基于手势识别控制机器人运动的方法和系统 |
| CN108056865A (zh) * | 2017-12-01 | 2018-05-22 | 西安科技大学 | 一种基于云平台的多模态轮椅脑控系统及方法 |
| WO2019127368A1 (zh) * | 2017-12-29 | 2019-07-04 | 四川金瑞麒智能科学技术有限公司 | 一种智能轮椅系统 |
| CN109044651B (zh) * | 2018-06-09 | 2020-06-16 | 苏州大学 | 未知环境中基于自然手势指令的智能轮椅控制方法及系统 |
| CN109145803B (zh) * | 2018-08-14 | 2022-07-22 | 京东方科技集团股份有限公司 | 手势识别方法及装置、电子设备、计算机可读存储介质 |
| CN110236812A (zh) * | 2019-07-16 | 2019-09-17 | 哈尔滨理工大学 | 一种具有体征监测功能的多模态人机交互智能轮椅系统 |
| CN111300402A (zh) * | 2019-11-26 | 2020-06-19 | 爱菲力斯(深圳)科技有限公司 | 一种基于手势识别的机器人控制方法 |
| CN111150566B (zh) * | 2020-01-17 | 2022-05-10 | 南京邮电大学 | 一种自主导航与多模人机交互共享的轮椅控制系统及方法 |
| CN112115791A (zh) * | 2020-08-18 | 2020-12-22 | 北京嘀嘀无限科技发展有限公司 | 图像识别方法、装置、电子设备和计算机可读存储介质 |
| CN112101219B (zh) * | 2020-09-15 | 2022-11-04 | 济南大学 | 一种面向老年陪护机器人的意图理解方法和系统 |
| CN112114675B (zh) * | 2020-09-29 | 2023-05-26 | 陕西科技大学 | 基于手势控制的非接触电梯键盘的使用方法 |
| CN113848790A (zh) * | 2021-09-28 | 2021-12-28 | 德州学院 | 一种智能看护型机器人系统及其控制方法 |
| CN116863541B (zh) * | 2023-09-01 | 2023-11-21 | 芯原科技(上海)有限公司 | 动态手势识别方法、装置及相关设备、手写识别方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103390168A (zh) * | 2013-07-18 | 2013-11-13 | 重庆邮电大学 | 基于Kinect深度信息的智能轮椅动态手势识别方法 |
| CN103971102A (zh) * | 2014-05-21 | 2014-08-06 | 南京大学 | 基于手指轮廓和决策树的静态手势识别方法 |
-
2016
- 2016-03-25 CN CN201610180343.XA patent/CN105787471B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103390168A (zh) * | 2013-07-18 | 2013-11-13 | 重庆邮电大学 | 基于Kinect深度信息的智能轮椅动态手势识别方法 |
| CN103971102A (zh) * | 2014-05-21 | 2014-08-06 | 南京大学 | 基于手指轮廓和决策树的静态手势识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105787471A (zh) | 2016-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105787471B (zh) | 一种应用于助老助残移动服务机器人控制的手势识别方法 | |
| Chaudhary et al. | A survey on hand gesture recognition in context of soft computing | |
| Chaudhary et al. | Intelligent approaches to interact with machines using hand gesture recognition in natural way: a survey | |
| CN105005769B (zh) | 一种基于深度信息的手语识别方法 | |
| CN108052896B (zh) | 基于卷积神经网络与支持向量机的人体行为识别方法 | |
| Kim et al. | Simultaneous gesture segmentation and recognition based on forward spotting accumulative HMMs | |
| CN104050488B (zh) | 一种基于切换的卡尔曼滤波模型的手势识别方法 | |
| CN105739702B (zh) | 用于自然人机交互的多姿态指尖跟踪方法 | |
| CN103390168A (zh) | 基于Kinect深度信息的智能轮椅动态手势识别方法 | |
| Geetha et al. | A vision based dynamic gesture recognition of indian sign language on kinect based depth images | |
| CN104616028B (zh) | 基于空间分割学习的人体肢体姿势动作识别方法 | |
| CN106055091A (zh) | 一种基于深度信息和校正方式的手部姿态估计方法 | |
| CN104463191A (zh) | 一种基于注意机制的机器人视觉处理方法 | |
| Ghotkar et al. | Dynamic hand gesture recognition using hidden Markov model by Microsoft Kinect sensor | |
| CN110688965A (zh) | 基于双目视觉的ipt模拟训练手势识别方法 | |
| CN103186230B (zh) | 基于颜色识别与跟踪的人机交互方法 | |
| Yu et al. | Deep temporal model-based identity-aware hand detection for space human–robot interaction | |
| Luo et al. | Multi-person pose estimation via multi-layer fractal network and joints kinship pattern | |
| CN102682452A (zh) | 基于产生式和判别式结合的人体运动跟踪方法 | |
| Kishore et al. | Segment, track, extract, recognize and convert sign language videos to voice/text | |
| CN110348321A (zh) | 基于骨骼时空特征及长短时记忆网络的人体动作识别方法 | |
| Ushani et al. | Feature learning for scene flow estimation from lidar | |
| Amaliya et al. | Study on hand keypoint framework for sign language recognition | |
| Ikram et al. | Real time hand gesture recognition using leap motion controller based on CNN-SVM architechture | |
| CN113807287B (zh) | 一种3d结构光人脸识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 210003 new model road 66, Gulou District, Nanjing, Jiangsu Applicant after: Nanjing Post & Telecommunication Univ. Address before: 210046 9 Wen Yuan Road, Ya Dong new town, Qixia District, Nanjing, Jiangsu. Applicant before: Nanjing Post & Telecommunication Univ. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |