CN103530607B - 一种人手检测与识别的方法与装置 - Google Patents
一种人手检测与识别的方法与装置 Download PDFInfo
- Publication number
- CN103530607B CN103530607B CN201310469723.1A CN201310469723A CN103530607B CN 103530607 B CN103530607 B CN 103530607B CN 201310469723 A CN201310469723 A CN 201310469723A CN 103530607 B CN103530607 B CN 103530607B
- Authority
- CN
- China
- Prior art keywords
- information
- detection
- staff
- example sample
- positive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 240
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000002372 labelling Methods 0.000 claims abstract description 22
- 239000000284 extract Substances 0.000 claims abstract description 19
- 230000009467 reduction Effects 0.000 claims description 49
- 239000011159 matrix material Substances 0.000 claims description 36
- 238000000605 extraction Methods 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012706 support-vector machine Methods 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 description 7
- 238000005286 illumination Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
Abstract
本发明公开了人手检测与识别的方法，包括：搜集检测正负例样本；得到每个检测正例样本和每个检测负例样本的多通道特征信息，并得到它们对应的标记；根据所述每个检测正例样本和所述每个检测负例样本的多通道特征信息及它们对应的标记，通过级联分类器训练算法得到至少两个强分类器，所述至少两个强分类器级联后得到检测级联分类器；通过摄像头获取用户原始图像，提取所述用户原始图像的多通道特征信息；将所述用户原始图像的多通道特征信息通过所述检测级联分类器，得到人手检测区域信息；根据所述人手检测区域信息识别得到最终识别结果。还公开了人手检测与识别的装置。本发明实时性高、鲁棒性强。
Description
技术领域
本发明涉及人机交互技术领域，尤其涉及一种人手检测与识别的方法与装置。
背景技术
目前在对移动机器人特别是替身机器人的控制中，对人手的检测定位和对人手的识别在人机交互过程中起着至关重要的作用。
现有技术公开了一种基于视频流的人手定位方法，该方法包括如下步骤：(1)摄像头采集一段图像序列，并在采集的图像中获取人脸的位置与大小信息；(2)根据人脸的位置与大小信息，确定挥手检测区域，并计算出人手大小；(3)计算所述挥手检测区域内是否产生挥手，若检测到挥手，并获得变化像素区域的位置中心点；(4)以变化像素区域的位置中心点作为参考点，并根据步骤(2)计算出人手的大小，确定人手搜索区域，再定位人手的精确位置。这种方法对环境要求高、鲁棒性不高，此外并没有能够在单帧图像中实现对人手的识别功能。
发明内容
本发明提供了一种人手检测与识别的方法与装置，提高了鲁棒性。
本发明提供了一种人手检测与识别的方法，包括：
搜集检测正负例样本；
得到每个检测正例样本和每个检测负例样本的多通道特征信息，并得到它们对应的标记；
根据所述每个检测正例样本和所述每个检测负例样本的多通道特征信息及它们对应的标记，通过级联分类器训练算法得到至少两个强分类器，所述至少两个强分类器级联后得到检测级联分类器；
通过摄像头获取用户原始图像，提取所述用户原始图像的多通道特征信息；
将所述用户原始图像的多通道特征信息通过所述检测级联分类器，得到人手检测区域信息；
根据所述人手检测区域信息识别得到最终识别结果。
较优的，所述将所述用户原始图像的多通道特征信息通过所述检测级联分类器，得到人手检测区域信息，具体为：
将所述用户原始图像的多通道特征信息通过所述检测级联分类器，得到输出检测区域信息，将所述输出检测区域信息进行NMS处理，得到人手检测区域信息。
较优的，所述根据所述人手检测区域信息识别得到最终识别结果，具体为：
搜集识别正负例样本；
提取每个识别正负例样本的LBPH特征信息与HOG特征信息，并得到它们对应的正负例标签；
利用线性降维算法对所述每个识别正负例样本的LBPH特征信息与HOG特征信息进行线性降维，得到降维变换矩阵和降维后的识别正负例样本的LBPH特征信息与HOG特征信息；
根据所述降维后的识别正负例样本的LBPH特征信息与HOG特征信息以及它们对应的正负例标签，经过RBFSVM算法得到RBFSVM分类器；
提取人手检测区域信息中的LBPH特征信息和HOG特征信息；
将所述人手检测区域信息中的LBPH特征信息和HOG特征信息经过所述降维变换矩阵得到降维后的准确特征信息；
将所述降维后的准确特征信息通过所述RBFSVM分类器得到最终识别结果。
较优的，在所述将所述用户原始图像的多通道特征信息通过所述检测级联分类器，得到人手检测区域信息之后，还包括：
对所述用户原始图像进行人脸检测，将得到的人脸检测区域信息与人手检测区域信息进行交叠区域面积计算，当所述交叠区域面积大于预设的阈值时，将所述交叠区域面积从所述人手检测区域信息中剔除，则得到人脸检测后的人手检测区域信息。
较优的，还包括：
将所述人脸检测后的人手检测区域信息进行颜色空间变化，提取肤色区域，将误检区域剔除，得到准确的人手检测区域信息。
本发明还提供了一种人手检测与识别的装置，包括：
检测训练模块，与检测模块相连，用于搜集检测正负例样本，得到每个检测正例样本和每个检测负例样本的多通道特征信息，并得到它们对应的标记，根据所述每个检测正例样本和所述每个检测负例样本的多通道特征信息及它们对应的标记，通过级联分类器训练算法得到至少两个强分类器，所述至少两个强分类器级联后得到检测级联分类器；
获取图像模块，与第一特征提取模块相连，用于通过摄像头获取用户原始图像；
第一特征提取模块，还与所述检测模块相连，用于提取所述用户原始图像的多通道特征信息，并将所述用户原始图像的多通道特征信息发送给所述检测模块；
检测模块，用于将所述用户原始图像的多通道特征信息通过所述检测级联分类器，得到人手检测区域信息；
识别模块，与所述检测模块相连，用于根据所述人手检测区域信息识别得到最终识别结果。
较优的，还包括：
检测模块，还用于将所述用户原始图像的多通道特征信息通过所述检测级联分类器，得到输出检测区域信息，将所述输出检测区域信息进行NMS处理，得到人手检测区域信息。
较优的，所述识别模块具体包括：
识别训练模块，与在线识别模块相连，用于搜集识别正负例样本，提取每个识别正负例样本的LBPH特征信息与HOG特征信息，并得到它们对应的正负例标签，利用线性降维算法对所述每个识别正负例样本的LBPH特征信息与HOG特征信息进行线性降维，得到降维变换矩阵和降维后的识别正负例样本的LBPH特征信息与HOG特征信息，根据所述降维后的识别正负例样本的LBPH特征信息与HOG特征信息以及它们对应的正负例标签，经过RBFSVM算法得到RBFSVM分类器；
第二特征提取模块，与所述检测模块相连，用于提取人手检测区域信息中的LBPH特征信息和HOG特征信息；
在线识别模块，还与所述第二特征提取模块相连接，用于将所述人手检测区域信息中的LBPH特征信息和HOG特征信息经过所述降维变换矩阵得到降维后的准确特征信息，将所述降维后的准确特征信息通过所述RBFSVM分类器得到最终识别结果。
较优的，还包括：
检测模块，还用于对所述用户原始图像进行人脸检测，将得到的人脸检测区域信息与人手检测区域信息进行交叠区域面积计算，当所述交叠区域面积大于预设的阈值时，将所述交叠区域面积从所述人手检测区域信息中剔除，则得到人脸检测后的人手检测区域信息。
较优的，还包括：
检测模块，还用于将所述人脸检测后的人手检测区域信息进行颜色空间变化，提取肤色区域，将误检区域剔除，得到准确的人手检测区域信息。
本发明实施上述实施例，通过摄像头采集用户图像、根据多通道特征信息和检测级联分类器所组成的人手检测技术，得到精确的人手检测区域信息，再根据该人手检测区域信息得到最终的识别结果，因为通过多通道特征信息可以全面的描述用户的原始图像，再加上检测级联分类器一层层的筛选，所以鲁棒性强。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种人手检测与识别的方法流程示意图；
图2是本发明利用一种人手检测与识别的方法的另一实施例的流程示意图；
图3是本发明实施例的一种人手检测与识别的装置的结构示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
请参阅图1示出的本发明实施例的一种人手检测与识别的方法流程示意图，包括：
步骤S101：搜集检测正负例样本。
具体的，检测正例样本为人手图像，检测负例样本为非人手图像，其中检测正例样本归一化为同一尺寸，且进行预处理，其中预处理包括噪声去除，光照均衡等预处理；检测负例样本则尺寸不限；检测负例样本的数量大于检测正例样本数量。
步骤S102：得到每个检测正例样本和每个检测负例样本的多通道特征信息，并得到它们对应的标记。
具体的，多通道特征信息包括HOG(Histogram of Oriented Gradients，方向梯度直方图)特征信息，幅值特征信息和LUV(一种颜色空间)特征信息；检测正例样本标记为+1，检测负例样本标记为-1。将检测正例样本的多通道特征信息加入检测正例样本特征池，将检测负例样本的多通道特征信息加入检测负例样本特征池。其中，因为检测负例样本的尺寸不限，则对每个检测负例样本通过正态分布的随机算法产生一个固定矩形区域，提取该固定矩形区域的多通道特征信息即为检测负例样本的多通道特征信息。
步骤S103：根据每个检测正例样本和每个检测负例样本的多通道特征信息及它们对应的标记，通过级联分类器训练算法得到至少两个强分类器，该至少两个强分类器级联后得到检测级联分类器。
具体的，级联分类器训练算法包括Adaboost算法以及Adaboost算法的其他变形算法。
步骤S104：通过摄像头获取用户原始图像，提取用户原始图像的多通道特征信息。
具体的，获取用户原始图像后，对用户原始图像进行预处理，预处理包括噪声去除，光照均衡等预处理。其中，多通道特征信息包括HOG特征信息，幅值特征信息和LUV特征信息。
步骤S105：将用户原始图像的多通道特征信息通过检测级联分类器，得到人手检测区域信息。
具体的，将用户原始图像的多通道特征信息通过检测级联分类器，得到输出检测区域信息，将该输出检测区域信息进行NMS(Non-maximal Suppression，非最大抑制)处理，得到人手检测区域信息。由于检测级联分类器由至少两个强分类器级联而成，用户原始图像的多通道特征信息需要通过所有的强分类器，才会被接受为真实区域，只要有一个强分类器拒绝，则对该用户原始图像的多通道特征信息进行否决。因此这种检测级联分类器方式，对检测的鲁棒性、实时性提供了充分保障，除此之外，该方式也为算法的并行化提供了支撑，利用现有计算机的多核处理能力，将会提升整个算法的实时性能。
步骤S106：根据该人手检测区域信息识别得到最终识别结果。
本发明实施上述实施例，通过摄像头采集用户图像、根据多通道特征信息和检测级联分类器所组成的人手检测技术，得到精确的人手检测区域信息，再根据该人手检测区域信息得到最终的识别结果，因为通过多通道特征信息可以全面的描述用户的原始图像，再加上检测级联分类器一层层的筛选，所以鲁棒性强。
下面结合图2示出的本发明一种人手检测与识别的方法的另一实施例的流程示意图，进一步详细说明本发明实施例的一种人手检测与识别的方法。
步骤S201：搜集检测正负例样本。
具体的，检测正例样本为人手图像，检测负例样本为非人手图像，其中检测正例样本归一化为同一尺寸，且进行预处理，其中预处理包括噪声去除，光照均衡等预处理；检测负例样本则尺寸不限；检测负例样本的数量大于检测正例样本数量。
步骤S202：得到每个检测正例样本和每个检测负例样本的多通道特征信息，并得到它们对应的标记。
具体的，多通道特征信息包括HOG特征信息，幅值特征信息和LUV特征信息；检测正例样本标记为+1，检测负例样本标记为-1。将检测正例样本的多通道特征信息加入检测正例样本特征池，将检测负例样本的多通道特征信息加入检测负例样本特征池。其中，因为检测负例样本的尺寸不限，则对每个检测负例样本通过正态分布的随机算法产生一个固定矩形区域，提取该固定矩形区域的多通道特征信息即为检测负例样本的多通道特征信息。
步骤S203：根据每个检测正例样本和每个检测负例样本的多通道特征信息及它们对应的标记，通过级联分类器训练算法得到至少两个强分类器，该至少两个强分类器级联后得到检测级联分类器。
步骤S204：通过摄像头获取用户原始图像，提取用户原始图像的多通道特征信息。
具体的，获取用户原始图像后，对用户原始图像进行预处理，预处理包括噪声去除，光照均衡等预处理。其中，多通道特征信息包括HOG特征信息，幅值特征信息和LUV特征信息。
步骤S205：将用户原始图像的多通道特征信息通过检测级联分类器，得到输出检测区域信息，将该输出检测区域信息进行NMS处理，得到人手检测区域信息。
具体的，由于检测级联分类器由至少两个强分类器级联而成，用户原始图像的多通道特征信息需要通过所有的强分类器，才会被接受为真实区域，只要有一个强分类器拒绝，则对该用户原始图像的多通道特征信息进行否决。因此这种检测级联分类器方式，对检测的鲁棒性、实时性提供了充分保障，除此之外，该方式也为算法的并行化提供了支撑，利用现有计算机的多核处理能力，将会提升整个算法的实时性能。
步骤S206：对用户原始图像进行人脸检测，将得到的人脸检测区域信息与人手检测区域信息进行交叠区域面积计算，当交叠区域的面积大于预设的阈值时，将该交叠区域的面积从人手检测区域信息中剔除，则得到人脸检测后的人手检测区域信息。
步骤S207：将人脸检测后的人手检测区域信息进行颜色空间变化，提取肤色区域，将误检区域剔除，得到准确的人手检测区域信息。
具体的，步骤S206与步骤S207并无前后顺序差异，先进行人脸检测或者先进行提取肤色区域均可。
步骤S208：搜集识别正负例样本。
具体的，识别正例样本为左手图像，识别负例样本为右手图像，其中识别正负例样本归一化为同一尺寸，且进行预处理，其中预处理包括噪声去除，光照均衡等预处理；识别负例样本的数量与识别正例样本数量相当。
步骤S209：提取识别正负例样本的LBPH(Histogram ofLocal Binary Pattern，局部二进制模式直方图)特征信息与HOG特征信息，并得到它们对应的正负例标签。
具体的，由于HOG特征信息主要侧重于描述手的整体轮廓特征，而LBPH特征信息则强于表达目标的局部特征，因此组合LBPH特征信息与HOG特征信息增强对整个手体的描述能力，达到整体到局部的表达。正例标签为+1，负例标签为-1。
步骤S210：利用线性降维算法对识别正负例样本的LBPH特征信息与HOG特征信息进行线性降维，得到降维变换矩阵和降维后的识别正负例样本的LBPH特征信息与HOG特征信息。
具体的，线性降维算法包括PCA(Principal Component Analysis，主成分分析)算法，LDA(Linear DiscriminantAnalysis，线性判别分析)算法以及INNLP(Iterative Nearest Neighbor Linear Projection，迭代最近邻线性投射)算法等，下面对INNLP算法进行详细描述：
步骤1：将识别正负例样本的LBPH特征信息与HOG特征信息按行或者列进行排列，得到原始的样本特征矩阵X；
步骤2：对原始样本特征矩阵X的每列进行如下操作：
步骤a：其中，初始化特征F0，即全置为0，需要匹配的特征F1，算法内部临时特征F2，矩阵X初始置为F1，特征权重W；
步骤b：在原始样本特征矩阵X中找到特征F1的最近邻匹配特征F3，对特征F3进行特征权重W的更新；
步骤c：根据特征权重W，进行初始特征F0的更新，判定特征F0和特征F1的范数误差，小于预设的阈值或者迭代总步数大于预设的设定值就退出该算法，否则，进行下一步；
步骤d：根据特征权重W，更新特征F2，并将该特征作为新的需要匹配的特征，跳入步骤b继续执行。
步骤3：通过步骤2原始样本特征矩阵X的每个特征都会得到一个特征权重W，设整个训练样本个数为N，特征维数为K，则得到所有特征向量的权重特征矩阵维数为N*K。将该矩阵乘以其转置矩阵得到N*N的矩阵M。
步骤4：结合矩阵M和原始样本特征矩阵X，根据公式(1)和需要的目标维数n进行主要特征值的提取；
XLXTa=λXTDXa (1)；
其中D为矩阵M中对角矩阵，L=D-M，a为特征向量，λ为a的特征值；
提取出的前n个特征向量a1，a2...an组成线性降维投射矩阵。
步骤5：将原始样本特征矩阵X通过线性投射矩阵进行空间变换，得到降维的特征空间矩阵。
利用INNLP算法对提高了由于光照，旋转等干扰因素的稳定性，使其能够进行实时应用，应用该降维方法能有效的减小或消除由于环境造成的识别性能下降的问题。
步骤S211：根据降维后的识别正负例样本的LBPH特征信息与HOG特征信息以及它们对应的正负例标签，经过RBFSVM(Radial Basis FoundationSupprot Vector Machine，径向基支持向量机)算法得到RBFSVM分类器。
具体的，进行RBFSVM算法之前，基于数值计算上的考虑，需要对降维后的识别正负例样本的LBPH特征信息与HOG特征信息进行归一化的处理；除此之外，RBFSVM分类器的参数选定也需要进行网格化的参数寻优和交叉验证，以避免分类器的过拟合、泛化能力的不足。
步骤S212：提取步骤S207得到的准确的人手检测区域信息中的LBPH特征信息和HOG特征信息。
步骤S213：将准确的人手检测区域信息中的LBPH特征信息和HOG特征信息经过降维变换矩阵得到降维后的准确特征信息。
步骤S214：将降维后的准确特征信息通过RBFSVM分类器得到最终识别结果。
具体的，最终识别结果包括左右手信息，姿势信息等。
本发明实施上述实施例，通过摄像头采集用户图像、根据多通道特征信息和检测级联分类器所组成的人手检测技术，通过降维变换矩阵和RBFSVM分类器组成的人手识别算法，能够快速感应到用户的手势运动，本发明实时性高、鲁棒性强、且硬件配置要求低、成本低廉、易于操作。
下面结合图3示出的本发明实施例的一种人手检测与识别的装置的结构示意图，进一步详细说明本发明实施例该装置的结构。
检测训练模块301，与检测模块302相连，用于搜集检测正负例样本，得到每个检测正例样本和每个检测负例样本的多通道特征信息，并得到它们对应的标记，根据每个检测正例样本和每个检测负例样本的多通道特征信息及它们对应的标记，通过级联分类器训练算法得到至少两个强分类器，至少两个强分类器级联后得到检测级联分类器。
具体的，检测正例样本为人手图像，检测负例样本为非人手图像，其中检测正例样本归一化为同一尺寸，且进行预处理，其中预处理包括噪声去除，光照均衡等预处理；检测负例样本则尺寸不限；检测负例样本的数量大于检测正例样本数量。多通道特征信息包括HOG特征信息，幅值特征信息和LUV特征信息；检测正例样本标记为+1，检测负例样本标记为-1。将检测正例样本的多通道特征信息加入检测正例样本特征池，将检测负例样本的多通道特征信息加入检测负例样本特征池。其中，因为检测负例样本的尺寸不限，则对每个检测负例样本通过正态分布的随机算法产生一个固定矩形区域，提取该固定矩形区域的多通道特征信息即为检测负例样本的多通道特征信息。级联分类器训练算法包括Adaboost算法以及Adaboost算法的其他变形算法。
获取图像模块303，与第一特征提取模块304相连，用于通过摄像头获取用户原始图像。
第一特征提取模块304，还与检测模块302相连，用于提取用户原始图像的多通道特征信息，并将用户原始图像的多通道特征信息发送给检测模块302。
具体的，获取用户原始图像后，对用户原始图像进行预处理，预处理包括噪声去除，光照均衡等预处理。其中，多通道特征信息包括HOG特征信息，幅值特征信息和LUV特征信息。
检测模块302，用于将用户原始图像的多通道特征信息通过检测级联分类器，得到人手检测区域信息。
具体的，将用户原始图像的多通道特征信息通过检测级联分类器，得到输出检测区域信息，将该输出检测区域信息进行NMS处理，得到人手检测区域信息。由于检测级联分类器由至少两个强分类器级联而成，用户原始图像的多通道特征信息需要通过所有的强分类器，才会被接受为真实区域，只要有一个强分类器拒绝，则对该用户原始图像的多通道特征信息进行否决。因此这种检测级联分类器方式，对检测的鲁棒性、实时性提供了充分保障，除此之外，该方式也为算法的并行化提供了支撑，利用现有计算机的多核处理能力，将会提升整个算法的实时性能。
识别模块305，与检测模块302相连，用于根据人手检测区域信息识别得到最终识别结果。
该识别模块305具体包括，
识别训练模块3051，与在线识别模块3053相连，用于搜集识别正负例样本，提取每个识别正负例样本的LBPH特征信息与HOG特征信息，并得到它们对应的正负例标签，利用线性降维算法对每个识别正负例样本的LBPH特征信息与HOG特征信息进行线性降维，得到降维变换矩阵和降维后的识别正负例样本的LBPH特征信息与HOG特征信息，根据降维后的识别正负例样本的LBPH特征信息与HOG特征信息以及它们对应的正负例标签，经过RBFSVM算法得到RBFSVM分类器。
第二特征提取模块3052，与检测模块302相连，用于提取人手检测区域信息中的LBPH特征信息和HOG特征信息。
在线识别模块3053，还与第二特征提取模块3052相连，用于将人手检测区域信息中的LBPH特征信息和HOG特征信息经过降维变换矩阵得到降维后的准确特征信息，将降维后的准确特征信息通过RBFSVM分类器得到最终识别结果。
具体的，识别正例样本为左手图像，识别负例样本为右手图像，其中识别正负例样本归一化为同一尺寸，且进行预处理，其中预处理包括噪声去除，光照均衡等预处理；识别负例样本的数量与识别正例样本数量相当。由于HOG特征信息主要侧重于描述手的整体轮廓特征，而LBPH特征信息则强于表达目标的局部特征，因此组合LBPH特征信息与HOG特征信息增强对整个手体的描述能力，达到整体到局部的表达。正例标签为+1，负例标签为-1。线性降维算法包括PCA算法，LDA算法以及INNLP算法等，下面对INNLP算法进行详细描述：
步骤1：将识别正负例样本的LBPH特征信息与HOG特征信息按行或者列进行排列，得到原始的样本特征矩阵X；
步骤2：对原始样本特征矩阵X的每列进行如下操作：
步骤a：其中，初始化特征F0，即全置为0，需要匹配的特征F1，算法内部临时特征F2，矩阵X初始置为F1，特征权重W；
步骤b：在原始样本特征矩阵X中找到特征F1的最近邻匹配特征F3，对特征F3进行特征权重W的更新；
步骤c：根据特征权重W，进行初始特征F0的更新，判定特征F0和特征F1的范数误差，小于预设的阈值或者迭代总步数大于预设的设定值就退出该算法，否则，进行下一步；
步骤d：根据特征权重W，更新特征F2，并将该特征作为新的需要匹配的特征，跳入步骤b继续执行。
步骤3：通过步骤2原始样本特征矩阵X的每个特征都会得到一个特征权重W，设整个训练样本个数为N，特征维数为K，则得到所有特征向量的权重特征矩阵维数为N*K。将该矩阵乘以其转置矩阵得到N*N的矩阵M。
步骤4：结合矩阵M和原始样本特征矩阵X，根据公式(1)和需要的目标维数n进行主要特征值的提取；
XLXTa=λXTDXa (1)；
其中D为矩阵M中对角矩阵，L=D-M，a为特征向量，λ为a的特征值；
提取出的前n个特征向量a1，a2...an组成线性降维投射矩阵。
步骤5：将原始样本特征矩阵X通过线性投射矩阵进行空间变换，得到降维的特征空间矩阵。
利用INNLP算法对提高了由于光照，旋转等干扰因素的稳定性，使其能够进行实时应用，应用该降维方法能有效的减小或消除由于环境造成的识别性能下降的问题。
进行RBFSVM算法之前，基于数值计算上的考虑，需要对降维后的识别正负例样本的LBPH特征信息与HOG特征信息进行归一化的处理；除此之外，RBFSVM分类器的参数选定也需要进行网格化的参数寻优和交叉验证，以避免分类器的过拟合、泛化能力的不足。最终识别结果包括左右手信息，姿势信息等。
其中，该检测模块302，还用于对用户原始图像进行人脸检测，将得到的人脸检测区域信息与人手检测区域信息进行交叠区域面积计算，当交叠区域的面积大于预设的阈值时，将交叠区域的面积从人手检测区域信息中剔除，则得到人脸检测后的人手检测区域信息。
该检测模块302，还用于将人脸检测后的人手检测区域信息进行颜色空间变化，提取肤色区域，将误检区域剔除，得到准确的人手检测区域信息。
本发明实施上述实施例，通过摄像头采集用户图像、根据多通道特征信息和检测级联分类器所组成的人手检测技术，通过降维变换矩阵和RBFSVM分类器组成的人手识别算法，能够快速感应到用户的手势运动，本发明实时性高、鲁棒性强、且硬件配置要求低、成本低廉、易于操作。
需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM／RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上所揭露的仅为本发明实施例中的较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (10)
1.一种人手检测与识别的方法，其特征在于，包括：
搜集检测正负例样本；
得到每个检测正例样本和每个检测负例样本的多通道特征信息，并得到它们对应的标记，所述多通道特征信息包括HOG特征信息、幅值特征信息和LUV特征信息；
根据所述每个检测正例样本和所述每个检测负例样本的多通道特征信息及它们对应的标记，通过级联分类器训练算法得到至少两个强分类器，所述至少两个强分类器级联后得到检测级联分类器；
通过摄像头获取用户原始图像，提取所述用户原始图像的多通道特征信息；
将所述用户原始图像的多通道特征信息通过所述检测级联分类器，得到人手检测区域信息；
根据所述人手检测区域信息识别得到最终识别结果。
2.如权利要求1所述的方法，其特征在于，所述将所述用户原始图像的多通道特征信息通过所述检测级联分类器，得到人手检测区域信息，具体为：
将所述用户原始图像的多通道特征信息通过所述检测级联分类器，得到输出检测区域信息，将所述输出检测区域信息进行非最大抑制处理，得到人手检测区域信息。
3.如权利要求2所述的方法，其特征在于，所述根据所述人手检测区域信息识别得到最终识别结果，具体为：
搜集识别正负例样本；
提取每个识别正负例样本的局部二进制模式直方图特征信息与HOG特征信息，并得到它们对应的正负例标签；
利用线性降维算法对所述每个识别正负例样本的局部二进制模式直方图特征信息与HOG特征信息进行线性降维，得到降维变换矩阵和降维后的识别正负例样本的局部二进制模式直方图特征信息与HOG特征信息；
根据所述降维后的识别正负例样本的局部二进制模式直方图特征信息与HOG特征信息以及它们对应的正负例标签，经过径向基支持向量机算法得到径向基支持向量机分类器；
提取人手检测区域信息中的局部二进制模式直方图特征信息和HOG特征信息；
将所述人手检测区域信息中的局部二进制模式直方图特征信息和HOG特征信息经过所述降维变换矩阵得到降维后的准确特征信息；
将所述降维后的准确特征信息通过所述径向基支持向量机分类器得到最终识别结果。
4.如权利要求1或3所述的方法，其特征在于，在所述将所述用户原始图像的多通道特征信息通过所述检测级联分类器，得到人手检测区域信息之后，还包括：
对所述用户原始图像进行人脸检测，将得到的人脸检测区域信息与人手检测区域信息进行交叠区域面积计算，当所述交叠区域面积大于预设的阈值时，将所述交叠区域面积从所述人手检测区域信息中剔除，则得到人脸检测后的人手检测区域信息。
5.如权利要求4所述的方法，其特征在于，还包括：
将所述人脸检测后的人手检测区域信息进行颜色空间变化，提取肤色区域，将误检区域剔除，得到准确的人手检测区域信息。
6.一种人手检测与识别的装置，其特征在于，包括：
检测训练模块，与检测模块相连，用于搜集检测正负例样本，得到每个检测正例样本和每个检测负例样本的多通道特征信息，并得到它们对应的标记，根据所述每个检测正例样本和所述每个检测负例样本的多通道特征信息及它们对应的标记，通过级联分类器训练算法得到至少两个强分类器，所述至少两个强分类器级联后得到检测级联分类器，所述多通道特征信息包括HOG特征信息、幅值特征信息和LUV特征信息；
获取图像模块，与第一特征提取模块相连，用于通过摄像头获取用户原始图像；
第一特征提取模块，还与所述检测模块相连，用于提取所述用户原始图像的多通道特征信息，并将所述用户原始图像的多通道特征信息发送给所述检测模块；
检测模块，用于将所述用户原始图像的多通道特征信息通过所述检测级联分类器，得到人手检测区域信息；
识别模块，与所述检测模块相连，用于根据所述人手检测区域信息识别得到最终识别结果。
7.如权利要求6所述的装置，其特征在于，还包括：
检测模块，还用于将所述用户原始图像的多通道特征信息通过所述检测级联分类器，得到输出检测区域信息，将所述输出检测区域信息进行非最大抑制处理，得到人手检测区域信息。
8.如权利要求7所述的装置，其特征在于，所述识别模块具体包括：
识别训练模块，与在线识别模块相连，用于搜集识别正负例样本，提取每个识别正负例样本的局部二进制模式直方图特征信息与HOG特征信息，并得到它们对应的正负例标签，利用线性降维算法对所述每个识别正负例样本的局部二进制模式直方图特征信息与HOG特征信息进行线性降维，得到降维变换矩阵和降维后的识别正负例样本的局部二进制模式直方图特征信息与HOG特征信息，根据所述降维后的识别正负例样本的局部二进制模式直方图特征信息与HOG特征信息以及它们对应的正负例标签，经过径向基支持向量机算法得到径向基支持向量机分类器；
第二特征提取模块，与所述检测模块相连，用于提取人手检测区域信息中的局部二进制模式直方图特征信息和HOG特征信息；
在线识别模块，还与所述第二特征提取模块相连接，用于将所述人手检测区域信息中的局部二进制模式直方图特征信息和HOG特征信息经过所述降维变换矩阵得到降维后的准确特征信息，将所述降维后的准确特征信息通过所述径向基支持向量机分类器得到最终识别结果。
9.如权利要求6或8所述的装置，其特征在于，还包括：
检测模块，还用于对所述用户原始图像进行人脸检测，将得到的人脸检测区域信息与人手检测区域信息进行交叠区域面积计算，当所述交叠区域面积大于预设的阈值时，将所述交叠区域面积从所述人手检测区域信息中剔除，则得到人脸检测后的人手检测区域信息。
10.如权利要求9所述的装置，其特征在于，还包括：
检测模块，还用于将所述人脸检测后的人手检测区域信息进行颜色空间变化，提取肤色区域，将误检区域剔除，得到准确的人手检测区域信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310469723.1A CN103530607B (zh) | 2013-09-30 | 2013-09-30 | 一种人手检测与识别的方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310469723.1A CN103530607B (zh) | 2013-09-30 | 2013-09-30 | 一种人手检测与识别的方法与装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103530607A CN103530607A (zh) | 2014-01-22 |
| CN103530607B true CN103530607B (zh) | 2016-11-09 |
Family
ID=49932606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310469723.1A Active CN103530607B (zh) | 2013-09-30 | 2013-09-30 | 一种人手检测与识别的方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103530607B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105893926A (zh) * | 2015-12-15 | 2016-08-24 | 乐视致新电子科技（天津）有限公司 | 手识别方法、系统及装置 |
| CN106022211B (zh) * | 2016-05-04 | 2019-06-28 | 北京航空航天大学 | 一种利用手势控制多媒体设备的方法 |
| CN106485226A (zh) * | 2016-10-14 | 2017-03-08 | 杭州派尼澳电子科技有限公司 | 一种基于神经网络的视频行人检测方法 |
| CN106650669A (zh) * | 2016-12-27 | 2017-05-10 | 重庆邮电大学 | 一种鉴别仿冒照片欺骗的人脸识别方法 |
| CN106909883A (zh) * | 2017-01-17 | 2017-06-30 | 北京航空航天大学 | 一种基于ros的模块化手部区域检测方法和装置 |
| CN106682648B (zh) * | 2017-01-20 | 2019-11-22 | 博康智能信息技术有限公司北京海淀分公司 | 一种用户接打手机行为检测方法和装置 |
| CN107977604B (zh) * | 2017-11-06 | 2021-01-05 | 浙江工业大学 | 一种基于改进聚合通道特征的手部检测方法 |
| CN107846555A (zh) * | 2017-11-06 | 2018-03-27 | 深圳慧源创新科技有限公司 | 基于手势识别的自动拍摄方法、装置、用户终端及计算机存储介质 |
| CN108121971B (zh) * | 2017-12-25 | 2018-10-26 | 哈尔滨拓讯科技有限公司 | 一种基于动作时序特征的人手检测方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101371804A (zh) * | 2008-07-16 | 2009-02-25 | 哈尔滨工业大学 | 基于sEMG建立的人手姿态模式在线识别方法 |
| CN101630367A (zh) * | 2009-07-31 | 2010-01-20 | 北京科技大学 | 基于多分类器的手写体字符识别拒识方法 |
| CN101732110A (zh) * | 2009-11-19 | 2010-06-16 | 杭州电子科技大学 | 用于手部动作识别的脑电和肌电信号混沌特征融合方法 |
| CN101763515A (zh) * | 2009-09-23 | 2010-06-30 | 中国科学院自动化研究所 | 一种基于计算机视觉的实时手势交互方法 |
| CN102831404A (zh) * | 2012-08-15 | 2012-12-19 | 深圳先进技术研究院 | 手势检测方法及系统 |
-
2013
- 2013-09-30 CN CN201310469723.1A patent/CN103530607B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101371804A (zh) * | 2008-07-16 | 2009-02-25 | 哈尔滨工业大学 | 基于sEMG建立的人手姿态模式在线识别方法 |
| CN101630367A (zh) * | 2009-07-31 | 2010-01-20 | 北京科技大学 | 基于多分类器的手写体字符识别拒识方法 |
| CN101763515A (zh) * | 2009-09-23 | 2010-06-30 | 中国科学院自动化研究所 | 一种基于计算机视觉的实时手势交互方法 |
| CN101732110A (zh) * | 2009-11-19 | 2010-06-16 | 杭州电子科技大学 | 用于手部动作识别的脑电和肌电信号混沌特征融合方法 |
| CN102831404A (zh) * | 2012-08-15 | 2012-12-19 | 深圳先进技术研究院 | 手势检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103530607A (zh) | 2014-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103530607B (zh) | 一种人手检测与识别的方法与装置 | |
| Geetha et al. | Machine vision based fire detection techniques: A survey | |
| Li et al. | An effective data augmentation strategy for CNN-based pest localization and recognition in the field | |
| CN105550701B (zh) | 实时图像提取识别方法及装置 | |
| Gao et al. | Multi-view discriminative and structured dictionary learning with group sparsity for human action recognition | |
| Bregonzio et al. | Fusing appearance and distribution information of interest points for action recognition | |
| Alamgir et al. | Combining multi-channel color space with local binary co-occurrence feature descriptors for accurate smoke detection from surveillance videos | |
| Conde et al. | HoGG: Gabor and HoG-based human detection for surveillance in non-controlled environments | |
| CN105760849B (zh) | 基于视频的目标对象行为数据获取方法及装置 | |
| Blomley et al. | Classification of airborne laser scanning data using geometric multi-scale features and different neighbourhood types | |
| Zhang et al. | Guided attention in cnns for occluded pedestrian detection and re-identification | |
| Athanesious et al. | Trajectory based abnormal event detection in video traffic surveillance using general potential data field with spectral clustering | |
| Ošep et al. | Large-scale object discovery and detector adaptation from unlabeled video | |
| CN103605993B (zh) | 一种基于面向场景判别性分析的图像到视频人脸识别方法 | |
| Halidou et al. | Fast pedestrian detection based on region of interest and multi-block local binary pattern descriptors | |
| El‐Henawy et al. | Action recognition using fast HOG3D of integral videos and Smith–Waterman partial matching | |
| Wang et al. | Action recognition using linear dynamic systems | |
| El‐Masry et al. | Action recognition by discriminative EdgeBoxes | |
| Li et al. | Human Action Recognition Using Multi-Velocity STIPs and Motion Energy Orientation Histogram. | |
| Gawande et al. | Scale invariant mask r-cnn for pedestrian detection | |
| Xu et al. | A novel mid-level distinctive feature learning for action recognition via diffusion map | |
| Bhardwaj et al. | Human activity recognition in real world | |
| Huang et al. | Research on motion recognition algorithm based on bag-of-words model | |
| Lu et al. | Action recognition by fusing spatial-temporal appearance and the local distribution of interest points | |
| Ali et al. | Recognition of human action and identification based on SIFT and watermark |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20160421 Address after: 518000 Guangdong province Shenzhen City Guangming Street million Daiheng high tech Industrial Park No. 5 Building 5 floor Applicant after: Shenzhen City Zhongzhi Kechuang Robot Co.,Ltd. Address before: 518063 Guangdong city of Shenzhen province Nanshan District Hing Road two No. 6 Wuhan University B815 Shenzhen research building room Applicant before: SMART CITIES SYSTEM SERVICES (PRC)CO., Ltd. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 518000 Shenzhen, Guangdong Guangming New District Guangming Street Wan Dai Heng hi tech Industrial Park 5, 5 floor. Patentee after: SMART SECURITY & SURVEILLANCE ROBOT Co.,Ltd. Address before: 518000 Shenzhen, Guangdong Guangming New District Guangming Street Wan Dai Heng hi tech Industrial Park 5, 5 floor. Patentee before: Shenzhen City Zhongzhi Kechuang Robot Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20180911 Address after: 518000 Shenzhen, Guangdong Guangming New District Guangming Street Wan Dai Heng hi tech Industrial Park 5, 5 floor. Patentee after: SHENZHEN ZHONGZHI KECHUANG ROBOT Co.,Ltd. Address before: 518000 Shenzhen, Guangdong Guangming New District Guangming Street Wan Dai Heng hi tech Industrial Park 5, 5 floor. Patentee before: SMART SECURITY & SURVEILLANCE ROBOT Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210507 Address after: 518000 Room 201, building a, No.1 Qianhai 1st Road, Qianhai Shenxiang cooperation zone, Shenzhen City, Guangdong Province Patentee after: Shenzhen Zhongzhi Weian Robot Technology Co.,Ltd. Address before: 518000 5th floor, No.5 workshop, wandaiheng hi tech Industrial Park, Guangming Street, Guangming New District, Shenzhen City, Guangdong Province Patentee before: SHENZHEN ZHONGZHI KECHUANG ROBOT Co.,Ltd. |