CN109145793A - 建立手势识别模型的方法、装置、存储介质及电子设备 - Google Patents

建立手势识别模型的方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN109145793A
CN109145793A CN201810904840.9A CN201810904840A CN109145793A CN 109145793 A CN109145793 A CN 109145793A CN 201810904840 A CN201810904840 A CN 201810904840A CN 109145793 A CN109145793 A CN 109145793A
Authority
CN
China
Prior art keywords
gesture
sample
gesture sample
numerical characteristics
finger tip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810904840.9A
Other languages
English (en)
Inventor
王占
邹康
纪勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Corp
Original Assignee
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Corp filed Critical Neusoft Corp
Priority to CN201810904840.9A priority Critical patent/CN109145793A/zh
Publication of CN109145793A publication Critical patent/CN109145793A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种建立手势识别模型的方法、装置、存储介质及电子设备，所述方法包括：获取多类手势样本的数值特征和图像HOG特征；针对每类所述手势样本，对该类手势样本的数值特征和图像HOG特征进行特征融合，得到该类手势样本的目标特征集合；根据各类所述手势样本的目标特征集合，建立手势识别模型。通过本公开的技术方案，相比于现有技术中仅通过各类手势样本的数值特征建立手势识别模型，可以提升手势识别模型的预测精度。

Description

建立手势识别模型的方法、装置、存储介质及电子设备
技术领域
本公开涉及人机交互技术领域，具体地，涉及一种建立手势识别模型的方法、装置、存储介质及电子设备。
背景技术
当前，人机交互技术已经从计算机为中心逐步转移到以用户为中心，是多种通道、多种媒体的交互技术。手势是一种自然、直观、易于学习的人机交互手段，其在人机交互技术中占有重要的地位。基于手势的人机交互技术，是以用户的手势作为计算机的输入，通过对手势进行识别实现对目标设备的控制。
现有技术中，通常通过Leap Motion等体感设备获取各类手势的数值特征，基于这些数值特征建立手势识别模型并根据手势识别模型对待识别手势进行识别。然而，现有的手势识别模型的识别精度不高，容易造成手势误识别，进而在实际应用中将导致系统接收到错误的机器指令，影响用户体验。
发明内容
为了克服现有技术中存在的问题，本公开是提供一种建立手势识别模型的方法、装置、存储介质及电子设备。
为了实现上述目的，本公开提供一种建立手势识别模型的方法，包括：
获取多类手势样本的数值特征和图像HOG特征；
针对每类所述手势样本，对该类手势样本的数值特征和图像HOG特征进行特征融合，得到该类手势样本的目标特征集合；
根据各类所述手势样本的目标特征集合，建立手势识别模型。
可选地，所述获取多类手势样本的数值特征，包括：
获取该类手势样本的以下数值特征：
该类手势样本各指尖的角度Ai；该类手势样本各指尖之间的距离Ti,j；该类手势样本各指尖与该类手势样本的掌心之间的欧式距离Di；该类手势样本各指尖到该类手势样本的手掌的掌面之间的垂直距离Ei；
所述对该类手势样本的数值特征和图像HOG特征进行特征融合，包括：
将任意所述数值特征进行组合，得到多个数值特征组合；
分别将每一所述数值特征组合与所述图像HOG特征进行融合，得到该类手势样本的多个特征组合，所述目标特征集合包括所述多个特征组合；
所述根据各类所述手势样本的目标特征集合，建立手势识别模型，包括：
针对每类所述手势样本，根据该类手势样本的各个所述特征组合分别对该类手势样本对应的分类器进行训练，得到多个候选分类器；
将所述多个候选分类器中精度最高的候选分类器作为该类手势样本对应的目标分类器；
根据各类所述手势样本对应的目标分类器，建立所述手势识别模型。
可选地，所述数值特征包括以下至少一种：
该类手势样本各指尖的角度Ai；该类手势样本各指尖之间的距离Ti,j；该类手势样本各指尖与该类手势样本的掌心之间的欧式距离Di；该类手势样本各指尖到该类手势样本的手掌的掌面之间的垂直距离Ei；
所述根据各类所述手势样本的目标特征集合，建立手势识别模型，包括：
针对每类所述手势样本，根据该类手势样本的目标特征集合对该类手势样本对应的分类器进行训练；
根据各类所述手势样本对应的训练后的分类器，建立所述手势识别模型。
可选地，所述对该类手势样本的数值特征和图像HOG特征进行特征融合，包括：
根据如下公式进行特征融合：
F＝[FN,w·FH]
其中，F为该类手势样本的目标特征集合，FN为该类手势样本的数值特征，FH为该类手势样本的HOG特征值，w为预设权重系数。
可选地，所述根据各类所述手势样本的目标特征集合，建立手势识别模型，包括：
针对每类所述手势样本，基于PCA算法对该类手势样本的目标特征集合进行降维；
根据每类所述手势样本的降维后的目标特征集合，建立所述手势识别模型。
本公开还提供一种建立手势识别模型的装置，包括：
特征获取模块，被配置为获取多类手势样本的数值特征和图像HOG特征；
特征融合模块，被配置为针对每类所述手势样本，对该类手势样本的数值特征和图像HOG特征进行特征融合，得到该类手势样本的目标特征集合；
模型建立模块，被配置为根据各类所述手势样本的目标特征集合，建立手势识别模块。
可选地，所述特征获取模块包括：
特征获取子模块，被配置为针对每类所述手势样本，获取该类手势样本的以下数值特征：该类手势样本各指尖的角度Ai；该类手势样本各指尖之间的距离Ti,j；该类手势样本各指尖与该类手势样本的掌心之间的欧式距离Di；该类手势样本各指尖到该类手势样本的手掌的掌面之间的垂直距离Ei；
所述特征融合模块包括：
数值特征组合子模块，被配置为将任意所述数值特征进行组合，得到多个数值特征组合；
第一特征融合子模块，被配置为分别将每一所述数值特征组合与所述图像HOG特征进行融合，得到该类手势样本的多个特征组合，所述目标特征集合包括所述多个特征组合；
所述模型建立模块包括：
第一训练子模块，被配置为针对每类所述手势样本，根据该类手势样本的各个所述特征组合分别对该类手势样本对应的分类器进行训练，得到多个候选分类器；
分类器选择子模块，被配置为将所述多个候选分类器中精度最高的候选分类器作为该类手势样本对应的目标分类器；
第一模型建立子模块，被配置为根据各类所述手势样本对应的目标分类器，建立所述手势识别模型。
可选地，所述数值特征包括以下至少一种：该类手势样本各指尖的角度Ai；该类手势样本各指尖之间的距离Ti,j；该类手势样本各指尖与该类手势样本的掌心之间的欧式距离Di；该类手势样本各指尖到该类手势样本的手掌的掌面之间的垂直距离Ei；
所述模型建立模块包括：
第二训练子模块，被配置为针对每类所述手势样本，根据该类手势样本的目标特征集合对该类手势样本对应的分类器进行训练；
第二模型建立子模块，被配置为根据各类所述手势样本对应的训练后的分类器，建立所述手势识别模块。
可选地，所述特征融合模块包括：
第二特征融合子模块，被配置为根据如下公式进行特征融合：
F＝[FN,w·FH]
其中，F为该类手势样本的目标特征集合，FN为该类手势样本的数值特征，FH为该类手势样本的HOG特征值，w为预设权重系数。
可选地，所述模型建立模块包括：
降维子模块，被配置为针对每类所述手势样本，基于PCA算法对该类手势样本的目标特征集合进行降维；
第三模型建立子模块，被配置为根据每类所述手势样本的降维后的目标特征集合，建立所述手势识别模型。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开提供的建立手势识别模型的方法的步骤。
本公开还提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现本公开提供的建立手势识别模型的方法的步骤。
上述技术方案，通过获取多类手势样本的数值特征和图像HOG特征，并将分别将各类手势样本的数值特征和图像HOG特征进行特征融合以得到各类手势样本的目标特征集合，根据各类手势样本的目标特征集合建立手势识别模型，相比于现有技术中仅通过各类手势样本的数值特征建立手势识别模型，可以提升手势识别模型的预测精度。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据本公开一示例性实施例示出的一种建立手势识别模型的方法的流程图
图2是根据本公开一示例性实施例示出的手势样本的示意图；
图3是根据本公开一示例性实施例示出的手势样本的手势数据的示意图；
图4是根据本公开一示例性实施例示出的一种手势样本的原始图像及阈值分割后的图像；
图5是根据本公开一示例性实施例示出的一种手势识别方法的流程图；
图6是根据本公开一示例性实施例示出的一种权重系数与手势识别模型的预测精度之间的关系曲线；
图7是根据本公开一示例性实施例示出的一种建立手势识别模型的装置的框图；
图8是根据本公开另一示例性实施例示出的一种建立手势识别模型的装置的框图；
图9是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
图1是根据本公开一示例性实施例示出的一种建立手势识别模型的方法的流程图，如图1所示，该方法包括以下步骤：
在步骤S101中，获取多类手势样本的数值特征和图像HOG特征。
在本公开的实施例中，选取手语中常用的十类手势样本，如图2所示。针对每一类手势样本，可以分别采集预设数量(例如13个人)的样本。此外，为了更好地模拟实际应用中的各种情况，对每类手势样本进行了不同程度的旋转，采集其中20种不同旋转程度的样本。
接下来，通过具体的实现方式分别对每类手势样本的数值特征的获取和图像HOG特征的获取进行详细说明。
(1)对于每类手势样本的数值特征的获取
在本公开的一种可能的实现方式中，可以该类手势样本的数值特征包括以下至少一种：该类手势样本的各指尖的角度Ai；该类手势样本各指尖之间的距离Ti,j；该类手势样本各指尖与该类手势样本的掌心之间的欧式距离Di；该类手势样本各指尖到该类手势样本的手掌的掌面之间的垂直距离Ei。示例地，如图3所示，可以以体感设备(例如Leap Motion)的中心为原点，建立一空间坐标系，通过该体感设备可以获取该类手势样本的各指尖的位置Fi,i＝1,...,5、掌心位置C、手掌方向向量h、手掌法向量n等手势数据，并根据式(1)～(4)计算得到如上所述的数值特征。
Ai＝∠(Fi'-C,h),i＝1,...,5 (1)
其中，手掌方向向量h表示手掌中心位置C指向手指方向的方向向量；手掌法向量n表示垂直于手掌平面指向手掌内侧的法向量；Fi'为Fi在垂直于该类手势样本的手掌法向量的平面上的投影；该类手势样本的各指尖的角度Ai表示Fi'与手掌中心位置C的连线与手掌方向向量h之间的夹角；S1为该类手势样本的掌心与该类手势样本的中指指尖之间的距离；S2为该类手势样本的各指尖之间的最大距离。
需要说明的是，在计算各类手势样本的数值特征时采用了归一化处理方法，可以增强对不同使用者的手掌大小识别过程的鲁棒性。
(2)对于每类手势样本的图像HOG(Histogram of Oriented Gradient，方向梯度直方图)特征的获取
在本公开的一种可能的实现方式中，可以通过体感设备采集包含各类手势的原始图像，对原始图像进行阈值分割(如图4所示)，进而可以提取出手部图像，并对提取出的手部图像直接提取HOG特征。
在步骤S102中，针对每类手势样本，对该类手势样本的数值特征和图像HOG特征进行特征融合，得到该类手势样本的目标特征集合。
在步骤S103中，根据各类手势样本的目标特征集合，建立手势识别模型。
在本公开的一种可能的实现方式中，获取到的各类手势样本的数值特征包括上述Ai、Ti,j、Di以及Ei中的至少一种，例如，如图5所示，针对每类手势样本，可以仅获取Ai、Ti,j、Di这三种数值特征。在这种情况下，针对每类手势样本，可以将获取到的该类手势样本的数值特征与该类手势样本的图像HOG特征进行特征融合，得到目标特征集合。相应地，可以根据该类手势样本的目标特征集合对该类手势样本对应的分类器进行训练，并根据各类手势样本对应的训练后的分类器即可建立手势识别模型。
在本公开的另一种可能的实现方式中，针对每类手势样本，获取到的各类手势样本的数值特征可以包括上述Ai、Ti,j、Di以及Ei，在这种情况下，可以将这些数值特征中的任意一种或多种进行组合，得到多个数值特征组合，并分别将每一数值特征组合与图像HOG特征进行融合，得到该类手势样本的多个特征组合，该类手势样本的目标特征集合即包括所述多个特征组合。相应地，可以针对每类手势样本，根据该类手势样本的各个特征组合分别对该类手势样本对应的分类器进行训练，得到多个候选分类器，并将这多个候选分类器中精度最高的候选分类器作为该类手势样本对应的目标分类器，且通过各类手势样本对应的目标分类器建立手势识别模型。例如，表1示出了各个数值特征组合以及各个数值特征组合在与图像HOG特征进行融合后训练得到的候选分类器的精度，因此可选择Ai、Di和Ti,j组成的数值特征组合对应的候选分类器作为各类手势样本的目标分类器。
表1
数值特征组合 候选分类器的精度
A<sub>i</sub>+D<sub>i</sub>+T<sub>i,j</sub> 83.60％
A<sub>i</sub>+T<sub>i,j</sub> 83.55％
A<sub>i</sub>+E<sub>i</sub>+T<sub>i,j</sub> 83.37％
A<sub>i</sub>+D<sub>i</sub>+E<sub>i</sub>+T<sub>i,j</sub> 83.36％
A<sub>i</sub>+D<sub>i</sub> 82.38％
A<sub>i</sub>+D<sub>i</sub>+E<sub>i</sub> 82.30％
A<sub>i</sub>+E<sub>i</sub> 81.56％
A<sub>i</sub> 81.23％
D<sub>i</sub>+E<sub>i</sub>+T<sub>i,j</sub> 59.50％
D<sub>i</sub>+T<sub>i,j</sub> 59.19％
E<sub>i</sub>+T<sub>i,j</sub> 58.97％
T<sub>i,j</sub> 57.48％
D<sub>i</sub>+E<sub>i</sub> 14.48％
D<sub>i</sub> 14.08％
E<sub>i</sub> 12.05％
在本公开的实施例中，考虑到手势样本的类别的数量不多，因此可以采用SVM算法的一对一(one-against-one)分类策略，即在任意两类手势样本之间构建一个SVM分类器，对于K类手势样本，即可构建出K(K-1)/2个SVM分类器。针对每个SVM分类器，可以根据该SVM分类器对应的两类手势样本的目标特征集合对该SVM分类器进行训练，示例地，每一SVM分类器都会对各手势样本所属类别进行预测，最终得票最高的类别即为该手势样本的最终预测结果。
其次，考虑到对各类手势样本的数值特征和图像HOG特征直接进行特征融合可能带来识别精度不高的问题，在本公开的一种可能的实现方式中，针对每类手势样本，可以对该类手势样本的图像HOG特征的权重进行调整，根据式(5)得到该类手势样本的目标特征集合。
F＝[FN,w·FH] (5)
其中，F为该类手势样本的目标特征集合；FN为该类手势样本的数值特征；FH为该类手势样本的HOG特征值；w为预设权重系数，其可以根据最终建立的手势识别模型的预测精度进行调整。示例地，申请人经过迭代实验得到如图6所示的权重系数与手势识别模型的预测精度之间的关系曲线，可见，当w＝4时手势识别模型的预测精度最高，因而可将预设权重系数调整为4。
此外，考虑获取到的各类手势样本的图像HOG特征维度过高(如图4所示的手势样本的HOG特征维度为7056维)，这将导致手势识别模型的建立容易陷入维度灾难，且随着数据维度的增加，算法学习需要的样本数量呈指数增加且相应的设备也需要更多的内存和处理能力，在本公开的另一种可能的实现方式中，在根据各类手势样本的目标特征集合建立手势识别模型时，针对每类手势样本，如图5所示，还可以基于PCA算法对该类手势样本的目标特征集合进行降维，并根据每类手势样本的降维后的目标特征集合建立手势识别模型。这样，可以保证降维后的目标特征集合保持80％的信息。
通过上述实施例的方法，在体感设备获取到的各类手势样本的数值特征的基础上，引入各类手势样本的图像HOG特征，相比于现有技术中仅通过各类手势样本的数值特征建立手势识别模型，可以提升手势识别模型的预测精度，且引入的图像HOG特征能够区分数值特征无法区分的手势，进而可以增加可识别手势的数量，扩展手势功能。
参见图5，基于本公开实施例示出的方法建立手势识别模型后，可以输入待识别手势的相关数据(包括待识别手势的目标特征集合)，根据该手势识别模型得到待识别手势的预测结果。此外，还可以基于预测结果对人机交互的应用进行扩展。例如，可以建立基于体感设备(如Leap Motion)提供的手掌掌心移动与计算机光标移动之间的映射关系，开发一款代替传统人机交互设备鼠标的应用，以更好地实现人机交互功能。此外，根据基于手势识别模型得到的手势识别结果映射机器指令，如映射键盘的虚拟组合键位、鼠标键位等，这些键位又可以映射到浏览器的一些功能，可以实现控制虚拟仪表盘大屏幕的功能，进而可以实现人的指令和机器实时监控信息之间的无缝、双向、高效传输。
图7是根据本公开一示例性实施例示出的一种建立手势识别模型的装置的框图，如图7所示，该装置700包括：特征获取模块701、特征融合模块702和模型建立模块703。
该特征获取模块701被配置为获取多类手势样本的数值特征和图像HOG特征。
该特征融合模块702被配置为针对每类所述手势样本，对该类手势样本的数值特征和图像HOG特征进行特征融合，得到该类手势样本的目标特征集合。
该模型建立模块703被配置为根据各类所述手势样本的目标特征集合，建立手势识别模块。
在另一个实施例中，如图8所示，所述特征获取模块701包括：
特征获取子模块711，被配置为针对每类所述手势样本，获取该类手势样本的以下数值特征：该类手势样本各指尖的角度Ai；该类手势样本各指尖之间的距离Ti,j；该类手势样本各指尖与该类手势样本的掌心之间的欧式距离Di；该类手势样本各指尖到该类手势样本的手掌的掌面之间的垂直距离Ei；
所述特征融合模块702包括：
数值特征组合子模块721，被配置为将任意所述数值特征进行组合，得到多个数值特征组合；
第一特征融合子模块722，被配置为分别将每一所述数值特征组合与所述图像HOG特征进行融合，得到该类手势样本的多个特征组合，所述目标特征集合包括所述多个特征组合；
所述模型建立模块703包括：
第一训练子模块731，被配置为针对每类所述手势样本，根据该类手势样本的各个所述特征组合分别对该类手势样本对应的分类器进行训练，得到多个候选分类器；
分类器选择子模块732，被配置为将所述多个候选分类器中精度最高的候选分类器作为该类手势样本对应的目标分类器；
第一模型建立子模块733，被配置为根据各类所述手势样本对应的目标分类器，建立所述手势识别模型。
在另一个实施例中，所述数值特征包括以下至少一种：该类手势样本各指尖的角度Ai；该类手势样本各指尖之间的距离Ti,j；该类手势样本各指尖与该类手势样本的掌心之间的欧式距离Di；该类手势样本各指尖到该类手势样本的手掌的掌面之间的垂直距离Ei；
如图8所示，所述模型建立模块703包括：
第二训练子模块734，被配置为针对每类所述手势样本，根据该类手势样本的目标特征集合对该类手势样本对应的分类器进行训练；
第二模型建立子模块735，被配置为根据各类所述手势样本对应的训练后的分类器，建立所述手势识别模块。
在另一个实施例中，如图8所示，所述特征融合模块702包括：
第二特征融合子模块723，被配置为根据如下公式进行特征融合：
F＝[FN,w·FH]
其中，F为该类手势样本的目标特征集合，FN为该类手势样本的数值特征，FH为该类手势样本的HOG特征值，w为预设权重系数。
在另一个实施例中，如图8所示，所述模型建立模块703包括：
降维子模块736，被配置为针对每类所述手势样本，基于PCA算法对该类手势样本的目标特征集合进行降维；
第三模型建立子模块737，被配置为根据每类所述手势样本的降维后的目标特征集合，建立所述手势识别模型。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
通过上述实施例的装置，相比于现有技术中仅通过各类手势样本的数值特征建立手势识别模型，可以提升手势识别模型的预测精度，且引入的图像HOG特征能够区分数值特征无法区分的手势，进而可以增加可识别手势的数量，扩展手势功能。
图9是根据一示例性实施例示出的一种电子设备1000的框图。如图9所示，该电子设备900可以包括：处理器901，存储器902。该电子设备900还可以包括多媒体组件903，输入/输出(I/O)接口904，以及通信组件905中的一者或多者。
其中，处理器901用于控制该电子设备900的整体操作，以完成上述的建立手势识别模型的方法中的全部或部分步骤。存储器902用于存储各种类型的数据以支持在该电子设备900的操作，这些数据例如可以包括用于在该电子设备900上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器902可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件1003可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器902或通过通信组件905发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口904为处理器901和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件905用于该电子设备900与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件905可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，电子设备900可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的建立手势识别模型的方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的建立手势识别模型的方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器902，上述程序指令可由电子设备900的处理器901执行以完成上述的建立手势识别模型的方法。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种建立手势识别模型的方法，其特征在于，包括：
获取多类手势样本的数值特征和图像HOG特征；
针对每类所述手势样本，对该类手势样本的数值特征和图像HOG特征进行特征融合，得到该类手势样本的目标特征集合；
根据各类所述手势样本的目标特征集合，建立手势识别模型。
2.根据权利要求1所述的方法，其特征在于，所述获取多类手势样本的数值特征，包括：
获取该类手势样本的以下数值特征：
该类手势样本各指尖的角度Ai；该类手势样本各指尖之间的距离Ti,j；该类手势样本各指尖与该类手势样本的掌心之间的欧式距离Di；该类手势样本各指尖到该类手势样本的手掌的掌面之间的垂直距离Ei；
所述对该类手势样本的数值特征和图像HOG特征进行特征融合，包括：
将任意所述数值特征进行组合，得到多个数值特征组合；
分别将每一所述数值特征组合与所述图像HOG特征进行融合，得到该类手势样本的多个特征组合，所述目标特征集合包括所述多个特征组合；
所述根据各类所述手势样本的目标特征集合，建立手势识别模型，包括：
针对每类所述手势样本，根据该类手势样本的各个所述特征组合分别对该类手势样本对应的分类器进行训练，得到多个候选分类器；
将所述多个候选分类器中精度最高的候选分类器作为该类手势样本对应的目标分类器；
根据各类所述手势样本对应的目标分类器，建立所述手势识别模型。
3.根据权利要求1所述的方法，其特征在于，所述数值特征包括以下至少一种：
该类手势样本各指尖的角度Ai；该类手势样本各指尖之间的距离Ti,j；该类手势样本各指尖与该类手势样本的掌心之间的欧式距离Di；该类手势样本各指尖到该类手势样本的手掌的掌面之间的垂直距离Ei；
所述根据各类所述手势样本的目标特征集合，建立手势识别模型，包括：
针对每类所述手势样本，根据该类手势样本的目标特征集合对该类手势样本对应的分类器进行训练；
根据各类所述手势样本对应的训练后的分类器，建立所述手势识别模型。
4.根据权利要求1～3中任一项所述的方法，其特征在于，所述对该类手势样本的数值特征和图像HOG特征进行特征融合，包括：
根据如下公式进行特征融合：
F＝[FN,w·FH]
其中，F为该类手势样本的目标特征集合，FN为该类手势样本的数值特征，FH为该类手势样本的HOG特征值，w为预设权重系数。
5.根据权利要求1～3中任一项所述的方法，其特征在于，所述根据各类所述手势样本的目标特征集合，建立手势识别模型，包括：
针对每类所述手势样本，基于PCA算法对该类手势样本的目标特征集合进行降维；
根据每类所述手势样本的降维后的目标特征集合，建立所述手势识别模型。
6.一种建立手势识别模型的装置，其特征在于，包括：
特征获取模块，被配置为获取多类手势样本的数值特征和图像HOG特征；
特征融合模块，被配置为针对每类所述手势样本，对该类手势样本的数值特征和图像HOG特征进行特征融合，得到该类手势样本的目标特征集合；
模型建立模块，被配置为根据各类所述手势样本的目标特征集合，建立手势识别模块。
7.根据权利要求6所述的装置，其特征在于，所述特征获取模块包括：
特征获取子模块，被配置为针对每类所述手势样本，获取该类手势样本的以下数值特征：该类手势样本各指尖的角度Ai；该类手势样本各指尖之间的距离Ti,j；该类手势样本各指尖与该类手势样本的掌心之间的欧式距离Di；该类手势样本各指尖到该类手势样本的手掌的掌面之间的垂直距离Ei；
所述特征融合模块包括：
数值特征组合子模块，被配置为将任意所述数值特征进行组合，得到多个数值特征组合；
第一特征融合子模块，被配置为分别将每一所述数值特征组合与所述图像HOG特征进行融合，得到该类手势样本的多个特征组合，所述目标特征集合包括所述多个特征组合；
所述模型建立模块包括：
第一训练子模块，被配置为针对每类所述手势样本，根据该类手势样本的各个所述特征组合分别对该类手势样本对应的分类器进行训练，得到多个候选分类器；
分类器选择子模块，被配置为将所述多个候选分类器中精度最高的候选分类器作为该类手势样本对应的目标分类器；
第一模型建立子模块，被配置为根据各类所述手势样本对应的目标分类器，建立所述手势识别模型。
8.根据权利要求6所述的装置，其特征在于，所述数值特征包括以下至少一种：该类手势样本各指尖的角度Ai；该类手势样本各指尖之间的距离Ti,j；该类手势样本各指尖与该类手势样本的掌心之间的欧式距离Di；该类手势样本各指尖到该类手势样本的手掌的掌面之间的垂直距离Ei；
所述模型建立模块包括：
第二训练子模块，被配置为针对每类所述手势样本，根据该类手势样本的目标特征集合对该类手势样本对应的分类器进行训练；
第二模型建立子模块，被配置为根据各类所述手势样本对应的训练后的分类器，建立所述手势识别模块。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～5中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1～5中任一项所述方法的步骤。
CN201810904840.9A 2018-08-09 2018-08-09 建立手势识别模型的方法、装置、存储介质及电子设备 Pending CN109145793A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810904840.9A CN109145793A (zh) 2018-08-09 2018-08-09 建立手势识别模型的方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810904840.9A CN109145793A (zh) 2018-08-09 2018-08-09 建立手势识别模型的方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN109145793A true CN109145793A (zh) 2019-01-04

Family

ID=64792457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810904840.9A Pending CN109145793A (zh) 2018-08-09 2018-08-09 建立手势识别模型的方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN109145793A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110196635A (zh) * 2019-04-28 2019-09-03 浙江大学 一种基于可穿戴设备的手势输入方法
CN111428639A (zh) * 2020-03-24 2020-07-17 京东方科技集团股份有限公司 手势识别模型的训练方法、手势识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120070036A1 (en) * 2010-09-17 2012-03-22 Sung-Gae Lee Method and Interface of Recognizing User's Dynamic Organ Gesture and Electric-Using Apparatus Using the Interface
CN102831439A (zh) * 2012-08-15 2012-12-19 深圳先进技术研究院 手势跟踪方法及系统
CN104134061A (zh) * 2014-08-15 2014-11-05 上海理工大学 一种基于特征融合的支持向量机的数字手势识别方法
CN106598227A (zh) * 2016-11-15 2017-04-26 电子科技大学 基于Leap Motion和Kinect的手势识别方法
CN107203271A (zh) * 2017-06-08 2017-09-26 华南理工大学 基于多传感器融合技术的双手识别方法
CN107679512A (zh) * 2017-10-20 2018-02-09 济南大学 一种基于手势关键点的动态手势识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120070036A1 (en) * 2010-09-17 2012-03-22 Sung-Gae Lee Method and Interface of Recognizing User's Dynamic Organ Gesture and Electric-Using Apparatus Using the Interface
CN102831439A (zh) * 2012-08-15 2012-12-19 深圳先进技术研究院 手势跟踪方法及系统
CN104134061A (zh) * 2014-08-15 2014-11-05 上海理工大学 一种基于特征融合的支持向量机的数字手势识别方法
CN106598227A (zh) * 2016-11-15 2017-04-26 电子科技大学 基于Leap Motion和Kinect的手势识别方法
CN107203271A (zh) * 2017-06-08 2017-09-26 华南理工大学 基于多传感器融合技术的双手识别方法
CN107679512A (zh) * 2017-10-20 2018-02-09 济南大学 一种基于手势关键点的动态手势识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
SUDABEH GHAFOURI ET QL.: "Hybrid method for hand gesture recognition based on combination of Haar-like and HOG features", 《2013 21ST IRANIAN CONFERENCE ON ELECTRICAL ENGINEERING (ICEE)》 *
亓呈明、胡立栓 著: "《机器学习智能计算与高光谱遥感影像分类应用研究》", 31 May 2018, 中国财富出版社 *
刘淑萍 等: "结合手指检测和HOG特征的分层静态手势识别", 《中国图象图形学报》 *
张燕翔 等著: "《舞台展演交互式空间增强现实技术》", 28 February 2018, 中国科学技术大学出版社 *
陈鹏展: "《个体行为的机器识别与决策协同》", 31 July 2018, 知识产权出版社 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110196635A (zh) * 2019-04-28 2019-09-03 浙江大学 一种基于可穿戴设备的手势输入方法
CN110196635B (zh) * 2019-04-28 2020-07-31 浙江大学 一种基于可穿戴设备的手势输入方法
CN111428639A (zh) * 2020-03-24 2020-07-17 京东方科技集团股份有限公司 手势识别模型的训练方法、手势识别方法及装置

Similar Documents

Publication Publication Date Title
KR102142232B1 (ko) 얼굴 라이브니스 검출 방법 및 장치, 그리고 전자 디바이스
US10043308B2 (en) Image processing method and apparatus for three-dimensional reconstruction
Ketabdar et al. Towards using embedded magnetic field sensor for around mobile device 3D interaction
KR101872367B1 (ko) 주의 중심점을 기반으로 한 가이드식 지문등록
CN104571482B (zh) 一种基于体感识别的数字设备操控方法
CN104350509B (zh) 快速姿势检测器
CN108960163A (zh) 手势识别方法、装置、设备和存储介质
CN110287775B (zh) 手掌图像裁剪方法、装置、计算机设备及存储介质
CN109284684A (zh) 一种信息处理方法、装置以及计算机存储介质
WO2020081256A1 (en) Neural network architectures employing interrelatedness
CN110059794A (zh) 人机识别方法及装置、电子设备、存储介质
CN104077597B (zh) 图像分类方法及装置
CN108156594A (zh) 一种实现虚拟卡的方法及终端
US10204265B2 (en) System and method for authenticating user
CN105335684A (zh) 人脸检测方法及装置
EP3397982A1 (en) Indoor room-localization system and method thereof
CN108021897A (zh) 图片问答方法及装置
CN109145793A (zh) 建立手势识别模型的方法、装置、存储介质及电子设备
CN110427849A (zh) 人脸姿态确定方法、装置、存储介质和电子设备
Elshenaway et al. On-air hand-drawn doodles for IoT devices authentication during COVID-19
CN110717407A (zh) 基于唇语密码的人脸识别方法、装置及存储介质
CN109657840A (zh) 决策树生成方法、装置、计算机可读存储介质及电子设备
CN107992894A (zh) 图像识别方法、装置及计算机可读存储介质
CN106845340A (zh) 用户设备、指纹识别阵列及其控制方法
KR20190132885A (ko) 영상으로부터 손을 검출하는 장치, 방법 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190104