CN114580525A - 一种面向含缺失数据的手势动作分类方法 - Google Patents

一种面向含缺失数据的手势动作分类方法 Download PDF

Info

Publication number
CN114580525A
CN114580525A CN202210195763.0A CN202210195763A CN114580525A CN 114580525 A CN114580525 A CN 114580525A CN 202210195763 A CN202210195763 A CN 202210195763A CN 114580525 A CN114580525 A CN 114580525A
Authority
CN
China
Prior art keywords
data
missing
gesture
value
filling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210195763.0A
Other languages
English (en)
Inventor
马千里
柳真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210195763.0A priority Critical patent/CN114580525A/zh
Publication of CN114580525A publication Critical patent/CN114580525A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种面向含缺失数据的手势动作分类方法，过程如下：获取含缺失数据的手势动作数据集，依据缺失信息将其划分为观察值集和缺失值集；利用观察值集中每一列变量的均值对缺失值集进行预填补；基于预填补的数据，训练一个基于类别感知最优运输神经网络的手势动作分类器；利用手势动作分类器对预填补数据中的观察值进行重构，隐式地利用分类器的类别感知信息对缺失值进行填补；同时，采用最优运输理论减少同类别手势动作数据分布距离，显式地利用类别感知信息对缺失值进行填补；将填补后的数据作为感知机的输入，并最终输出分类结果。本发明将类别感知和最优运输理论应用于含缺失数据的手势动作分类领域，有效提高了分类的准确率和效率。

Description

一种面向含缺失数据的手势动作分类方法
技术领域
本发明涉及数据挖掘和机器学习技术领域，具体涉及一种面向含缺失数据的手势动作分类方法。
背景技术
手势动作分类是人机交互技术的重要基础，也是相关智能设备和工业领域中不可忽视的技术。然而，由于传感器故障、障碍物阻挡和操作失误等，导致实际采集获取的手势动作数据常常包含缺失值。与此同时，已有的手势动作分类方法往往是基于数据是完整的假设，难以合理地对含缺失数据的手势动作执行分类。因此，设计面向含缺失数据的手势动作分类方法具有重要的意义。
现有的处理含缺失数据的手势动作分类方法可以简单地分为两类：直接删除包含缺失值的数据和先对缺失数据进行填补然后执行分类的方法。直接删除包含缺失值的手势动作数据容易导致观察值信息的丢失，特别是当缺失率比较高的时候。此外，在现实复杂场景中，采集的每条数据均可能不同程度都会包含缺失值，从而导致完整的数据数量极少。采用零、均值和最近邻等方法先对包含缺失值得手势动作数据进行填补，然后进行手势动作分类方法是现有方法的常见策略。然而，手势动作数据的填补和分类的过程是独立的，并且填补的过程往往是基于无监督的设定，导致填补的缺失值不可避免地引入了分类错误。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种面向含缺失数据的手势动作分类方法，该方法设计了一种基于类别感知最优运输的神经网络，在网络训练过程中采用分类器的类别感知信息对缺失数据进行填补，从而降低填补到分类的偏差。同时，为了使得填补的值更加适合分类，本发明采用最优运输理论来降低同类手势动作数据分布的差异，促使填补后的同类数据分布更加相似。
本发明的目的可以通过采取如下技术方案达到：
一种面向含缺失数据的手势动作分类方法，所述手势动作分类方法包括以下步骤：
S1、获取含缺失数据的手势动作数据集，依据缺失信息将其划分为观察值集和缺失值集；
S2、利用观察值集中每一列变量的均值对缺失值集中每一列变量进行预填补，得到预填补的完整数据集；
S3、基于预填补的完整数据集，训练一个基于类别感知最优运输神经网络的手势动作分类器，所述手势动作分类器包括一个基于类别感知最优运输的填补模块和一个基于感知机的分类模块；
S4、在所述基于类别感知最优运输的填补模块中对预填补数据中的观察值进行重构，并隐式地利用基于感知机的分类模块中的类别感知信息对缺失值进行填补；
S5、采用最优运输理论减少从同类别内随机选取的两组数据分布距离，使得同类数据分布相似，显式地利用手势动作类别感知信息对缺失值进行填补；
S6、将经过基于类别感知最优运输的填补模块填补后的完整数据作为基于感知机的分类模块的输入，训练类别感知最优运输神经网络，并将含缺失数据的测试集作为训练好的类别感知最优运输神经网络的输入，输出最终的手势动作分类结果。
进一步地，所述步骤S1过程如下：
S11、获取含缺失数据的手势动作数据集Z，表示为
Figure BDA0003520663660000031
其中Yn表示第n个样本Xn的标签，n的取值范围为[1,N]，N为数据集Z中包含的样本总数，第n个样本Xn表示为(x1,x2,null,…,xd,…,xD)，其中null表示缺失值，xd表示第d个变量，d的取值范围为[1,D]，在现实生活场景中采集得到的手势动作数据集Z，样本Xn中至少都会包含一个值为null的变量；
S12、依据数据集Z中每个样本Xn中标记为null的缺失信息，数据集Z中所有样本包含的缺失信息定义为一个N行D列的掩码矩阵M∈{mnd}N×D，mnd的取值为1或者0，如果mnd等于1表示样本Xn的第d个变量xd为缺失值，mnd等于0表示为观察值，依据掩码矩阵M中mnd值全为0的对应样本的变量划分为观察值集，将mnd值全为1的对应样本的变量划分为缺失值集。对观察值集中同一列变量进行归一化处理，减少异常数值和噪声数值对整体数据分布的影响。
进一步地，所述步骤S2过程如下：
S21、利用步骤S12中获取的观察值集，计算观察值集中所有样本同列变量数值的均值，得到一个长度为D的数组B，数组B中的每一个元素表示对应变量所在列的均值；
S22、利用步骤S21中获取的数组B对步骤S12中获取的缺失值集进行均值预填补，采用数组B中所在列对应的值对缺失值集中所有样本对应列变量值为null的变量进行预填补，将经过预填补后的缺失值集和观察值集合并得到预填补的完整数据集。
进一步地，所述步骤S3过程如下：
利用步骤S22中得到的预填补的完整数据集，训练一个基于类别感知最优运输神经网络的手势动作分类器，采用基于类别感知最优运输的填补模块执行缺失值填补任务优化的同时，将上述填补模块得到的完整数据输入到基于感知机的分类模块进行分类训练，实现对包含缺失值数据的填补任务和分类任务的联合优化，隐式地利用分类模块的类别感知信息对填补任务进行优化，降低填补数值引入的分类错误率；其中，所述基于类别感知最优运输的填补模块包括三层全连接神经网络，分别是输入层、隐藏层和输出层，输入层和输出层的维度设定为手势动作数据的变量数，隐藏层的维度为手势动作数据变量数的两倍，输出层对缺失值位置的变量进行填补；所述基于感知机的分类模块由三层神经网络组成，其输入数据是基于类别感知最优运输的填补模块执行缺失值填补后的完整数据。
进一步地，所述步骤S4过程如下：
S41、在所述基于类别感知最优运输的填补模块的输入层与输出层中观察值位置构建一对一的映射关系，对观察值进行重构，促使输出层在缺失位置得到的填补值获取观察值的分布信息，映射关系
Figure BDA0003520663660000041
定义如下：
Figure BDA0003520663660000042
其中，
Figure BDA0003520663660000043
表示全1的行向量，⊙表示向量间的元素积，其中样本
Figure BDA0003520663660000044
表示经过步骤S22中均值预填补的数据，表示所述基于类别感知最优运输的填补模块中输入层的输入值，Ximp表示所述基于类别感知最优运输的填补模块中输出层的输出值，mn表示步骤S12中定义的缺失掩码矩阵M中的一个行向量，表示样本
Figure BDA0003520663660000045
的缺失掩码信息；
S42、对Ximp中观察值位置的变量，采用经过均值预填补的数据
Figure BDA0003520663660000046
中观察值变量对Ximp中对应观察值位置的数值进行替换，获取对含缺失值数据Xn执行填补后的完整手势动作数据Xcom表示如下：
Figure BDA0003520663660000047
将数据集Z中所有样本Xn对应的Xcom作为基于感知机的分类模块的输入数据，参与分类任务的训练，在分类任务优化过程中隐式地利用感知机的类别感知信息对缺失位置变量的填补任务进行优化，通过利用感知机的类别感知信息促使缺失位置填补的变量数值向有利于分类任务的方向进行更新。
进一步地，所述步骤S5过程如下：
S51、依据步骤S42中得到的数据集Z中所有样本Xn对应的完整手势动作数据Xcom，将所有完整手势动作数据Xcom组成的数据集记为Zcom，首先从Zcom中同类手势动作数据内部随机选取两组样本数量均为T的数据子集
Figure BDA0003520663660000051
和
Figure BDA0003520663660000052
其中，k表示数据集Zcom中第k类手势动作数据，a和b分别表示随机选取的不同数据子集，最优运输理论能够衡量两个离散测度α和β的分布差异，数据子集
Figure BDA0003520663660000053
和
Figure BDA0003520663660000054
依据最优运输理论转换为离散测度
Figure BDA0003520663660000055
和
Figure BDA0003520663660000056
依据最优运输理论，采用
Figure BDA0003520663660000057
表示同类手势动作数据内选取的两个数据子集在物理空间层面上的数据分布距离，且
Figure BDA0003520663660000058
的值越小，表示从同类手势动作数据内选的两个数据子集
Figure BDA0003520663660000059
和
Figure BDA00035206636600000510
间的数据分布差异越小，同类数据分布差异越小能够增加不同类别手势动作数据分布间的差异；
S52、由于数据集Zcom中所有数据Xcom中的观察值一直保持不变，通过减小同类手势动作数据子集
Figure BDA00035206636600000511
和
Figure BDA00035206636600000512
之间分布差异，能使得同类手势动作数据分布更加相似，上述过程转换为对同类手势动作数据的进行填补的损失函数
Figure BDA00035206636600000513
具体如下：
Figure BDA00035206636600000514
其中，K表示数据集Zcom中的类别数，L表示在类别k内重复随机取数据子集的次数，上式采用
Figure BDA00035206636600000515
表示随机从类别k内选取的两个数据子集
Figure BDA00035206636600000516
和
Figure BDA00035206636600000517
Sinkhorn表示最优运输理论中的Sinkhorn算法，能够求取离散测度变换
Figure BDA00035206636600000518
和
Figure BDA00035206636600000519
之间的最优运输方案，使得随机选取的数据子集
Figure BDA00035206636600000520
和
Figure BDA00035206636600000521
之间的数据分布差异变小。
Figure BDA00035206636600000522
和
Figure BDA00035206636600000523
中的观察值集在最优运输优化过程中一直保持不变，促使缺失位置填补的值向观察值集分布靠拢，从而使得填补后的同类样本更加相似。
进一步地，所述步骤S6包括：
S61、将S52中经过最优运输理论对同类别数据进行约束后的所有数据Xcom输入到基于感知机的分类模块中进行分类，分类的学习目标
Figure BDA0003520663660000061
表示如下：
Figure BDA0003520663660000062
其中，N表示数据集Zcom中的样本数，K表示数据集Zcom中的类别数，
Figure BDA0003520663660000063
表示对含缺失值数据Xn进行填补后的Xcom是类别k的二进制标签，p(Yn|Xcom)k表示分类器预测样本Xcom为类别k的概率；
S62、Xcom中缺失位置的变量信息在基于类别感知最优运输的填补模块中受到步骤S41中的
Figure BDA0003520663660000064
和步骤S52中的
Figure BDA0003520663660000065
约束进行填补任务的训练，同时Xcom的缺失位置变量信息也会受到步骤S61中基于感知机的分类器模块中的
Figure BDA0003520663660000066
的约束进行分类任务的训练，使得Xcom中缺失位置的变量信息能够同时进行填补和分类任务，基于类别感知最优运输神经网络的手势动作分类器的整体学习目标
Figure BDA0003520663660000067
表示如下：
Figure BDA0003520663660000068
通过上述学习目标
Figure BDA0003520663660000069
基于类别感知最优运输神经网络的分类器能够对填补和分类任务的进行联合优化，能够利用上
Figure BDA00035206636600000610
和
Figure BDA00035206636600000611
的类别信息对缺失位置的变量数据进行填补，缩减同类内手势动作数据分布差异的同时提高不同类间手势动作数据分布差异，使得填补的缺失值有利于手势动作的分类。
本发明相对于现有技术具有如下的优点及效果：
1、本发明首次将最优运输理论应用于含缺失数据的手势动作分类领域，使得填补的缺失值更加有利于分类，能够直接对含缺失值的手势动作数据进行分类；
2、本发明隐式地利用分类器在训练过程的类别感知信息对缺失值进行填补，并显式地采用最优运输理论减少同类手势动作数据分布差异，能够有效缓解填补引入的分类误差；
3、本发明将缺失数据的填补和分类任务进行联合优化，能够利用缺失数据中的观察值分布信息进行训练，从而避免直接删除含缺失值数据导致的信息丢失问题；
4、本发明直接使用含缺失值的手势动作数据进行训练，无需额外的人工专业知识协助，能够直接对含缺失数据的手势动作进行分类；
5、本发明的手势动作分类算法在数据缺失率达到了99％的Motion Capture HandPostures手势动作数据集进行测试，其手势动作分类准确率达到了97.7％。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例公开的一种面向含缺失数据的手势动作分类方法的流程图；
图2是本发明实施例公开的一种面向含缺失数据的手势动作分类方法中三层神经网络的结构图；
图3是Motion Capture Hand Postures数据集采用的手势动作数据采集感知手套示意图，用于采集握拳、撑开手、用食指点、用食指和中指点以及抓这五种手势动作数据；
图4是Motion Capture Hand Postures数据集中的五种手势动作示意图；
图5是从Motion Capture Hand Postures数据集中选取的600个测试样本中观察值集的均值对缺失值集进行填补得到的完整手势动作数据，并将其由原始36维降低到2维进行可视化的五种手势动作类别数据分布示意图；
图6是对Motion Capture Hand Postures数据集中选取的600个测试样本采用本发明实施例公开的一种面向缺失数据的手势动作分类方法进行填补得到的完整手势动作数据，并将其由原始36维降低到2维进行可视化的五种手势动作类别数据分布示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本实施例公开了一种面向含缺失数据的手势动作分类方法，具体流程图参照附图1所示，包括下列步骤：
S1、获取含缺失数据的手势动作数据集Motion Capture Hand Postures，依据缺失信息将其划分为观察值集和缺失值集。
本实施例中，步骤S1过程如下：
S11、获取含缺失数据的手势动作数据集Motion Capture Hand Postures，该数据集的数据缺失率为99％，该数据集采用感知手套进行采集，包含有握拳、撑开手、用食指点、用食指和中指点以及抓这五种手势动作，具体的示意图见图3和图4，其中每个样本X包含36个变量；
S12、依据数据集Motion Capture Hand Postures中每个样本X中标记为null的缺失信息，可以将其定义为一个N行D列的掩码矩阵M∈{mnd}N×D，mnd的取值为1或者0，如果mnd等于1表示样本Xn的第d个变量xd为缺失值，mnd等于0表示为观察值，依据掩码矩阵M中mnd值全为0的对应样本的变量划分为观察值集，将mnd值全为1的对应样本的变量划分为缺失值集，对观察值集中同一列变量进行归一化处理，减少异常数值和噪声数值对整体数据分布的影响，在Motion Capture Hand Postures数据集中有99％的样本包含变量为null的缺失值。
S2、利用步骤S1观察值集中每一列变量的均值对缺失值集中每一列变量进行预填补，得到预填补的完整数据集；
本实施例中，步骤S2过程如下：
S21、利用步骤S12中获取的观察值集，计算观察值集中所有样本同列变量数值的均值，得到一个长度为D的数组B，数组B中的每一个元素表示对应变量所在列的均值；
S22、利用步骤S21中获取的数组B对步骤S12中获取的缺失值集进行均值预填补，采用数组B中所在列对应的值对缺失值集中所有样本对应列变量值为null的变量进行预填补，将经过预填补后的缺失值集和观察值集合并得到预填补的完整数据集。
S3、基于预填补的完整数据集，训练一个基于类别感知最优运输神经网络的手势动作分类器，所述手势动作分类器包括一个基于类别感知最优运输的填补模块和一个基于感知机的分类模块；
本实施例中，步骤S3过程如下：
S31、利用步骤S22中得到的预填补的完整数据集，将该数据集中的60％数据划分为训练集，20％数据划分为验证集，剩下的20％数据划分为测试集，采用训练集训练一个基于类别感知最优运输神经网络的手势动作分类器，采用基于类别感知最优运输的填补模块执行缺失值填补任务优化的同时，将上述填补模块得到的完整数据输入到基于感知机的分类模块进行分类训练，实现对包含缺失值数据的填补任务和分类任务的联合优化，隐式地利用分类模块的类别感知信息对填补任务进行优化，降低填补数值引入的分类错误率；其中，所述基于类别感知最优运输的填补模块包含三层全连接神经网络，分别是输入层、隐藏层和输出层，输入层和输出层的维度设定为手势动作数据的变量数，隐藏层的维度为手势动作数据变量数的两倍，输出层对缺失值位置的变量进行填补；所述基于感知机的分类模块由三层神经网络组成，其输入数据是基于类别感知最优运输的填补模块执行缺失值填补后的完整数据。
S4、在所述基于类别感知最优运输的填补模块中对预填补数据中的观察值进行重构，并隐式地利用基于感知机的分类模块中的类别感知信息对缺失值进行填补；
本实施例中，步骤S4过程如下：
S41、在基于类别感知最优运输的填补模块的输入层与输出层网络中观察值位置构建一对一的映射关系，对观察值进行重构，促使输出层网络在缺失位置得到的填补值获取更多观察值的分布信息，映射关系
Figure BDA0003520663660000101
定义如下：
Figure BDA0003520663660000102
其中，
Figure BDA0003520663660000103
表示全1的行向量，⊙表示向量间的元素积，其中样本
Figure BDA0003520663660000104
表示经过步骤S22中均值预填补的数据，表示所述基于类别感知最优运输的填补模块中输入层的输入值，Ximp表示所述基于类别感知最优运输的填补模块中输出层的输出值，mn表示步骤S12中定义的缺失掩码矩阵M中的一个行向量，表示样本
Figure BDA0003520663660000105
的缺失掩码信息；
S42、对Ximp中观察值位置的变量，采用经过均值预填补的数据
Figure BDA0003520663660000107
中观察值变量对Ximp中对应观察值位置的数值进行替换，获取对含缺失值数据Xn执行填补后的完整手势动作数据Xcom表示如下：
Figure BDA0003520663660000106
将数据集Z中所有样本Xn对应的Xcom作为基于感知机的分类模块的输入数据，参与分类任务的训练，在分类任务优化过程中隐式地利用感知机的类别感知信息对缺失位置变量的填补任务进行优化，通过利用感知机的类别感知信息促使缺失位置填补的变量数值向有利于分类任务的方向进行更新。
S5、采用最优运输理论减少从同类别内随机选取的两组数据分布距离，使得同类数据分布相似，显式地利用手势动作类别感知信息对缺失值进行填补；
本实施例中，步骤S5过程如下：
S51、依据步骤S42中得到的数据集Z中所有样本Xn对应的完整手势动作数据Xcom，将所有完整手势动作数据Xcom组成的数据集记为Zcom，首先从Zcom中同类手势动作数据内部随机选取两组样本数量均为T的数据子集
Figure BDA0003520663660000111
和
Figure BDA0003520663660000112
其中，k表示数据集Zcom中第k类手势动作数据，a和b分别表示随机选取的不同数据子集，最优运输理论能够衡量两个离散测度α和β的分布差异，数据子集
Figure BDA0003520663660000113
和
Figure BDA0003520663660000114
依据最优运输理论可转换为离散测度
Figure BDA0003520663660000115
和
Figure BDA0003520663660000116
依据最优运输理论采用
Figure BDA0003520663660000117
表示同类手势动作数据内选取的两个数据子集在物理空间层面上的数据分布距离，且
Figure BDA0003520663660000118
的值越小，表示从同类手势动作数据内选的两个数据子集
Figure BDA0003520663660000119
和
Figure BDA00035206636600001110
间的数据分布差异越小；
S52、由于数据集Zcom中所有数据Xcom中的观察值一直保持不变，通过减小同类手势动作数据子集
Figure BDA00035206636600001111
和
Figure BDA00035206636600001112
之间分布差异，能使得同类手势动作数据分布更加相似，上述过程转换为对同类手势动作数据的进行填补的损失函数
Figure BDA00035206636600001113
具体如下：
Figure BDA00035206636600001114
其中，K表示数据集Zcom中的类别数，L表示在类别k内重复随机取数据子集的次数，上式采用
Figure BDA00035206636600001115
表示随机从类别k内选取的两个数据子集
Figure BDA00035206636600001116
和
Figure BDA00035206636600001117
Sinkhorn表示最优运输理论中的Sinkhorn算法，Sinkhorn算法由Marco Cuturi于2013年发表的论文《Sinkhorn Distances:Lightspeed Computation of Optimal Transport》中提出，Sinkhorn算法在上述论文的第5页有记载，能够求取离散测度变换
Figure BDA0003520663660000121
和
Figure BDA0003520663660000122
之间的最优运输方案，使得随机选取的数据子集
Figure BDA0003520663660000123
和
Figure BDA0003520663660000124
之间的数据分布差异变小，
Figure BDA0003520663660000125
和
Figure BDA0003520663660000126
中的观察值集在最优运输优化过程中一直保持不变，促使缺失位置填补的值向观察值集分布靠拢，从而使得填补后的同类样本更加相似。为了验证采用上述最优运输理论约束后的数据分布和简单采用均值预填补的差异，本发明采用了轮廓系数来衡量不同手势动作类别间的数据分布差异，轮廓系数值取值区间为[-1,1]，其值越接近1表示同类数据分布更加紧促，不同类别间数据分布更加远离。采用均值进行预填补得到的完整数据的轮廓系数值为-0.0239，而采用基于类别感知最优运输填补得到的完整数据轮廓系数值为0.0717，图5和图6中的1、2、3、4、5的点型标记分别表示握拳、撑开手、用食指点、用食指和中指点以及抓这五种手势动作数据，图5表示采用均值进行缺失值填补后的五种手势动作数据可视化图，图6表示采用本发明提出的手势动作分类方法进行缺失值填补后的五种手势动作数据可视化图，对比图5和图6可知，图6能够有效区分点型标记为1(握拳)和2(撑开手)的手势动作数据，并且在整体五种手势动作分布上计算得到的轮廓系数值比图5更小，可知采用本发明填补的数据能够增加不同类别手势动作数据间的分布距离。
S6、将经过基于类别感知最优运输的填补模块填补后的完整数据作为基于感知机的分类模块的输入，训练类别感知最优运输神经网络，并将含缺失数据的测试集作为训练好的类别感知最优运输神经网络的输入，输出最终的手势动作分类结果。
本实施例中，步骤S6过程如下：
S61、将S52中经过最优运输理论对同类别数据进行约束后的所有数据Xcom输入到基于感知机的分类模块中进行分类，分类的学习目标
Figure BDA0003520663660000127
表示如下：
Figure BDA0003520663660000128
其中，N表示数据集Zcom中的样本数，K表示数据集Zcom中的类别数，
Figure BDA0003520663660000131
表示对含缺失值数据Xn进行填补后的Xcom是类别k的二进制标签，p(Yn|Xcom)k表示分类器预测样本Xcom为类别k的概率；
S62、Xcom中缺失位置的变量信息在基于类别感知最优运输的填补模块中受到步骤S41中的
Figure BDA0003520663660000132
和步骤S52中的
Figure BDA0003520663660000133
约束进行填补任务的训练，同时Xcom的缺失位置变量信息也会受到步骤S61中基于感知机的分类器模块中的
Figure BDA0003520663660000134
的约束进行分类任务的训练，使得Xcom中缺失位置的变量信息能够同时进行填补和分类任务，基于类别感知最优运输神经网络的手势动作分类器的整体学习目标
Figure BDA0003520663660000135
表示如下：
Figure BDA0003520663660000136
通过上述学习目标
Figure BDA0003520663660000137
基于类别感知最优运输神经网络的分类器能够对填补和分类任务的进行联合优化，能够利用上
Figure BDA0003520663660000138
和
Figure BDA0003520663660000139
的类别信息对缺失位置的变量数据进行填补，缩减同类内手势动作数据分布差异的同时提高不同类间手势动作数据分布差异，使得填补的缺失值有利于手势动作的分类。
最后采用从Motion Capture Hand Postures手势动作数据集中划分的20％测试集对模型进行了测试分析，采用传统的零填补、均值填补、最近邻填补和多重填补后的分类准确率分别为20.8％，82.4％，82.9％和92.7％，而本发明提出的方法分类准确率达到了97.7％，相比传统方法本发明有效提高了手势动作分类准确率。
实施例2
本发明公开的一种面向含缺失数据的手势动作分类方法与传统的先对缺失值进行填补然后采用基于感知机的分类算法对填补后的完整数据进行分类的方法(零填补，均值填补，最近邻填补和多重填补)，在两种手写数字手势动作的开源数据集OpticalRecognition of Handwritten Digits和Pen-Based Recognition of HandwrittenDigits上，对所有样本进行了人工合成随机缺失率分别为10％，30％，50％和70％的手势动作数据上进行了分类实验，具体实验结果如表1所述：
表1.本发明与其它传统缺失数据分类方法在手写数字动作数据集上的分类准确率
Figure BDA0003520663660000141
表1是本发明与其它传统的先填补后对完整数据进行分类的方法在手写数字动作数据集上的分类准确率对比参照，表1中的缺失率表示在上述数据集的样本中包含null的缺失值变量在所有样本变量中的占比。从表1的实验结果对比可以看到，相比传统采用零填补、均值填补、最近邻填补和多重填补方法对缺失值进行填补后，再采用基于感知机的分类算法对完整数据进行分类的方法，本发明公开的一种面向含缺失数据的手势动作分类方法在手写数字动作数据集的不同人工合成缺失率上均能够取得更优的分类准确率，验证了本发明的有效性和实用性。
综上所述，本实施例提出的一种面向含缺失数据的手势动作分类方法，利用基于类别感知最优运输的填补模块和基于感知机的分类模块实现对含缺失值得手势动作数据进行分类，通过最优运输理论显式地利用手势动作类别感知信息减少同类别内数据分布距离，并隐式地利用基于感知机得分类模块中得类别感知信息对缺失值填补任务进行优化，使得填补得缺失值有利于分类，提高了手势动作分类的准确率。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种面向含缺失数据的手势动作分类方法，其特征在于，所述手势动作分类方法包括以下步骤：
S1、获取含缺失数据的手势动作数据集，依据缺失信息将其划分为观察值集和缺失值集；
S2、利用观察值集中每一列变量的均值对缺失值集中每一列变量进行预填补，得到预填补的完整数据集；
S3、基于预填补的完整数据集，训练一个基于类别感知最优运输神经网络的手势动作分类器，所述手势动作分类器包括一个基于类别感知最优运输的填补模块和一个基于感知机的分类模块；
S4、在所述基于类别感知最优运输的填补模块中对预填补数据中的观察值进行重构，并隐式地利用基于感知机的分类模块中的类别感知信息对缺失值进行填补；
S5、采用最优运输理论减少从同类别内随机选取的两组数据分布距离，使得同类数据分布相似，显式地利用手势动作类别感知信息对缺失值进行填补；
S6、将经过基于类别感知最优运输的填补模块填补后的完整数据作为基于感知机的分类模块的输入，训练类别感知最优运输神经网络，并将含缺失数据的测试集作为训练好的类别感知最优运输神经网络的输入，输出最终的手势动作分类结果。
2.根据权利要求1所述的面向含缺失数据的手势动作分类方法，其特征在于，所述步骤S1过程如下：
S11、获取含缺失数据的手势动作数据集Z，表示为
Figure FDA0003520663650000011
其中Yn表示第n个样本Xn的标签，N为数据集Z中包含的样本总数，第n个样本Xn表示为(x1，x2，null，...，xd，...，xD)，其中null表示缺失值，xd表示第d个变量，d的取值范围为[1，D]，D为样本Xn包含的变量总数；
S12、依据数据集Z中每个样本Xn中标记为null的缺失信息，数据集Z中所有样本包含的缺失信息定义为一个N行D列的掩码矩阵M∈{mnd}N×D，mnd的取值为1或者0，如果mnd等于1表示样本Xn的第d个变量xd为缺失值，mnd等于0表示为观察值，依据掩码矩阵M中mnd值全为0的对应样本的变量划分为观察值集，将mnd值全为1的对应样本的变量划分为缺失值集。
3.根据权利要求2所述的面向含缺失数据的手势动作分类方法，其特征在于，所述步骤S2过程如下：
S21、利用步骤S12中获取的观察值集，计算观察值集中所有样本同列变量数值的均值，得到一个长度为D的数组B，数组B中的每一个元素表示对应变量所在列的均值；
S22、利用步骤S21中获取的数组B对步骤S12中获取的缺失值集进行均值预填补，采用数组B中所在列对应的值对缺失值集中所有样本对应列变量值为null的变量进行预填补。
4.根据权利要求3所述的面向含缺失数据的手势动作分类方法，其特征在于，所述步骤S3过程如下：
利用步骤S22中得到的预填补的完整数据集，训练一个基于类别感知最优运输神经网络的手势动作分类器，采用基于类别感知最优运输的填补模块执行缺失值填补任务优化的同时，将上述填补模块得到的完整数据输入到基于感知机的分类模块进行分类训练，实现对包含缺失值数据的填补任务和分类任务的联合优化；其中，所述基于类别感知最优运输的填补模块包括三层全连接神经网络，分别是输入层、隐藏层和输出层，输入层和输出层的维度设定为手势动作数据的变量数，隐藏层的维度为手势动作数据变量数的两倍，输出层对缺失值位置的变量进行填补；所述基于感知机的分类模块由三层神经网络组成，其输入数据是基于类别感知最优运输的填补模块执行缺失值填补后的完整数据。
5.根据权利要求4所述的面向含缺失数据的手势动作分类方法，其特征在于，所述步骤S4过程如下：
S41、在所述基于类别感知最优运输的填补模块的输入层与输出层中观察值位置构建一对一的映射关系，对观察值进行重构，促使输出层在缺失位置得到的填补值获取观察值的分布信息，映射关系
Figure FDA0003520663650000031
定义如下：
Figure FDA0003520663650000032
其中，
Figure FDA0003520663650000035
表示全1的行向量，⊙表示向量间的元素积，其中样本
Figure FDA0003520663650000034
表示经过步骤S22中均值预填补的数据，表示所述基于类别感知最优运输的填补模块中输入层的输入值，Ximp表示所述基于类别感知最优运输的填补模块中输出层的输出值，mn表示步骤S12中定义的缺失掩码矩阵M中的一个行向量，表示样本
Figure FDA0003520663650000033
的缺失掩码信息；
S42、对Ximp中观察值位置的变量，采用经过均值预填补的数据
Figure FDA0003520663650000036
中观察值变量对Ximp中对应观察值位置的数值进行替换，获取对含缺失值数据Xn执行填补后的完整手势动作数据Xcom表示如下：
Figure FDA0003520663650000041
将数据集Z中所有样本Xn对应的Xcom作为基于感知机的分类模块的输入数据，参与分类任务的训练，在分类任务优化过程中隐式地利用感知机的类别感知信息对缺失位置变量的填补任务进行优化。
6.根据权利要求5所述的面向含缺失数据的手势动作分类方法，其特征在于，所述步骤S5过程如下：
S51、依据步骤S42中得到的数据集Z中所有样本Xn对应的完整手势动作数据Xcom，将所有完整手势动作数据Xcom组成的数据集记为Zcom，首先从Zcom中同类手势动作数据内部随机选取两组样本数量均为T的数据子集
Figure FDA0003520663650000042
和
Figure FDA0003520663650000043
其中，k表示数据集Zcom中第k类手势动作数据，a和b分别表示随机选取的不同数据子集，通过最优运输理论衡量两个离散测度α和β的分布差异，数据子集
Figure FDA0003520663650000044
和
Figure FDA0003520663650000045
依据最优运输理论转换为离散测度
Figure FDA0003520663650000046
和
Figure FDA0003520663650000047
依据最优运输理论，采用
Figure FDA0003520663650000048
表示同类手势动作数据内选取的两个数据子集在物理空间层面上的数据分布距离，且
Figure FDA0003520663650000049
的值越小，表示从同类手势动作数据内选的两个数据子集
Figure FDA00035206636500000410
和
Figure FDA00035206636500000411
间的数据分布差异越小；
S52、由于数据集Zcom中所有数据Xcom中的观察值一直保持不变，通过减小同类手势动作数据子集
Figure FDA00035206636500000412
和
Figure FDA00035206636500000413
之间分布差异，使得同类手势动作数据分布更加相似，上述过程转换为对同类手势动作数据的进行填补的损失函数
Figure FDA00035206636500000414
具体如下：
Figure FDA0003520663650000051
其中K表示数据集Zcom中的类别数，L表示在类别k内重复随机取数据子集的次数，上式采用
Figure FDA0003520663650000052
表示随机从类别k内选取的两个数据子集
Figure FDA0003520663650000053
和
Figure FDA0003520663650000054
Sinkhorn()表示最优运输理论中的Sinkhorn算法，求取离散测度变换
Figure FDA0003520663650000055
和
Figure FDA0003520663650000056
之间的最优运输方案，使得随机选取的数据子集
Figure FDA0003520663650000057
和
Figure FDA0003520663650000058
之间的数据分布差异变小。
7.根据权利要求6所述的面向含缺失数据的手势动作分类方法，其特征在于，所述步骤S6过程如下：
S61、将S52中经过最优运输理论对同类别数据进行约束后的所有数据Xcom输入到基于感知机的分类模块中进行分类，分类的学习目标
Figure FDA0003520663650000059
表示如下：
Figure FDA00035206636500000510
其中N表示数据集Zcom中的样本数，K表示数据集Zcom中的类别数，
Figure FDA00035206636500000514
表示对含缺失值数据Xn进行填补后的Xcom是类别k的二进制标签，p(Yn|Xcom)k表示分类器预测样本Xcom为类别k的概率；
S62、Xcom中缺失位置的变量信息在基于类别感知最优运输的填补模块中受到步骤S41中的
Figure FDA00035206636500000511
和步骤S52中的
Figure FDA00035206636500000512
约束进行填补任务的训练，同时Xcom的缺失位置变量信息也会受到步骤S61中基于感知机的分类器模块中的
Figure FDA00035206636500000513
的约束进行分类任务的训练，使得Xcom中缺失位置的变量信息能够同时进行填补和分类任务，基于类别感知最优运输神经网络的手势动作分类器的整体学习目标
Figure FDA0003520663650000061
表示如下：
Figure FDA0003520663650000062
CN202210195763.0A 2022-02-25 2022-02-25 一种面向含缺失数据的手势动作分类方法 Pending CN114580525A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210195763.0A CN114580525A (zh) 2022-02-25 2022-02-25 一种面向含缺失数据的手势动作分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210195763.0A CN114580525A (zh) 2022-02-25 2022-02-25 一种面向含缺失数据的手势动作分类方法

Publications (1)

Publication Number Publication Date
CN114580525A true CN114580525A (zh) 2022-06-03

Family

ID=81771790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210195763.0A Pending CN114580525A (zh) 2022-02-25 2022-02-25 一种面向含缺失数据的手势动作分类方法

Country Status (1)

Country Link
CN (1) CN114580525A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117113234A (zh) * 2023-10-12 2023-11-24 济南泉晓电气设备有限公司 一种基于机器学习的输电线路故障检测方法及系统
CN117828373A (zh) * 2024-03-05 2024-04-05 四川省医学科学院·四川省人民医院 基于集合划分和自监督学习的缺失数据填充方法及系统
CN117952966A (zh) * 2024-03-26 2024-04-30 华南理工大学 基于Sinkhorn算法的多模态融合生存预测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117113234A (zh) * 2023-10-12 2023-11-24 济南泉晓电气设备有限公司 一种基于机器学习的输电线路故障检测方法及系统
CN117828373A (zh) * 2024-03-05 2024-04-05 四川省医学科学院·四川省人民医院 基于集合划分和自监督学习的缺失数据填充方法及系统
CN117952966A (zh) * 2024-03-26 2024-04-30 华南理工大学 基于Sinkhorn算法的多模态融合生存预测方法

Similar Documents

Publication Publication Date Title
CN114580525A (zh) 一种面向含缺失数据的手势动作分类方法
Shiri et al. A comprehensive overview and comparative analysis on deep learning models: CNN, RNN, LSTM, GRU
US20190220691A1 (en) Segmentation of Data
CN111739075A (zh) 一种结合多尺度注意力的深层网络肺部纹理识别方法
Afolabi et al. Predicting stock prices using a hybrid Kohonen self organizing map (SOM)
CN107977932A (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
Sisodia et al. Stock market analysis and prediction for NIFTY50 using LSTM Deep Learning Approach
Jiang et al. An intelligent recommendation approach for online advertising based on hybrid deep neural network and parallel computing
CN116844041A (zh) 一种基于双向卷积时间自注意力机制的耕地提取方法
CN117216522A (zh) 一种基于机器学习的轴承故障类别诊断方法、装置及设备
CN116579408A (zh) 一种基于模型结构冗余度的模型剪枝方法及系统
CN113554070B (zh) 基于过渡概率矩阵和轻量级网络的轴承故障诊断方法
CN112818982B (zh) 基于深度特征自相关性激活的农业害虫图像检测方法
CN112801283B (zh) 一种神经网络模型、动作识别方法、装置及存储介质
CN115409262A (zh) 铁路数据中心关键性能指标趋势预测方法、异常识别方法
CN115601584A (zh) 一种遥感场景图像多标签分类方法和装置、存储介质
CN114387524A (zh) 基于多层级二阶表征的小样本学习的图像识别方法和系统
Wang et al. Cnn based chromosome classification architecture for combined dataset
Lazebnik et al. Knowledge-integrated autoencoder model
Nurmalasari et al. Classification for Papaya Fruit Maturity Level with Convolutional Neural Network
Wang et al. Risk assessment of customer churn in telco using FCLCNN-LSTM model
Kraamwinkel Time Series Forecasting on COVID-19 Data and Its Relevance to International Health Security
CN112766177B (zh) 基于特征映射和多层时间交互注意力的行为识别方法
CN111626923B (zh) 基于新型注意力模型的图像转换方法
Mohamed et al. Data Analysis of Agriculture using Data Mining Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination