CN103778407A - 一种迁移学习框架下基于条件随机场的手势识别算法 - Google Patents
一种迁移学习框架下基于条件随机场的手势识别算法 Download PDFInfo
- Publication number
- CN103778407A CN103778407A CN201210404068.7A CN201210404068A CN103778407A CN 103778407 A CN103778407 A CN 103778407A CN 201210404068 A CN201210404068 A CN 201210404068A CN 103778407 A CN103778407 A CN 103778407A
- Authority
- CN
- China
- Prior art keywords
- gesture recognition
- recognition algorithm
- random field
- transfer learning
- learning framework
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种迁移学习框架下基于条件随机场的手势识别算法,涉及机器学习领域,序列数据的标注任务,手势识别问题。通过本发明,手势识别问题不但被更准确的识别,而且相对神经网络与条件随机场相结合的方法,具有更容易优化的特点,而且由于迁移学习框架的采用,通过无监督学习方法引入辅助任务与手势识别的主任务共享隐藏层特征的方式,解决了手势识别问题中有标注数据不足情况下的识别问题。
Description
技术领域
本发明涉及机器学习领域,尤其是一种迁移学习框架下基于条件随机场的模式识别算法。
背景技术
目前,人工交互应用中基于手势识别的交互应用已经成为人工智能领域的一个重要问题。由于手势的各帧之间存在时间上的依赖关系可以自然地形成一个序列标注问题。通过对手势序列的识别问题,识别不同手势代表的含义,可以进行基于视觉的交流。因为,在实际应用中具有标记信息的手势视频的获取代价大,而标注数据多少是识别算法性能的保证,所以,现有手势识别算法在具有充分标注数据的情况下效果良好。
发明人在实现本发明的过程中,发现现有技术中至少存在以下缺点和不足:
现有技术引入了大量的参数来避免过拟合现象的发生,大量的参数为了避免过拟合必须有标注数据进行训练,而在实际的任务中获取大量有标注的数据的困难的、代价高昂的,阻碍了手势识别算法在实际应用的性能。
发明内容
本发明提供了一种迁移学习框架下基于条件随机场的手势识别算法,本发明根据序列相关性构建了无监督的序列模型,并将其作为辅助任务,又使用一种深度条件随机场作为手势识别的主任务,最后形成半监督迁移学习框架下的基于条件随机场的手势识别算法,达到了很好的手势识别效果,并降低了标注数据的代价,详见下文描述:
一种迁移学习框架下基于条件随机场的手势识别算法,包括:视频序列上的手势识别算法,以及在具有部分标注数据下采用无标注数据辅助训练的半监督手势识别算法。所述手势识别算法包括深度条件随机场手势识别算法,以及相应的特征函数构建方法。所述半监督手势识别算法,包括深度条件随机场的手势识别算法以及无监督的马尔科夫随机场方法,以及两种方法的联合训练方法。
所述方法包括以下步骤:
(1)所述深度条件随机场的手势识别方法框架、特征函数构建。
所述深度条件随机场框架具体为:采用层次前馈网络作为特征抽取器与条件随机场构成的
无向图模型联合训练,深度条件随机场模型定义如下:
其中φ={φ1,φ2,...,φt}是从原始输入序列中学习得到的特征序列,每个φt均是一个非线性函数,参数为α。
所述深度条件随机场模型具体包括:
1)使用深度神经网络作为特征学习器自动从原始数据中学习非线性特征:
所述方法采用一层卷积层与若干全连接层构成多层的深度神经网络完成特征学习过程。
其中,第一层的卷积层主要的作用是捕获上下文信息,使得获得的特征具有时间序列上的不敏感性。具体计算方法如下:
所述若干全连接层即传统的全连接结构,以卷积层的输出作为输入,最终得到一个结构化的结果并传递给条件随机场模型,进而构建一个结构化模型解决手势识别问题。所述全连接层的变换如下:
2)将特征获得过程与条件随机场的序列模型进行结合:
所述步骤1)中的多层非线性变换层与一层的结构化输出层,共同构成深度条件随机场的结构。整体结构中卷积层提供时间变换上的变换不变性,保持相关的局部信息,更高层的全连接层逐层学习更抽象的特征,将抽象特征作为条件随机场模型的输入,深度条件随机场模型与传统条件随机场的学习过程不同,因其要学习的参数不仅包括线性参数θ,还需要哟花特征抽取阶段的参数α。
3)所设计的条件随机场需要的特征函数具体为:
所述深度条件随机场模型中包含两类特征函数,即状态函数与转移函数。状态函数构建点与标签之间的关系,而转移函数的定义如下:
(2)所述无监督马尔科夫随机场的序列模型。
所述无监督马尔科夫随机场具体为:利用观测节点之间的关系性构建无监督的序列模型并作为辅助任务。这里将概率近似为由其邻居节点之间的依赖关系的连乘,并采用第一邻居节点那么分解结果如下:
在此基础上引入特征变换,定义条件概率如下:
其中A为参数矩阵,Z为划分函数,上式为一个基本吉布斯分布,定义的马尔科夫随机场模型。所述方法中的Z与传统的马尔科夫随机场不同,全局概率被替换为一组局部伪似然概率的求和代替全局似然概率P(x)。那么对于局部似然的归一化因子定义如下:
其中势函数的定义如下所述:
ψ(φt,φt-1;A)=‖A·φt-1-φt‖2
(3)所述深度条件随机场与无监督马尔科夫随机场联合训练方法。
所述半监督联合训练方法具体为:由于方法2与方法1所述,两种方法可以共享变换φ(xt;α),同时将方法中所述的无监督马尔科夫随机场作为迁移学习中的辅助任务,而深度条件随机场进行手势识别作为主任务。在不共享参数的情况下,给定标注序列{x(n),y(n)},n=1,...,N,两个任务的损失函数分别表示如下:
让两个模型共享非线性特征变换φ(x;α),即构建一个序列模型的迁移学习框架,联合模型的优化目标如下:
使用梯度下降搜索优化参数,使用BFGS来优化目标参数。
本发明提供的技术方案的有益效果是:
本发明提供了一种迁移学习框架下的基于条件随机场的手势识别算法,采用半监督的迁移学习框架,降低标注数据的代价。同时采用深度条件随机场识别模型,可以获得具有时间不敏感性的特征,使得识别算法具有时间不敏感的特点。另外本发明所使用的方法具有易于优化的特点。
附图说明
图1一种迁移学习框架下基于条件随机场的手势识别算法流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
为了能够避免训练过程中过拟合现象的发生,以降低标注代价,最终完成较快叫准确的进行手势识别的任务,本发明设计了一种迁移学习框架下基于条件随机场的手势识别算法,详见下文描述:
一种迁移学习框架下基于条件随机场的手势识别算法,包括:本发明中,迁移学习的主任务一一基于深度条件随机场的手势识别方法1,以及其辅助任务无监督马尔科夫随机场2,两个共享特征变换方法3,以及最后的联合训练构成序列模型4.
参照图1,一种迁移学习框架下基于条件随机场的手势识别算法包括以下步骤:
101:通过一个卷积层以及若干全连接层得到输入序列的一个映射变换。
102:通过输入序列通过无监督马尔科夫过程得到一个考虑前后邻居关系的变换。
103:将步骤1与步骤2中的变换进行特征共享,形成新一层特征,作为步骤4的输入。
104:将步骤3所形成特征作为条件随机场的输入,计算最终的损失函数并优化,得到识别算法的模型。
综上所述,本发明实施例提供了迁移学习框架下基于条件随机场的手势识别算法,利用有监督的深度条件随机场与无监督的马尔科夫随机场共享变换的方式形成半监督迁移学习框架,从而避免了标注数据较少的情况下,过拟合的问题,在新的框架下,优化方式相对简单,同时达到了较好的手势识别的目的。
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种迁移学习框架下基于条件随机场的手势识别算法,其包括:视频序列上的手势识别算法,以及在具有部分标注数据下采用无标注数据辅助训练的半监督手势识别算法,所述手势识别算法包括深度条件随机场手势识别算法,以及相应的特征函数构建方法,所述半监督手势识别算法,包括深度条件随机场的手势识别算法以及无监督的马尔科夫随机场方法,以及两种方法的联合训练方法。
2.根据权利要求1所述的一种迁移学习框架下基于条件随机场的手势识别算法,其特征在于,所述方法包括:有监督的深度条件随机场模型;
所述深度条件随机场模型包括:采用层次前馈网络作为特征抽取器与条件随机场构成的无向图模型联合训练;使用深度神经网络作为特征学习器自动从原始数据中学习非线性特征:所述方法采用一层卷积层与若干全连接层构成多层的深度神经网络完成特征学习过程;其中,第一层的卷积层主要的作用是捕获上下文信息,使得获得的特征具有时间序列上的不敏感性;所述若干全连接层即传统的全连接结构,以卷积层的输出作为输入,最终得到一个结构化的结果并传递给条件随机场模型,进而构建一个结构化模型解决手势识别问题。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210404068.7A CN103778407A (zh) | 2012-10-23 | 2012-10-23 | 一种迁移学习框架下基于条件随机场的手势识别算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210404068.7A CN103778407A (zh) | 2012-10-23 | 2012-10-23 | 一种迁移学习框架下基于条件随机场的手势识别算法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103778407A true CN103778407A (zh) | 2014-05-07 |
Family
ID=50570621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210404068.7A Pending CN103778407A (zh) | 2012-10-23 | 2012-10-23 | 一种迁移学习框架下基于条件随机场的手势识别算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103778407A (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104834922A (zh) * | 2015-05-27 | 2015-08-12 | 电子科技大学 | 基于混合神经网络的手势识别方法 |
CN105095862A (zh) * | 2015-07-10 | 2015-11-25 | 南开大学 | 一种基于深度卷积条件随机场的人体动作识别方法 |
CN105095870A (zh) * | 2015-07-27 | 2015-11-25 | 中国计量学院 | 基于迁移学习的行人重识别方法 |
CN105354532A (zh) * | 2015-09-25 | 2016-02-24 | 天津大学 | 一种基于手部运动帧数据的手势识别方法 |
CN105373785A (zh) * | 2015-11-30 | 2016-03-02 | 北京地平线机器人技术研发有限公司 | 基于深度神经网络的手势识别检测方法与装置 |
CN107341146A (zh) * | 2017-06-23 | 2017-11-10 | 上海交通大学 | 基于语义槽内部结构的可迁移口语语义解析系统及其实现方法 |
CN107545571A (zh) * | 2017-09-22 | 2018-01-05 | 深圳天琴医疗科技有限公司 | 一种图像检测方法及装置 |
CN108241631A (zh) * | 2016-12-23 | 2018-07-03 | 百度在线网络技术(北京)有限公司 | 用于推送信息的方法和装置 |
CN108960171A (zh) * | 2018-07-12 | 2018-12-07 | 安徽工业大学 | 一种基于特征迁移学习的转换手势识别到身份识别的方法 |
CN109074402A (zh) * | 2016-04-11 | 2018-12-21 | 脸谱公司 | 基于示例会话使用自然语言机器学习来响应用户请求的技术 |
CN109101886A (zh) * | 2018-07-11 | 2018-12-28 | 佛山科学技术学院 | 一种序列学习方法及装置 |
CN109271522A (zh) * | 2018-11-20 | 2019-01-25 | 深圳大学 | 基于深度混合模型迁移学习的评论情感分类方法及系统 |
CN105205475B (zh) * | 2015-10-20 | 2019-02-05 | 北京工业大学 | 一种动态手势识别方法 |
CN110148105A (zh) * | 2015-05-22 | 2019-08-20 | 中国科学院西安光学精密机械研究所 | 基于迁移学习和视频帧关联学习的视频分析方法 |
CN111797692A (zh) * | 2020-06-05 | 2020-10-20 | 武汉大学 | 一种基于半监督学习的深度图像手势估计方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008016454A1 (en) * | 2006-07-31 | 2008-02-07 | Microsoft Corporation | Two tiered text recognition |
CN101901350A (zh) * | 2010-07-23 | 2010-12-01 | 北京航空航天大学 | 一种基于特征向量的静态手势识别方法 |
-
2012
- 2012-10-23 CN CN201210404068.7A patent/CN103778407A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008016454A1 (en) * | 2006-07-31 | 2008-02-07 | Microsoft Corporation | Two tiered text recognition |
CN101901350A (zh) * | 2010-07-23 | 2010-12-01 | 北京航空航天大学 | 一种基于特征向量的静态手势识别方法 |
Non-Patent Citations (6)
Title |
---|
BILAN ZHU .ETC: ""On-line Handwritten Japanese Characters Recognition Using A MRF Model with Parameter Optimization by CRF"", 《2011 INTERNATIONAL CONFERENCE ON DOCUMENT ANALYSIS AND RECOGNITION》 * |
D.LIU .ETC: ""Human Action Recognition Using a Modified Convolutional Neural Network"", 《ISNN》 * |
JIE LIU .ETC: ""Expansion Finding for Given Acronyms Using Conditional Random Fields"", 《WAIM》 * |
JIE LIU .ETC: ""Semi-supenrised Training for Conditional Random Fields with Pseudo Auxiliary Task"", 《PROCEEDINGS OF THE 2011 INTERNATIONAL CONFERENCE ON J\FACHINE LEARNING AND CYBERNETICS》 * |
JIE LIU .ETC: ""Training Conditional Random Fields Using Transfer Learning for Gesture Recognition"", 《2010 IEEE INTERNATIONAL CONFERENCE ON DATA MINING》 * |
岑杰 ,等: ""基于马尔可夫随机场的嘴唇特征提取方法"", 《计算机应用研究》 * |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110148105B (zh) * | 2015-05-22 | 2022-10-04 | 中国科学院西安光学精密机械研究所 | 基于迁移学习和视频帧关联学习的视频分析方法 |
CN110148105A (zh) * | 2015-05-22 | 2019-08-20 | 中国科学院西安光学精密机械研究所 | 基于迁移学习和视频帧关联学习的视频分析方法 |
CN104834922A (zh) * | 2015-05-27 | 2015-08-12 | 电子科技大学 | 基于混合神经网络的手势识别方法 |
CN104834922B (zh) * | 2015-05-27 | 2017-11-21 | 电子科技大学 | 基于混合神经网络的手势识别方法 |
CN105095862A (zh) * | 2015-07-10 | 2015-11-25 | 南开大学 | 一种基于深度卷积条件随机场的人体动作识别方法 |
CN105095862B (zh) * | 2015-07-10 | 2018-05-29 | 南开大学 | 一种基于深度卷积条件随机场的人体动作识别方法 |
CN105095870A (zh) * | 2015-07-27 | 2015-11-25 | 中国计量学院 | 基于迁移学习的行人重识别方法 |
CN105095870B (zh) * | 2015-07-27 | 2018-07-20 | 中国计量学院 | 基于迁移学习的行人重识别方法 |
CN105354532A (zh) * | 2015-09-25 | 2016-02-24 | 天津大学 | 一种基于手部运动帧数据的手势识别方法 |
CN105205475B (zh) * | 2015-10-20 | 2019-02-05 | 北京工业大学 | 一种动态手势识别方法 |
CN105373785A (zh) * | 2015-11-30 | 2016-03-02 | 北京地平线机器人技术研发有限公司 | 基于深度神经网络的手势识别检测方法与装置 |
CN105373785B (zh) * | 2015-11-30 | 2019-08-02 | 北京地平线机器人技术研发有限公司 | 基于深度神经网络的手势识别检测方法与装置 |
CN109074402A (zh) * | 2016-04-11 | 2018-12-21 | 脸谱公司 | 基于示例会话使用自然语言机器学习来响应用户请求的技术 |
CN109074402B (zh) * | 2016-04-11 | 2022-07-26 | 元平台公司 | 基于示例会话使用自然语言机器学习来响应用户请求的技术 |
CN108241631A (zh) * | 2016-12-23 | 2018-07-03 | 百度在线网络技术(北京)有限公司 | 用于推送信息的方法和装置 |
CN107341146B (zh) * | 2017-06-23 | 2020-08-04 | 上海交大知识产权管理有限公司 | 基于语义槽内部结构的可迁移口语语义解析系统及其实现方法 |
CN107341146A (zh) * | 2017-06-23 | 2017-11-10 | 上海交通大学 | 基于语义槽内部结构的可迁移口语语义解析系统及其实现方法 |
CN107545571A (zh) * | 2017-09-22 | 2018-01-05 | 深圳天琴医疗科技有限公司 | 一种图像检测方法及装置 |
CN109101886A (zh) * | 2018-07-11 | 2018-12-28 | 佛山科学技术学院 | 一种序列学习方法及装置 |
CN108960171A (zh) * | 2018-07-12 | 2018-12-07 | 安徽工业大学 | 一种基于特征迁移学习的转换手势识别到身份识别的方法 |
CN108960171B (zh) * | 2018-07-12 | 2021-03-02 | 安徽工业大学 | 一种基于特征迁移学习的转换手势识别到身份识别的方法 |
CN109271522A (zh) * | 2018-11-20 | 2019-01-25 | 深圳大学 | 基于深度混合模型迁移学习的评论情感分类方法及系统 |
CN109271522B (zh) * | 2018-11-20 | 2021-07-30 | 深圳大学 | 基于深度混合模型迁移学习的评论情感分类方法及系统 |
CN111797692A (zh) * | 2020-06-05 | 2020-10-20 | 武汉大学 | 一种基于半监督学习的深度图像手势估计方法 |
CN111797692B (zh) * | 2020-06-05 | 2022-05-17 | 武汉大学 | 一种基于半监督学习的深度图像手势估计方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103778407A (zh) | 一种迁移学习框架下基于条件随机场的手势识别算法 | |
Jin et al. | Spatio-temporal graph neural networks for predictive learning in urban computing: A survey | |
Wei et al. | Learning to segment with image-level annotations | |
CN103345656B (zh) | 一种基于多任务深度神经网络的数据识别方法及装置 | |
Moon et al. | Multimodal transfer deep learning with applications in audio-visual recognition | |
CN107015963A (zh) | 基于深度神经网络的自然语言语义分析系统及方法 | |
CN103838836A (zh) | 基于判别式多模态深度置信网多模态数据融合方法和系统 | |
CN105447473A (zh) | 一种基于PCANet-CNN的任意姿态人脸表情识别方法 | |
CN104268627A (zh) | 一种基于深度神经网络迁移模型的短期风速预报方法 | |
CN102314614A (zh) | 一种基于类共享多核学习的图像语义分类方法 | |
CN111666406A (zh) | 基于自注意力的单词和标签联合的短文本分类预测方法 | |
CN106897254A (zh) | 一种网络表示学习方法 | |
CN113869418B (zh) | 一种基于全局注意力关系网络的小样本船舶目标识别方法 | |
CN106447133A (zh) | 一种基于深度自编码网络的短期电力负荷预测方法 | |
CN116187508A (zh) | 一种融合知识图谱和深度学习的风电机组故障预测方法 | |
CN107807919A (zh) | 一种利用循环随机游走网络进行微博情感分类预测的方法 | |
CN104537391A (zh) | 一种极限学习机的元学习方法 | |
Cong et al. | Gradient-semantic compensation for incremental semantic segmentation | |
CN102034102B (zh) | 图像显著对象提取方法、互补显著度图学习方法及系统 | |
CN111259106A (zh) | 一种结合神经网络和特征演算的关系抽取方法 | |
Zhao et al. | Modified generative adversarial networks for image classification | |
Huang et al. | A review of combinatorial optimization with graph neural networks | |
CN106599901A (zh) | 基于深度玻尔兹曼机的协同目标分割与行为识别方法 | |
CN113435190A (zh) | 一种融合多层次信息抽取和降噪的篇章关系抽取方法 | |
Vivek et al. | Edgenet for efficient scene graph classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140507 |