CN107480627B - 行为识别方法、装置、存储介质和处理器 - Google Patents

行为识别方法、装置、存储介质和处理器 Download PDF

Info

Publication number
CN107480627B
CN107480627B CN201710678995.0A CN201710678995A CN107480627B CN 107480627 B CN107480627 B CN 107480627B CN 201710678995 A CN201710678995 A CN 201710678995A CN 107480627 B CN107480627 B CN 107480627B
Authority
CN
China
Prior art keywords
hypergraph model
hypergraph
model
representing
objective function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710678995.0A
Other languages
English (en)
Other versions
CN107480627A (zh
Inventor
刘琼
程驰
杨铀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201710678995.0A priority Critical patent/CN107480627B/zh
Publication of CN107480627A publication Critical patent/CN107480627A/zh
Application granted granted Critical
Publication of CN107480627B publication Critical patent/CN107480627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Abstract

本发明公开了一种行为识别方法、装置、存储介质和处理器。该方法包括：获取第一超图模型，其中，第一超图模型用于表征多个动作序列之间的相关性，每个动作序列用于指示目标对象的多个姿势，多个姿势共同用于表示目标对象的行为变化过程；根据第一超图模型的所有超边构建第二超图模型，其中，第二超图模型用于对第一超图模型中的每条超边的权重进行处理；通过处理后的第二超图模型对每个动作序列进行分类，得到每个动作序列的类别；根据每个动作序列的类别识别出目标对象的目标行为。通过本发明，达到了提高对行为识别的准确性的效果。

Description

行为识别方法、装置、存储介质和处理器
技术领域
本发明涉及图像处理领域，具体而言，涉及一种行为识别方法、装置、存储介质和处理器。
背景技术
目前，在行为识别方法中，通过动作的运动轨迹来提取固定的特征，然后将固定的特征与现有的特征模型进行匹配，进而得到动作的识别结果。
相关技术中还提供了一种行为识别方法，对于用作训练和测试的动作序列都提取一种或几种特征，然后对一种或几种特征进行融合处理、降维处理等，得到特征向量，再对已有的特征向量进行训练，得到分类模型，最后根据分类模型待测试的动作序列进行分类。
上述行为识别方法没有利用超图模型对动作序列进行分类识别，这样采用的SVM等分类模型并没有充分考虑到动作序列之间的高阶相关性，对动作序列的类别识别的准确性低，进而导致对行为识别的准确性低的问题。
相关技术中还提供了一种行为识别方法，利用图论，基于动作序列间的相关性或者相似度来构建超图模型，利用图的分割、学习等理论，来对这些动作序列进行分类。
在上述利用超图模型进行动作识别的方法中，对于超图中边的权重并没有进行优化处理，另外，现有技术中基于多特征融合的方法，在多特征融合后，对动作序列的类别识别的效果提升并不多，从而对动作序列的类别识别的准确性低，导致对行为识别的准确性低的问题。
针对现有技术中对行为识别的准确性低的问题，目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种行为识别方法、装置、存储介质和处理器，以至少解决对行为识别的准确性低的问题。
为了实现上述目的，根据本发明的一个方面，提供了一种行为识别方法。该方法包括：获取第一超图模型，其中，第一超图模型用于表征多个动作序列之间的相关性，每个动作序列用于指示目标对象的多个姿势，多个姿势共同用于表示目标对象的行为变化过程；根据第一超图模型的所有超边构建第二超图模型，其中，第二超图模型用于对第一超图模型中的每条超边的权重进行处理；通过处理后的第一超图模型对每个动作序列进行分类，得到每个动作序列的类别；根据每个动作序列的类别识别出目标对象的目标行为。
可选地，获取第一超图模型包括：获取目标数据集，其中，目标数据集由多个动作序列组成；根据每个动作序列的目标特征构建第一超图模型，其中，目标特征用于表征动作序列。
可选地，在根据每个动作序列的目标特征构建第一超图模型之前，该方法还包括：提取每个动作序列中的多个特征；从多个特征中确定每个动作序列的目标特征。
可选地，根据每个动作序列的目标特征构建第一超图模型包括：获取第一超图模型的顶点集合，其中，顶点集合用于表示多个动作序列；在由每个动作序列的目标特征构成的特征空间中，通过顶点集合构造第一超图模型的超边集合；获取第一超图模型的超边的权重；根据顶点集合、超边集合和超边的权重构建第一超图模型。
可选地，根据第一超图模型的所有超边构建第二超图模型包括：获取第一超图模型的超边中任意两条目标超边的权重；对目标超边的权重进行处理，得到两条目标超边的第一相关系数，其中，第一相关系数在预设阈值内，且用于指示两条目标超边的相关程度；根据第一相关系数构建基于超边的第二超图模型，其中，第二超图模型的每个顶点对应第一超图模型的超边。
可选地，在根据第一超图模型的所有超边构建第二超图模型之后，该方法还包括：通过第二超图模型确定用于对第一超图模型中的每条超边的权重进行处理的目标函数。
可选地，通过第二超图模型确定用于对第一超图模型中的每条超边的权重进行处理的目标函数包括：通过第二超图模型确定用于对第一超图模型中的每条超边的权重进行处理的如下目标函数：
Figure BDA0001373100850000021
其中，λ>0用于表示第一权衡参数，Remp(F)用于表示经验损失函数，F∈RN×C用于表示第一超图模型中的所有顶点属于预设类别的可信度，N用于表示动作序列的数量，C用于表示多个动作序列的类别数量，Ωi(F,wi)用于表示第一超图模型的第一正则项，i用于表示每个动作序列的目标特征的序号，μ>0用于表示第二权衡参数，
Figure BDA0001373100850000022
用于表示第二超图模型的第二正则项，∑wi＝1用于表示目标函数的约束条件。
可选地，在根据第一超图模型的所有超边构建第二超图模型之后，该方法还包括：在第一超图模型的超边的权重不变的情况下，根据第一目标函数处理第一超图模型中的所有顶点属于预设类别的可信度；在可信度不变的情况下，根据第二目标函数处理第一超图模型的超边的权重。
可选地，根据第一目标函数处理第一超图模型中的所有顶点属于预设类别的可信度包括：通过如下第一目标函数处理可信度F，
Figure BDA0001373100850000031
其中，λ>0用于表示第一权衡参数，Remp(F)用于表示经验损失函数，Ωi(F)用于表示第一超图模型的第三正则项，i用于表示每个动作序列的目标特征的序号；根据第二目标函数处理第一超图模型的超边的权重包括：通过如下第二目标函数处理第一超图模型的超边的权重Wi，
Figure BDA0001373100850000032
其中，Ωi(Wi)用于表示第一超图模型的第四正则项，μ>0用于表示第二权衡参数，
Figure BDA0001373100850000033
用于表示第二超图模型的第五正则项。
可选地，在根据第一超图模型的所有超边构建第二超图模型之后，该方法还包括：通过第三目标函数对第一超图模型和第二超图模型进行融合处理，得到第三超图模型，其中，第三超图模型包括每个动作序列的不同特征。
可选地，通过第三目标函数对第一超图模型和第二超图模型进行融合处理，得到第三超图模型包括：通过如下第三目标函数对第一超图模型和第二超图模型进行融合处理，得到第三超图模型，其中，λ>0用于表示第一权衡参数，Remp(F)用于表示经验损失函数，i用于表示每个动作序列的目标特征的序号，M用于表示每个动作序列的特征的数量，
Figure BDA0001373100850000035
用于表示第三超图模型的第五正则项，Ωi(F,Wi)用于表示第三超图模型的第六正则项，μ>0用于表示第二权衡参数，∑Wi＝1,∑α＝1为第三目标函数的约束条件。
可选地，通过第三目标函数对第一超图模型和第二超图模型进行融合处理，得到第三超图模型包括：在第三超图模型的超边的权重和约束条件不变的情况下，根据第四目标函数处理第三超图模型中的所有顶点属于预设类别的可信度；在可信度和约束条件不变的情况下，根据第五目标函数处理第三超图模型的超边的权重；在可信度和第三超图模型的超边的权重不变的情况下，根据第六目标函数处理约束条件。
可选地，在第三超图模型的超边的权重和约束条件不变的情况下，根据第四目标函数处理第三超图模型中的所有顶点属于预设类别的可信度包括：通过如下第四目标函数处理第三超图模型中的所有顶点属于预设类别的可信度，
Figure BDA0001373100850000036
其中，λ>0用于表示第一权衡参数，Remp(F)用于表示经验损失函数，Ωi(F,Wi)用于表示第三超图模型的第六正则项，i用于表示每个动作序列的目标特征的序号，M用于表示每个动作序列的特征的数量，
Figure BDA0001373100850000041
η用于表示参数；在可信度和约束条件不变的情况下，根据第五目标函数处理第三超图模型的超边的权重包括：通过如下第五目标函数处理第三超图模型的超边的权重，
Figure BDA0001373100850000042
其中，Ωi(Wi)用于表示第三超图模型的第四正则项，μ>0用于表示第二权衡参数，
Figure BDA0001373100850000043
用于表示第三超图模型的第五正则项；在可信度和第三超图模型的超边的权重不变的情况下，根据第六目标函数处理约束条件包括：通过如下第六目标函数处理约束条件，
Figure BDA0001373100850000044
其中，∑α＝1。
为了实现上述目的，根据本发明的另一方面，还提供了一种行为识别装置。该装置包括：获取单元，用于获取第一超图模型，其中，第一超图模型用于表征多个动作序列之间的相关性，每个动作序列用于指示目标对象的多个姿势，多个姿势共同用于表示目标对象的行为变化过程；构建单元，用于根据第一超图模型的所有超边的权重构建第二超图模型，其中，第二超图模型用于对第一超图模型中的每条超边的权重进行处理；分类单元，用于通过处理后的第一超图模型对每个动作序列进行分类，得到每个动作序列的类别；识别单元，用于根据每个动作序列的类别识别出目标对象的目标行为。
为了实现上述目的，根据本发明的另一方面，还提供了一种存储介质。该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备本发明实施例的行为识别方法。
为了实现上述目的，根据本发明的另一方面，还提供了一种处理器。该处理器用于运行程序，其中，程序运行时执行本发明实施例的行为识别方法。
在本发明实施例中，采用获取第一超图模型，其中，第一超图模型用于表征多个动作序列之间的相关性，每个动作序列用于指示目标对象的多个姿势，多个姿势共同用于表示目标对象的行为变化过程；根据第一超图模型的所有超边的权重构建第二超图模型，其中，第二超图模型用于对第一超图模型中的每条超边的权重进行处理；通过处理后的第一超图模型对每个动作序列进行分类，得到每个动作序列的类别；根据每个动作序列的类别识别出目标对象的目标行为。在利用超图模型的基础上对超图模型中边的权重进行了优化处理，解决了行为识别的准确性低的问题，进而达到了提高对行为识别的准确性。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种行为识别方法的流程图；以及
图2是根据本发明实施例的一种行为识别装置的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
本发明实施例提供了一种行为识别方法。
图1是根据本发明实施例的一种行为识别方法的流程图。如图1所示，该行为识别方法包括以下步骤：
步骤S102，获取第一超图模型，其中，第一超图模型用于表征多个动作序列之间的相关性，每个动作序列用于指示目标对象的多个姿势，多个姿势共同用于表示目标对象的行为变化过程。
在本申请上述步骤S102提供的技术方案中，行为识别方法为基于超图的行为识别方法，可以用于对目标对象的姿势进行识别，比如，对手部的姿势进行识别，可以用于识别动态手势，比如，该动态手势为握拳的变化过程。在该实施例中，获取第一超图模型，该第一超图模型用于表征多个动作序列之间的相关性，也即，第一超图模型反映了多个动作序列之间的关联程度。
多个动作序列可以为N个动作序列，每个动作序列用于指示目标对象的多个姿势，多个姿势共同用于表示目标对象的行为变化过程，比如，目标对象的行为变化过程为动态手势的变化过程，该动态手势的变化过程为握拳的变化过程，则动作序列用于指示手部从张开姿势到握紧姿势的变化过程。其中，每个姿势可以通过一张图片进行显示，比如，M个姿势通过M张图片进行显示，这样就可以得到N*M张图片。对于每个动作序列，都可以从中提取出多种特征。
可选地，动作数据集包括上述多个动作序列，比如，当多个动作序列的数量为N时，则多个动作序列可以表示为S＝{S1,S2,...,SN}，其中，动作数据集为一系列动作的深度图组成。
可选地，在构建第一超图时，根据每个动作序列的特征进行构建，在每个动作序列的特征下，可以根据顶点的集合、第一超图中的超边的结合以及超边的权重进行构建。第一超图模型中的顶点由超边来连接。在该实施例中，可以采用邻近算法(K-NearestNeighbor，简称为KNN)来构造第一超图模型中的超边，该邻近算法为如果一个样本在特征空间中的K个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别。比如，对于第一超图模型的N个顶点，每次选择一个顶点并且找到在特征空间中与它最近的K个相邻顶点来构造一条超边，K的取值可以为[2，4，8]中的任意一个，其中，特征空间由每个动作序列的多种特征组成。
可选地，该实施例的第一超图模型的结构可以用关联矩阵表示。在第一超图模型的结构中，如果两条超边是高度相关的，则两条超边应该连接相似的顶点，并且拥有相似的权重，比如，用关联矩阵中的列来表示第一超图模型中的多条超边，多条超边之间的相似度可以用皮尔逊相关系数来表示，这样识别的效果更好。
可选地，在获取第一超图模型之后，基于第一超图模型中的边与边的相似度可以构建一个基于边的超图模型，在基于边的超图模型中，每个顶点对应的是第一超图模型中的一条超边，基于边的超图模型的超边的构造方法可以使用KNN进行构造。
步骤S104，根据第一超图模型的所有超边构建第二超图模型，其中，第二超图模型用于对第一超图模型中的每条超边的权重进行处理。
在本申请上述步骤S104提供的技术方案中，在获取第一超图模型之后，根据第一超图模型的所有超边构建第二超图模型。在该实施例中，超图学习的目标函数可以由三部分组成，比如，
Figure BDA0001373100850000071
其中，约束条件为∑wi＝1，F∈RN×C用于表示所有顶点属于已有类别的可信度，C为已有动作类别数量，N用于表示顶点的个数，Ω(F)是超图结构的正则项，Remp(F)为经验损失函数，λ,μ>0为权衡参数。
在根据第二超图模型对第一超图模型中的每条超边的权重进行处理时，固定第一超图模型Gi＝(ν,εi,Wi)里的权重对角矩阵，Wi，来优化F，此时的目标函数为
Figure BDA0001373100850000072
可以解得
Figure BDA0001373100850000073
然后固定F，优化Wi，此时目标函数为
Figure BDA0001373100850000074
可以通过CVX计算工具对其进行求解。
通过上述过程可以对第一超图模型中顶点之间的关联度和权重同时进行优化。
步骤S106，通过处理后的第一超图模型对每个动作序列进行分类，得到每个动作序列的类别。
在本申请上述步骤S106提供的技术方案中，在根据目标函数对第一超图模型的超边的权重进行处理，通过处理后的第一超图模型对每个动作序列进行分类，得到每个动作序列的类别。在整体的目标函数收敛的时候，根据迭代过程得到第二超图模型中的用于表示顶点属于已有类别的可信度F的矩阵。对于每个动作序列，都会得到一个f∈R1×C来表示它属于已有类别的可信度，预测分类的结果可以通过
Figure BDA0001373100850000075
来获得，从而得到每个动作的类别，这样可以反映多个动作序列之间的高阶信息。
步骤S108，根据每个动作序列的类别识别出目标对象的目标行为。
在本申请上述步骤S108提供的技术方案中，在通过处理后的第一超图模型对每个动作序列进行分类，得到每个动作序列的类别之后，根据每个动作序列的类别识别出目标对象的目标行为，比如，当目标对象为手部时，根据每个动作序列的类别识别出手部的动态手势，该动态手势可以为握拳动态手势，张拳手势等，此处不做限定。
该实施例采用获取第一超图模型，第一超图模型用于表征多个动作序列之间的相关性，每个动作序列用于指示目标对象的多个姿势，多个姿势共同用于表示目标对象的行为变化过程；根据第一超图模型的所有超边构建第二超图模型，其中，第二超图模型用于对第一超图模型中的每条超边的权重进行处理；通过处理后的第一超图模型对每个动作序列进行分类，得到每个动作序列的类别。由于第一超图模型是基于所有的动作序列来构建的，用于对所有动作序列进行分类，第二超图模型是基于第一超图模型的所有超边进行构建的，目的是优化第一超图模型中每条超边的权重大小，从而使得第一超图模型的分类效果更好。这样在利用超图模型对超图模型中边的权重进行了优化处理的基础上，避免了对动作序列的类别识别的准确性低，从而解决了行为识别的准确性低的问题，达到了提高对动作序列的类别识别的准确性，提高行为识别的准确性的效果。
作为一种可选的实施方式，可选地，步骤S102，获取第一超图模型包括：获取目标数据集，其中，目标数据集由多个动作序列组成；根据每个动作序列的目标特征构建第一超图模型，其中，目标特征用于表征动作序列。
在获取第一超图模型时，获取目标数据集，该目标数据集可以包括一系列动作的深度图的数据，比如，包括一系列手部动作的深度图。该目标数据集由多个动作序列组成，比如，由N个动作序列组成，表示为S＝{S1,S2,...,SN}。每个动作序列都有用于表征动作序列的目标特征。在获取每个动作序列的目标特征之后，根据每个目标特征构建第一超图模型，比如，对于每个动作序列的第i个目标特征，构建第一超图模型Gi＝(ν,εi,Wi)，来描述多个动作序列之间的关系，其中，ν用于表示第一超图模型的顶点的集合，εi用于表示第一超图模型的超边的集合，Wi用于表示第一超图模型的超边的权重，第一超图模型中的顶点由超边来连接。
可选地，在根据每个动作序列的目标特征构建第一超图模型之前，该方法还包括：提取每个动作序列中的多个特征；从多个特征中确定每个动作序列的目标特征。
每个动作序列可以包括多个特征，比如，包括特征HON4D、SNV和DMM_LBP，这三组特征分别用
Figure BDA0001373100850000081
进行表示。在根据每个动作序列的目标特征构建第一超图模型之前，提取每个动作序列的多个特征，从多个特征中确定每个动作序列的目标特征，比如，将确定为N个动作序列的目标特征。
需要说明的是，上述HON4D、SNV和DMM_LB三种特征为本发明实施例的优选实施方式，并不代表本发明实施例的每个动作序列的特征仅为上述三种，该实施例还可以采用其他用于描述动作序列的特征，任何可以提高用于提高对动作序列的类别识别的准确性的特征都在本发明实施例的保护范围之内，此处不再一一举例说明。
可选地，根据每个动作序列的目标特征构建第一超图模型包括：获取第一超图模型的顶点集合，其中，顶点集合用于表示多个动作序列；在由每个动作序列的目标特征构成的特征空间中，通过顶点集合构造第一超图模型的超边集合；获取第一超图模型的超边的权重；根据顶点集合、超边集合和超边的权重构建第一超图模型。
在根据每个动作序列的目标特征构建第一超图模型时，获取第一超图模型的顶点的集合，比如，获取用于表示N个动作序列的顶点的集合ν，每次选择集合ν中的一个顶点，并且找到在特征空间中与该顶点最近的K个相邻顶点来构造一条超边，该K的取值为[2，4，8]，从而实现通过顶点集合构造第一超图模型的超边集合。获取第一超图模型的超边的权重Wi，根据顶点集合、超边集合和超边的权重构建第一超图模型Gi＝(ν,εi,Wi)，进而通过第一超图模型来来描述多个动作序列之间的关系。
可选地，根据顶点集合、超边集合和超边的权重构建第一超图模型包括：通过如下矩阵表示第一超图模型的结构Hi，
Figure BDA0001373100850000091
其中，i用于表示每个动作序列的目标特征的序号，比如，第i个特征，ν用于表示顶点集合，e用于表示超边集合，d(ν,νc)用于表示多个动作序列中的两个动作序列的特征之间的距离，vc用于表示第一超图模型的超边的中心顶点，α用于表示参数，比如，α＝0.05，d用于表示预设距离，f∈R1×C用于表示每个动作序列属于每个类别的可信度，C用于表示多个动作序列的类别数量。
需要说明的是，该实施例的距离d(ν,νc)可以采用欧氏距离、汉明距离等度量方式，此处不再一一举例说明。
可选地，根据第一超图模型的所有超边构建第二超图模型包括：获取第一超图模型的超边中任意两条目标超边的权重；对目标超边的权重进行处理，得到两条目标超边的第一相关系数，其中，第一相关系数在预设阈值内，且用于指示两条目标超边的相关程度；根据第一相关系数构建基于超边的第二超图模型，其中，第二超图模型的每个顶点对应第一超图模型的超边。
在超图模型的结构中，如果两条超边是高度相关的，则它们应该连接相似的顶点，并且拥有相似的权重，从而达到更好的识别效果。获取第一超图模型的超边中的任意两条目标超边的权重，比如，用第一超图模型的关联矩阵Hi中的两列Hi(:,s)和Hi(:,t)来表示第一超图模型的第s和第t条超边，对目标超边的权重进行处理，得到两条目标超边的第一相关系数，该第一相关系数可以为皮尔逊相关系数，用于表示目标超边之间的相似程度。基于边与边之间的相似度，可以构建基于边的第二超图模型其中，
Figure BDA0001373100850000093
用于表示第二超图模型的顶点的集合，
Figure BDA0001373100850000094
用于表示第二超图模型的超边的集合。在第二超图模型中，每个顶点对应的是第一超图模型Gi中的一条超边。
可选地，在根据第一超图模型的所有超边构建第二超图模型之后，该方法还包括：通过第二超图模型确定用于对第一超图模型中的每条超边的权重进行处理的目标函数。其中，包括通过第二超图模型确定用于对第一超图模型中的每条超边的权重进行处理的如下目标函数：
Figure BDA0001373100850000101
其中，λ>0用于表示第一权衡参数，Remp(F)用于表示经验损失函数，F∈RN×C用于表示第一超图模型中的所有顶点属于预设类别的可信度，N用于表示动作序列的数量，C用于表示多个动作序列的类别数量，Ωi(F,wi)用于表示第一超图模型的第一正则项，i用于表示每个动作序列的目标特征的序号，μ>0用于表示第二权衡参数，
Figure BDA0001373100850000102
用于表示第二超图模型的第二正则项，∑wi＝1用于表示目标函数的约束条件。
该实施例的超图学习的目标函数可以为
Figure BDA0001373100850000103
由Remp(F)，Ωi(F,wi)和
Figure BDA0001373100850000104
三部分组成。
可选地，
Figure BDA0001373100850000105
Figure BDA0001373100850000106
Figure BDA0001373100850000107
其中，△i＝I-θi，
Figure BDA0001373100850000109
Figure BDA00013731008500001010
Y∈RN×C是一个标签矩阵，对于训练数据，Y矩阵中对应行里真实类别所在列为1，其它列为0，对于测试数据，Y矩阵中那一行每列数值都为均值。
可选地，在根据第一超图模型的所有超边构建第二超图模型之后，该方法还包括：在第一超图模型的超边的权重不变的情况下，根据第一目标函数处理第一超图模型中的所有顶点属于预设类别的可信度；在可信度不变的情况下，根据第二目标函数处理第一超图模型的超边的权重。
根据目标函数对第一超图模型的超边的权重进行处理，也即，根据目标函数对第一超图模型的超边进行优化处理，对于该优化处理，可以固定第一超图模型的超边，在第一超图模型的超边的权重不变的情况下，通过第一目标函数优化处理第一超图模型中的所有顶点属于预设类别的可信度F，可以对第一目标函数进行求解，得到第一超图模型中的所有顶点属于预设类别的可信度F；然后固定可信度，在可信度不变的情况下，根据第二目标函数优化处理第一超图模型的权重，可以借助已有的计算工具CVX求解该第一超图模型的权重。
可选地，根据第一目标函数处理第一超图模型中的所有顶点属于预设类别的可信度包括：通过如下第一目标函数处理可信度F，
Figure BDA0001373100850000111
其中，λ>0用于表示第一权衡参数，Remp(F)用于表示经验损失函数，Ωi(F)用于表示第一超图模型的第三正则项，i用于表示每个动作序列的目标特征的序号；根据第二目标函数处理第一超图模型的超边的权重包括：通过如下第二目标函数处理第一超图模型的超边的权重Wi，
Figure BDA0001373100850000112
其中，Ωi(Wi)用于表示第一超图模型的第四正则项，μ>0用于表示第二权衡参数，
Figure BDA0001373100850000113
用于表示第二超图模型的第五正则项。
在根据第一目标函数处理第一超图模型中的所有顶点属于预设类别的可信度时，固定第一超图模型Gi＝(ν,εi,Wi)里边的权重对角矩阵Wi，来优化处理第一超图模型中的所有顶点属于预设类别的可信度F，此时第一目标函数可以为
Figure BDA0001373100850000114
其中，λ>0用于表示第一权衡参数，Remp(F)用于表示经验损失函数，Ωi(F)用于表示第一超图模型的第三正则项，可以求解得到
Figure BDA0001373100850000115
然后固定第一超图模型中的所有顶点属于预设类别的可信度F，优化Gi＝(ν,εi,Wi)里边的权重对角矩阵Wi，此时的第二目标函数为
Figure BDA0001373100850000116
这是一个二次问题，可以借助已有的CVX工具求解权重对角矩阵Wi。
可选地，在根据第一相关系数构建基于超边的第二超图模型之后，该方法还包括：通过第三目标函数对第一超图模型和第二超图模型进行融合处理，得到第二超图模型，其中，第二超图模型包括每个动作序列的不同特征。
该实施例的目的是将每个动作序列分类到已有的动作类别中进行识别，在根据第一相关系数构建基于超边的第二超图模型之后，通过第三目标函数对第一超图模型和第二超图模型进行融合处理，得到第三超图模型。可选地，对于每个动作序列，都有三种模态数据，即提取出HON4D、SNV、DMM_LBP三种特征。可以根据HON4D、SNV、DMM_LBP三种特征构建三个超图{G1,G2,G3}和三个基于边的超图
Figure BDA0001373100850000117
通过多超图联合学习的第三目标函数为对第一超图模型和第二超图模型进行融合处理，得到第三超图模型，该第三超图模型为多超图，包括了每个动作序列的不同特征，从而实现了利用多超图的联合学习融合了同一动作序列的不同模态的特征的目的。
可选地，通过第三目标函数对第一超图模型和第二超图模型进行融合处理，得到第三超图模型包括：通过如下第三目标函数对第一超图模型和第二超图模型进行融合处理，得到第三超图模型，
Figure BDA0001373100850000121
其中，λ>0用于表示第一权衡参数，Remp(F)用于表示经验损失函数，i用于表示每个动作序列的目标特征的序号，M用于表示每个动作序列的特征的数量，用于表示第三超图模型的第五正则项，Ωi(F,Wi)用于表示第三超图模型的第六正则项，μ>0用于表示第二权衡参数，∑Wi＝1,∑α＝1为第三目标函数的约束条件。
在该实施例中，多超图上联合学习的第三目标函数可以表示成
Figure BDA0001373100850000123
M用于表示每个动作序列的特征的数量，比如，M为3，用于表示三种模特的数据，为提取出的HON4D、SNV、DMM_LBP三种特征。
可选地，通过第三目标函数对第一超图模型和第二超图模型进行融合处理，得到第三超图模型包括：在第三超图模型的超边的权重和约束条件不变的情况下，根据第四目标函数处理第三超图模型中的所有顶点属于预设类别的可信度；在可信度和约束条件不变的情况下，根据第五目标函数处理第三超图模型的超边的权重；在可信度和第三超图模型的超边的权重不变的情况下，根据第六目标函数处理约束条件。
在通过第三目标函数对第一超图模型和第二超图模型进行融合处理，得到第三超图模型时，可以分别优化处理第三超图模型中的所有顶点属于预设类别的可信度、第三超图模型的超边的权重和约束条件。先固定第三超图模型的超边的权重和约束条件，在第三超图模型的超边的权重和约束条件不变的情况下，根据第四目标函数优化处理第三超图模型中的所有顶点属于预设类别的可信度，对第四目标函数进行求解，得到第三超图模型中的所有顶点属于预设类别的可信度；然后固定可信度和约束条件，在可信度和约束条件不变的情况下，根据第五目标函数优化处理第三超图模型的超边的权重；最后固定可信度和第三超图模型的超边的权重，在可信度和第三超图模型的超边的权重不变的情况下，根据第六目标函数优化处理预设条件。
可选地，在第三超图模型的超边的权重和约束条件不变的情况下，根据第四目标函数处理第三超图模型中的所有顶点属于预设类别的可信度包括：通过如下第四目标函数处理第三超图模型中的所有顶点属于预设类别的可信度，
Figure BDA0001373100850000131
其中，λ>0用于表示第一权衡参数，Remp(F)用于表示经验损失函数，Ωi(F,Wi)用于表示第三超图模型的第六正则项，i用于表示每个动作序列的目标特征的序号，M用于表示每个动作序列的特征的数量，
Figure BDA0001373100850000132
η用于表示参数；在可信度和约束条件不变的情况下，根据第五目标函数处理第三超图模型的超边的权重包括：通过如下第五目标函数处理第三超图模型的超边的权重，
Figure BDA0001373100850000133
其中，Ωi(Wi)用于表示第三超图模型的第四正则项，μ>0用于表示第二权衡参数，
Figure BDA0001373100850000134
用于表示第三超图模型的第五正则项；在可信度和第三超图模型的超边的权重不变的情况下，根据第六目标函数处理约束条件包括：通过如下第六目标函数处理约束条件，
Figure BDA0001373100850000135
其中，∑α＝1。
在该实施例中，分别优化处理第三超图模型中的所有顶点属于预设类别的可信度F，第三超图模型的超边的权重Wi和约束条件α。先固定第三超图模型的超边的权重Wi和约束条件α，优化处理第三超图模型中的所有顶点属于预设类别的可信度F，此时第四目标函数为可以解得
Figure BDA0001373100850000137
然后固定第三超图模型中的所有顶点属于预设类别的可信度F和约束条件α，优化处理第三超图模型的超边的权重Wi，此时第五目标函数为最后固定三超图模型中的所有顶点属于预设类别的可信度F和第三超图模型的超边的权重Wi，优化处理约束条件α，此时第六目标函数为
Figure BDA0001373100850000139
预设条件是∑α＝1，利用拉格朗日乘数法可以解得上述三个优化步骤一直迭代直到整体目标函数收敛。
在整体的目标函数收敛的情况下，根据迭代过程中得到的所有顶点属于预设类别的可信度F矩阵，对于每一个动作序列都会得到一个f∈R1×C来代表它属于每个类别的可信度，预测分类的结果就可以通过
Figure BDA0001373100850000141
来获得。通过以上过程，就能对超图中顶点间的关联度和超边的权重同时进行优化。
该实施例采用超图模型来对动作序列进行识别，更能反映动作间的高阶信息；在分析超图的顶点之间的关联程度的基础上，对超图模型的超边的权重进行了优化处理，使得相似的超边具有相似的权重，识别的效果更好；利用多超图的联合学习融合了同一动作序列的不同模态的特征，整体结果相较单特征的情况得到了提升，利用两层超图的结构，来对第一层超图里边的权重进行了优化，得到的更好的识别效果，最后识别出根据每个动作序列的类别识别出目标对象的目标行为，进而提升了行为识别的准确性。
需要说明的是，该实施例的上述目标函数的优化求解仅为本发明实施例的优选实施方式，并不代表本发明实施例的目标函数仅为上述几种，任何可以提高行为识别的准确性的目标函数都在本发明实施例的保护范围之内，此处不再一一举例说明。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例2
在本发明实施例中，在三个现有的数据集以及一个采集的数据集上进行通过本发明实施例的行为识别方法进行测试，上述数据集分别是MSRGesture3D数据集，MSRAction3D数据集，MSRActionPairs数据集和GesturnMotion数据集，测试结果如下：
在MSRGesture3D数据集上的识别率为98.50％，MSRAction3D数据集上的识别率为96.70％，MSRActionPairs数据集上的识别率为99.44％，GesturnMotion数据集上的识别率为97.14％，从而提升了行为识别的准确性。
实施例3
本发明实施例还提供了一种行为识别装置。需要说明的是，该实施例的行为识别装置可以用于执行本发明实施例的行为识别方法。
图2是根据本发明实施例的一种行为识别装置的示意图。如图2所示，该装置包括：获取单元10、构建单元20、分类单元30和识别单元40。
获取单元10，用于获取第一超图模型，其中，第一超图模型用于表征多个动作序列之间的相关性，每个动作序列用于指示目标对象的多个姿势，多个姿势共同用于表示目标对象的行为变化过程。
构建单元20，用于根据第一超图模型的所有超边构建第二超图模型，其中，第二超图模型用于对第一超图模型中的每条超边的权重进行处理。
分类单元30，用于通过处理后的第一超图模型对每个动作序列进行分类，得到每个动作序列的类别。
识别单元40，用于根据每个动作序列的类别识别出目标对象的目标行为。
可选地，获取单元10包括：第一获取模块，用于获取目标数据集，其中，目标数据集由多个动作序列组成；构建模块，用于根据每个动作序列的目标特征构建第一超图模型，其中，第一超图模型用于表征多个动作序列之间的相关性，目标特征用于表征动作序列。
可选地，获取单元10还包括：提取模块，用于在根据每个动作序列的目标特征构建第一超图模型之前，提取每个动作序列中的多个特征；确定模块，用于从多个特征中确定每个动作序列的目标特征。
可选地，构建模块包括：第一获取子模块，用于获取第一超图模型的顶点集合，其中，顶点集合用于表示多个动作序列；构造子模块，用于在由每个动作序列的目标特征构成的特征空间中，通过顶点集合构造第一超图模型的超边集合；第二获取子模块，用于获取第一超图模型的超边的权重；构建子模块，用于根据顶点集合、超边集合和超边的权重构建第一超图模型。
可选地，构建单元20包括：获取模块，用于获取第一超图模型的超边中任意两条目标超边的权重；第一处理模块，用于对目标超边的权重进行处理，得到两条目标超边的第一相关系数，其中，第一相关系数在预设阈值内，且用于指示两条目标超边的相关程度；构建模块，用于根据第一相关系数构建基于超边的第二超图模型，其中，第二超图模型的每个顶点对应第一超图模型的超边。
可选地，该装置还包括：确定单元，用于在根据第一超图模型的所有超边构建第二超图模型之后，通过第二超图模型确定用于对第一超图模型中的每条超边的权重进行处理的目标函数，其中，通过第二超图模型确定用于对第一超图模型中的每条超边的权重进行处理的如下目标函数：
Figure BDA0001373100850000151
其中，λ>0用于表示第一权衡参数，Remp(F)用于表示经验损失函数，F∈RN×C用于表示第一超图模型中的所有顶点属于预设类别的可信度，N用于表示动作序列的数量，C用于表示多个动作序列的类别数量，Ωi(F,wi)用于表示第一超图模型的第一正则项，i用于表示每个动作序列的目标特征的序号，μ>0用于表示第二权衡参数，
Figure BDA0001373100850000161
用于表示第二超图模型的第二正则项，∑wi＝1用于表示目标函数的约束条件。
可选地，该装置还包括：第一处理单元，用于在根据第一超图模型的所有超边构建第二超图模型之后，在第一超图模型的超边的权重不变的情况下，根据第一目标函数处理第一超图模型中的所有顶点属于预设类别的可信度；第二处理单元，用于在可信度不变的情况下，根据第二目标函数处理第一超图模型的超边的权重。
可选地，第一处理单元用于通过如下第一目标函数处理可信度F，
Figure BDA0001373100850000162
其中，λ>0用于表示第一权衡参数，Remp(F)用于表示经验损失函数，Ωi(F)用于表示第一超图模型的第三正则项，i用于表示每个动作序列的目标特征的序号；第二处理单元用于通过如下第二目标函数处理第一超图模型的超边的权重Wi，
Figure BDA0001373100850000163
其中，Ωi(Wi)用于表示第一超图模型的第四正则项，μ>0用于表示第二权衡参数，
Figure BDA0001373100850000164
用于表示第二超图模型的第五正则项。
可选地，该装置还包括：融合处理单元，用于在在根据第一超图模型的所有超边构建第二超图模型之后，通过第三目标函数对第一超图模型和第二超图模型进行融合处理，得到第三超图模型，其中，第三超图模型包括每个动作序列的不同特征。
可选地，融合处理单元用于通过如下第三目标函数对第一超图模型和第二超图模型进行融合处理，得到第三超图模型，其中，λ>0用于表示第一权衡参数，Remp(F)用于表示经验损失函数，i用于表示每个动作序列的目标特征的序号，M用于表示每个动作序列的特征的数量，
Figure BDA0001373100850000166
用于表示第三超图模型的第五正则项，Ωi(F,Wi)用于表示第三超图模型的第六正则项，μ>0用于表示第二权衡参数，∑Wi＝1,∑α＝1为第三目标函数的约束条件。
可选地，融合处理单元包括：第二处理模块，用于在第三超图模型的超边的权重和约束条件不变的情况下，根据第四目标函数处理第三超图模型中的所有顶点属于预设类别的可信度；第三处理模块，用于在可信度和约束条件不变的情况下，根据第五目标函数处理第三超图模型的超边的权重；第四处理模块，用于在可信度和第三超图模型的超边的权重不变的情况下，根据第六目标函数处理约束条件。
可选地，第二处理模块用于通过如下第四目标函数处理第三超图模型中的所有顶点属于预设类别的可信度，
Figure BDA0001373100850000171
其中，λ>0用于表示第一权衡参数，Remp(F)用于表示经验损失函数，Ωi(F,Wi)用于表示第三超图模型的第六正则项，i用于表示每个动作序列的目标特征的序号，M用于表示每个动作序列的特征的数量，
Figure BDA0001373100850000172
η用于表示参数；第三处理模块用于通过如下第五目标函数处理第三超图模型的超边的权重，
Figure BDA0001373100850000173
其中，Ωi(Wi)用于表示第三超图模型的第四正则项，μ>0用于表示第二权衡参数，用于表示第三超图模型的第五正则项；第五处理模块用于通过如下第六目标函数处理约束条件，
Figure BDA0001373100850000175
其中，∑α＝1。
该实施例通过获取单元10获取第一超图模型，第一超图模型用于表征多个动作序列之间的相关性，每个动作序列用于指示目标对象的多个姿势，多个姿势共同用于表示目标对象的行为变化过程；通过构建单元20根据第一超图模型的所有超边构建第二超图模型，其中，第二超图模型用于对第一超图模型中的每条超边的权重进行处理；通过分类单元30，用于通过处理后的第一超图模型对每个动作序列进行分类，得到每个动作序列的类别；通过识别单元40，用于根据每个动作序列的类别识别出目标对象的目标行为，避免了对动作序列的类别识别的准确性低，从而解决了行为识别的准确性低的问题，达到了提高对动作序列的类别识别的准确性，提高行为识别的准确性的效果。
实施例4
本发明实施例还提供了一种存储介质。该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行本发明实施例的行为识别方法。
实施例5
本发明实施例还提供了一种处理器。该处理器用于运行程序，其中，程序运行时执行本发明实施例的行为识别方法。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可接收的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种行为识别方法，其特征在于，包括：
获取第一超图模型，其中，所述第一超图模型用于表征多个动作序列之间的相关性，每个动作序列用于指示目标对象的多个姿势，所述多个姿势共同用于表示所述目标对象的行为变化过程；
根据所述第一超图模型的所有超边构建第二超图模型，其中，所述第二超图模型用于对所述第一超图模型中的每条超边的权重进行处理；
通过处理后的所述第一超图模型对所述每个动作序列进行分类，得到所述每个动作序列的类别；
根据所述每个动作序列的类别识别出所述目标对象的目标行为；
其中，在根据所述第一超图模型的所有超边构建所述第二超图模型之后，所述方法还包括：通过所述第二超图模型确定用于对所述第一超图模型中的每条超边的权重进行处理的目标函数，包括：通过所述第二超图模型确定用于对所述第一超图模型中的每条超边的权重进行处理的如下目标函数：
Figure FDA0002267968790000011
其中，λ＞0用于表示第一权衡参数，Remp(F)用于表示经验损失函数，F∈RN×C用于表示所述第一超图模型中的所有顶点属于预设类别的可信度，N用于表示所述动作序列的数量，C用于表示所述多个动作序列的类别数量，Ωi(F,wi)用于表示所述第一超图模型的第一正则项，i用于表示所述每个动作序列的目标特征的序号，μ＞0用于表示第二权衡参数，
Figure FDA0002267968790000012
用于表示所述第二超图模型的第二正则项，∑wi＝1用于表示所述目标函数的约束条件。
2.根据权利要求1所述的方法，其特征在于，获取所述第一超图模型包括：
获取目标数据集，其中，所述目标数据集由所述多个动作序列组成；
根据所述每个动作序列的目标特征构建所述第一超图模型，所述目标特征用于表征所述动作序列。
3.根据权利要求2所述的方法，其特征在于，在根据所述每个动作序列的目标特征构建所述第一超图模型之前，所述方法还包括：
提取所述每个动作序列中的多个特征；
从所述多个特征中确定所述每个动作序列的目标特征。
4.根据权利要求2所述的方法，其特征在于，根据所述每个动作序列的目标特征构建所述第一超图模型包括：
获取所述第一超图模型的顶点集合，其中，所述顶点集合用于表示所述多个动作序列；
在由所述每个动作序列的目标特征构成的特征空间中，通过所述顶点集合构造所述第一超图模型的超边集合；
获取所述第一超图模型的超边的权重；
根据所述顶点集合、所述超边集合和所述超边的权重构建所述第一超图模型。
5.根据权利要求1所述的方法，其特征在于，根据所述第一超图模型的所有超边构建所述第二超图模型包括：
获取所述第一超图模型的超边中任意两条目标超边的权重；
对所述目标超边的权重进行处理，得到所述两条目标超边的第一相关系数，其中，所述第一相关系数在预设阈值内，且用于指示所述两条目标超边的相关程度；
根据所述第一相关系数构建基于超边的所述第二超图模型，其中，所述第二超图模型的每个顶点对应所述第一超图模型的超边。
6.根据权利要求1所述的方法，其特征在于，在根据所述第一超图模型的所有超边构建所述第二超图模型之后，所述方法还包括：
在所述第一超图模型的超边的权重不变的情况下，根据第一目标函数处理所述第一超图模型中的所有顶点属于预设类别的可信度；
在所述可信度不变的情况下，根据第二目标函数处理所述第一超图模型的超边的权重。
7.根据权利要求6所述的方法，其特征在于，
根据所述第一目标函数处理所述第一超图模型中的所有顶点属于所述预设类别的可信度包括：通过如下第一目标函数处理可信度F，
Figure FDA0002267968790000021
其中，λ＞0用于表示第一权衡参数，Remp(F)用于表示经验损失函数，Ωi(F)用于表示所述第一超图模型的第三正则项，i用于表示所述每个动作序列的目标特征的序号；
根据所述第二目标函数处理所述第一超图模型的超边的权重包括：通过如下第二目标函数处理所述第一超图模型的超边的权重Wi，
Figure FDA0002267968790000031
其中，Ωi(Wi)用于表示所述第一超图模型的第四正则项，μ＞0用于表示第二权衡参数，
Figure FDA0002267968790000032
用于表示所述第二超图模型的第五正则项。
8.根据权利要求1所述的方法，其特征在于，在根据所述第一超图模型的所有超边构建所述第二超图模型之后，所述方法还包括：
通过第三目标函数对所述第一超图模型和所述第二超图模型进行融合处理，得到第三超图模型，其中，所述第三超图模型包括所述每个动作序列的不同特征。
9.根据权利要求8所述的方法，其特征在于，通过所述第三目标函数对所述第一超图模型和所述第二超图模型进行融合处理，得到所述第三超图模型包括：通过如下第三目标函数对所述第一超图模型和所述第二超图模型进行融合处理，得到所述第三超图模型，
其中，λ＞0用于表示第一权衡参数，Remp(F)用于表示经验损失函数，i用于表示所述每个动作序列的目标特征的序号，M用于表示所述每个动作序列的特征的数量，用于表示所述第三超图模型的第五正则项，Ωi(F,Wi)用于表示所述第三超图模型的第六正则项，μ＞0用于表示第二权衡参数，∑Wi＝1,∑α＝1为所述第三目标函数的约束条件，η用于表示参数。
10.根据权利要求8所述的方法，其特征在于，通过所述第三目标函数对所述第一超图模型和所述第二超图模型进行融合处理，得到所述第三超图模型包括：
在所述第三超图模型的超边的权重和约束条件不变的情况下，根据第四目标函数处理所述第三超图模型中的所有顶点属于预设类别的可信度；
在所述可信度和所述约束条件不变的情况下，根据第五目标函数处理所述第三超图模型的超边的权重；
在所述可信度和所述第三超图模型的超边的权重不变的情况下，根据第六目标函数处理所述约束条件。
11.一种行为识别装置，其特征在于，包括：
获取单元，用于获取第一超图模型，其中，所述第一超图模型用于表征多个动作序列之间的相关性，每个动作序列用于指示目标对象的多个姿势，所述多个姿势共同用于表示所述目标对象的行为变化过程；
构建单元，用于根据所述第一超图模型的所有超边的权重构建第二超图模型，其中，所述第二超图模型用于对所述第一超图模型中的每条超边的权重进行处理；
分类单元，用于通过处理后的所述第一超图模型对所述每个动作序列进行分类，得到所述每个动作序列的类别；
识别单元，用于根据所述每个动作序列的类别识别出所述目标对象的目标行为；
其中，所述装置还用于在根据所述第一超图模型的所有超边构建所述第二超图模型之后，通过所述第二超图模型确定用于对所述第一超图模型中的每条超边的权重进行处理的目标函数，包括：通过所述第二超图模型确定用于对所述第一超图模型中的每条超边的权重进行处理的如下目标函数：
其中，λ＞0用于表示第一权衡参数，Remp(F)用于表示经验损失函数，F∈RN×C用于表示所述第一超图模型中的所有顶点属于预设类别的可信度，N用于表示所述动作序列的数量，C用于表示所述多个动作序列的类别数量，Ωi(F,wi)用于表示所述第一超图模型的第一正则项，i用于表示所述每个动作序列的目标特征的序号，μ＞0用于表示第二权衡参数，
Figure FDA0002267968790000042
用于表示所述第二超图模型的第二正则项，∑wi＝1用于表示所述目标函数的约束条件。
12.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至10中任意一项所述的行为识别方法。
13.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至10中任意一项所述的行为识别方法。
CN201710678995.0A 2017-08-08 2017-08-08 行为识别方法、装置、存储介质和处理器 Active CN107480627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710678995.0A CN107480627B (zh) 2017-08-08 2017-08-08 行为识别方法、装置、存储介质和处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710678995.0A CN107480627B (zh) 2017-08-08 2017-08-08 行为识别方法、装置、存储介质和处理器

Publications (2)

Publication Number Publication Date
CN107480627A CN107480627A (zh) 2017-12-15
CN107480627B true CN107480627B (zh) 2020-02-04

Family

ID=60600027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710678995.0A Active CN107480627B (zh) 2017-08-08 2017-08-08 行为识别方法、装置、存储介质和处理器

Country Status (1)

Country Link
CN (1) CN107480627B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382628B (zh) * 2018-12-28 2023-05-16 成都云天励飞技术有限公司 同行判定方法及装置
CN109784266B (zh) * 2019-01-09 2021-12-03 江西理工大学应用科学学院 一种多模型超图的手写汉字识别算法
CN111967362B (zh) * 2020-08-09 2022-03-15 电子科技大学 面向可穿戴设备的超图特征融合和集成学习的人体行为识别方法
CN114463601B (zh) * 2022-04-12 2022-08-05 北京云恒科技研究院有限公司 一种基于大数据的目标识别的数据处理系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101986299A (zh) * 2010-10-28 2011-03-16 浙江大学 基于超图的多任务个性化网络服务方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101986299A (zh) * 2010-10-28 2011-03-16 浙江大学 基于超图的多任务个性化网络服务方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Structured Action Classification with Hypergraph Regularization;Chaoqun Hong 等;《2014 IEEE International Conference on Systems, Man, and Cybernetics》;20141008;第2853-2858页 *
事件超图模型及类型识别;肖升 等;《中文信息学报》;20130131;第27卷(第1期);第30-38页 *
基于语义的视频事件检测分析方法研究;柯佳;《中国博士学位论文全文数据库》;20130815(第8期);第46-67页 *

Also Published As

Publication number Publication date
CN107480627A (zh) 2017-12-15

Similar Documents

Publication Publication Date Title
US20210012198A1 (en) Method for training deep neural network and apparatus
CN107609541B (zh) 一种基于可变形卷积神经网络的人体姿态估计方法
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
Patterson et al. The sun attribute database: Beyond categories for deeper scene understanding
CN107480627B (zh) 行为识别方法、装置、存储介质和处理器
CN108229347B (zh) 用于人识别的拟吉布斯结构采样的深层置换的方法和装置
Esmaeili et al. Fast-at: Fast automatic thumbnail generation using deep neural networks
WO2014205231A1 (en) Deep learning framework for generic object detection
CN102930300B (zh) 一种飞机目标识别方法及系统
CN109165309B (zh) 负例训练样本采集方法、装置及模型训练方法、装置
CN107590505B (zh) 联合低秩表示和稀疏回归的学习方法
Zhou et al. Refine-net: Normal refinement neural network for noisy point clouds
CN112529068B (zh) 一种多视图图像分类方法、系统、计算机设备和存储介质
US10163036B2 (en) System and method of analyzing images using a hierarchical set of models
CN104751463A (zh) 一种基于草图轮廓特征的三维模型最佳视角选取方法
Gao et al. Evaluation of regularized multi-task leaning algorithms for single/multi-view human action recognition
CN110992404A (zh) 目标跟踪方法、装置和系统及存储介质
Zeybek Inlier point preservation in outlier points removed from the ALS point cloud
CN111352926A (zh) 数据处理的方法、装置、设备及可读存储介质
Zhang et al. Detection of coronal mass ejections using multiple features and space–time continuity
Dong et al. Scene-oriented hierarchical classification of blurry and noisy images
Fan et al. Pulmonary nodule detection using improved faster R-CNN and 3D Resnet
JP6448036B2 (ja) 物体領域特定方法、装置、及びプログラム
JP2016014990A (ja) 動画像検索方法、動画像検索装置及びそのプログラム
Ying et al. Dynamic random regression forests for real-time head pose estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant