CN114495285B - 复杂行为识别方法、系统、计算机设备及可读存储介质 - Google Patents

复杂行为识别方法、系统、计算机设备及可读存储介质 Download PDF

Info

Publication number
CN114495285B
CN114495285B CN202210401558.5A CN202210401558A CN114495285B CN 114495285 B CN114495285 B CN 114495285B CN 202210401558 A CN202210401558 A CN 202210401558A CN 114495285 B CN114495285 B CN 114495285B
Authority
CN
China
Prior art keywords
complex behavior
matrix
target
action
picture frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210401558.5A
Other languages
English (en)
Other versions
CN114495285A (zh
Inventor
杨威
谢抢来
卢伟
李铭
熊蕾
姚磊岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi University of Technology
Original Assignee
Jiangxi University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi University of Technology filed Critical Jiangxi University of Technology
Priority to CN202210401558.5A priority Critical patent/CN114495285B/zh
Publication of CN114495285A publication Critical patent/CN114495285A/zh
Application granted granted Critical
Publication of CN114495285B publication Critical patent/CN114495285B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种复杂行为识别方法、系统、计算机设备及可读存储介质，所述方法包括：将目标视频中所需待检测的目标复杂行为分解成基于时序的若干运动图片帧组，将每一运动图片帧组根据人体运动关节节点以及关节节点特征转化成动作的数字化语义表示；将目标复杂行为基于每一运动图片帧组的数字化语义表示进一步转化成基于时序的动作组合的三维数字化矩阵；将目标复杂行为的三维数字化矩阵通过多尺度神经网络在语义层习得特征。本申请通过文字精确定义复杂行为，进而基于动作词向量和动作特征批量生成复杂行为样本与量化表达形式，实现深度神经网络在小样本、甚至零样本下对复杂行为特征的有效习得。

Description

复杂行为识别方法、系统、计算机设备及可读存储介质
技术领域
本发明属于计算机视觉的视频行为识别技术领域，具体地涉及一种复杂行为识别方法、系统、计算机设备及可读存储介质。
背景技术
针对视频的人体行为的准确识别是人机深层次交互的重要研究课题，已然成为计算机视觉领域中的一项重点任务。视频中人体行为识别的目的在于识别出一段视频中某个目标的所做动作，通过对人体的体态、行为的研究，可以检测出现在视频中的复杂行为，如：快速奔跑、摔倒、打人等。现有技术将深度学习理论应用于计算机视觉应用中，可以设计出高精度、高效率的行为识别算法，使得计算机能够自动完成对人体的复杂行为检测，人体复杂行为的识别广泛应用于视频监控、视频检索、视频预警、智慧城市、体感游戏等诸多领域。
目前，基于计算机视觉的人体行为识别的研究大多停留在具体动作的分类和识别上，如：异常行为预警，日常行为分类等。然而，对于持续时间长、动作组成多样的复杂行为的识别与理解，相关研究还比较缺乏；虽然研究者能够通过不断提高算力，基于动作识别的方法对时间持续时间长且复杂的行为进行采样获取大量图像样本、并经过深度神经网络训练学习，进而进行识别。但是，由于人的行为是非常复杂且多样的，且会随着时间的推移产生新的行为，甚至同一种行为在不同环境下具备不同语义，也都是非常常见的情况。因此，延续动作识别采用将所有人体可能产生的复杂行为进行采样需要获取大量图像样本数据，并进行人工标注的现有技术的解决思路，不仅耗费巨大，而且精准度及模型普适性极低。
因此，针对现有视频中针对人体复杂行为识别技术存在的图像样本数据要求多、识别精准度及模型普适性差的技术问题，尚未提出有效的解决方案。
发明内容
为了解决上述技术问题，本发明提供了一种复杂行为识别方法、系统、计算机设备及可读存储介质，通过文字精确定义复杂行为，进而基于动作词向量和动作特征批量生成复杂行为样本与量化表达形式，从而实现深度神经网络在小样本、甚至零样本情况下对复杂行为特征的有效习得。
第一方面，本申请提供一种复杂行为识别方法，包括：
获取目标视频，将所述目标视频中所需待检测的目标复杂行为分解成基于时序的若干运动图片帧组，将每一运动图片帧组根据人体运动关节节点以及关节节点特征转化成某一动作的数字化语义表示ξ={n，A}，n代表某一动作的动作名称，A代表某一动作的数字化特征矩阵；其中，所述运动图片帧组的一个人体运动关节节点的运行信息由一组浮点数进行数字化表示；
将所述目标复杂行为基于每一运动图片帧组的数字化语义表示进一步转化成基于时序的动作组合的三维数字化矩阵b={[ξ1,ξ2,…]，…，[ξx,ξy,…]}；式中，[ξ1,ξ2,…]，[ξx,ξy,…]分别代表构成所述目标复杂行为的一系列动作的不同组合；
将所述目标复杂行为的三维数字化矩阵b={[ξ1,ξ2,…]，…，[ξx,ξy,…]}通过多尺度神经网络在语义层习得特征，以实现所述目标复杂行为的识别。
较佳地，所述目标复杂行为输入的三维数字化矩阵b是一个尺寸为N×100×2的三维矩阵；其中：N是多个动作词的集合，按其在复杂行为中的发生顺序排列；100代表的是词向量的前100维；2是组成复杂行为的矩阵用词向量、和持续时间2个维度来表示。
较佳地，所述运动图片帧组根据人体运动关节节点以及关节节点特征，采用词向量浮点向量方式进行动作词表示。
较佳地，所述多尺度神经网络由卷积层+GAP层+SPP层+全连接层组成；
采用所述卷积层的异形卷积核对所述目标复杂行为的三维数字化矩阵b={[ξ1,ξ2,…]，…，[ξx,ξy,…]}进行特征提取；
通过所述GAP 层及所述SPP层的结合对所述目标复杂行为的三维数字化矩阵b={[ξ1,ξ2,…]，…，[ξx,ξy,…]}进行语义层特征学习，并通过所述全连接层进行分类，以实现所述目标复杂行为的准确识别。
较佳地，所述GAP层用于提取所述复杂行为的全局特征，SPP层用以提取所述复杂行为的细节特征。
较佳地，所述关节节点特征包括运动速度、运动方向、运动强度、瞬时运动位移以及单位时间内的总位移量。
第二方面，本申请提供一种复杂行为识别系统，包括：
定义模块，用于获取目标视频，将所述目标视频中所需待检测的目标复杂行为分解成基于时序的若干运动图片帧组，将每一运动图片帧组根据人体运动关节节点以及关节节点特征转化成某一动作的数字化语义表示ξ={n，A}，n代表某一动作的动作名称，A代表某一动作的数字化特征矩阵；其中，所述运动图片帧组的一个人体运动关节节点的运行信息由一组浮点数进行数字化表示；
构建模块，用于将所述目标复杂行为基于每一运动图片帧组的数字化语义表示进一步转化成基于时序的动作组合的三维数字化矩阵b={[ξ1,ξ2,…]，…，[ξx,ξy,…]}；式中，[ξ1,ξ2,…]，[ξx,ξy,…]分别代表构成所述目标复杂行为的一系列动作的不同组合；
识别模块，用于将所述目标复杂行为的三维数字化矩阵b={[ξ1,ξ2,…]，…，[ξx,ξy,…]}通过多尺度神经网络在语义层习得特征，以实现所述目标复杂行为的识别。
较佳地，所述目标复杂行为输入的三维数字化矩阵b是一个尺寸为N×100×2的三维矩阵；其中：N是多个动作词的集合，按其在复杂行为中的发生顺序排列；100代表的是词向量的前100维；2是组成复杂行为的矩阵用词向量、和持续时间2个维度来表示。
第三方面，本申请提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的复杂行为识别方法。
第四方面，本申请提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述的复杂行为识别方法。
相比现有技术，本申请提供的复杂行为识别方法、系统、计算机设备及可读存储介质的有益效果为：通过将目标视频中所需待检测的目标复杂行为分解成基于时序的若干运动图片帧组，及将每一运动图片帧组根据人体运动关节节点以及关节节点特征转化成动作的数字化语义表示，再将目标复杂行为基于每一运动图片帧组的数字化语义表示进一步转化成基于时序的动作组合的数字化语义集合，将数字化语义集合通过多尺度神经网络在语义层习得特征，以实现所述目标复杂行为的识别。本申请可在无样本的情况下，通过文字精确定义复杂行为，进而基于动作词向量和动作特征批量生成复杂行为样本与量化表达形式，实现深度神经网络在小样本、甚至零样本情况下对复杂行为特征的有效习得。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为某一复杂行为按照本发明复杂行为识别方法的识别过程的示意图；
图2为本发明实施例1提供的复杂行为识别方法的流程图；
图3为本发明实施例1提供的语料示例中所示词向量SVD后的可视化表示；
图4为本发明实施例1提供的语料示例基于动作词向量和持续时间的三维矩阵；
图5为本发明提供的基于语义定义的多尺度神经网络结构；
图6是本发明实施例二提供的与实施例一方法对应的复杂行为识别系统结构框图；
图7是本发明实施例三提供的计算机的硬件结构示意图。
附图标记说明：
10-定义模块；
20-构建模块；
30-识别模块；
40-总线、41-处理器、42-存储器、43-通信接口。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
本申请中描述的各种技术可用于各种无线通信系统，例如2G、3G、4G、5G通信系统以及下一代通信系统，又例如全球移动通信系统（Global System for Mobilecommunications，简称为GSM），码分多址（Code Division Multiple Access，简称为CDMA）系统，时分多址（Time Division Multiple Access，简称为TDMA）系统，宽带码分多址（Wideband Code Division Multiple Access Wireless，简称为WCDMA），频分多址（Frequency Division Multiple Addressing，简称为FDMA）系统，正交频分多址（Orthogonal Frequency-Division Multiple Access，简称为OFDMA）系统，单载波FDMA（SC-FDMA）系统，通用分组无线业务（General Packet Radio Service，简称为GPRS）系统，长期演进（Long Term Evolution，简称为LTE）系统，5G新空口（New Radio，简称为NR）系统以及其他此类通信系统。
目前，基于计算机视觉的人体行为识别研究大多停留在具体动作的分类和识别上，如：异常行为预警，日常行为分类……；对于持续时间长、动作组成多样的复杂行为的识别与理解，相关研究还比较缺乏。虽然研究者能够通过不断提高算力，基于动作识别的方法对时间持续时间长且复杂的行为进行采样、训练学习，进而进行识别。但人的行为是非常复杂且多样的，且会随着时间的推移产生新的行为。甚至同一种行为在不同环境下具备不同语义，也都是非常常见的情况。因此，延续动作识别的思路，将所有人体可能产生的复杂行为进行采样，并进行人工标注，不仅耗费巨大，而且模型普适性极低。
基于上述现有技术存在的技术缺陷，若存在一种表示方法，能够从比视频低维的角度出发，对视频中所发生的动作进行精确描述，那么必将降低复杂行为通用识别模型的实现难度。众所周知，人类语言发展至今，已经能够非常准确的描绘任何具体或抽象事物，也能够记录任意时间跨度的事件。从数据维度来看，记录在纸张上的语言可以被视为只有空间概念的“二维信息”；从存储等量信息所占用的存储空间来看，文字远远小于视频；从信息表达的精确度来看，文字能够提炼事件场景中的重要信息，精确、及时地传达给表述对象。鉴于上述三点，通过文字在语义层对复杂行为进行定义，将复杂的人体行为视频内容转换为动作词及其特征的时序组合，结合现有技术框架并进行针对性改进，研究并设计“基于动作组合的复杂行为语义识别”模型是符合生物认知标准且值得尝试的研究方案。本申请基于此种思路而提出。
实施例一
本实施例提供了一种复杂行为识别方法，图2所示为根据本申请实施例的复杂行为识别方法的流程图。结合图1所示，可以更形象理解本实施例的复杂行为识别方法的过程。如图2所示，该流程包括步骤S101～S103：
S101，获取目标视频，将所述目标视频中所需待检测的目标复杂行为分解成基于时序的若干运动图片帧组，将每一运动图片帧组根据人体运动关节节点以及关节节点特征转化成某一动作的数字化语义或三维数字化矩阵表示ξ={n，A}，n代表某一动作的动作名称，A代表某一动作的数字化特征矩阵。
具体地，所需待检测的目标复杂行为通过从如图1所述运动图片帧组中逐帧跟踪人体运动关节节点的运动信息来确定某一基本动作，即将所述运动图片帧组的人体运动关节节点的运动信息转化成基于人体运动关节节点，以及与对应的人体运动关节节点相关的关节节点特征对该某一基本动作进行数字化语义表示，其中所述关节节点特征包括运动速度、运动方向、运动强度、瞬时运动位移以及单位时间内的总位移量。具体地，所述人体运动关节节点数基于国际上通用医学标准进行设定，可利于形成标准化的动作信息数据库。
在本发明的一个实施例中，针对人体骨架中25个关键关节点或25个人体运动关节节点，提取其相关的关节节点运动特征，例如运动速度、运动方向、运动强度、瞬时运动位移以及单位时间内的总位移量。这样，所述运动图片帧组的一个人体运动关节节点的运行信息由一组浮点数进行数字化或量化表示，25个人体运动关节节点的运行信息以25组浮点数进行数字化或量化表示，从而将所述运动图片帧组转化成如图1中所示的三维浮点式数字化矩阵。也就是说，在上述每一运动图片帧组根据人体运动关节节点以及关节节点特征转化成某一基本动作的数字化语义表示ξ={n，A}中，n代表某一个动作词，A代表此动作的多种运动特征的数字化特征集合。
如此，上述通过将运动图片帧提取某一个基本动作n，例如走、或挥手等一个基本动作转化成基于人体运动关节节点以及关节节点特征形成的数字化特征矩阵A，从而可以建立基于基本动作与数字化特征矩阵对应的动作信息数据库；之后，基于基本动作进行不同的组合获取不同的语义表示，以下将进一步表述。
进一步地，所述运动图片帧组的一个人体运动关节节点的运行信息由一组浮点数进行数字化表示。其中，词向量是自然语言处理中的一组语言建模和特征学习技术的统称，即来自词汇表的单词或短语被映射到实数的向量。因此，上述将运动图片帧组根据人体运动关节节点以及关节节点特征转化成动作的数字化语义表示ξ={n，A}中，n即为一个动作词向量，A即为动作特征；从而可将视频中的目标复杂行为通过文字进行精确的数字化定义，并基于动作词向量和动作特征批量生成复杂行为样本与量化表达形式，以下将进一步述及。从概念上讲，它涉及从每个单词一维的空间到具有更低维度的连续向量空间的数学嵌入。词向量的生成方式有非常多种，但基本都基于一个思想：任意一个“词”的语义都可以通过它的周边“词”来表示，即：一个“词”的“周边词”如果大部分相同，则这个“词”的语义近似。基于统计学的方法能够帮助我们更好地理解分布式词向量的生成。利用共现矩阵）对“词”进行向量表示，再通过奇异值分解SVD（singular value decomposition）进行向量降维是基于统计学的经典做法。以下将举例说明奇异值分解SVD（singular valuedecomposition）进行向量降维的方式：
若语料库中有S个句子，且这S个句子由N个不重复的“词”组合而成。那么，即可构建一个N×N的二维词矩阵。例如：语料库存在三个句子，分别是“我爱深度学习”、“我爱NIP”、“我享受生活”，则可构成表1所示的8×8的二维词矩阵。
表1 周边词长窗口为1的共现矩阵示例
Figure 470516DEST_PATH_IMAGE001
通过表1可知，则表1中8×8的二维词矩阵中的相关“词”对应的向量为：
我 = [0, 2, 0, 0, 0, 1, 0, 0]；
爱 = [2, 0, 1, 0, 1, 1, 0, 0]；
深度 = [0, 1, 0, 1, 0, 0, 0, 0]；
学习 = [0, 0, 1, 0, 0, 0, 0, 1]；
NLP = [0, 1, 0, 0, 0, 0, 0, 1]；
享受 = [1, 0, 0, 0, 0, 0, 1, 0]；
生活 = [0, 0, 0, 0, 0, 1, 0, 1]；
。 = [0, 0, 0, 1, 1, 0, 1, 0]。
更进一步地，所述运动图片帧组根据人体运动关节节点以及关节节点特征，可以采用词向量浮点向量方式进行动作词表示。在本发明的一个实施例中，为了解决维度灾难问题的最有效做法是通过奇异值分解SVD（singular value decomposition），即通过选取的若干重要特征值，得到每一个词的低维表示。直观地，奇异值分解SVD可将共现矩阵分解为多个秩一矩阵之和。如下列公式所示：
Figure 753730DEST_PATH_IMAGE002
式中，等式右边每一项前的系数δ表示奇异值，等式右边每一项u和v分别表示列向量；秩一矩阵的意思是矩阵秩为1，每一项
Figure 294302DEST_PATH_IMAGE003
都是秩为1的矩阵。如表2为表1为经过奇异值分解SVD后得到的稠密矩阵。
表2 周边词长窗口为1的共现矩阵SVD后的稠密表示
Figure 30177DEST_PATH_IMAGE004
基于表2的稠密矩阵，取每个单词的前二维进行显示，可得图3所示词向量SVD后的可视化表示。从图3中可见，即使在只有三句话语料的示例中，并只提取前SVD分解后u矩阵的前二维进行词向量可视化，也得到了相对满意的聚类效果。甚至在词序上也有较好体现。
S102，将所述目标复杂行为基于每一运动图片帧组的数字化语义表示进一步转化成基于时序的动作组合的数字化语义集合或三维数字化矩阵表示b={[ξ1,ξ2,…]，…，[ξx,ξy,…]}；式中，[ξ1,ξ2,…]，[ξx,ξy,…]分别代表构成所述目标复杂行为的一系列动作的不同组合。其中，ξx、ξy表示复杂行为中不同的动作的数字化语义表示。
举例来说，如图4中（a）所示的输入矩阵，所构建的目标复杂行为的输入矩阵是一个尺寸为N×100×2的三维矩阵；其中：N是多个动作词的集合，按其在复杂行为中的发生顺序排列；100代表的是词向量的前100维；2是组成复杂行为的矩阵用词向量、和持续时间2个维度来表示。需要说明的是可以通过提取某一具体动作的多个特征，以构建信息更加丰富的输入矩阵。由图4中（b）可知，每一个动作在输入矩阵中均由一个2维平面矩阵（即：2个100维的浮点数组）表示，尺度为2×100。即：词向量+动作持续时间。需要说明的是，一方面，维度设定为100是因符合绝大多数语言模型的训练结果，输入矩阵可以通过随时更换不同场景下训练的词向量，达到相同复杂行为在不同场景下不同语义认知的目的；另一方面，对于基本动作持续时间而言，100维度可代表3.3秒的持续（Kinect摄像头捕获的深度视频帧频为30fps）时序，可覆盖几乎所有基本动作的持续时间。
进一步地，在持续时间的存储上，采用稀疏存储的方式。即：如果某一基本动作的持续时间为1.7秒，那么在100维的存储空间上，1.7×30=51个存储单元将被设置为“1”（图4中（b）中灰色背景），而剩余的存储单元为“0”（图4中（b）中白色背景）。采用稀疏方式进行存储是因为如果仅用1个存储单元存储持续时间（如：前100维是词向量特征，第101维是动作持续时间），在多层卷积和池化的作用下，将会导致动作持续时间的对全局影响的不断减弱，甚至消失。值得一提的是：这种稀疏存储方式（即：1个特征1维），也可以用于后续可能加入的动作特征，如运动的方向、运动强度（加速度），以及其它空间和几何特征。理论上说，多特征的加入将极大帮助复杂行为识别准确率的提升。
S103，将所述目标复杂行为的数字化语义集合或三维数字化矩阵表示b={[ξ1,ξ2,…]，…，[ξx,ξy,…]}通过多尺度神经网络在语义层习得特征，以实现所述目标复杂行为的识别。
具体地，所述多尺度神经网络由卷积层+GAP层+SPP层+全连接层组成；其中，所述GAP层用于提取所述复杂行为的全局特征，SPP层用以提取所述复杂行为的细节特征。
进一步地，采用所述卷积层的异形卷积核对所述目标复杂行为的数字化语义集合表示b={[ξ1,ξ2,…]，…，[ξx,ξy,…]}进行特征提取；通过所述GAP 层及所述SPP层的结合对所述目标复杂行为的数字化语义集合表示b={[ξ1,ξ2,…]，…，[ξx,ξy,…]}进行语义层特征学习，并通过所述全连接层进行分类，以实现所述目标复杂行为的准确识别。如图5所示，以一个包含3个基本动作的中等复杂的行为为例，其输入尺度仅为：3×100×2。采用一个非常异形的卷积核（50，2）进行特征提取，由于词向量是已经被语言模型深度提取了特征的量化表现形式。故在提取特征时，通过一个50×2的卷积核提取其词向量和持续时间的全局特征。在非线性表示上，则通过512个特征图实现。同时，由于词向量和持续时间配套出现，在步长上则采用了2×1的步长，保证同一词向量只和自己相关的持续时间进行卷积。
例如，在构建复杂行为的语义数据集上，分别定义了2-5种动作构成的共8种复杂行为（后文称此数据集为：语义行为数据集）。具体如下：
焦虑:坐着不动,1,3.3;站起来,0,1;站着不动,1,3.3;坐,0,1.2；
焦虑:坐,0,1.2;坐着不动,1,3.3;站起来,0,1;站着不动,1,3；
焦虑:站着不动,1,3;坐,0,1.2;坐着不动,1,3.3;站起来,0,1；
焦虑:站着不动,1,3;看手表,0.3,3;站着不动1,3;看手表,0.3,3；
焦虑:看手表,0.3,2;站着不动,1,3.3;看手表,0.3,2;站着不动1,3.3；
焦虑:走,1,3.3;坐,0.3,1.2;坐着不动,1,3.3;站起来,0,1.5;走,1,3.3；
激动:挥手,1,3;原地跳,0.5,3；
激动:原地跳,0.5,3;挥手,1,3；
激动:鼓掌,1,3;原地跳,1,3；
激动:原地跳,1,3;鼓掌,1,3；
激动:坐着鼓掌,1,3;站起来,0.5,2;原地跳,1,3；
激动:坐着鼓掌,1,3;站起来,0.5,2;原地跳,1,3 ;挥手,1,3；
激动:坐着鼓掌,1,3;站起来,0.5,2;挥手,1,3;原地跳,1,3；
激动:坐着鼓掌,1,3;站起来,0.5,2;站着鼓掌,1,3;挥手,1,3；
徘徊:走,1,3.3;站着不动,1,3.3;走,1,3.3；
徘徊:站着不动,1,3.3;走,1,3.3;站着不动:1,3.3；
徘徊:坐着不动,1,3;站起来,0.2,1;站着不动:1,3;走,1,3;站着不动:1,3;走,1,3；
听报告:坐着不动,1,3.3;坐着鼓掌,1,3.3;坐着不动,1,3.3；
听报告:坐着鼓掌,1,3.3;坐着不动,1,10;坐着鼓掌,1,10；
听报告:坐着鼓掌,1,3;坐着不动,1,10；
复杂行为1:打电话,0.5,3;挥手,1,3；
复杂行为1:挥手,1,3;打电话,0.5,3;挥手,1,3；
复杂行为2:拍衣服的灰,1,5;喝水,0.5,3；
复杂行为2:喝水,0.5,3;拍衣服的灰,1,5；
复杂行为2:站起来,0.5,3;拍衣服的灰,1,5;喝水,0.5,3；
复杂行为3:走,1,2;喝水,1,2;走,1,3；
复杂行为3:走,1,2;看手表,1,2;走,1,3；
复杂行为3:喝水,1,2;走,1,3；
复杂行为4:挥手,1,2;走,1,4;挥手,1,3;站着不动,1,5；
复杂行为4:走,1,4;挥手,1,3;站着不动,1,5,挥手;1,3;走,1,2；挥手,1,3；
复杂行为4:走,1,4;挥手,1,5;走,1,2;挥手,1,3；
例如，以某一具体复杂行为例，说明样本数据结构：
Figure 697918DEST_PATH_IMAGE005
以上示例的样本数据结构即为语义行为数据集样本格式。
进一步地，所述目标复杂行为的数字化语义集合表示b={[ξ1,ξ2,…]，…，[ξx,ξy,…]}通过已训练的多尺度神经网络模型进行进一步相似度判断，获得所述目标复杂行为的升级化识别。
具体而言，通过上述定义复杂行为方便具体样本的数据增强。一般而言，某一个具体复杂行为由相同的动作组成，但动作持续的时间可能略有差别。通过上述数据结构、以及类似动作组合，可以快速生成复杂行为数据集，生成后的数据集形式如下所示：
Figure 835639DEST_PATH_IMAGE006
可获得不同动作组合的相似语义归集化处理，即可获得所述目标复杂行为的升级化识别。
综上，通过上述步骤将目标视频中所需待检测的目标复杂行为分解成基于时序的若干运动图片帧组，及将每一运动图片帧组根据人体运动关节节点以及关节节点特征转化成某一动作的数字化语义表示，再将目标复杂行为基于每一运动图片帧组的数字化语义表示进一步转化成基于时序的动作组合的数字化语义集合，将数字化语义集合通过多尺度神经网络在语义层习得特征，以实现所述目标复杂行为的识别。
本申请可在小样本、甚至零样本下的情况下，通过文字精确定义复杂行为，进而基于动作词向量和动作特征批量生成复杂行为样本与量化表达形式，实现深度神经网络在小样本、甚至零样本情况下对复杂行为特征的有效习得。
同时，通过本申请将高维度视频信息提取成运动图片帧，将运动图片帧转化成某一动作的数字化矩阵并进行语义表示，这一过程将视频图像信息进行了降维与转化，可实现动作样本的快速生成。
实施例二
本实施例提供了与实施例一所述方法相对应的系统的结构框图。图6是根据本申请实施例的复杂行为识别系统的结构框图，如图6所示，该系统包括：
定义模块10，用于获取目标视频，将所述目标视频中所需待检测的目标复杂行为分解成基于时序的若干运动图片帧组，将每一运动图片帧组根据人体运动关节节点以及关节节点特征转化成某一动作的数字化语义或三维数字化矩阵表示ξ={n，A}，n代表某一动作的动作名称，A代表某一动作的数字化特征矩阵；
构建模块20，用于将所述目标复杂行为基于每一运动图片帧组的数字化语义表示进一步转化成基于时序的动作组合的数字化语义集合或三维数字化矩阵表示b={[ξ1,ξ2,…]，…，[ξx,ξy,…]}；式中，[ξ1,ξ2,…]，[ξx,ξy,…]分别代表构成所述目标复杂行为的一系列动作的不同组合；
识别模块30，用于将所述目标复杂行为的数字化语义集合或三维数字化矩阵表示b={[ξ1,ξ2,…]，…，[ξx,ξy,…]}通过多尺度神经网络在语义层习得特征，以实现所述目标复杂行为的识别。
上述运动图片帧，基于人体运动关节节点以及关节节点特征进行存储，可以提供一种新的运动信息存储方式；同时将此种高维度视频信息中的运动图片信息转化为数字化矩阵进行降维表示，可提供针对人体运动信息的快速样本。
如此，本申请通过将所述目标视频中的目标复杂行为，基于人体运动关节节点以及关节节点特征转化为某一动作的数字化矩阵方式的语义表示，获得了一种视频图像的降维转化，可以实现卷积神经网络在零样本或小样本情况下，习得复杂行为特征的可能，并可最终实现了零样本情况下，人体复杂行为的高效识别。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
实施例三
结合图1所描述的本发明的复杂行为识别方法可以由计算机设备来实现。图7为根据本申请实施例的计算机设备的硬件结构示意图。
计算机设备可以包括处理器41以及存储有计算机程序指令的存储器42。
具体地，上述处理器41可以包括中央处理器（CPU），或者特定集成电路（Application Specific Integrated Circuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器42可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器42可包括硬盘驱动器（Hard Disk Drive，简称为HDD）、软盘驱动器、固态驱动器（SolidState Drive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（Universal SerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器42可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器42可在数据处理装置的内部或外部。在特定实施例中，存储器42是非易失性（Non-Volatile）存储器。在特定实施例中，存储器42包括只读存储器（Read-Only Memory，简称为ROM）和随机存取存储器（RandomAccess Memory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（Programmable Read-Only Memory，简称为PROM）、可擦除PROM（Erasable ProgrammableRead-Only Memory，简称为EPROM）、电可擦除PROM（Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM）、电可改写ROM（Electrically Alterable Read-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（Static Random-Access Memory，简称为SRAM）或动态随机存取存储器（Dynamic Random Access Memory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器（Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM）、同步动态随机存取内存（Synchronous Dynamic Random-Access Memory，简称SDRAM）等。
存储器42可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器41所执行的可能的计算机程序指令。
处理器41通过读取并执行存储器42中存储的计算机程序指令，以实现上述实施例一的复杂行为识别方法。
在其中一些实施例中，计算机还可包括通信接口43和总线40。其中，如图7所示，处理器41、存储器42、通信接口43通过总线40连接并完成相互间的通信。
通信接口43用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口43还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线40包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线40包括但不限于以下至少之一：数据总线（Data Bus）、地址总线（Address Bus）、控制总线（Control Bus）、扩展总线（Expansion Bus）、局部总线（Local Bus）。举例来说而非限制，总线40可包括图形加速接口（Accelerated Graphics Port，简称为AGP）或其他图形总线、增强工业标准架构（Extended Industry Standard Architecture，简称为EISA）总线、前端总线（Front Side Bus，简称为FSB）、超传输（Hyper Transport，简称为HT）互连、工业标准架构（Industry Standard Architecture，简称为ISA）总线、无线带宽（InfiniBand）互连、低引脚数（Low Pin Count，简称为LPC）总线、存储器总线、微信道架构（Micro ChannelArchitecture，简称为MCA）总线、外围组件互连（Peripheral Component Interconnect，简称为PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（Serial AdvancedTechnology Attachment，简称为SATA）总线、视频电子标准协会局部（Video ElectronicsStandards Association Local Bus，简称为VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线40可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该计算机设备可以基于获取到复杂行为识别系统，执行本申请实施例一的复杂行为识别方法，从而实现复杂行为识别。
另外，结合上述实施例一中的复杂行为识别方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例一的复杂行为识别方法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种复杂行为识别方法，其特征在于，包括：
获取目标视频，将所述目标视频中所需待检测的目标复杂行为分解成基于时序的若干运动图片帧组，将每一运动图片帧组根据人体运动关节节点以及关节节点特征转化成某一动作的数字化语义表示ξ={n，A}，n代表某一动作的动作名称，A代表某一动作的数字化特征矩阵；其中，所述运动图片帧组的一个人体运动关节节点的运行信息由一组浮点数进行数字化表示；
将所述目标复杂行为基于每一运动图片帧组的数字化语义表示进一步转化成基于时序的动作组合的三维数字化矩阵b={[ξ1,ξ2,…]，…，[ξx,ξy,…]}；式中，[ξ1,ξ2,…]，[ξx,ξy,…]分别代表构成所述目标复杂行为的一系列动作的不同组合；
将所述目标复杂行为的三维数字化矩阵b={[ξ1,ξ2,…]，…，[ξx,ξy,…]}通过多尺度神经网络在语义层习得特征，以实现所述目标复杂行为的识别。
2.根据权利要求1所述的复杂行为识别方法，其特征在于，所述目标复杂行为输入的三维数字化矩阵b是一个尺寸为N×100×2的三维矩阵；其中：N是多个动作词的集合，按其在复杂行为中的发生顺序排列；100代表的是词向量的前100维；2是组成复杂行为的矩阵用词向量、和持续时间2个维度来表示。
3.根据权利要求1所述的复杂行为识别方法，其特征在于，所述运动图片帧组根据人体运动关节节点以及关节节点特征，采用词向量浮点向量方式进行动作词表示。
4.根据权利要求1所述的复杂行为识别方法，其特征在于，所述多尺度神经网络由卷积层+GAP层+SPP层+全连接层组成；
采用所述卷积层的异形卷积核对所述目标复杂行为的三维数字化矩阵b={[ξ1,ξ2,…]，…，[ξx,ξy,…]}进行特征提取；
通过所述GAP 层及所述SPP层的结合对所述目标复杂行为的三维数字化矩阵b={[ξ1,ξ2,…]，…，[ξx,ξy,…]}进行语义层特征学习，并通过所述全连接层进行分类，以实现所述目标复杂行为的准确识别。
5.根据权利要求4所述的复杂行为识别方法，其特征在于，所述GAP层用于提取所述复杂行为的全局特征，SPP层用以提取所述复杂行为的细节特征。
6.根据权利要求1所述的复杂行为识别方法，其特征在于，所述关节节点特征包括运动速度、运动方向、运动强度、瞬时运动位移以及单位时间内的总位移量。
7.一种复杂行为识别系统，其特征在于，包括：
定义模块，用于获取目标视频，将所述目标视频中所需待检测的目标复杂行为分解成基于时序的若干运动图片帧组，将每一运动图片帧组根据人体运动关节节点以及关节节点特征转化成某一动作的数字化语义表示ξ={n，A}，n代表某一动作的动作名称，A代表某一动作的数字化特征矩阵；其中，所述运动图片帧组的一个人体运动关节节点的运行信息由一组浮点数进行数字化表示；
构建模块，用于将所述目标复杂行为基于每一运动图片帧组的数字化语义表示进一步转化成基于时序的动作组合的三维数字化矩阵b={[ξ1,ξ2,…]，…，[ξx,ξy,…]}；式中，[ξ1,ξ2,…]，[ξx,ξy,…]分别代表构成所述目标复杂行为的一系列动作的不同组合；
识别模块，用于将所述目标复杂行为的三维数字化矩阵b={[ξ1,ξ2,…]，…，[ξx,ξy,…]}通过多尺度神经网络在语义层习得特征，以实现所述目标复杂行为的识别。
8.根据权利要求7所述的复杂行为识别系统，其特征在于，所述目标复杂行为输入的三维数字化矩阵b是一个尺寸为N×100×2的三维矩阵；其中：N是多个动作词的集合，按其在复杂行为中的发生顺序排列；100代表的是词向量的前100维；2是组成复杂行为的矩阵用词向量、和持续时间2个维度来表示。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的复杂行为识别方法。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一项所述的复杂行为识别方法。
CN202210401558.5A 2022-04-18 2022-04-18 复杂行为识别方法、系统、计算机设备及可读存储介质 Active CN114495285B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210401558.5A CN114495285B (zh) 2022-04-18 2022-04-18 复杂行为识别方法、系统、计算机设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210401558.5A CN114495285B (zh) 2022-04-18 2022-04-18 复杂行为识别方法、系统、计算机设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN114495285A CN114495285A (zh) 2022-05-13
CN114495285B true CN114495285B (zh) 2022-07-12

Family

ID=81489503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210401558.5A Active CN114495285B (zh) 2022-04-18 2022-04-18 复杂行为识别方法、系统、计算机设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114495285B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019046304A (ja) * 2017-09-05 2019-03-22 株式会社国際電気通信基礎技術研究所 イベント系列抽出装置、イベント系列抽出方法およびイベント抽出プログラム
CN110610154A (zh) * 2019-09-10 2019-12-24 北京迈格威科技有限公司 行为识别方法、装置、计算机设备和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194967B (zh) * 2017-06-09 2021-04-06 南昌大学 基于Kinect深度图像的人体摔倒检测方法及装置
CN111325099B (zh) * 2020-01-21 2022-08-26 南京邮电大学 一种基于双流时空图卷积神经网络的手语识别方法及系统
CN111444889B (zh) * 2020-04-30 2023-07-25 南京大学 基于多级条件影响的卷积神经网络的细粒度动作检测方法
US11887316B2 (en) * 2020-07-10 2024-01-30 University Of South Florida Motion taxonomy for manipulation embedding and recognition
CN112464875A (zh) * 2020-12-09 2021-03-09 南京大学 一种视频中的人-物交互关系检测方法及装置
CN112580362B (zh) * 2020-12-18 2024-02-20 西安电子科技大学 一种基于文本语义监督的视觉行为识别方法、系统及计算机可读介质
CN112990122B (zh) * 2021-04-25 2021-08-17 之江实验室 一种基于视频基础单元分析的复杂行为识别方法
CN113343941B (zh) * 2021-07-20 2023-07-25 中国人民大学 一种基于互信息相似度的零样本动作识别方法及系统
CN113780059A (zh) * 2021-07-24 2021-12-10 上海大学 一种基于多特征点的连续手语识别方法
CN113537164B (zh) * 2021-09-15 2021-12-07 江西科技学院 一种实时的动作时序定位方法
CN114155606A (zh) * 2021-12-06 2022-03-08 深兰人工智能应用研究院(山东)有限公司 基于人体动作分析的语义识别方法及相关装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019046304A (ja) * 2017-09-05 2019-03-22 株式会社国際電気通信基礎技術研究所 イベント系列抽出装置、イベント系列抽出方法およびイベント抽出プログラム
CN110610154A (zh) * 2019-09-10 2019-12-24 北京迈格威科技有限公司 行为识别方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN114495285A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
Zhu et al. A review of video object detection: Datasets, metrics and methods
Lei et al. Underwater target detection algorithm based on improved YOLOv5
CN106446526B (zh) 电子病历实体关系抽取方法及装置
Alreshidi et al. Facial emotion recognition using hybrid features
CN111143576A (zh) 一种面向事件的动态知识图谱构建方法和装置
CN112183747A (zh) 神经网络训练的方法、神经网络的压缩方法以及相关设备
Zhao et al. Real-time multi-scale face detector on embedded devices
Rivera-Acosta et al. American sign language alphabet recognition using a neuromorphic sensor and an artificial neural network
Zhang et al. Object detection network based on feature fusion and attention mechanism
CN113505193A (zh) 一种数据处理方法及相关设备
EP4361843A1 (en) Neural network searching method and related device
Zhou et al. Towards high accuracy pedestrian detection on edge gpus
CN115512005A (zh) 一种数据处理方法及其装置
Sukhavasi et al. A hybrid model for driver emotion detection using feature fusion approach
Zhou et al. MobileYOLO: Real-time object detection algorithm in autonomous driving scenarios
Desai et al. Image processing model with deep learning approach for fish species classification
CN114519613B (zh) 价格数据的处理方法和装置、电子设备、存储介质
CN110659392B (zh) 检索方法及装置、存储介质
Merchan et al. Bioacoustic classification of antillean manatee vocalization spectrograms using deep convolutional neural networks
Huang et al. Lightweight adversarial network for salient object detection
Yu et al. An improved yolox for detection in urine sediment images
CN112216379A (zh) 一种基于智能联合学习的疾病诊断系统
Ahmed et al. AQE-Net: A deep learning model for estimating air quality of Karachi city from mobile images
CN114495285B (zh) 复杂行为识别方法、系统、计算机设备及可读存储介质
Liao et al. YOLO-DRS: A Bioinspired Object Detection Algorithm for Remote Sensing Images Incorporating a Multi-Scale Efficient Lightweight Attention Mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant