CN114399648A - 行为识别方法及装置、存储介质及电子设备 - Google Patents

行为识别方法及装置、存储介质及电子设备 Download PDF

Info

Publication number
CN114399648A
CN114399648A CN202210049891.4A CN202210049891A CN114399648A CN 114399648 A CN114399648 A CN 114399648A CN 202210049891 A CN202210049891 A CN 202210049891A CN 114399648 A CN114399648 A CN 114399648A
Authority
CN
China
Prior art keywords
target
detected
feature matrix
key point
sequence information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210049891.4A
Other languages
English (en)
Inventor
孙泉
陈忱
陶训强
何苗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202210049891.4A priority Critical patent/CN114399648A/zh
Publication of CN114399648A publication Critical patent/CN114399648A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

本公开涉及图像和视频处理技术领域，具体涉及一种行为识别方法及装置、计算机可读存储介质及电子设备，方法包括：获取待检测目标的关键点序列信息；利用至少一个多通道时空图卷积模块对所述关键点序列信息进行特征提取得到所述待检测目标的目标特征矩阵；利用所述目标特征矩阵确定所述待检测目标的识别结果。本公开实施例的技术方案提高行为识别精度和效率。

Description

行为识别方法及装置、存储介质及电子设备
技术领域
本公开涉及图像和视频处理技术领域，具体而言，涉及一种行为识别方法及装置、计算机可读存储介质及电子设备。
背景技术
随着计算机视觉、人工智能、机器学习等技术的发展，目前行为分析识别技术在视频监控、人机交互、虚拟现实等领域有着较为广泛应用，逐渐成为计算机视觉领域的研究热点。行为识别技术是通过一系列的算法，使得计算机能够根据视频流或者图像序列中目标的行为进行识别分析，最终得到符合预期的识别结果。
现有技术中，在进行行为识别时，会对输入的视频流或者图片序列进行检测，但是检测的耗时较长且精度较低。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种行为识别方法、行为识别装置、计算机可读介质和电子设备，进而至少在一定程度上提高行为识别精度和效率。
根据本公开的第一方面，提供一种行为识别方法，包括：获取待检测目标的关键点序列信息；利用至少一个多通道时空图卷积模块对所述关键点序列信息进行特征提取得到所述待检测目标的目标特征矩阵；利用所述目标特征矩阵确定所述待检测目标的识别结果。
根据本公开的第二方面，提供一种行为识别装置，包括：获取模块，用于获取待检测目标的关键点序列信息；提取模块，用于利用至少一个多通道时空图卷积模块对所述关键点序列信息进行特征提取得到所述待检测目标的目标特征矩阵；分类模块，用于利用所述目标特征矩阵确定所述待检测目标的识别结果。
根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。
根据本公开的第四方面，提供一种电子设备，其特征在于，包括：一个或多个处理器；以及存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。
本公开的一种实施例所提供的行为识别方法，获取待检测目标的关键点序列信息；利用至少一个多通道时空图卷积模块对所述关键点序列信息进行特征提取得到所述待检测目标的目标特征矩阵；利用所述目标特征矩阵确定所述待检测目标的识别结果。相较于现有技术，获取了待检测目标的关键点序列信息，降低了行为识别时的数据量，提升了行为识别的效率，通过至少一个多通道时空图卷积模块对关键点序列信息进行特征提取得到待检测目标的目标特征矩阵来完成行为识别，更加精确的捕获了待检测目标的全局信息，提升了行为识别的精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；
图2示意性示出本公开示例性实施例中一种行为识别方法的流程图；
图3示意性示出本公开示例性实施例中一种关键点信息的示意图；
图4示意性示出本公开示例性实施例中一种确定目标特征矩阵的流程图；
图5示意性示出本公开示例性实施例中一种行为识别方法的数据流向图；
图6示意性示出本公开示例性实施例中行为识别装置的组成示意图；
图7示出了可以应用本公开实施例的一种电子设备的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了系统架构的示意图，该系统架构100可以包括终端110与服务器120。其中，终端110可以是智能手机、平板电脑、台式电脑、笔记本电脑等终端设备，服务器120泛指提供本示例性实施方式中行为识别相关服务的后台系统，可以是一台服务器或多台服务器形成的集群。终端110与服务器120之间可以通过有线或无线的通信链路形成连接，以进行数据交互。
在一种实施方式中，可以由终端110执行上述行为识别方法。例如，用户使用终端110拍摄待检测目标或者用户在终端110的相册中选取待检测目标后，由终端110对该待检测目标进行行为识别，输出识别结果。
在一种实施方式中，可以由服务器120可以执行上述行为识别方法。例如，用户使用终端110拍摄待检测目标或者用户在终端110的相册中选取待检测目标后，终端110将该待检测目标上传至服务器120，由服务器120对该图像进行行为识别，向终端110返回识别结果。
由上可知，本示例性实施方式中的行为识别方法的执行主体可以是上述终端110或服务器120，本公开对此不做限定。
本公开的示例性实施方式还提供一种用于执行上述行为识别方法的电子设备，该电子设备可以是上述终端110或服务器120。一般的，该电子设备可以包括处理器与存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行上述图像行为识别方法。
在相关技术中，传统的基于图像的行为识别方法将逐帧的RGB图像作为输入特征，导致输入特征维度在空间和时间维度都较大，进而在空间特征信息提取和时间运动信息提取的过程中会造成较大的运算量，同时RGB图像包含许多的背景信息和噪音，这导致在特征提取的过程中易受噪音的干扰。
基于上述缺点，本公开首先提出一种新的行为识别方法，下面结合图2对本示例性实施方式中的图像质量评价方法进行说明，图2示出了该图像质量评价方法的示例性流程，可以包括：
步骤S210，获取待检测目标的关键点序列信息；
步骤S220，利用至少一个多通道时空图卷积模块对所述关键点序列信息进行特征提取得到所述待检测目标的目标特征矩阵；
步骤S230，利用所述目标特征矩阵确定所述待检测目标的识别结果。
基于上述方法，相较于现有技术，获取了待检测目标的关键点序列信息，降低了行为识别时的数据量，提升了行为识别的效率，通过至少一个多通道时空图卷积模块对关键点序列信息进行特征提取得到待检测目标的目标特征矩阵来完成行为识别，更加精确的捕获了待检测目标的全局信息，提升了行为识别的精度。
下面对图2中的每个步骤进行具体说明。
参考图2，在步骤S210中，获取待检测目标的关键点序列信息。
在本公开的一种示例实施方式中，可以采用预训练的关键点提取模型获取上述待检测目标的关键点序列信息，其中，上述待检测目标可以包括多帧待检测图像，上述关键点序列信息可以包括上述每一帧待检测图像的关键点信息和各帧待检测图像之间的时间序列。
在本示例实施方式中，可以首先获取上述预训练的关键点提取模型。本示例实施方式中，上述关键点提取模型主要是基于深度学习的神经网络模型。例如，关键点提取模型可以是基于前馈神经网络的。前馈网络可以被实现为无环图，其中节点布置在层中。通常，前馈网络拓扑包括输入层和输出层，输入层和输出层通过至少一个隐藏层分开。隐藏层将由输入层接收到的输入变换为对在输出层中生成输出有用的表示。网络节点经由边缘全连接至相邻层中的节点，但每个层内的节点之间不存在边缘。在前馈网络的输入层的节点处接收的数据经由激活函数被传播(即，“前馈”)至输出层的节点，所述激活函数基于系数(“权重”)来计算网络中的每个连续层的节点的状态，所述系数分别与连接这些层的边缘中的每一个相关联。关键点提取模型的输出可以采用各种形式，本公开对此不作限制。关键点提取模型还可以包括其他神经网络模型，例如，卷积神经网络(CNN)模型、循环神经网络(RNN)模型、生成式对抗网络(GAN)模型，但不限于此，也可以采用本领域技术人员公知的其他神经网络模型。
关键点提取模型通常需要通过训练获得。在上述利用训练算法对初始模型进行训练可以包括如下步骤：选择网络拓扑；使用表示被网络建模的问题的一组训练数据；以及调节权重，直到网络模型针对训练数据集的所有实例表现为具有最小误差。例如，在用于神经网络的监督式学习训练过程期间，将由网络响应于表示训练数据集中的实例的输入所产生的输出与该实例的“正确”的已标记输出相比较；计算表示所述输出与已标记输出之间的差异的误差信号；以及当将误差信号向后传播穿过网络的层时，调节与所述连接相关联的权重以最小化该误差。
在本示例实施方式中，上述待检测图像可以是人体图像，动物图像等，还可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。每一帧待检测图像对应的关键点信息可以用向量表示，举例而言，关键点信息可以是[[x0,y0,z0],[x1,y1,z1],...,[xn,yn,zn]]，关键点序列信息可以采用上述关键点信息堆叠形成得矩阵表示。
在本示例实施方式中，上述关键点信息可以是谷歌关键点信息，参图3所示，可以包括合格骨骼关键点，例如，左肩膀、右肩膀、头、左手、右手等，在本示例实施方式中不做具体限定。
参照图5所示，在得到上述关键点提取模型520之后，可以将上述待检测目标510输入至上述关键点提取模型520中，以获得上述关键点序列信息。
在步骤S220中，利用至少一个多通道时空图卷积模块对所述关键点序列信息进行特征提取得到所述待检测目标的目标特征矩阵。
在本公开的一种示例实施方式中，参照图4所示，利用至少一个多通道时空图卷积模块530对所述关键点序列信息进行特征提取得到所述待检测目标510的目标特征矩阵可以包括步骤S410至步骤S430。
在步骤S410中，利用第一多尺度时空图卷积网络对所述关键点序列信息进行特征提取得到第一特征矩阵。
在本示例实施方式中，可以利用不同膨胀系数的第一多尺度时空图卷积网络532对所述关键点序列信息进行特征提取得到多个第一参考特征矩阵。
具体而言，参照图5所示，在利用第一多尺度时空图卷积网络532对所述关键点序列信息进行特征提取时，可以首先利用一个1*1卷积核531对关键点序列信息进行卷积操作，然后利用不同膨胀系数的第一多尺度时空图卷积网络532进行特征提取。
其中，上述膨胀系数可以包括两个，例如，D1、D2等，也可以包括更多个，膨胀系数的取值可以根据试验获取，也可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。
在步骤S420中，利用第二多尺度时空图卷积网络对所述关键点序列信息进行特征提取得到第二特征矩阵。
在本示例实施方式中，可以首先利用多尺度图卷积网络533对关键点序列信息进行第一卷积操作得到第二参考特征矩阵；然后，利用第一多尺度时间卷积网络534对第二参考特征矩阵进行第二卷积操作得到中间参考特征矩阵；最后，利用第二多尺度时间卷积网络535对中间参考特征矩阵进行第三卷积操作得到第二特征矩阵。
在本示例实施方式中，上述多尺度时间卷积网络和多尺度图卷积网络533可以均采用现有技术中的架构，此处不在赘述，其中，上述多尺度图卷积网络533、第一多尺度时间卷积网络534以及第二多尺度时间卷积网络535中的参数可以训练所得。在本示例实施方式中不做具体限定。
举例而言，上述第一多尺度时间卷积网络534以及第二多尺度时间卷积网络535均可以包括空洞卷积(dilated convolution)，后接1x1卷积进行通道数量的调整。可以使用的残差连接(residual connection)来对梯度的反向传播进行优化，在空洞卷积(dilatedconvolution)和1x1卷积之间可以设置一relu层。
在本示例实施方式中多尺度表示将各个待检测图像之间的关键点信息的关联更加紧密，距离而言，前一帧图像的左手的关键点不只与下一帧的左手的关键点关联，也和下一帧右手的关键点关联，采用多尺度时间卷积网络和多尺度时间卷积网络能够增加待检测目标510的关联度，进而提升行为识别的精度。
在步骤S430中，将多个所述第一参考特征矩阵进行融合得到所述第一特征矩阵。
在本示例实施方式中，可以首先计算所述第一特征矩阵和所述第二特征矩阵的平均特征矩阵；具体而言，求解上述第一特征矩阵和所述第二特征矩阵的平均值，然后利用第三多尺度时间卷积网络536对所述平均特征矩阵进行第四卷积操作得到所述目标特征矩阵。
其中，上述第三多尺度时间卷积网络536中的参数也可以根据训练得到。
具体而言，获取参考待检测目标510和上述参考待检测目标510对应的真实标签，将上述参考待检测目标510利用本公开的行为上和别方法获取对应的参考识别结果570，根据上参考识别结果570和上述真实标签调整上述多通道时空图卷积模块530中的参数信息。
在步骤S230中，利用所述目标特征矩阵确定所述待检测目标的识别结果，
在本公开的一种示例实施方式中，在得到上述目标特征矩阵之后，可以首先利用池化层540对上述目标特征矩阵进行池化处理得到上述目标特征矩阵对应的目标特征向量，然后，可以利用全连接层550和归一化损失函数层560确定上述目标特征向量对应的识别结果570，进而得到上述待检测目标510的识别结果570。
在本示例实施方式中，上述识别结果570可以包括举手、摆臂、踢腿等，也可以根据用户需求自定义更多的识别结果570，在本示例实施方式中不做具体限定。
综上所述，本示例性实施方式中，相较于现有技术，获取了待检测目标的关键点序列信息，降低了行为识别时的数据量，提升了行为识别的效率，通过至少一个多通道时空图卷积模块对关键点序列信息进行特征提取得到待检测目标的目标特征矩阵来完成行为识别，更加精确的捕获了待检测目标的全局信息，提升了行为识别的精度。进一步的，采用利用多个不同膨胀系数的第一多尺度时空图卷积网络对所述关键点序列信息进行特征提取得到多个第一参考特征矩阵；将多个所述第一参考特征矩阵进行融合得到所述第一特征矩阵，捕获不同时空的上下文关联，增强了得到的目标特征矩阵中的待检测目标之间的联系，提升了行为识别的精度，再进一步的，利用多尺度图卷积网络对所述关键点序列信息进行第一卷积操作得到第二参考特征矩阵；利用第一多尺度时间卷积网络对所述第二参考特征矩阵进行第二卷积操作得到中间参考特征矩阵；利用第二多尺度时间卷积网络对所述中间参考特征矩阵进行第三卷积操作得到所述第二特征矩阵，增强了待检测目标的全局的跨时空骨架关联，进一步提升了行为识别精度。
需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
进一步的，参考图6所示，本示例的实施方式中还提供一种行为识别装置600，包括获取模块610、提取模块620和分类模块630。其中：
获取模块610可以用于获取待检测目标的关键点序列信息，具体而言，利用预训练的关键点提取模型获取待检测目标的关键点序列信息；其中，待检测目标包括多帧待检测图像，关键点序列信息包括每一帧待检测图像的关键点信息以及各帧待检测图像之间的时间序列。
提取模块620可以用于利用至少一个多通道时空图卷积模块对关键点序列信息进行特征提取得到待检测目标的目标特征矩阵。具体而言，首先，利用第一多尺度时空图卷积网络对关键点序列信息进行特征提取得到第一特征矩阵；然后，利用第二多尺度时空图卷积网络对关键点序列信息进行特征提取得到第二特征矩阵；最后，根据第一特征矩阵和第二特征矩阵确定目标特征矩阵。
在利用第一多尺度时空图卷积网络对关键点序列信息进行特征提取得到第一特征矩阵时，提取模块620可以首先利用多个不同膨胀系数的第一多尺度时空图卷积网络对关键点序列信息进行特征提取得到多个第一参考特征矩阵；然后，将多个第一参考特征矩阵进行融合得到第一特征矩阵。
在利用第二多尺度时空图卷积网络对关键点序列信息进行特征提取得到第二特征矩阵时，提取模块620可以首先利用多尺度图卷积网络对关键点序列信息进行第一卷积操作得到第二参考特征矩阵；然后，利用第一多尺度时间卷积网络对第二参考特征矩阵进行第二卷积操作得到中间参考特征矩阵；最后，利用第二多尺度时间卷积网络对中间参考特征矩阵进行第三卷积操作得到第二特征矩阵。
在将多个第一参考特征矩阵进行融合得到第一特征矩阵时，提取模块620可以计算第一特征矩阵和第二特征矩阵的平均特征矩阵；利用第三多尺度时间卷积网络对平均特征矩阵进行第四卷积操作得到目标特征矩阵。
在一示例性实施例中，分类模块630可以用于利用目标特征矩阵确定待检测目标的识别结果，具体而言，可以首先对目标特征矩阵进行池化处理得到目标特征向量；然后根据目标特征向量利用全连接层和归一化损失函数确定待检测目标的识别结果。
上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
下面以图7中的移动终端700为例，对该电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图7中的构造也能够应用于固定类型的设备。
如图7所示，移动终端700具体可以包括：处理器701、存储器702、总线703、移动通信模块704、天线1、无线通信模块705、天线2、显示屏706、摄像模块707、音频模块708、电源模块709与传感器模块710。
处理器201可以包括一个或多个处理单元，例如：处理器710可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。本示例性实施方式中的行为识别方法可以由AP、GPU或DSP来执行，当方法涉及到神经网络相关的处理时，可以由NPU来执行。
编码器可以对图像或视频进行编码(即压缩)，例如可以将目标图像编码为特定的格式，以减小数据大小，便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩)，以还原出图像或视频数据，如可以读取目标图像的编码数据，通过解码器进行解码，以还原出目标图像的数据，进而对该数据进行行为识别的相关处理。移动终端200可以支持一种或多种编码器和解码器。这样，移动终端700可以处理多种编码格式的图像或视频，例如：JPEG(Joint Photographic Experts Group，联合图像专家组)、PNG(PortableNetwork Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(MovingPicture Experts Group，动态图像专家组)1、MPEG2、H.263、H.264、HEVC(High EfficiencyVideo Coding，高效率视频编码)等视频格式。
处理器701可以通过总线703与存储器702或其他部件形成连接。
存储器702可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器701通过运行存储在存储器702的指令，执行移动终端700的各种功能应用以及数据处理。存储器702还可以存储应用数据，例如存储图像，视频等文件。
移动终端700的通信功能可以通过移动通信模块704、天线1、无线通信模块705、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块704可以提供应用在移动终端700上2G、3G、4G、5G等移动通信解决方案。无线通信模块705可以提供应用在移动终端700上的无线局域网、蓝牙、近场通信等无线通信解决方案。
显示屏706用于实现显示功能，如显示用户界面、图像、视频等。摄像模块707用于实现拍摄功能，如拍摄图像、视频等。音频模块708用于实现音频功能，如播放音频，采集语音等。电源模块709用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。传感器模块710可以包括深度传感器7101、压力传感器7102、陀螺仪传感器7103、气压传感器7104等，以实现相应的感应检测功能。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种行为识别方法，其特征在于，包括：
获取待检测目标的关键点序列信息；
利用至少一个多通道时空图卷积模块对所述关键点序列信息进行特征提取得到所述待检测目标的目标特征矩阵；
利用所述目标特征矩阵确定所述待检测目标的识别结果。
2.根据权利要求1所述的方法，其特征在于，利用至少一个多通道时空图卷积模块对所述关键点序列信息进行特征提取得到所述待检测目标的目标特征矩阵包括：
利用第一多尺度时空图卷积网络对所述关键点序列信息进行特征提取得到第一特征矩阵；
利用第二多尺度时空图卷积网络对所述关键点序列信息进行特征提取得到第二特征矩阵；
根据所述第一特征矩阵和所述第二特征矩阵确定所述目标特征矩阵。
3.根据权利要求2所述的方法，其特征在于，所述利用第一多尺度时空图卷积网络对所述关键点序列信息进行特征提取得到第一特征矩阵包括：
利用多个不同膨胀系数的第一多尺度时空图卷积网络对所述关键点序列信息进行特征提取得到多个第一参考特征矩阵；
将多个所述第一参考特征矩阵进行融合得到所述第一特征矩阵。
4.根据权利要求2所述的方法，其特征在于，所述利用第二多尺度时空图卷积网络对所述关键点序列信息进行特征提取得到第二特征矩阵包括：
利用多尺度图卷积网络对所述关键点序列信息进行第一卷积操作得到第二参考特征矩阵；
利用第一多尺度时间卷积网络对所述第二参考特征矩阵进行第二卷积操作得到中间参考特征矩阵；
利用第二多尺度时间卷积网络对所述中间参考特征矩阵进行第三卷积操作得到所述第二特征矩阵。
5.根据权利要求2所述的方法，其特征在于，所述根据所述第一特征矩阵和所述第二特征矩阵确定所述目标特征矩阵包括：
计算所述第一特征矩阵和所述第二特征矩阵的平均特征矩阵；
利用第三多尺度时间卷积网络对所述平均特征矩阵进行第四卷积操作得到所述目标特征矩阵。
6.根据权利要求1所述的方法，其特征在于，所述利用所述目标特征矩阵确定所述待检测目标的识别结果包括：
对所述目标特征矩阵进行池化处理得到目标特征向量；
根据所述目标特征向量利用全连接层和归一化损失函数确定所述待检测目标的所述识别结果。
7.根据权利要求1所述的方法，其特征在于，所述获取待检测目标的关键点序列信息包括：
利用预训练的关键点提取模型获取所述待检测目标的关键点序列信息；
其中，所述待检测目标包括多帧待检测图像，所述关键点序列信息包括每一帧待检测图像的关键点信息以及各帧所述待检测图像之间的时间序列。
8.一种行为识别装置，其特征在于，包括：
获取模块，用于获取待检测目标的关键点序列信息；
提取模块，用于利用至少一个多通道时空图卷积模块对所述关键点序列信息进行特征提取得到所述待检测目标的目标特征矩阵；
分类模块，用于利用所述目标特征矩阵确定所述待检测目标的识别结果。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的行为识别方法。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；以及
存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的行为识别方法。
CN202210049891.4A 2022-01-17 2022-01-17 行为识别方法及装置、存储介质及电子设备 Pending CN114399648A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210049891.4A CN114399648A (zh) 2022-01-17 2022-01-17 行为识别方法及装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210049891.4A CN114399648A (zh) 2022-01-17 2022-01-17 行为识别方法及装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN114399648A true CN114399648A (zh) 2022-04-26

Family

ID=81231651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210049891.4A Pending CN114399648A (zh) 2022-01-17 2022-01-17 行为识别方法及装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN114399648A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114582030A (zh) * 2022-05-06 2022-06-03 湖北工业大学 一种基于服务机器人的行为识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114582030A (zh) * 2022-05-06 2022-06-03 湖北工业大学 一种基于服务机器人的行为识别方法
CN114582030B (zh) * 2022-05-06 2022-07-22 湖北工业大学 一种基于服务机器人的行为识别方法

Similar Documents

Publication Publication Date Title
CN111263161B (zh) 视频压缩处理方法、装置、存储介质和电子设备
CN112507990A (zh) 视频时空特征学习、抽取方法、装置、设备及存储介质
CN112200057A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN111460876B (zh) 用于识别视频的方法和装置
CN112598597A (zh) 一种降噪模型的训练方法及相关装置
CN112200041A (zh) 视频动作识别方法、装置、存储介质与电子设备
CN111950700A (zh) 一种神经网络的优化方法及相关设备
CN113807361A (zh) 神经网络、目标检测方法、神经网络训练方法及相关产品
CN112529149A (zh) 一种数据处理方法及相关装置
CN115131281A (zh) 变化检测模型训练和图像变化检测方法、装置及设备
CN115222974A (zh) 特征点匹配方法及装置、存储介质及电子设备
CN114359289A (zh) 一种图像处理方法及相关装置
CN114494942A (zh) 视频分类方法及装置、存储介质及电子设备
CN114399648A (zh) 行为识别方法及装置、存储介质及电子设备
CN113658122A (zh) 图像质量评价方法、装置、存储介质与电子设备
CN111738092A (zh) 一种基于深度学习的恢复被遮挡人体姿态序列方法
CN116524186A (zh) 图像处理方法及装置、电子设备、存储介质
CN114501031B (zh) 一种压缩编码、解压缩方法以及装置
CN114139703A (zh) 知识蒸馏方法及装置、存储介质及电子设备
CN114418845A (zh) 图像分辨率提升方法及装置、存储介质及电子设备
CN114419517A (zh) 视频帧处理方法、装置、计算机设备及存储介质
CN114612829A (zh) 视频关键点识别方法及装置、存储介质及电子设备
CN113177483B (zh) 视频目标分割方法、装置、设备以及存储介质
CN115471765B (zh) 一种航拍图像的语义分割方法、装置、设备及存储介质
CN116824308B (zh) 图像分割模型训练方法与相关方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination