CN114663980A - 行为识别方法、深度学习模型的训练方法及装置 - Google Patents

行为识别方法、深度学习模型的训练方法及装置 Download PDF

Info

Publication number
CN114663980A
CN114663980A CN202210352947.3A CN202210352947A CN114663980A CN 114663980 A CN114663980 A CN 114663980A CN 202210352947 A CN202210352947 A CN 202210352947A CN 114663980 A CN114663980 A CN 114663980A
Authority
CN
China
Prior art keywords
image
feature
frame
space
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210352947.3A
Other languages
English (en)
Other versions
CN114663980B (zh
Inventor
张亚娴
黄军
程军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210352947.3A priority Critical patent/CN114663980B/zh
Publication of CN114663980A publication Critical patent/CN114663980A/zh
Application granted granted Critical
Publication of CN114663980B publication Critical patent/CN114663980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种行为识别方法、深度学习模型的训练方法及装置、设备、介质和产品，涉及人工智能技术领域，具体为深度学习、计算机视觉技术领域，可应用于智能安防、3D视觉、虚拟现实等场景。具体实现方案包括：对图像序列进行特征提取，得到与图像序列中的至少一帧图像关联的初始图像特征；根据初始图像特征和针对至少一帧图像的对象检测结果，确定与至少一帧图像关联的目标图像特征；以及基于目标图像特征，进行针对至少一帧图像的对象行为识别，得到行为识别结果。

Description

行为识别方法、深度学习模型的训练方法及装置
技术领域
本公开涉及人工智能技术领域，具体为深度学习、计算机视觉技术领域，可应用于智能安防、3D视觉、虚拟现实等场景。
背景技术
对象行为识别在智能安防、3D视觉、虚拟现实等场景中有着广泛应用。但是，在一些场景下，对象行为识别存在行为识别效率低、识别效果不佳的现象。
发明内容
本公开提供了一种行为识别方法、深度学习模型的训练方法及装置、设备、介质和产品。
根据本公开的一方面，提供了一种行为识别方法，包括：对图像序列进行特征提取，得到与所述图像序列中的至少一帧图像关联的初始图像特征；根据所述初始图像特征和针对所述至少一帧图像的对象检测结果，确定与所述至少一帧图像关联的目标图像特征；以及基于所述目标图像特征，进行针对所述至少一帧图像的对象行为识别，得到行为识别结果。
根据本公开的另一方面，提供了一种深度学习模型的训练方法，包括：利用待训练的深度学习模型，对样本图像序列进行特征提取，得到与所述样本图像序列中的至少一帧样本图像关联的初始样本特征；根据所述初始样本特征和针对所述至少一帧样本图像的对象检测结果，确定与所述至少一帧图像关联的目标样本特征；基于所述目标样本特征，进行针对所述至少一帧样本图像的对象行为识别，得到行为识别结果；以及根据所述行为识别结果和预设行为标签，对所述深度学习模型的模型参数进行调整，得到经训练的深度学习模型。
根据本公开的另一方面，提供了一种行为识别装置，包括：第一处理模块，用于对图像序列进行特征提取，得到与所述图像序列中的至少一帧图像关联的初始图像特征；第二处理模块，用于根据所述初始图像特征和针对所述至少一帧图像的对象检测结果，确定与所述至少一帧图像关联的目标图像特征；以及第三处理模块，用于基于所述目标图像特征，进行针对所述至少一帧图像的对象行为识别，得到行为识别结果。
根据本公开的另一方面，提供了一种深度学习模型的训练装置，包括：第五处理模块，用于利用待训练的深度学习模型，对样本图像序列进行特征提取，得到与所述样本图像序列中的至少一帧样本图像关联的初始样本特征；第六处理模块，用于根据所述初始样本特征和针对所述至少一帧样本图像的对象检测结果，确定与所述至少一帧图像关联的目标样本特征；第七处理模块，用于基于所述目标样本特征，进行针对所述至少一帧样本图像的对象行为识别，得到行为识别结果；以及第八处理模块，用于根据所述行为识别结果和预设行为标签，对所述深度学习模型的模型参数进行调整，得到经训练的深度学习模型。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器和与所述至少一个处理器通信连接的存储器。其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的行为识别方法或者深度学习模型的训练方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述的行为识别方法或者深度学习模型的训练方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述的行为识别方法或者深度学习模型的训练方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1示意性示出了根据本公开一实施例的行为识别方法和装置的系统架构；
图2示意性示出了根据本公开一实施例的行为识别方法的流程图；
图3示意性示出了根据本公开一实施例的行为识别过程的示意图；
图4示意性示出了根据本公开另一实施例的行为识别过程的示意图；
图5示意性示出了根据本公开一实施例的深度学习模型的训练方法的流程图；
图6示意性示出了根据本公开一实施例的行为识别装置的框图；
图7示意性示出了根据本公开一实施例的深度学习模型的训练装置的框图；
图8示意性示出了根据本公开实施例的用于行为识别的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
本公开的实施例提供了一种行为识别方法。本实施例方法包括：对图像序列进行特征提取，得到与图像序列中的至少一帧图像关联的初始图像特征，根据初始图像特征和针对至少一帧图像的对象检测结果，确定与至少一帧图像关联的目标图像特征，以及基于目标图像特征，进行针对至少一帧图像的对象行为识别，得到行为识别结果。
图1示意性示出了根据本公开一实施例的行为识别方法和装置的系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
根据该实施例的系统架构100可以包括请求终端101、网络102和服务器103。网络102用于在请求终端101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。服务器103可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或分布式系统，还可以是提供云服务、云计算、网络服务、中间件服务等基础云计算服务的云服务器。
请求终端101通过网络102与服务器103进行交互，以接收或发送数据等。请求终端101例如用于向服务器103发起行为识别请求，请求终端101例如还用于向服务器103提供待进行对象行为识别的图像序列。
服务器103可以是提供各种服务的服务器，例如可以是根据由请求终端101提供的图像序列进行对象行为识别的后台处理服务器(仅为示例)。
例如，服务器103响应于自请求终端101获取的图像序列，对图像序列进行特征提取，得到与图像序列中的至少一帧图像关联的初始图像特征，根据初始图像特征和针对至少一帧图像的对象检测结果，确定与至少一帧图像关联的目标图像特征，以及基于目标图像特征，进行针对至少一帧图像的对象行为识别，得到行为识别结果。
需要说明的是，本公开实施例所提供的行为识别方法可以由服务器103执行。相应地，本公开实施例所提供的行为识别装置可以设置于服务器103中。本公开实施例所提供的行为识别方法也可以由不同于服务器103且能够与请求终端101和/或服务器103通信的服务器或服务器集群执行。相应地，本公开实施例所提供的行为识别装置也可以设置于不同于服务器103且能够与请求终端101和/或服务器103通信的服务器或服务器集群中。
应该理解，图1中的请求终端、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的请求终端、网络和服务器。
本公开实施例提供了一种行为识别方法，下面结合图1的系统架构，参考图2～图4来描述根据本公开示例性实施方式的行为识别方法。本公开实施例的行为识别方法例如可以由图1所示的服务器103来执行。
图2示意性示出了根据本公开一实施例的行为识别方法的流程图。
如图2所示，本公开实施例的行为识别方法200例如可以包括操作S210～操作S230。
在操作S210，对图像序列进行特征提取，得到与图像序列中的至少一帧图像关联的初始图像特征。
在操作S220，根据初始图像特征和针对至少一帧图像的对象检测结果，确定与至少一帧图像关联的目标图像特征。
在操作S230，基于目标图像特征，进行针对至少一帧图像的对象行为识别，得到行为识别结果。
下面示例说明本实施例的行为识别方法的各操作示例流程。
示例性地，待检测视频可以由一系列连续的图像帧组成。可以基于预设抽帧频率，或者利用关键帧技术，对待检测视频进行按帧提取，得到图像序列，图像序列可以包括具有时序关系的多帧图像。例如，可以根据相邻帧图像的帧间差分强度，提取待检测视频中的关键帧，帧间差分强度例如可由相邻帧图像中对应位置的像素值的差值衡量。
对图像序列进行特征提取，得到与图像序列中的至少一帧图像关联的初始图像特征。例如，可以利用三维卷积神经网络(3D-Convolutional Neural Networks，3D-CNN)或者ResNet-FPN(Residual Network-Feature Pyramid Network，残差网络-特征金字塔网络)对图像序列进行特征提取，得到与图像序列中的至少一帧图像关联的初始图像特征。
根据初始图像特征和针对至少一帧图像的对象检测结果，确定与至少一帧图像关联的目标图像特征。对象检测结果例如可以包括与待检测对象关联的掩膜mask坐标、包围框坐标、人体关键点等内容，对象检测结果可以指示待检测对象基于对应图像的位置特征。
示例性地，可以根据由对象检测结果指示的待检测对象的位置特征，基于初始图像特征，确定与待检测对象关联的目标图像特征，目标图像特征例如可以包括初始图像特征中的局域图像特征。
一种示例方式，对图像序列进行基于预设压缩比率的卷积特征提取，得到与至少一帧图像关联的初始图像特征。根据由对象检测结果指示的待检测对象的位置特征，确定初始图像特征中的感兴趣区域(Region of Interest，RoI)，例如确定初始图像特征中的感兴趣区域的尺寸和顶点坐标。对感兴趣区域的尺寸和顶点坐标进行基于相同压缩比率的压缩处理，得到压缩后的感兴趣区域。
将压缩后的感兴趣区域划分为预设个数的感兴趣子区域，例如，将压缩后的感兴趣区域划分为m*m(例如可以是7*7)个感兴趣子区域，m为大于1的整数。针对任意感兴趣子区域，将感兴趣子区域进一步划分为多个特征子区域，例如将感兴趣子区域进一步划分为n*n(例如可以是2*2)个特征子区域，n为大于1的整数。计算每个特征子区域的中心位置的像素值，并将其中最大的像素值作为对应感兴趣子区域的像素值。
例如，计算n*n个特征子区域的中心位置的像素值，将n*n个中心位置像素值中的最大像素值，作为对应感兴趣子区域的像素值。根据m*m个感兴趣子区域的像素值，得到与至少一帧图像关联的目标图像特征。
基于目标图像特征，进行针对至少一帧图像的对象行为识别，得到行为识别结果。例如，利用经训练的分类器，根据目标图像特征，对至少一帧图像进行对象行为识别，得到行为识别结果。分类器例如可以包括极限学习机、支持向量机(Support Vector Machine，SVM)、神经网络分类器等。
根据初始图像特征和针对至少一帧图像的对象检测结果，确定与至少一帧图像关联的目标图像特征，以及基于目标图像特征，进行针对至少一帧图像的对象行为识别，得到行为识别结果。将对象检测结果作为指导信息，指导确定与至少一帧图像关联的目标图像特征，基于目标图像特征进行对象行为识别，可以有效提升对象行为识别效率，以及有效保证行为识别结果的准确性。
图3示意性示出了根据本公开一实施例的行为识别过程的示意图。
如图3所示，行为识别过程例如可以包括操作S310～S330。
在操作S310，对图像序列301进行特征提取，得到与图像序列301中的至少一帧图像关联的全局时空特征302。
在操作S320，根据全局时空特征302和由对象检测结果303指示的待检测对象的位置特征，确定与待检测对象关联的局域时空特征304，以作为目标图像特征。
在操作S330，基于目标图像特征，进行针对至少一帧图像的对象行为识别，得到行为识别结果305。
下面示例说明本实施例的行为识别过程的各操作的示例流程。
示例性地，对图像序列进行特征提取，得到与图像序列中的至少一帧图像关联的全局时空特征。例如，可以对图像序列进行特征提取，得到与至少一帧图像关联的全局空间特征。对全局空间特征进行基于预设时域尺度的特征提取，得到与至少一帧图像关联的全局时空特征。
通过确定与至少一帧图像关联的全局时空特征，可以有效保证对象行为识别的稳定性和鲁棒性，可以很好地适用于复杂应用场景，有利于提升对象行为识别精度和识别效率。
例如，可以利用卷积神经网络对图像序列进行空间特征提取，卷积神经网络可以是空间域和时域分离的3D卷积神经网络。卷积神经网络的卷积层可以包括二维空间域卷积核和一维时域卷积核。在利用卷积层对输入数据进行卷积操作时，空间域卷积和时域卷积可以分别进行。
可以利用二维空间域卷积核，对图像序列中的至少一帧图像进行卷积操作，得到与至少一帧图像关联的全局空间特征。利用一维时域卷积核对连续多帧图像的全局空间特征进行卷积操作，得到基于预设时域尺度的全局时空特征。时域尺度例如可由进行时域卷积操作的图像帧数量进行衡量。例如，可以利用一维时域卷积核，对连续多帧图像的全局空间特征进行基于相同位置像素的卷积操作，得到与待检测对象关联的全局时空特征。
此外，也可以对图像序列进行时间特征提取，得到与至少一帧图像关联的全局时域特征。对全局时域特征进行基于空间域的特征提取，得到与至少一帧图像关联的全局时空特征。空间域卷积和时域卷积可以分别进行，可以先进行空间域卷积，也可以先进行时域卷积。
可以对全局空间特征进行基于单个或者多个时域尺度的特征提取，得到与至少一帧图像关联的全局时空特征，本实施例对此不进行限定。进行时域卷积操作的图像帧数量越多，时域尺度越大。对全局空间特征进行基于多个时域尺度的特征提取，有利于基于时间维度实现针对时序行为的多个感受野，可以有效改善行为识别精度，能够有效提升针对时序行为的识别能力。
根据全局时空特征和由对象检测结果指示的待检测对象的位置特征，确定与待检测对象关联的局域时空特征，以作为目标图像特征。示例性地，可以基于与至少一帧图像关联的全局时空特征，根据由对象检测结果指示的针对待检测对象的包围框坐标，确定与待检测对象关联的局域时空特征。包围框例如可以是针对待检测对象的最小外接矩形，包围框坐标例如可以包括基于对应图像的横、纵像素坐标值。
将与待检测对象关联的局域时空特征作为目标图像特征，基于目标图像特征，进行针对至少一帧图像的对象行为识别，得到行为识别结果。一种示例方式，可以根据与待检测对象关联的局域时空特征，筛选包含行为特征的目标时空特征。基于目标时空特征，确定待检测对象的行为属于预设行为类别的置信度，得到行为识别结果。
基于包含行为特征的目标时空特征，确定待检测对象的行为属于预设行为类别的置信度，可以有效提升行为识别精度，以及有效改善行为识别效率，可以有效保证对象行为识别的稳定性和鲁棒性。
例如，可以将与待检测对象关联的局域时空特征，输入神经网络模型中的第一全连接层，第一全连接层用于检测局域时空特征中是否包含行为特征。将包含行为特征的局域时空特征作为目标时空特征，根据目标时空特征，确定待检测对象的行为属于预设行为类别的置信度，得到行为识别结果。
此外，还可以将目标时空特征输入神经网络模型中的第二全连接层，第二全连接层用于对目标时空特征进行边界回归，得到目标时空特征的时间边界。根据目标时空特征的时间边界，可以确定待检测对象的预设行为发生的开始帧和结束帧，即确定待检测对象的预设行为发生的时间段。
另一示例方式，根据与待检测对象关联的局域时空特征，确定局域时空特征与预设特征空间范围的行为特征中心之间的距离。根据局域时空特征与行为特征中心之间的距离，确定针对待检测对象的行为识别结果。行为特征中心用于表征特征空间范围内的行为特征。
基于局域时空特征和预设特征空间范围进行对象行为识别，能够有效改善对象行为识别的识别效率，有利于降低对象行为识别的成本消耗。
预设行为类别的行为特征所分布的空间构成特征空间，特征空间范围内的行为特性具有同构性。确定局域时空特征与特征空间范围的行为特征中心之间的距离，在距离小于预设阈值的情况下，确定待检测对象的行为类别为特征空间所表征的行为类别。
例如，根据与待检测对象关联的局域时空特征，确定局域时空特征与预设异常行为的特征空间范围之间的距离，例如确定局域时空特征与特征空间范围的行为特征中心之间的距离。在距离小于预设阈值的情况下，确定待检测对象的行为类别为预设异常行为。
通过对图像序列进行特征提取，得到与至少一帧图像关联的全局时空特征，根据全局时空特征和由对象检测结果指示的待检测对象的位置特征，确定与待检测对象关联的局域时空特征，以作为用于对象行为识别的目标图像特征。能够有效改善行为识别精度，以及有效提升行为识别效率，可以有效保证针对时序行为的识别能力，有利于为异常行为识别和对象追踪提供可信的数据支持。
图4示意性示出了根据本公开又一实施例的行为识别过程的示意图。
如图4所示，行为识别过程例如可以包括操作S410～S440。
在操作S410，对图像序列401进行特征提取，得到与图像序列401中的至少一帧图像关联的全局空间特征402。
在操作S420，根据全局空间特征402和由对象检测结果403指示的待检测对象的位置特征，确定与待检测对象关联的局域空间特征404。
在操作S430，对局域空间特征404进行基于预设时域尺度的特征提取，得到与待检测对象关联的局域时空特征405，以作为目标图像特征。
在操作S440，基于目标图像特征，进行针对至少一帧图像的对象行为识别，得到行为识别结果406。
下面示例说明本实施例的模型训练方法的各操作的示例流程。
示例性地，可以利用神经网络模型的多区域空间注意力模块，对图像序列中的至少一帧图像进行特征提取，得到与至少一帧图像中的多个对象关联的全局空间特征。根据全局空间特征和由对象检测结果指示的待检测对象的位置特征，确定与待检测对象关联的局域空间特征。
可以利用神经网络模型的时域注意力模块，对与待检测对象关联的局域空间特征进行聚合处理，得到与待检测对象关联的局域时空特征。根据局域时空特征，进行针对至少一帧图像的对象行为识别，得到与待检测对象关联的行为识别结果。待检测对象可以是单个对象，也可以是多个对象，本实施例对此不进行限定。
例如，可以利用针对多个行为类别的SVM分类器，确定待检测对象的行为属于预设行为类别的置信度，得到行为识别结果。或者利用Softmax分类器，输出待检测对象的行为属于各行为类别的归一化概率，得到行为识别结果。
可以利用神经网络模型的行为识别网络，根据与待检测对象关联的局域时空特征进行对象行为识别，得到行为识别结果。行为识别网络可以设置多个全连接层，多个全连接层中的最后一个全连接层可以用作分类器。分类器可以包括M+1个节点，M为大于1的整数，M+1个节点用于识别M个行为类别和1个背景类别。将与待检测对象关联的局域时空特征作为行为识别网络的输入数据，行为识别网络输出各节点的置信度，并将置信度最高的节点所对应的行为类别作为待检测对象的行为类别。
示例性地，行为识别网络可以设置有插值层，插值层用于将局域时空特征的时间维度调整为预设长度。将时间维度调整后的局域时空特征输入全连接层进行行为识别，得到针对待检测对象的行为识别结果。
插值层可以有效保证全连接层的输入数据具有相同的时间维度尺寸，可以有效改善全连接层的分类精度，以及有效提升对象行为识别的准确度。可以采用线性差值算法或双线性差值算法对局域时空特征的时间维度进行调整，时间维度例如可由局域时空特征对应的图像帧数衡量。
一种示例方式，可以根据行为识别结果和/或与待检测对象关联的局域时空特征，对待检测对象进行追踪，得到对象追踪结果。行为识别结果可以为异常行为识别和目标对象追踪提供可信的数据支持。
通过对图像序列进行特征提取，得到与至少一帧图像关联的全局空间特征，根据全局空间特征和由对象检测结果指示的待检测对象的位置特征，确定与待检测对象关联的局域时空特征，以作为用于对象行为识别的目标图像特征。能够有效提升行为识别效率，以及有效保证行为识别结果的准确性，可以有效降低对象行为识别的误检率和漏检率，可以有效保证针对时序行为的识别能力。
图5示意性示出了根据本公开一实施例的深度学习模型的训练方法的流程图。
如图5所示，本公开实施例的深度学习模型的训练方法500例如可以包括操作S510～操作S540。
在操作S510，利用待训练的深度学习模型，对样本图像序列进行特征提取，得到与样本图像序列中的至少一帧样本图像关联的初始样本特征。
在操作S520，根据初始样本特征和针对至少一帧样本图像的对象检测结果，确定与至少一帧图像关联的目标样本特征。
在操作S530，基于目标样本特征，进行针对至少一帧样本图像的对象行为识别，得到行为识别结果。
在操作S540，根据行为识别结果和预设行为标签，对深度学习模型的模型参数进行调整，得到经训练的深度学习模型。
下面示例说明本实施例的深度学习模型的训练方法的各操作示例流程。
示例性地，样本视频可以由一系列连续的样本图像帧组成。可以基于预设抽帧频率，或者利用关键帧技术，对样本视频进行按帧提取，得到样本图像序列，样本图像序列可以包括具有时序关系的多帧样本图像。样本视频例如可以包括监控视频、自制视频、视频截取片段等内容。
利用待训练的深度学习模型，对样本图像序列进行特征提取，得到与样本图像序列中的至少一帧样本图像关联的初始样本特征。一种示例方式，对样本图像序列进行特征提取，得到与至少一帧样本图像关联的全局时空特征，以作为初始样本特征。根据全局时空特征和由对象检测结果指示的待检测对象的位置特征，确定与待检测对象关联的局域时空特征，以作为目标样本特征。
例如，可以对样本图像序列进行空间特征提取，得到与至少一帧样本图像关联的全局空间特征。对全局空间特征进行基于预设时域尺度的特征提取，得到与至少一帧样本图像关联的全局时空特征。
另一示例方式，对样本图像序列进行特征提取，得到与至少一帧样本图像关联的全局空间特征，以作为初始图像特征。根据全局空间特征和由对象检测结果指示的待检测对象的位置特征，确定与待检测对象关联的局域空间特征。对局域空间特征进行基于预设时域尺度的特征提取，得到与待检测对象关联的局域时空特征，以作为目标图像特征。
基于目标样本特征，进行针对至少一帧样本图像的对象行为识别，得到行为识别结果。示例性地，根据与待检测对象关联的局域时空特征，进行针对至少一帧样本图像的对象行为识别，得到针对待检测对象的行为识别结果。根据行为识别结果和预设行为标签，确定深度学习模型的分类损失函数值。根据分类损失函数值，调整深度学习模型的模型参数，得到经训练的深度学习模型，以及基于经训练的深度学习模型，得到行为识别模型。
深度学习模型例如可以是Faster R-CNN(Region Convolutional NeuralNetworks，区域卷积神经网络模型)、PP-TSM模型(视频理解模型)、MoViNet(Mobile VideoNetworks，移动视频网络模型)等模型。
示例性地，深度学习模型可以包括ResNet-FPN(Residual Network-FeaturePyramid Network，残差网络-特征金字塔网络)主干网络、RPN(Region ProposalNetworks，区域生成网络)、RoIAlign(Region of Interest Alignment，感兴趣区域对齐)结构、Head结构。
ResNet-FPN主干网络用于对样本图像序列进行特征提取，得到与样本图像序列中的至少一帧样本图像关联的初始样本特征。将初始样本特征作为RPN的输入数据，由RPN基于初始样本特征生成对象锚框，以及确定对象锚框基于对应图像的坐标信息。
将针对至少一帧样本图像的对象检测结果和由RPN输出的锚框信息作为RoIAlign结构的输入数据，由RoIAlign结构确定与待检测对象关联的目标样本特征，以便将由RPN生成的对象锚框映射为对应的目标样本特征。将目标样本特征作为Head结构的输入数据，由Head结构基于目标样本特征进行行为识别，得到行为识别结果。
根据初始样本特征和针对至少一帧样本图像的对象检测结果，确定与至少一帧图像关联的目标样本特征，以及基于目标样本特征，进行对象行为识别，得到用于指导模型参数调整的行为识别结果。将针对至少一帧样本图像的对象检测结果作为指导信息，指导确定用于行为识别的目标样本特征，可以有效避免行为识别过程中的过拟合或欠拟合问题，可以有效保证经训练的深度学习模型的准确性和鲁棒性。可以有效提升模型训练效率，以及有效改善模型训练效果，经训练的深度学习模型可以很好地适用于多种复杂应用场景，有利于为异常行为识别和对象追踪提供可信的数据支持。
图6示意性示出了根据本公开一实施例的行为识别装置的框图。
如图6所示，本公开实施例的行为识别装置600例如包括第一处理模块610、第二处理模块620和第三处理模块630。
第一处理模块610，用于对图像序列进行特征提取，得到与图像序列中的至少一帧图像关联的初始图像特征；第二处理模块620，用于根据初始图像特征和针对至少一帧图像的对象检测结果，确定与至少一帧图像关联的目标图像特征；以及第三处理模块630，用于基于目标图像特征，进行针对至少一帧图像的对象行为识别，得到行为识别结果。
根据初始图像特征和针对至少一帧图像的对象检测结果，确定与至少一帧图像关联的目标图像特征，以及基于目标图像特征，进行针对至少一帧图像的对象行为识别，得到行为识别结果。将对象检测结果作为指导信息，指导确定与至少一帧图像关联的目标图像特征，基于目标图像特征进行对象行为识别，可以有效提升对象行为识别效率，以及有效保证行为识别结果的准确性。
根据本公开的实施例，第一处理模块包括：第一处理子模块，用于对图像序列进行特征提取，得到与至少一帧图像关联的全局时空特征，以作为初始图像特征；以及第二处理模块包括：第二处理子模块，用于根据全局时空特征和由对象检测结果指示的待检测对象的位置特征，确定与待检测对象关联的局域时空特征，以作为目标图像特征。
根据本公开的实施例，第一处理子模块包括：第一处理单元，用于对图像序列进行空间特征提取，得到与至少一帧图像关联的全局空间特征；以及
第二处理单元，用于对全局空间特征进行基于预设时域尺度的特征提取，得到与至少一帧图像关联的全局时空特征。
根据本公开的实施例，第一处理模块包括：第三处理子模块，用于对图像序列进行特征提取，得到与至少一帧图像关联的全局空间特征，以作为初始图像特征；以及第二处理模块包括：第四处理子模块，用于根据全局空间特征和由对象检测结果指示的待检测对象的位置特征，确定与待检测对象关联的局域空间特征；第五处理子模块，用于对局域空间特征进行基于预设时域尺度的特征提取，得到与待检测对象关联的局域时空特征，以作为目标图像特征。
根据本公开的实施例，第三处理模块包括：第六处理子模块，用于根据与待检测对象关联的局域时空特征，筛选包含行为特征的目标时空特征；以及第七处理子模块，用于基于目标时空特征，确定待检测对象的行为属于预设行为类别的置信度，得到行为识别结果。
根据本公开的实施例，第三处理模块包括：第八处理子模块，用于根据与待检测对象关联的局域时空特征，确定局域时空特征与预设特征空间范围的行为特征中心之间的距离；以及第九处理子模块，用于根据局域时空特征与行为特征中心之间的距离，确定针对待检测对象的行为识别结果，行为特征中心用于表征特征空间范围内的行为特征。
根据本公开的实施例，本装置还包括：第四处理模块，用于根据行为识别结果和/或与待检测对象关联的局域时空特征，对待检测对象进行追踪，得到对象追踪结果。
图7示意性示出了根据本公开一实施例的深度学习模型的训练装置的框图。
如图7所示，本公开实施例的深度学习模型的训练装置700例如包括第五处理模块710、第六处理模块720、第七处理模块730和第八处理模块740。
第五处理模块710，用于利用待训练的深度学习模型，对样本图像序列进行特征提取，得到与样本图像序列中的至少一帧样本图像关联的初始样本特征；第六处理模块720，用于根据初始样本特征和针对至少一帧样本图像的对象检测结果，确定与至少一帧图像关联的目标样本特征；第七处理模块730，用于基于目标样本特征，进行针对至少一帧样本图像的对象行为识别，得到行为识别结果；以及第八处理模块740，用于根据行为识别结果和预设行为标签，对深度学习模型的模型参数进行调整，得到经训练的深度学习模型。
根据初始样本特征和针对至少一帧样本图像的对象检测结果，确定与至少一帧图像关联的目标样本特征，以及基于目标样本特征，进行对象行为识别，得到用于指导模型参数调整的行为识别结果。将针对至少一帧样本图像的对象检测结果作为指导信息，指导确定用于行为识别的目标样本特征，可以有效避免行为识别过程中的过拟合或欠拟合问题，可以有效保证经训练的深度学习模型的准确性和鲁棒性。可以有效提升模型训练效率，以及有效改善模型训练效果，经训练的深度学习模型可以很好地适用于多种复杂应用场景，有利于为异常行为识别和对象追踪提供可信的数据支持。
根据本公开的实施例，第五处理模块包括：第十处理子模块，用于对样本图像序列进行特征提取，得到与至少一帧样本图像关联的全局时空特征，以作为初始样本特征；以及第六处理模块包括：第十一处理子模块，用于根据全局时空特征和由对象检测结果指示的待检测对象的位置特征，确定与待检测对象关联的局域时空特征，以作为目标样本特征。
根据本公开的实施例，第十处理子模块包括：第三处理单元，用于对样本图像序列进行空间特征提取，得到与至少一帧样本图像关联的全局空间特征；以及第四处理单元，用于对全局空间特征进行基于预设时域尺度的特征提取，得到与至少一帧样本图像关联的全局时空特征。
根据本公开的实施例，第五处理模块包括：第十二处理子模块，用于对样本图像序列进行特征提取，得到与至少一帧样本图像关联的全局空间特征，以作为初始图像特征；以及第六处理模块包括：第十三处理子模块，用于根据全局空间特征和由对象检测结果指示的待检测对象的位置特征，确定与待检测对象关联的局域空间特征；第十四处理子模块，用于对局域空间特征进行基于预设时域尺度的特征提取，得到与待检测对象关联的局域时空特征，以作为目标图像特征。
应该注意的是，本公开的技术方案中，所涉及的信息收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示意性示出了根据本公开实施例的用于行为识别的电子设备的框图。
图8示出了可以用来实施本公开实施例的示例电子设备800的示意性框图。电子设备800旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行深度学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如对象描述生成方法。例如，在一些实施例中，对象描述生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的行为识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为实现行为识别方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程模型训练装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与对象的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向对象显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，对象可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与对象的交互；例如，提供给对象的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自对象的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形对象界面或者网络浏览器的对象计算机，对象可以通过该图形对象界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (25)

1.一种行为识别方法，包括：
对图像序列进行特征提取，得到与所述图像序列中的至少一帧图像关联的初始图像特征；
根据所述初始图像特征和针对所述至少一帧图像的对象检测结果，确定与所述至少一帧图像关联的目标图像特征；以及
基于所述目标图像特征，进行针对所述至少一帧图像的对象行为识别，得到行为识别结果。
2.根据权利要求1所述的方法，其中，
所述对图像序列进行特征提取，得到与所述图像序列中的至少一帧图像关联的初始图像特征，包括：
对所述图像序列进行特征提取，得到与所述至少一帧图像关联的全局时空特征，以作为所述初始图像特征；以及
所述根据所述初始图像特征和针对所述至少一帧图像的对象检测结果，确定与所述至少一帧图像关联的目标图像特征，包括：
根据所述全局时空特征和由所述对象检测结果指示的待检测对象的位置特征，确定与所述待检测对象关联的局域时空特征，以作为所述目标图像特征。
3.根据权利要求2所述的方法，其中，所述对所述图像序列进行特征提取，得到与所述至少一帧图像关联的全局时空特征，包括：
对所述图像序列进行空间特征提取，得到与所述至少一帧图像关联的全局空间特征；以及
对所述全局空间特征进行基于预设时域尺度的特征提取，得到与所述至少一帧图像关联的全局时空特征。
4.根据权利要求1所述的方法，其中，
所述对图像序列进行特征提取，得到与所述图像序列中的至少一帧图像关联的初始图像特征，包括：
对所述图像序列进行特征提取，得到与所述至少一帧图像关联的全局空间特征，以作为所述初始图像特征；以及
所述根据所述初始图像特征和针对所述至少一帧图像的对象检测结果，确定与所述至少一帧图像关联的目标图像特征，包括：
根据所述全局空间特征和由所述对象检测结果指示的待检测对象的位置特征，确定与所述待检测对象关联的局域空间特征；
对所述局域空间特征进行基于预设时域尺度的特征提取，得到与所述待检测对象关联的局域时空特征，以作为所述目标图像特征。
5.根据权利要求2至4中任一项所述的方法，其中，所述基于所述目标图像特征，进行针对所述至少一帧图像的对象行为识别，得到行为识别结果，包括：
根据与所述待检测对象关联的局域时空特征，筛选包含行为特征的目标时空特征；以及
基于所述目标时空特征，确定所述待检测对象的行为属于预设行为类别的置信度，得到所述行为识别结果。
6.根据权利要求2至4中任一项所述的方法，其中，所述基于所述目标图像特征，进行针对所述至少一帧图像的对象行为识别，得到行为识别结果，包括：
根据与所述待检测对象关联的局域时空特征，确定所述局域时空特征与预设特征空间范围的行为特征中心之间的距离；以及
根据所述局域时空特征与所述行为特征中心之间的距离，确定针对所述待检测对象的行为识别结果，
其中，所述行为特征中心用于表征所述特征空间范围内的行为特征。
7.根据权利要求2至6中任一项所述的方法，还包括：
根据所述行为识别结果和/或与所述待检测对象关联的局域时空特征，对所述待检测对象进行追踪，得到对象追踪结果。
8.一种深度学习模型的训练方法，包括：
利用待训练的深度学习模型，对样本图像序列进行特征提取，得到与所述样本图像序列中的至少一帧样本图像关联的初始样本特征；
根据所述初始样本特征和针对所述至少一帧样本图像的对象检测结果，确定与所述至少一帧图像关联的目标样本特征；
基于所述目标样本特征，进行针对所述至少一帧样本图像的对象行为识别，得到行为识别结果；以及
根据所述行为识别结果和预设行为标签，对所述深度学习模型的模型参数进行调整，得到经训练的深度学习模型。
9.根据权利要求8所述的方法，其中，
所述对样本图像序列进行特征提取，得到与样本图像序列中的至少一帧样本图像关联的初始样本特征，包括：
对所述样本图像序列进行特征提取，得到与所述至少一帧样本图像关联的全局时空特征，以作为所述初始样本特征；以及
所述根据所述初始样本特征和针对所述至少一帧样本图像的对象检测结果，确定与所述至少一帧图像关联的目标样本特征，包括：
根据所述全局时空特征和由所述对象检测结果指示的待检测对象的位置特征，确定与所述待检测对象关联的局域时空特征，以作为所述目标样本特征。
10.根据权利要求9所述的方法，其中，所述对所述样本图像序列进行特征提取，得到与所述至少一帧样本图像关联的全局时空特征，包括：
对所述样本图像序列进行空间特征提取，得到与所述至少一帧样本图像关联的全局空间特征；以及
对所述全局空间特征进行基于预设时域尺度的特征提取，得到与所述至少一帧样本图像关联的全局时空特征。
11.根据权利要求8所述的方法，其中，
所述对样本图像序列进行特征提取，得到与样本图像序列中的至少一帧样本图像关联的初始样本特征，包括：
对所述样本图像序列进行特征提取，得到与所述至少一帧样本图像关联的全局空间特征，以作为所述初始图像特征；以及
所述根据所述初始样本特征和针对所述至少一帧样本图像的对象检测结果，确定与所述至少一帧图像关联的目标样本特征，包括：
根据所述全局空间特征和由所述对象检测结果指示的待检测对象的位置特征，确定与所述待检测对象关联的局域空间特征；
对所述局域空间特征进行基于预设时域尺度的特征提取，得到与所述待检测对象关联的局域时空特征，以作为所述目标图像特征。
12.一种行为识别装置，包括：
第一处理模块，用于对图像序列进行特征提取，得到与所述图像序列中的至少一帧图像关联的初始图像特征；
第二处理模块，用于根据所述初始图像特征和针对所述至少一帧图像的对象检测结果，确定与所述至少一帧图像关联的目标图像特征；以及
第三处理模块，用于基于所述目标图像特征，进行针对所述至少一帧图像的对象行为识别，得到行为识别结果。
13.根据权利要求12所述的装置，其中，所述第一处理模块包括：
第一处理子模块，用于对所述图像序列进行特征提取，得到与所述至少一帧图像关联的全局时空特征，以作为所述初始图像特征；以及
所述第二处理模块包括：
第二处理子模块，用于根据所述全局时空特征和由所述对象检测结果指示的待检测对象的位置特征，确定与所述待检测对象关联的局域时空特征，以作为所述目标图像特征。
14.根据权利要求13所述的装置，其中，所述第一处理子模块包括：
第一处理单元，用于对所述图像序列进行空间特征提取，得到与所述至少一帧图像关联的全局空间特征；以及
第二处理单元，用于对所述全局空间特征进行基于预设时域尺度的特征提取，得到与所述至少一帧图像关联的全局时空特征。
15.根据权利要求12所述的装置，其中，所述第一处理模块包括：
第三处理子模块，用于对所述图像序列进行特征提取，得到与所述至少一帧图像关联的全局空间特征，以作为所述初始图像特征；以及
所述第二处理模块包括：
第四处理子模块，用于根据所述全局空间特征和由所述对象检测结果指示的待检测对象的位置特征，确定与所述待检测对象关联的局域空间特征；
第五处理子模块，用于对所述局域空间特征进行基于预设时域尺度的特征提取，得到与所述待检测对象关联的局域时空特征，以作为所述目标图像特征。
16.根据权利要求13至15中任一项所述的装置，其中，所述第三处理模块包括：
第六处理子模块，用于根据与所述待检测对象关联的局域时空特征，筛选包含行为特征的目标时空特征；以及
第七处理子模块，用于基于所述目标时空特征，确定所述待检测对象的行为属于预设行为类别的置信度，得到所述行为识别结果。
17.根据权利要求13至15中任一项所述的装置，其中，所述第三处理模块包括：
第八处理子模块，用于根据与所述待检测对象关联的局域时空特征，确定所述局域时空特征与预设特征空间范围的行为特征中心之间的距离；以及
第九处理子模块，用于根据所述局域时空特征与所述行为特征中心之间的距离，确定针对所述待检测对象的行为识别结果，
其中，所述行为特征中心用于表征所述特征空间范围内的行为特征。
18.根据权利要求13至17中任一项所述的装置，还包括：第四处理模块，用于根据所述行为识别结果和/或与所述待检测对象关联的局域时空特征，对所述待检测对象进行追踪，得到对象追踪结果。
19.一种深度学习模型的训练装置，包括：
第五处理模块，用于利用待训练的深度学习模型，对样本图像序列进行特征提取，得到与所述样本图像序列中的至少一帧样本图像关联的初始样本特征；
第六处理模块，用于根据所述初始样本特征和针对所述至少一帧样本图像的对象检测结果，确定与所述至少一帧图像关联的目标样本特征；
第七处理模块，用于基于所述目标样本特征，进行针对所述至少一帧样本图像的对象行为识别，得到行为识别结果；以及
第八处理模块，用于根据所述行为识别结果和预设行为标签，对所述深度学习模型的模型参数进行调整，得到经训练的深度学习模型。
20.根据权利要求19所述的装置，其中，所述第五处理模块包括：
第十处理子模块，用于对所述样本图像序列进行特征提取，得到与所述至少一帧样本图像关联的全局时空特征，以作为所述初始样本特征；以及
所述第六处理模块包括：
第十一处理子模块，用于根据所述全局时空特征和由所述对象检测结果指示的待检测对象的位置特征，确定与所述待检测对象关联的局域时空特征，以作为所述目标样本特征。
21.根据权利要求20所述的装置，其中，所述第十处理子模块包括：
第三处理单元，用于对所述样本图像序列进行空间特征提取，得到与所述至少一帧样本图像关联的全局空间特征；以及
第四处理单元，用于对所述全局空间特征进行基于预设时域尺度的特征提取，得到与所述至少一帧样本图像关联的全局时空特征。
22.根据权利要求19所述的装置，其中，所述第五处理模块包括：
第十二处理子模块，用于对所述样本图像序列进行特征提取，得到与所述至少一帧样本图像关联的全局空间特征，以作为所述初始图像特征；以及
所述第六处理模块包括：
第十三处理子模块，用于根据所述全局空间特征和由所述对象检测结果指示的待检测对象的位置特征，确定与所述待检测对象关联的局域空间特征；
第十四处理子模块，用于对所述局域空间特征进行基于预设时域尺度的特征提取，得到与所述待检测对象关联的局域时空特征，以作为所述目标图像特征。
23.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～7中任一项所述的方法或者权利要求8～11中任一项所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1～7中任一项所述的方法或者权利要求8～11中任一项所述的方法。
25.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1～7中任一项所述的方法或者根据权利要求8～11中任一项所述的方法。
CN202210352947.3A 2022-04-01 2022-04-01 行为识别方法、深度学习模型的训练方法及装置 Active CN114663980B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210352947.3A CN114663980B (zh) 2022-04-01 2022-04-01 行为识别方法、深度学习模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210352947.3A CN114663980B (zh) 2022-04-01 2022-04-01 行为识别方法、深度学习模型的训练方法及装置

Publications (2)

Publication Number Publication Date
CN114663980A true CN114663980A (zh) 2022-06-24
CN114663980B CN114663980B (zh) 2023-04-18

Family

ID=82036079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210352947.3A Active CN114663980B (zh) 2022-04-01 2022-04-01 行为识别方法、深度学习模型的训练方法及装置

Country Status (1)

Country Link
CN (1) CN114663980B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114724254A (zh) * 2022-05-16 2022-07-08 北京百度网讯科技有限公司 确定动作类别的方法、装置、设备、存储介质及程序产品

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法
US20180254064A1 (en) * 2017-03-02 2018-09-06 Ricoh Company, Ltd. Decomposition of a Video Stream into Salient Fragments
US20190102908A1 (en) * 2017-10-04 2019-04-04 Nvidia Corporation Iterative spatio-temporal action detection in video
CN109697434A (zh) * 2019-01-07 2019-04-30 腾讯科技（深圳）有限公司 一种行为识别方法、装置和存储介质
CN109886358A (zh) * 2019-03-21 2019-06-14 上海理工大学 基于多时空信息融合卷积神经网络的人体行为识别方法
CN110135369A (zh) * 2019-05-20 2019-08-16 威创集团股份有限公司 一种行为识别方法、系统、设备及计算机可读存储介质
US20190318171A1 (en) * 2018-03-14 2019-10-17 Comcast Cable Communications, Llc Methods and systems for determining object activity within a region of interest
CN110765854A (zh) * 2019-09-12 2020-02-07 昆明理工大学 一种视频动作识别方法
US20200074165A1 (en) * 2017-03-10 2020-03-05 ThirdEye Labs Limited Image analysis using neural networks for pose and action identification
CN112084984A (zh) * 2020-09-15 2020-12-15 山东鲁能软件技术有限公司 一种基于改进的Mask RCNN的扶梯动作检测方法
CN112686114A (zh) * 2020-12-23 2021-04-20 杭州海康威视数字技术股份有限公司 一种行为检测方法、装置及设备
CN113505733A (zh) * 2021-07-26 2021-10-15 浙江大华技术股份有限公司 行为识别方法、装置、存储介质及电子装置
CN113657269A (zh) * 2021-08-13 2021-11-16 北京百度网讯科技有限公司 人脸识别模型的训练方法、装置及计算机程序产品
CN113869105A (zh) * 2021-08-09 2021-12-31 华北电力大学（保定） 一种人体行为识别方法
CN113902696A (zh) * 2021-09-29 2022-01-07 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和介质
CN113989720A (zh) * 2021-10-29 2022-01-28 北京百度网讯科技有限公司 目标检测方法、训练方法、装置、电子设备及存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180254064A1 (en) * 2017-03-02 2018-09-06 Ricoh Company, Ltd. Decomposition of a Video Stream into Salient Fragments
US20200074165A1 (en) * 2017-03-10 2020-03-05 ThirdEye Labs Limited Image analysis using neural networks for pose and action identification
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法
US20190102908A1 (en) * 2017-10-04 2019-04-04 Nvidia Corporation Iterative spatio-temporal action detection in video
US20190318171A1 (en) * 2018-03-14 2019-10-17 Comcast Cable Communications, Llc Methods and systems for determining object activity within a region of interest
CN109697434A (zh) * 2019-01-07 2019-04-30 腾讯科技（深圳）有限公司 一种行为识别方法、装置和存储介质
CN109886358A (zh) * 2019-03-21 2019-06-14 上海理工大学 基于多时空信息融合卷积神经网络的人体行为识别方法
CN110135369A (zh) * 2019-05-20 2019-08-16 威创集团股份有限公司 一种行为识别方法、系统、设备及计算机可读存储介质
CN110765854A (zh) * 2019-09-12 2020-02-07 昆明理工大学 一种视频动作识别方法
CN112084984A (zh) * 2020-09-15 2020-12-15 山东鲁能软件技术有限公司 一种基于改进的Mask RCNN的扶梯动作检测方法
CN112686114A (zh) * 2020-12-23 2021-04-20 杭州海康威视数字技术股份有限公司 一种行为检测方法、装置及设备
CN113505733A (zh) * 2021-07-26 2021-10-15 浙江大华技术股份有限公司 行为识别方法、装置、存储介质及电子装置
CN113869105A (zh) * 2021-08-09 2021-12-31 华北电力大学（保定） 一种人体行为识别方法
CN113657269A (zh) * 2021-08-13 2021-11-16 北京百度网讯科技有限公司 人脸识别模型的训练方法、装置及计算机程序产品
CN113902696A (zh) * 2021-09-29 2022-01-07 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和介质
CN113989720A (zh) * 2021-10-29 2022-01-28 北京百度网讯科技有限公司 目标检测方法、训练方法、装置、电子设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DONGLIANG HE ET AL.: "StNet: Local and Global Spatial-Temporal Modeling for Action Recognition" *
K. HE ET AL.: "Mask R-CNN", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
XIAODAN LIANG ET AL.: "Learning latent spatio-temporal compositional model for human action recognition" *
小花小花: "Mask R-CNN超详细介绍", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/462521226》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114724254A (zh) * 2022-05-16 2022-07-08 北京百度网讯科技有限公司 确定动作类别的方法、装置、设备、存储介质及程序产品
CN114724254B (zh) * 2022-05-16 2022-12-30 北京百度网讯科技有限公司 确定动作类别的方法、装置、设备、存储介质

Also Published As

Publication number Publication date
CN114663980B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN113657390B (zh) 文本检测模型的训练方法和检测文本方法、装置和设备
CN113971751A (zh) 训练特征提取模型、检测相似图像的方法和装置
CN114494784A (zh) 深度学习模型的训练方法、图像处理方法和对象识别方法
CN113591566A (zh) 图像识别模型的训练方法、装置、电子设备和存储介质
CN112528858A (zh) 人体姿态估计模型的训练方法、装置、设备、介质及产品
US20220172376A1 (en) Target Tracking Method and Device, and Electronic Apparatus
CN113326773A (zh) 识别模型训练方法、识别方法、装置、设备及存储介质
CN115861400B (zh) 目标对象检测方法、训练方法、装置以及电子设备
CN112580666A (zh) 图像特征的提取方法、训练方法、装置、电子设备及介质
CN114581794B (zh) 地理数字孪生信息获取方法、装置、电子设备及存储介质
CN115358392A (zh) 深度学习网络的训练方法、文本检测方法及装置
CN113205041A (zh) 结构化信息提取方法、装置、设备和存储介质
CN114663980B (zh) 行为识别方法、深度学习模型的训练方法及装置
CN116611491A (zh) 目标检测模型的训练方法、装置、电子设备和存储介质
CN114120454A (zh) 活体检测模型的训练方法、装置、电子设备及存储介质
CN113378837A (zh) 车牌遮挡识别方法、装置、电子设备和存储介质
CN114973333B (zh) 人物交互检测方法、装置、设备以及存储介质
CN113361519B (zh) 目标处理方法、目标处理模型的训练方法及其装置
CN113920273B (zh) 图像处理方法、装置、电子设备和存储介质
CN114093006A (zh) 活体人脸检测模型的训练方法、装置、设备以及存储介质
CN114549584A (zh) 信息处理的方法、装置、电子设备及存储介质
CN113903071A (zh) 人脸识别方法、装置、电子设备和存储介质
CN114220163A (zh) 人体姿态估计方法、装置、电子设备及存储介质
CN113989720A (zh) 目标检测方法、训练方法、装置、电子设备及存储介质
CN113936158A (zh) 一种标签匹配方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant