CN113837143A - 一种动作识别方法 - Google Patents

一种动作识别方法 Download PDF

Info

Publication number
CN113837143A
CN113837143A CN202111224079.2A CN202111224079A CN113837143A CN 113837143 A CN113837143 A CN 113837143A CN 202111224079 A CN202111224079 A CN 202111224079A CN 113837143 A CN113837143 A CN 113837143A
Authority
CN
China
Prior art keywords
array
space
frame
track
time diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111224079.2A
Other languages
English (en)
Other versions
CN113837143B (zh
Inventor
张元本
陈名国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Weilin Software Co ltd
Original Assignee
Guangzhou Weilin Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Weilin Software Co ltd filed Critical Guangzhou Weilin Software Co ltd
Priority to CN202111224079.2A priority Critical patent/CN113837143B/zh
Publication of CN113837143A publication Critical patent/CN113837143A/zh
Application granted granted Critical
Publication of CN113837143B publication Critical patent/CN113837143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种动作识别方法，包括：步骤1）：通过设备获取图片序列集；步骤2）：构建深度学习目标检测网络，将图片序列集输入到检测网络中，获得检测框集；步骤3）：将检测框集转化为时空图；步骤4）：获取图片、设备ID号、图像时间戳，并结合时空图，进行轨迹生成和轨迹数组对比；步骤5）：通过时空图和轨迹数组的信息对轨迹数组进行更新，确认动作；步骤6）：根据时间戳对轨迹数组进行接力更新，让轨迹数组保持动态性；该动作识别方法智能、高效、准确,可嵌入到任何场景和神经网络中，具有高度的模块化。

Description

一种动作识别方法
技术领域
本发明涉及一种动作识别方法。
背景技术
视频的理解与识别是计算机视觉的基础任务之一，相比图像来说，视频内容和背景更加复杂多变，不同的动作类别之间具有相似性，而相同的类别在不同环境下又有着不同的特点。此外，由于拍摄造成的遮挡、抖动、视角变化等也为动作识别进一步带来了困难。在实际应用中，精确的动作识别有助于舆情监控，广告投放，以及很多其他视频理解相关的任务。。而随着深度神经网络技术在计算机视觉各个领域的飞速发展，使用人工智能进行基于视频的动作识别任务已然十分普遍。具体的应用方式大体上分为以下三种：
第一种是基于人工特征的视频动作识别。采用传统的机器学习算法，比如梯度直方图、时空兴趣点检测、光流直方图等提取图像和时序的特征表示，编码后进行分类。然而，当面临大规模数据集时，这些特征缺乏一定的灵活性和可扩展性。
第二种是使用三维卷积层进行基于视频的动作识别。三维卷积神经网络可以共同学习时间和空间特征，将一般的二维神经网络，如VGG、Inception、ResNet等扩展为三维卷积层，从而去学习视频帧序列的时空特征。但使用三维卷积神经网络会导致计算量大、部署困难以及容易过拟合的问题，总体来说，这种方式的特点是精度高但时间复杂度高。
第三种是基于双流的神经网络和时序结构集合。双流二维卷积采用分别对时间和空间建模的动作识别，来提取时空特征，然后通过平均池化或时序结构如LSTM、RNN把各种特征加权融合或进行注意力机制的加成，从而得到最终的结果，这个方式的特定是时间复杂度低，但精度不高。
目前采用的动作识别方法都是单一的，应用性不高，现实工业和应用中需求不仅仅是要求动作识别，而且还要进行目标检测等一系列的需求，时间复杂度要求是越小越好，不可能因为增加一个动作识别的要求，而去添加一套网络，加上目前大多数方法没能充分利用时序前后帧之间的运动关系，从而导致现有大多数识别方法不同时具备良好的准确性、较低的时效性、较广的鲁棒性。
发明内容
针对现有技术中的不足，本发明的目的是提供一种智能、高效、准确,可嵌入到任何场景和神经网络中，具有高度的模块化的动作识别方法。
本发明解决其技术问题所采用的技术方案是：
一种动作识别方法，包括：
步骤1）：通过设备获取图片序列集；
步骤2）：构建深度学习目标检测网络，将图片序列集输入到检测网络中，获得检测框集；
步骤3）：将检测框集转化为时空图；
步骤4）：获取图片、设备ID号、图像时间戳，并结合时空图，进行轨迹生成和轨迹数组对比；
步骤5）：通过时空图和轨迹数组的信息对轨迹数组进行更新，确认动作；
步骤6）：根据时间戳对轨迹数组进行接力更新，让轨迹数组保持动态性。
进一步的，在步骤1）中，获取图片序列集的方法为：通过设备采集视频，对视频进行抽帧处理，得到多个图像帧序列。
进一步的，在步骤2）中，获得的检测框集为：图像经过检测网络获得物体检测框集和人体检测框集。
进一步的，在步骤3）中，把检测框集转化成时空图的方法为：排序、过滤和对比，该时空图为多目标时空图，该多目标时空图包括物体时空图和人体时空图。
进一步的，在步骤3）中，将物体时空图和人体时空图进行人体关联处理，将人体时空图的面积和物体时空图的面积进行交并集比，过滤不符合需求条件的物体时空图。
进一步的，在步骤4）中，将时空图、图片、设备ID号、图像时间戳和该设备的轨迹数组进行交叉比对，以获得在该设备中属于该类别的轨迹，在比对的结果选取各自代表的帧信息，以当前时空图的信息构成当前帧信息，轨迹数组相应的类最后一帧信息构成前一帧信息，计算两帧中物体中心点的偏移量，来确认运动趋势。
进一步的，在步骤5）中，通过每个设备的每一个时间戳的时空图不断更新其轨迹数组，把数组存储的上一帧数组信息和当前帧的时空图信息进行物体中心点偏移量的判断，从而确认某一小阶段的运动趋势，然后把当前帧的交叉比数组存储到轨迹数组中。
进一步的，在步骤6）中，按照动作保留时长存在的时间戳长度，对轨迹数组进行选择和过滤，根据动作最小判断阈值去更新轨迹数组的运动状态数。
进一步的，在步骤6）中，对每个设备轨迹存储数组进行接力更新的方法为：提取轨迹数组有实际数据的部分，形成局部轨迹数组，所述的局部轨迹数组每一条轨迹下的每一帧进行遍历，对每一类最后一帧的信息作为当前帧进行判断，如数组信息的趋势个数能判定动作的状态，开始重新计数运动状态数，将当前帧的趋势个数重置，把当前帧的信息赋值作为轨迹存储数组的第一帧，轨迹存储数组其他帧重置为初始状态。
进一步的，在步骤6）中，轨迹数组接力更新后，动作代表时间戳更新为当前图片的时间戳，代表图像更新为当前时空图，代表性图像置信度更新为当前目标对象的置信度。
本发明的有益效果是：
通过第一阶段网络时空图构建和第二阶段动作轨迹追踪，实现对动作的判别；在鲁棒性上，结合物体检测，借用了神经网络的高性能，作为一种强大的先验，使得精度更高、计算量更小，更加灵活，计算效率上，采取的是矩阵的切分、对比、速度更快，跟本身的神经网络的速度相差无几，能够做到模块化，随嵌随用。
附图说明
图1是本发明的系统架构图；
图2是本发明的模块图；
图3是本发明的人体关联处理的交并比图；
图4是本发明的进行动作轨迹追踪图；
图5是本发明的进行动作轨迹接力更新图；
图6是本发明的轨迹数组示例图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例
下面对本申请提供的动作识别方法进行介绍。
图1结合图2显示本实例提供一种基于视觉的动作识别的方法，包括：
步骤1：通过设备采集视频，获得图片序列集。
步骤2：构建深度学习目标检测网络，对图片进行物体检测和人体检测处理，获得检测框集。
步骤3：把检测框集转化为多目标时空图。
步骤4：通过时空图、图像、设备ID号、图像的时间戳，进行轨迹生成和轨迹数组对比。
步骤5：借助时空图和轨迹数组的信息对轨迹数组进行更新，确认动作。
步骤6：根据时间戳对轨迹数组进行接力更新，让轨迹数组保持动态性。
在步骤1中，通过设备源采集视频，对视频流进行解码操作，从而获得图片序列集，该步骤具体实施不在本发明内。
在步骤2中，采用基于深度学习的实时目标检测网络，采用的网络模型不在本发明的包括范围，所述的检测方法，其结果输出包括，图像经过检测网络获得目标对象的检测框集和人体的检测框集。
在步骤3中，通过排序、过滤、对比等方式，把检测框集转化成多目标时空图。
上述实施例中的物体时空图和人体时空图，进行人体关联处理，将人体时空图的面积和物体时空图的面积进行交并集比，过滤不符合需求条件的物体时空图。
在步骤4中，将步骤3得到的时空图、图片、设备ID号、图像时间戳和该设备ID存储的轨迹数组进行交叉比对，以获得在该ID设备中属于该类别的轨迹，在比对的结果选取各自代表的帧信息，以当前时空图的信息构成当前帧信息，轨迹数组相应的类最后一帧信息构成前一帧信息，计算两帧中物体中心点的偏移量，来确认运动趋势。
在步骤5中，根据每一种物体的运动趋势在图片序列存在的帧数，选取上述实施例中的当前帧对当前设备存储的轨迹数组进行更新。
也可按照数据集和任务的具体情况，指定物体的运动趋势在图片序列存在的帧数为常量，本实施例中以15帧作为基准说明。
在步骤6中，按照动作保留时长存在的时间戳长度，对轨迹数组进行选择和过滤，根据动作最小判断阈值去更新轨迹数组的运动状态数。
相应地，本发明根据上述实施例，把整个流程分成六个模块，从开始到结束分别为：目标检测模块201、目标时空图生成模块202、轨迹数组生成模块203、轨迹数组对比模块204、轨迹数组更新模块205、轨迹数组接力更新模块206。
准备阶段：设备单元101通过传感器、红外线等机制采集到目标视频流，借助多媒体处理工具(如FFmpeg)对目标视频进行抽帧处理，得到多个图像帧序列单元102。
进入目标检测模块201，图像帧序列输入到已经训练好的多类别检测网络中，得到视频片段中的多个目标对象的检测框集，代表着目标对象所在的位置，输出的结果为[Classify，C，X1，Y1，X2，Y2]，其中Classify为检测框集目标对象的类别名称，C为目标对象的概率，X1，Y1，X2，Y2分别表示物体检测框集左上横坐标、左上纵坐标、右下横坐标，右下纵坐标。
将每一个图片帧里面的检测框集按照标签类别编号进行排序，把属于同一类别的物体检测框集叠加在一起，不同类别的检测框集进行分离，从而得到类别排列检测框集。输出的结果为[[[X1，Y1，X2，Y2，CID，C] N ] M ]，其中，新增的CID为目标对象类别对应的ID，N为同一类别目标对象数，M表示不同类别目标的检测框集。
进入时空图生成模块202，将上述实施例中的类别排列检测框集转化为目标时空图403。目标时空图包括的特征如下，返回框状态和交叉比检测框数组。
具体的，所述目标时空图的返回框状态和交叉比检测框数组，检测模型进行检测模块401，如检测模型没有检测到目标对象，返回假框状态和假交叉比数组，如检测模型检测到目标对象，返回真框状态，将上述实施例中的类别排列检测框集进行类别遍历，把人体类别的检测框集和物体类别检测框集提取出来，人体类别检测框集为[[X1 p ，Y1 p ，X2 p ，Y2 p ， CID p ，C p ] N p ]，图中在图3中是面积K，物体类别建议[[x1 G ，y1 G ，x2 G ，y2 G ，CID G ，C G ] N G ]，图中在图3中是面积G，然后两者检测框集进行一系列的交并比，即区域K和区域G的交集与并集的比值。
Figure 910397DEST_PATH_IMAGE001
在人体关联单元402，通过上述的IOU值判断是否大于阈值TR，如果小于TR，说明不是跟人体有关联；无法形成动作的趋势判断，大于TR的，说明是动作影响后造成的，会形成物体的轨迹，具体的，把低于阈值TR的物体检测框集去掉，保留大于阈值TR的物体检测框集，并把该IOU比值作为时空图交叉比检测框集的交并比的比值。
所述交叉比检测框集的组成为[[ID，CR，X C ，Y C ，C] N ]，ID为该目标对象的类别，CR为与人体交叉比值，XC为物体中心点的横坐标，YC为物体中心点的纵坐标，C为该目标对象的置信度，N表示多个物体对象，它们可能属于不同的类。
轨迹数组生成模块203，创建轨迹追踪的重要参数变量。如图6轨迹数组图所示，初始化轨迹数组[[ID 1 ，S 1 ，N T 1 ，T 1 ，X C 1 ，Y C 1 ，C 1 ] TS 1 ，......，[ID 15 ，S 15 ，N T 15 ，T 15 ，X C 15 ，Y C 15 ， C 15 ] TS 15 ，......]，具体的ID为不同类别目标对象的类别代号，S为不同的运动趋势，包括前、后、上、下、静止。NT为运动趋势个数，T为不同图片的时间戳，XC为物体中心点的横坐标，YC为物体中心点的纵坐标，C为该目标对象的置信度，TS为该类别对象在一段完整轨迹中的帧数。初始化动作代表时间戳数组、代表图像组、图像置信度组。
对应上述生成的轨迹数组404进行更新。把当前图像，设备ID，当前图片时间戳，时空图（检测框状态，交叉比数组），传入轨迹数组对比模块，确认动作的状态。
轨迹数组对比模块的核心单元405，把传入的时空图的每一个类别的每个物体和轨迹数组，单元406，每一帧的类别做交叉比对，根据匹配情况对轨迹数组进行更新，当轨迹数组所有帧都没有找到当前时空图匹配成功的类别的目标对象，且轨迹数组为空的时候，直接把当前时空图中交叉比数组作为轨迹数组的第一帧，如轨迹数组所有帧也没找到当前时空图匹配成功的类别的目标对象，但轨迹数组不为空的情况下，则把交叉比数组作为轨迹数组的新类别的第一帧。
上述实施例中交叉比对时，匹配有结果的，则设定最初的趋势态设置为真，取轨迹数组中与当前时空图匹配成功的该类别数组最后一帧作为该目标对象的前一帧FP，时空图交叉数组中该类别的数组作为同目标对象的当前帧FC，通过前一帧FP和当前帧FC两帧物体中心点的数据，计算该目标对象的偏移量OM；
Figure 561958DEST_PATH_IMAGE002
从而去判断动作运动趋势S，具体的，动作有向前SF，向后SB，向上SU，向下SD，通过前一帧FP的运动状态FP S去更新当前帧FC的的运动状态FC S，通过前一帧FP的趋势数FP NT去更新当前帧FC的的趋势数FC NT。
可选地，作为本发明一个实施例，偏移量OM有着阈值M+和阈值M-分别对应动作前后、上下运动地幅度，运动趋势个数NT有阈值NT，表示最小能确定趋势的个数。
以偏移量的纵坐标为例，OMY>M+，结合前一帧FP的运动状态FP S和趋势数FP NT，来判断当前帧FC的运动状态FC S和趋势数FC NT。
作为一种实施方式，轨迹对比模块中，若FP的运动状态FP S为SF，则FC的运动趋势FC S也为SF，趋势数FC NT加1，趋势态为真。若FP的运动趋势向后SB，当趋势数FP N>阈值NT，FC运动状态为SF，趋势数FC NT，趋势态为真，若FP的运动趋势是不确定，FC的运动状态为SF，趋势数FC NT，趋势态为真。
上述偏移量的纵坐标，OMY<M-，结合前一帧FP的运动状态FP S和趋势数FP NT，来判断当前帧FC的运动状态FC S和趋势数FC NT。
作为一种实施方式，轨迹对比模块中，若FP的运动状态FP S为SF，趋势数FP NT>阈值NT，FC运动状态FC S为SB，趋势数FC NT，趋势态，若FP的运动状态FP S为SB，则FC的运动趋势FC S也为SB，趋势数FC NT加1，趋势态为真，若FP的运动趋势是不确定，FC的运动状态FC S为SB，趋势数FC NT，趋势态为真。
上述偏移量的纵坐标，当OM Y ∈[M-，M+]，趋势态变成假，FC的运动状态FC S等于FP的运动状态FP S，FC的趋势数FC NT等于FP的趋势数FC NT。
上述实施例中，通过OMX与阈值M+，M-的比较和范围，去判定动作状态的上下，具体计算同上述的偏移量的纵坐标OMY。
通过上述的动作轨迹对比模块得到的动作和结果后，对轨迹数组、动作代表时间戳组、类别代表图像组、类别代表图像置信度组进行更新。
参阅图4所示，具体地，步骤S1：在经过动作轨迹对比模块后，提取动作的运动状态和运动趋势，在能确认动作的情况下，对动作代表时间戳组进行更新，用当前设备当前图像的时间戳代替动作代表时间戳组中该设备存的时间戳。
步骤S2:对类别代表图像组和类别代表图像置信度组进行更新，具体地，把当前图像作为该类别的代表图像添加到类别代表图像组中，没有该类别的图像时是直接添加，有该类别的图像时，提取类别代表图像置信度组中该类别的置信度，与当前时空图该类别的置信度进行比较，当大于类别代表置信度组中该类别的置信度时，当前图像覆盖更新类别代表图像组中该类的图像，当前时空图该类的置信度覆盖更新类别代表图像置信度组中该类的置信度。
步骤S3:对所述轨迹数组404进行更新。在上述的类比中，类比数组的长度大于该设备轨迹数组该类别的数组数时，把轨迹数组该类别最后三帧的信息作为新的第一到三帧的信息，当前帧FC的数据作为新的第四帧，轨迹数组其余帧信息归于初始化值，若类比数组的长度小于该设备轨迹数组该类别的数组数时，当前帧FC的数据作为轨迹数组该类的新最后一帧。
步骤S4:对应图5中轨迹数组接力更新模块。轨迹数组接力更新的特征下，对当前图像的时间戳减去动作代表时间戳组中该设备的最佳时间超过时间阈值的轨迹数组进行二次重置更新。
可选地，时间阈值为项目本实例动作可能是间断的时间。
具体地，对轨迹数组进行过滤，取其有数据的部分，作为局部轨迹数组单元502，对局部轨迹数组的每一条轨迹的每一帧进行遍历，跟数组的初始化状态进行对比，取轨迹数组中每一类有变换的轨迹数组部分，其每个类局部轨迹数组的最后一帧的信息作为本上述轨迹数组接力更新模块的前一帧Fp2。
如上述，前一帧Fp2的趋势数Fp2 NT>阈值NT，说明局部轨迹数组的运动状态是确认的，提取前一帧Fp2的运动状态Fp2 S的数组信息作为该类轨迹数组的新第一帧，轨迹数组其他帧信息更新为轨迹数组的初始状态。
上述实施例的轨迹数组接力更新后，动作代表时间戳数组中该设备最佳时间更新为当前图片的时间戳，类别代表置信度组的当前类的图片的置信度重置。
本发明借助目标检测和识别、获得视频帧序列中目标物体的轨迹、通过时空图之间的IOU获得交叉数组，利用交叉数组对轨迹数组进行比较和更新，从而获得物体的运动状态，实现目标物体的轨迹分析和动作判定。
本发明的有益效果是：
通过第一阶段网络时空图构建和第二阶段动作轨迹追踪，实现对动作的判别；在鲁棒性上，结合物体检测，借用了神经网络的高性能，作为一种强大的先验，使得精度更高、计算量更小，更加灵活，计算效率上，采取的是矩阵的切分、对比、速度更快，跟本身的神经网络的速度相差无几，能够做到模块化，随嵌随用。
本发明的上述实施例并不是对本发明保护范围的限定，本发明的实施方式不限于此，凡此种种根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，对本发明上述结构做出的其它多种形式的修改、替换或变更，均应落在本发明的保护范围之内。

Claims (10)

1.一种动作识别方法，其特征在于，包括：
步骤1）：通过设备获取图片序列集；
步骤2）：构建深度学习目标检测网络，将图片序列集输入到检测网络中，获得检测框集；
步骤3）：将检测框集转化为时空图；
步骤4）：获取图片、设备ID号、图像时间戳，并结合时空图，进行轨迹生成和轨迹数组对比；
步骤5）：通过时空图和轨迹数组的信息对轨迹数组进行更新，确认动作；
步骤6）：根据时间戳对轨迹数组进行接力更新，让轨迹数组保持动态性。
2.如权利要求1所述的动作识别方法，其特征在于，在步骤1）中，获取图片序列集的方法为：通过设备采集视频，对视频进行抽帧处理，得到多个图像帧序列。
3.如权利要求1所述的动作识别方法，其特征在于，在步骤2）中，获得的检测框集为：图像经过检测网络获得物体检测框集和人体检测框集。
4.如权利要求3所述的动作识别方法，其特征在于，在步骤3）中，把检测框集转化成时空图的方法为：排序、过滤和对比，该时空图为多目标时空图，该多目标时空图包括物体时空图和人体时空图。
5.如权利要求4所述的动作识别方法，其特征在于，在步骤3）中，将物体时空图和人体时空图进行人体关联处理，将人体时空图的面积和物体时空图的面积进行交并集比，过滤不符合需求条件的物体时空图。
6.如权利要求1所述的动作识别方法，其特征在于，在步骤4）中，将时空图、图片、设备ID号、图像时间戳和该设备的轨迹数组进行交叉比对，以获得在该设备中属于该类别的轨迹，在比对的结果选取各自代表的帧信息，以当前时空图的信息构成当前帧信息，轨迹数组相应的类最后一帧信息构成前一帧信息，计算两帧中物体中心点的偏移量，来确认运动趋势。
7.如权利要求1所述的动作识别方法，其特征在于，在步骤5）中，通过每个设备的每一个时间戳的时空图不断更新其轨迹数组，把数组存储的上一帧数组信息和当前帧的时空图信息进行物体中心点偏移量的判断，从而确认某一小阶段的运动趋势，然后把当前帧的交叉比数组存储到轨迹数组中。
8.如权利要求1所述的动作识别方法，其特征在于，在步骤6）中，按照动作保留时长存在的时间戳长度，对轨迹数组进行选择和过滤，根据动作最小判断阈值去更新轨迹数组的运动状态数。
9.如权利要求8所述的动作识别方法，其特征在于，在步骤6）中，对每个设备轨迹存储数组进行接力更新的方法为：提取轨迹数组有实际数据的部分，形成局部轨迹数组，所述的局部轨迹数组每一条轨迹下的每一帧进行遍历，对每一类最后一帧的信息作为当前帧进行判断，如数组信息的趋势个数能判定动作的状态，开始重新计数运动状态数，将当前帧的趋势个数重置，把当前帧的信息赋值作为轨迹存储数组的第一帧，轨迹存储数组其他帧重置为初始状态。
10.如权利要求9所述的动作识别方法，其特征在于，在步骤6）中，轨迹数组接力更新后，动作代表时间戳更新为当前图片的时间戳，代表图像更新为当前时空图，代表性图像置信度更新为当前目标对象的置信度。
CN202111224079.2A 2021-10-21 2021-10-21 一种动作识别方法 Active CN113837143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111224079.2A CN113837143B (zh) 2021-10-21 2021-10-21 一种动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111224079.2A CN113837143B (zh) 2021-10-21 2021-10-21 一种动作识别方法

Publications (2)

Publication Number Publication Date
CN113837143A true CN113837143A (zh) 2021-12-24
CN113837143B CN113837143B (zh) 2022-07-05

Family

ID=78965567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111224079.2A Active CN113837143B (zh) 2021-10-21 2021-10-21 一种动作识别方法

Country Status (1)

Country Link
CN (1) CN113837143B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912947A (zh) * 2023-08-25 2023-10-20 东莞市触美电子科技有限公司 智能屏幕、屏幕控制方法、装置、设备及其存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156982A (zh) * 2014-07-31 2014-11-19 华为技术有限公司 运动目标跟踪方法和装置
JP6364101B1 (ja) * 2017-01-31 2018-07-25 森ビル株式会社 空中監視装置、空中監視方法及びプログラム
CN109858390A (zh) * 2019-01-10 2019-06-07 浙江大学 基于端到端时空图学习神经网络的人体骨架的行为识别方法
CN111259779A (zh) * 2020-01-13 2020-06-09 南京大学 一种基于中心点轨迹预测的视频动作检测方法
CN111967352A (zh) * 2020-07-31 2020-11-20 广州微林软件有限公司 一种手持物品的多目标跟踪和行为判定的装置和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156982A (zh) * 2014-07-31 2014-11-19 华为技术有限公司 运动目标跟踪方法和装置
JP6364101B1 (ja) * 2017-01-31 2018-07-25 森ビル株式会社 空中監視装置、空中監視方法及びプログラム
CN109858390A (zh) * 2019-01-10 2019-06-07 浙江大学 基于端到端时空图学习神经网络的人体骨架的行为识别方法
CN111259779A (zh) * 2020-01-13 2020-06-09 南京大学 一种基于中心点轨迹预测的视频动作检测方法
CN111967352A (zh) * 2020-07-31 2020-11-20 广州微林软件有限公司 一种手持物品的多目标跟踪和行为判定的装置和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
史国凯: "在线时空关联的人体检测跟踪一体化方法", 《现代导航》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912947A (zh) * 2023-08-25 2023-10-20 东莞市触美电子科技有限公司 智能屏幕、屏幕控制方法、装置、设备及其存储介质
CN116912947B (zh) * 2023-08-25 2024-03-12 东莞市触美电子科技有限公司 智能屏幕、屏幕控制方法、装置、设备及其存储介质

Also Published As

Publication number Publication date
CN113837143B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
Cadena et al. Robust place recognition with stereo sequences
Yang et al. Discovering motion primitives for unsupervised grouping and one-shot learning of human actions, gestures, and expressions
CN109341703B (zh) 一种全周期采用CNNs特征检测的视觉SLAM算法
CN111080659A (zh) 一种基于视觉信息的环境语义感知方法
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN109583315B (zh) 一种面向智能视频监控的多通道快速人体姿态识别方法
CN112800906B (zh) 一种基于改进YOLOv3的自动驾驶汽车跨域目标检测方法
CN112836640B (zh) 一种单摄像头多目标行人跟踪方法
US20210326638A1 (en) Video panoptic segmentation
CN113076809A (zh) 一种基于视觉Transformer的高空坠物检测方法
CN114240997B (zh) 一种智慧楼宇在线跨摄像头多目标追踪方法
CN114399838A (zh) 基于姿态估计和二重分类的多人行为识别方法及系统
Jadhav et al. Aerial multi-object tracking by detection using deep association networks
CN111881731A (zh) 基于人体骨架的行为识别方法、系统、装置及介质
CN112036379A (zh) 基于注意力时间池化图卷积的骨架动作识别方法
Chen et al. TriViews: A general framework to use 3D depth data effectively for action recognition
CN113312973A (zh) 一种手势识别关键点特征提取方法及系统
Zeng et al. Robust multivehicle tracking with wasserstein association metric in surveillance videos
CN113837143B (zh) 一种动作识别方法
CN111862147B (zh) 视频中多车辆和多行人目标的跟踪方法
Abdullah et al. Vehicle counting using deep learning models: a comparative study
CN116824641A (zh) 姿态分类方法、装置、设备和计算机存储介质
Siddique et al. Deep learning-based trajectory estimation of vehicles in crowded and crossroad scenarios
CN115063717A (zh) 一种基于重点区域实景建模的视频目标检测与跟踪方法
Ştefan et al. Deep learning-based person search with visual attention embedding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant