CN113221809A - 一种基于剪影图的运动状态识别方法、电子设备及介质 - Google Patents

一种基于剪影图的运动状态识别方法、电子设备及介质 Download PDF

Info

Publication number
CN113221809A
CN113221809A CN202110575795.9A CN202110575795A CN113221809A CN 113221809 A CN113221809 A CN 113221809A CN 202110575795 A CN202110575795 A CN 202110575795A CN 113221809 A CN113221809 A CN 113221809A
Authority
CN
China
Prior art keywords
state
target
target object
video
motion state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110575795.9A
Other languages
English (en)
Other versions
CN113221809B (zh
Inventor
方毅
董霖
姚建明
叶新江
曹克丹
魏兴明
杨玉春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Merit Interactive Co Ltd
Original Assignee
Merit Interactive Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Merit Interactive Co Ltd filed Critical Merit Interactive Co Ltd
Priority to CN202110575795.9A priority Critical patent/CN113221809B/zh
Publication of CN113221809A publication Critical patent/CN113221809A/zh
Application granted granted Critical
Publication of CN113221809B publication Critical patent/CN113221809B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于剪影图的运动状态识别方法、电子设备及介质,所述方法包括:获取状态视频段中一组帧图像,所述状态视频是指包括行人运动状态的视频;将所述一组帧图像的每一帧图像进行预处理,得到指定图像向量;根据指定图像向量进行二值化处理,得到剪影图像向量;将所述剪影图像向量输入至运动状态识别模型中,确定目标对象对应的实际运动状态,其中,所述目标对象对应的实际运动状态包括步行状态、跑步状态、乘车状态和其他运动状态中一种或多种组合;本发明能能够准确获得目标行人的运动状态,极大提升行人运动状态分类准确率。

Description

一种基于剪影图的运动状态识别方法、电子设备及介质
技术领域
本发明涉及人工智能技术领域,特别涉及一种基于剪影图的运动状态识别方法、电子设备及介质。
背景技术
随着互联网的发展,越来越多的地方设有摄像装置用于采集视频,例如,城市内的不同道路、小区门口、商场门口、学校门口等地方均需要采集视频,大多情况利用视频内目标对象的状态,进行监测或者其他管控措施。
目前,在视频中对于目标对象的状态的确定,大对数是基于图像中的目标对象的动作进行确定,但是在图像中识别出目标对象的行为特征会受到背景或者其他因素影响,导致无法准确识别出目标对象的行为特征,使分析结果的精确度不足,同时因为图像未处理也会导致获取的数据过大,影响到计算效率和准确性。
发明内容
为了解决现有技术的问题,通过获取运动状态视频段中一组帧图像;将所述一组帧图像的每个帧图像进行遮挡处理,得到目标图像向量,所述目标图像向量中任一帧对应的剪影图图像;将所述目标图像向量输入至运动状态识别模型中,确定目标对象对应的实际状态;能够便于能准确的获取目标对象的运动特征,提高用户分析结果的准确性;本发明实施例提供了一种基于剪影图的运动状态识别方法、电子设备及介质。所述技术方案如下:
一方面,一种基于剪影图的运动状态识别方法,其特征在于,所述方法包括如下步骤:
获取状态视频段中一组帧图像,所述状态视频是指包括行人运动状态的视频;
将所述一组帧图像的每一帧图像进行预处理,得到指定图像向量(A1,A2,A3,……,Aj),j=1……m,m为图像帧数,其中,Aj是指第j帧对应的目标对象的指定图像;
根据指定图像向量(A1,A2,A3,……,Aj)进行二值化处理,得到剪影图像向量(B1,B2,B3,……,Bj),Bj是指第j帧对应的目标对象的剪影图图像;
将所述剪影图像向量(B1,B2,B3,……,Bj)输入至运动状态识别模型中,确定目标对象对应的实际运动状态,其中,所述目标对象对应的实际运动状态包括步行状态、跑步状态、乘车状态和其他运动状态中一种或多种组合。
另一方面,一种电子设备,包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述任一项所述的基于剪影图的运动状态识别方法。
另一方面,一种计算机存储介质,所述计算机存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述任一项所述的基于剪影图的运动状态识别方法。
本发明提供的一种基于剪影图的运动状态识别方法、电子设备及介质,具有如下技术效果:
本发明在获取运动状态视频之前,需要对视频进行处理,确定出具有目标对象运动状态的视频段,再通过获取运动状态视频段中一组帧图像;将所述一组帧图像的每个帧图像进行遮挡处理,得到目标图像向量,所述目标图像向量中任一帧对应的剪影图图像;将所述目标图像向量输入至运动状态识别模型中,确定目标对象对应的实际状态;可见,发明的技术方案通过视频和视频中图像均进行处理,能够便于能准确的获取目标对象的运动特征,提高用户分析结果的准确性,便于对目标对象采取适当的管控措施。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一至三提供的一种基于视频的静止状态识别方法的流程示意图;
图2是本发明实施例四至五提供的一种基于剪影图的运动状态识别方法的流程示意图;
图3是本发明实施例一至三提供的一种目标区域的示意图;
图4是本发明实施例四至五提供的一剪影图像的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
如图1所示,本实施例一提供了一种基于视频的静止状态识别方法,所述方法包括如下步骤:
S101、获取第一目标视频中一组帧图像,所述第一目标视频是指包含行人的视频;
所述第一目标视频为视频数据中任一段视频,所述视频数据通过固定采集装置进行采集,其中,所述第一目标视频属于连接实时视频。
S103、根据所述一组帧图像的每一帧图像,确定出目标对象和所述目标对象对应的目标区域向量Z,所述目标区域向量Z=(Z1、Z2,Z3,……,Zi),i=1……n,n是指图像帧数,所述Zi是指第i帧中目标区域的对角点坐标,其中,所述对角点坐标包括第一坐标点(ai,bi)和第二坐标点(ci,di),第一坐标点是指目标区域的任一顶角横纵坐标,所述第二坐标点是指目标区域中与所述第一坐标点呈对角关系的顶角横纵坐标;
具体地,所述目标对象是指所述一组帧图像的每一帧图像中呈现完整轮廓的对象。
具体地,所述目标区域是指在所述一组帧图像的每一帧图像中所述目标对象的检测区域,所述目标区域呈方形。
优先地,第一坐标点为所述目标区域的右上角的顶点坐标,第二坐标点为所述目标区域的左下角的顶点坐标。
S105、根据所述Z,生成目标高度向量H=(H1,H2,H3,……,Hi)和目标移动长度向量L=(L1,L2,L3,……,Li),其中,所述Hi是指第i帧中目标区域的高度,所述Hi符合以下条件:
Hi=bi-di
所述Li是指第i帧中目标区域的移动长度,所述Li符合以下条件:
Figure BDA0003084311790000051
具体地,所述Hi是指第i帧图像内目标区域对应的目标高度,例如,当所述目标对象在所述第一目标视频中由近至远时,所述目标区域向量(H1,H2,H3,……,Hi)中H1至Hi逐渐减小。
具体地,所述Li是指第i帧图像目标区域对应的目标距离,所述目标距离是指当前的目标区域的中心点与第一个目标区域的中心点之间的距离,或者当前的目标区域的某个顶点与第一个目标区域的对应位置的顶点之间的距离。
S107、基于所述目标高度向量(H1,H2,H3,……,Hi)和所述目标移动长度向量(L1,L2,L3,……,Li)进行预处理,得到目标特征向量V=(V1,V2,V3,……,Vi),其中,所述V包括第一目标向量X=(X1,X2,X3,……,Xi)和/或第二目标向量Y=(Y1,Y2,Y3,……,Yi));
在一个具体的实施例中,根据所述目标高度向量(H1,H2,H3,……,Hi)和所述目标移动长度向量(L1,L2,L3,……,Li),生成第一目标向量(X1,X2,X3,……,Xi);
根据所述目标高度向量(H1,H2,H3,……,Hi)),生成所述第二目标向量(Y1,Y2,Y3,……,Yi)。
进一步地,所述Xi是指第i个目标区域的第一变量值,其中,所述Xi符合以下条件:
Xi=E(Li),其中,所述E()是指第一变量函数;优先地,
Figure BDA0003084311790000052
其中,所述λ是指所述目标高度向量(H1,H2,H3,……,Hi)中最小值。
进一步地,所述Yi是指第i个目标区域的第二变量值,其中,所述Yi符合以下条件:
Yi=F(Hi),其中,所述F()是指第二变量函数;优先地,
Figure BDA0003084311790000053
S109、将所述第一目标向量X和/或所述第二目标向量Y输入至状态识别模型中,确定出所述目标对象的状态为静止状态。
在一个具体的实施例中,所述第一目标向量(X1,X2,X3,……,Xi)和所述第二目标向量Y1,Y2,Y3,……,Yi)输入至识别状态模型中,确定出所述目标对象的状态。
具体地,所述方法还包括如下方法确定出所述目标对象的状态为静止状态:
将所述第一目标向量(X1,X2,X3,……,Xi)和所述第二目标向量Y1,Y2,Y3,……,Yi)输入至识别状态模型中,得到所述目标对象对应的状态值K;
将所述状态值K与预设的状态阈值进行对比;
如果所述状态值K小于所述状态阈值,确定所述目标对象的状态为静止状态;
如果所述状态值K不小于所述状态阈值,确定所述目标对象的状态为运动状态。
具体地,所述K符合以下条件:
K=L(W1,W2,W3,…,Wi),其中,所述L()为所述识别状态模型中状态函数,目标对象对应的状态向量(W1,W2,W3,……,Wi)是基于第一目标向量(X1,X2,X3,……,Xi)和所述第二目标向量(Y1,Y2,Y3,……,Yi)在所述识别状态模型中进行确定的。
具体地,所述Wi符合以下条件:
Wi=G(Xi,Yi),其中,所述G()为在所述识别状态模型中非线性激活函数。
具体地,所述状态阈值为0.5,例如,当所述目标对象对应的状态值为0.4时,所述状态值小于0.5,确定所述目标对象的状态为静止状态;反之,确定所述目标对象的状态为运动状态。
具体地,所述视频数据还包括训练集,所述训练集用于所述识别状态模型的训练,以调整所述识别状态模型的参数;其中,所述训练集对应的状态值
Figure BDA0003084311790000071
与所述预测集状态值K采用相同的计算方法。
在一个具体的实施例中,所述方法还包括:第一预设数据库中,根据目标对象的状态,计算出第一目标准确率,所述第一目标准确率可达93%,其中,所述第一目标准确率是指确定出目标对象状态为静止状态的准确率。
实施例二
本实施例二提供了一种基于视频的静止状态识别方法,所述方法包括如下步骤:
S101、获取第一目标视频中一组帧图像,所述第一目标视频是指包含行人的视频;
所述第一目标视频为视频数据中任一段视频,所述视频数据通过固定采集装置进行采集,其中,所述第一目标视频属于连接实时视频。
S103、根据所述一组帧图像的每一帧图像,确定出目标对象和所述目标对象对应的目标区域向量Z,所述目标区域向量Z=(Z1、Z2,Z3,……,Zi),i=1……n,n是指图像帧数,所述Zi是指第i帧中目标区域的对角点坐标,其中,所述对角点坐标包括第一坐标点(ai,bi)和第二坐标点(ci,di),第一坐标点是指目标区域的任一顶角横纵坐标,所述第二坐标点是指目标区域中与所述第一坐标点呈对角关系的顶角横纵坐标;
具体地,所述目标对象是指所述一组帧图像的每一帧图像中呈现完整轮廓的对象。
具体地,所述目标区域是指在所述一组帧图像的每一帧图像中所述目标对象的检测区域,所述目标区域呈方形。
优先地,第一坐标点为所述目标区域的右上角的顶点坐标,第二坐标点为所述目标区域的左下角的顶点坐标。
S105、根据所述Z,生成目标高度向量H=(H1,H2,H3,……,Hi)和目标移动长度向量L=(L1,L2,L3,……,Li),其中,所述Hi是指第i帧中目标区域的高度,所述Hi符合以下条件:
Hi=bi-di
所述Li是指第i帧中目标区域的移动长度,所述Li符合以下条件:
Figure BDA0003084311790000081
具体地,所述Hi是指第i帧图像内目标区域对应的目标高度,例如,当所述目标对象在所述第一目标视频中由近至远时,所述目标区域向量(H1,H2,H3,……,Hi))中H1至Hi逐渐减小。
具体地,所述Li是指第i帧图像目标区域对应的目标距离,所述目标距离是指当前的目标区域的中心点与第一个目标区域的中心点之间的距离,或者当前的目标区域的某个顶点与第一个目标区域的对应位置的顶点之间的距离。
S107、基于所述目标高度向量(H1,H2,H3,……,Hi)和所述目标移动长度向量(L1,L2,L3,……,Li)进行预处理,得到目标特征向量V=(V1,V2,V3,……,Vi),其中,所述V包括第一目标向量X=(X1,X2,X3,……,Xi)和/或第二目标向量Y=(Y1,Y2,Y3,……,Yi));
在一个具体的实施例中,根据所述目标高度向量(H1,H2,H3,……,Hi)和所述目标移动长度向量(L1,L2,L3,……,Li),生成第一目标向量(X1,X2,X3,……,Xi);
进一步地,所述Xi是指第i个目标区域的第一变量值,其中,所述Xi符合以下条件:
Xi=E(Li),其中,所述E()是指第一变量函数;优先地,
Figure BDA0003084311790000082
其中,所述λ是指所述目标高度向量(H1,H2,H3,……,Hi)中最小值。
S109、将所述第一目标向量X和/或所述第二目标向量Y输入至状态识别模型中,确定出所述目标对象的状态为静止状态;
在一个具体的实施例总,将所述第一目标向量(X1,X2,X3,……,Xi)输入至识别状态模型中,确定出所述目标对象的状态为静止状态。
具体地,所述方法还包括如下方法确定出所述目标对象的状态为静止状态:
将所述第一目标向量(X1,X2,X3,……,Xi)输入至识别状态模型中,得到所述目标对象对应的状态值K;
将所述状态值K与预设的状态阈值进行对比;
如果所述状态值K小于所述状态阈值,确定所述目标对象的状态为静止状态;
如果所述状态值K不小于所述状态阈值,确定所述目标对象的状态为运动状态。
具体地,所述K符合以下条件:
K=L(X1,X2,X3,…,Xi),其中,所述L()为所述识别状态模型中状态函数。
具体地,所述状态阈值为0.5,例如,当所述目标对象对应的状态值为0.4时,所述状态值小于0.5,确定所述目标对象的状态为静止状态;反之,确定所述目标对象的状态为运动状态。
具体地,所述视频数据还包括训练集,所述训练集用于所述识别状态模型的训练,以调整所述识别状态模型的参数;其中,所述训练集对应的状态值
Figure BDA0003084311790000091
与所述预测集状态值K采用相同的计算方法。
在一个具体的实施例中,所述方法还包括:第一预设数据库中,根据目标对象的状态,计算出第一目标准确率,所述第一目标准确率可达86%,其中,所述第一目标准确率是指确定出目标对象状态为静止状态的准确率。
实施例三
本实施例三提供了一种基于视频的静止状态识别方法,所述方法包括如下步骤:
S101、获取第一目标视频中一组帧图像,所述第一目标视频是指包含行人的视频;
所述第一目标视频为视频数据中任一段视频,所述视频数据通过固定采集装置进行采集,其中,所述第一目标视频属于连接实时视频。
S103、根据所述一组帧图像的每一帧图像,确定出目标对象和所述目标对象对应的目标区域向量Z,所述目标区域向量Z=(Z1、Z2,Z3,……,Zi),i=1……n,n是指图像帧数,所述Zi是指第i帧中目标区域的对角点坐标,其中,所述对角点坐标包括第一坐标点(ai,bi)和第二坐标点(ci,di),第一坐标点是指目标区域的任一顶角横纵坐标,所述第二坐标点是指目标区域中与所述第一坐标点呈对角关系的顶角横纵坐标;
具体地,所述目标对象是指所述一组帧图像的每一帧图像中呈现完整轮廓的对象。
具体地,所述目标区域是指在所述一组帧图像的每一帧图像中所述目标对象的检测区域,所述目标区域呈方形。
优先地,第一坐标点为所述目标区域的右上角的顶点坐标,第二坐标点为所述目标区域的左下角的顶点坐标。
S105、根据所述Z,生成目标高度向量H=(H1,H2,H3,……,Hi)和目标移动长度向量L=(L1,L2,L3,……,Li),其中,所述Hi是指第i帧中目标区域的高度,所述Hi符合以下条件:
Hi=bi-di
所述Li是指第i帧中目标区域的移动长度,所述Li符合以下条件:
Figure BDA0003084311790000111
具体地,所述Hi是指第i帧图像内目标区域对应的目标高度,例如,当所述目标对象在所述第一目标视频中由近至远时,所述目标高度向量((H1,H2,H3,……,Hi)中H1至Hi逐渐减小。
S107、基于所述目标高度向量(H1,H2,H3,……,Hi)和所述目标移动长度向量(L1,L2,L3,……,Li)进行预处理,得到目标特征向量V=(V1,V2,V3,……,Vi),其中,所述V包括第一目标向量X=(X1,X2,X3,……,Xi)和/或第二目标向量Y=(Y1,Y2,Y3,……,Yi);
在一个具体的实施例中,根据所述目标高度向量(H1,H2,H3,……,Hi)和所示目标移动长度向量(L1,L2,L3,……,Li),生成第二目标向量(Y1,Y2,Y3,……,Yi);
进一步地,所述Yi是指第i个目标区域的第一变量值,其中,所述Yi符合以下条件:
Yi=F(Hi),其中,所述F()是指第二变量函数;优先地,
Figure BDA0003084311790000112
S109、将所述第一目标向量X和/或所述第二目标向量Y输入至状态识别模型中,确定出所述目标对象的状态为静止状态;
在一个具体的实施例中,将所述第二目标向量(Y1,Y2,Y3,……,Yi)输入至识别状态模型中,确定出所述目标对象的状态。
具体地,所述方法还包括如下方法确定出所述目标对象的状态:
将所述第二目标向量(Y1,Y2,Y3,……,Yi)输入至识别状态模型中,得到所述目标对象对应的状态值K;
将所述状态值K与预设的状态阈值进行对比;
如果所述状态值K小于所述状态阈值,确定所述目标对象的状态为静止状态;
如果所述状态值K不小于所述状态阈值,确定所述目标对象的状态为运动状态。
具体地,所述K符合以下条件:
K=L(Y1,Y2,Y3,…,Yi),其中,所述L()为所述识别状态模型中状态函数。
具体地,所述状态阈值为0.5,例如,当所述目标对象对应的状态值为0.4时,所述状态值小于0.5,确定所述目标对象的状态为静止状态;反之,确定所述目标对象的状态为运动状态。
具体地,所述视频数据还包括训练集,所述训练集用于所述识别状态模型的训练,以调整所述识别状态模型的参数;其中,所述训练集对应的状态值
Figure BDA0003084311790000121
与所述预测集状态值K采用相同的计算方法。
在一个具体的实施例中,所述方法还包括:第一预设数据库中,根据目标对象的状态,计算出第一目标准确率,所述第一目标准确率可达81%。其中,所述第一目标准确率是指确定出目标对象状态为静止状态的准确率。
具体地,在实施例一至实施例三中,所述预处理可以为特征处理和应用计算相结合,本领域技术人员采用任一现有技术进行实现所述预处理的具体实施过程,在此不再赘述。
综上所述,表一为实施例一、实施例二实施例三目标对象对应的第一目标准确率的对比表,可知,通过第一向量和第二向量共同输入至识别状态模型中确定的目标对象对应的状态更为准确,能够只需要通过行人的检测区域信息便可判断出一个人是否静止(包含轻微晃动),并具有非常好的稳健性,减少数据量和简化分析过程,提高分析结果的精确度,便于对目标对象采取适当的管控措施;同时,在分析过程中,基于尺寸特征得到两个变量向量,两个变量无需进行处理,可以简化分析过程,同时两个变量向量不受到其他因素的影响,也提高分析结果的精确度,便于对目标对象采取适当的管控措施。
表一
实施例 实施例一 实施例二 实施例三
第一目标准确率 93% 86% 81%
实施例四
结合图2和图4所示,本实施例提供了一种基于视频的运动状态识别方法,所述方法包括:
S201、获取状态视频段中一组帧图像,所述状态视频是指包括行人运动状态的视频。
在一个具体的实施例中,所述方法还包括如下方法确定运动状态视频:
获取待处理视频;
将所述待处理视频进行场景识别处理,得到指定视频,其中,所述指定视频是指在任意一组帧图像中存在目标对象的视频;
根据所述指定视频,确定出运动状态视频。
具体地,所述指定视频是指在任意一组帧图像中存在目标对象的视频,即对所述待处理视频进行场景识别处理,识别出视频场景中目标对象存在的视频段,并删除无目标对象存在的视频段后的视频。
具体地,根据所述指定视频,确定出运动状态视频,还包括:
获取所述指定视频中一组帧图像;
根据所述一组帧图像,确定目标对象数量和任一所述目标对象对应的第二目标视频;
根据所述第二目标视频,确定出目标对象的状态。
根据所述目标对象的状态,确定出运动状态视频。
优先地,所述第二目标视频中只存在单一的目标对象和所述目标对象对应的区域;而所述第一目标视频中可以存在多个目标对象和任一目标对象对应的区域。
在一个具体的实施例中,根据所述第二目标视频,确定出目标对象的状态,可以采用实施例一至实施三中任一提供的一种基于视频的状态识别方法;优选地,根据所述第二目标视频,确定出目标对象的状态,采用实施例一提供的一种基于视频的状态识别方法,即所述视频段向量中任一视频段为第二目标视频。
在一个具体的实施例中,根据所述目标对象的状态,确定出运动状态视频还包括;
判断所述目标对象的状态是否为运动状态;
当所述目标对象的状态为静止状态,则删除所述目标对象对应的第二目标视频;
当所述目标对象的状态为运动状态,则保留所述目标对象的状态对应的第二目标视频。
S203、将所述一组帧图像的每一帧图像进行预处理,得到指定图像向量(A1,A2,A3,……,Aj),j=1……m,m为图像帧数,其中,Aj是指第j帧对应的目标对象的指定图像;
具体地,所述指定图像是指割裂后的图像,所述指定图像为灰度图像。
具体地,本实施例中预处理可以为检测、跟踪和轮廓分割的组合,本领域技术人员知晓采用任一现有技术方案实现预处理的实施过程,在此不再赘述。
S205、根据指定图像向量(A1,A2,A3,……,Aj)进行二值化处理,得到剪影图像向量(B1,B2,B3,……,Bj),Bj是指第j帧对应的目标对象的剪影图图像;
具体地,所述剪影图像向量(B1,B2,B3,……,Bj)中任一所述剪影图图像的尺寸为64*64,即在所述一组帧图像的每个帧图像进行预处理之后,对所述一组帧图像的每个帧图像进行二值化处理成尺寸为64*64的图像,能够有利于运动状态识别模型进行处理,提高计算效率。
S207、将所述剪影图像向量(B1,B2,B3,……,Bj)输入至运动状态识别模型中,确定目标对象对应的实际运动状态,其中,所述目标对象对应的实际运动状态包括步行状态、跑步状态、乘车状态和其他运动状态中一种或多种组合。
在一个具体实施例中,所述方法还包括如下方法确定目标对象对应的实际状态:
将所述剪影图像向量(B1,B2,B3,……,Bj)输入至运动状态识别模型中,得到运动状态概率向量(S1,S2,S3,S4),其中,所述S1,S2,S3,S4分别为所述目标对象对应的运动状态的概率值,例如,所述S1为所述目标对象的步行状态对应的概率值,所述S2为所述目标对象的跑步状态对应的概率值,所述S3为所述目标对象的乘车状态对应的概率值,所述S4为所述目标对象的其他运动状态对应的概率值,S1+S2+S3+S4=1;
根据所述运动状态概率向量(S1,S2,S3,S4)中筛选出最大概率值对应的运动状态为目标对象对应的实际状态在一个具体的实施例中,所述方法还包括:第二预设数据库中,根据目标对象对应的实际状态,计算出第二目标准确率,所述第二目标准确率可达93%;其中,所述第二目标准确率是指确定出目标对象状态为运动状态中任一状态的准确率。
实施例五
本实施例提供了一种基于视频的运动状态识别方法,所述方法包括:
S201、获取状态视频段中一组帧图像,所述状态视频是指包括行人运动状态的视频。
具体地,所述运动状态视频是指在目标对象存在运动行为的视频。
在一个具体的实施例中,所述方法还包括如下方法确定运动状态视频:
获取待处理视频;
将所述待处理视频进行场景识别处理,得到指定视频;
根据所述指定视频,确定出运动状态视频。
具体地,所述指定视频是指在任意一组帧图像中存在目标对象的视频,即对所述待处理视频进行场景识别处理,识别出视频场景中目标对象存在的视频段,并删除无目标对象存在的视频段后的视频。
具体地,根据所述指定视频,确定出运动状态视频,还包括:
获取所述指定视频中一组帧图像;
根据所述一组帧图像,确定目标对象数量和任一所述目标对象对应的第二目标视频;
根据所述第二目标视频,确定出目标对象的状态。
根据所述目标对象的状态,确定出运动状态视频。
优先地,所述第二目标视频中只存在单一的目标对象和所述目标对象对应的区域;而所述第一目标视频中可以存在多个目标对象和任一目标对象对应的区域。
在一个具体的实施例中,根据所述第二目标视频,确定出目标对象的状态,可以采用实施例一至实施三中任一提供的一种基于视频的状态识别方法;优选地,根据所述第二目标视频,确定出目标对象的状态,采用实施例一提供的一种基于视频的状态识别方法,即所述视频段向量中任一视频段为第二目标视频。
在一个具体的实施例中,根据所述目标对象的状态,确定出运动状态视频还包括;
判断所述目标对象的状态是否为运动状态;
当所述目标对象的状态为静止状态,则删除所述目标对象对应的第二目标视频;
当所述目标对象的状态为运动状态,则保留所述目标对象的状态对应的第二目标视频。
S203、将所述一组帧图像的每一帧图像进行预处理,得到指定图像向量(A1,A2,A3,……,Aj),j=1……m,m为图像帧数,其中,Aj是指第j帧对应的目标对象的指定图像;
具体地,所述指定图像是指割裂后的图像,所述指定图像为灰度图像。具体地,本实施例中预处理可以为检测、跟踪和轮廓分割的组合,本领域技术人员知晓采用任一现有技术方案实现预处理的实施过程,在此不再赘述。
S205、根据指定图像向量(A1,A2,A3,……,Aj)进行二值化处理,得到剪影图像向量(B1,B2,B3,……,Bj),Bj是指第j帧对应的目标对象的剪影图图像;
具体地,所述剪影图像向量(B1,B2,B3,……,Bj)中任一所述的目标图像的尺寸为64*64,能够有利于运动状态识别模型进行处理,提高计算效率。
S207、将所述剪影图像向量(B1,B2,B3,……,Bj)输入至运动状态识别模型中,确定目标对象对应的实际运动状态,其中,所述目标对象对应的实际运动状态包括步行状态、跑步状态、乘车状态和其他运动状态中一种或多种组合。
在一个具体实施例中,所述方法还包括如下方法确定目标对象对应的实际状态:
将所述剪影图像向量(B1,B2,B3,……,Bj)输入至运动状态识别模型中,得到运动状态概率向量(S1,S2,S3,S4),其中,所述S1,S2,S3,S4分别为所述目标对象对应的运动状态的概率值,例如,所述S1为所述目标对象的步行状态对应的概率值,所述S2为所述目标对象的跑步状态对应的概率值,所述S3为所述目标对象的乘车状态对应的概率值,所述S4为所述目标对象的其他运动状态对应的概率值,S1+S2+S3+S4=1;
根据所述运动状态概率向量(S1,S2,S3,S4)中筛选出最大概率值对应的运动状态为目标对象对应的实际状态在一个具体的实施例中,所述方法还包括:第二预设数据库中,根据目标对象对应的实际状态,计算出第二目标准确率,所述第二目标准确率可达86%;其中,所述第二目标准确率是指确定出目标对象状态为运动状态中任一状态的准确率。
综上所述,表二为实施例四和实施例五目标对象对应的第二目标准确率的对比表,可知,通过对所述一组帧图像的每个帧图像进行遮挡处理,得到目标图像向量,所述目标图像向量中任一帧对应的剪影图图;将所述目标图像向量输入至运动状态识别模型中,确定目标对象对的运动状态,能够便于能准确的获取目标对象的运动特征,提高用户分析结果的准确性,便于对目标对象采取适当的管控措施。
表二
实施例 实施例四 实施例五
准确率 93% 86%
本发明的实施例还提供了一种电子设备,包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的基于剪影图的运动状态识别方法。
本发明实施例的计算机设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如tPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MtD和UMPC设备等,例如tPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如tPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
本发明的实施例还提供了一种计算机存储介质,所述存储介质可设置于电子设备之中以保存用于实现方法实施例中一种病毒检测方法相关的至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的基于剪影图的运动状态识别方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于剪影图的运动状态识别方法,其特征在于,所述方法包括如下步骤:
获取状态视频段中一组帧图像,所述状态视频是指包括行人运动状态的视频;
将所述一组帧图像的每一帧图像进行预处理,得到指定图像向量(A1,A2,A3,……,Aj),j=1……m,m为图像帧数,其中,Aj是指第j帧对应的目标对象的指定图像;
根据指定图像向量(A1,A2,A3,……,Aj)进行二值化处理,得到剪影图像向量(B1,B2,B3,……,Bj),Bj是指第j帧对应的目标对象的剪影图图像;
将所述剪影图像向量(B1,B2,B3,……,Bj)输入至运动状态识别模型中,确定目标对象对应的实际运动状态,其中,所述目标对象对应的实际运动状态包括步行状态、跑步状态、乘车状态和其他运动状态中一种或多种组合。
2.根据权利要求1所述的基于剪影图的运动状态识别方法,其特征在于,所述方法还包括如下方法确定运动状态视频:
获取所述指定视频中一组帧图像;
根据所述一组帧图像,确定目标对象数量和任一所述目标对象对应的第二目标视频;
根据所述第二目标视频,确定出目标对象的状态。
根据所述目标对象的状态,确定出运动状态视频。
3.根据权利要求2所述的基于剪影图的运动状态识别方法,其特征在于,所述指定视频是指在任意一组帧图像中存在目标对象的视频。
4.根据权利要求2所述的基于剪影图的运动状态识别方法,其特征在于,根据所述目标对象的状态,确定出运动状态视频还包括:;
判断所述目标对象的状态是否为运动状态;
当所述目标对象的状态为静止状态,则删除所述目标对象对应的第二目标视频;
当所述目标对象的状态为运动状态,则保留所述目标对象的状态对应的第二目标视频。
5.根据权利要求1所述的基于剪影图的运动状态识别方法,其特征在于,所述目标图像向量(A1,A2,A3,……,Aj)中任一所述剪影图图像的尺寸为64*64。
6.根据权利要求1所述的基于剪影图的运动状态识别方法,其特征在于,所述目标对象对应的实际状态包括步行状态、跑步状态、乘车状态和其他运动状态中一种或多种组合。
7.根据权利要求6所述的基于剪影图的运动状态识别方法,其特征在于,所述方法还包括如下方法确定目标对象对应的实际状态:
将所述目标图像向量(A1,A2,A3,……,Aj)输入至运动状态识别模型中,得到运动状态概率向量(S1,S2,S3,S4),其中,所述S1,S2,S3,S4分别为所述目标对象对应的运动状态的概率值;
根据所述运动状态概率向量(S1,S2,S3,S4)中筛选出最大概率值对应的运动状态为目标对象对应的实际状态。
8.根据权利要求1所述的基于剪影图的运动状态识别方法,其特征在于,所述运动状态概率向量(S1,S2,S3,S4)中S1+S2+S3+S4=1。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1~8中任一项所述的基于剪影图的运动状态识别方法。
10.一种计算机存储介质,所述计算机存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1~8任一项所述的基于剪影图的运动状态识别方法。
CN202110575795.9A 2021-05-26 2021-05-26 一种基于剪影图的运动状态识别方法、电子设备及介质 Active CN113221809B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110575795.9A CN113221809B (zh) 2021-05-26 2021-05-26 一种基于剪影图的运动状态识别方法、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110575795.9A CN113221809B (zh) 2021-05-26 2021-05-26 一种基于剪影图的运动状态识别方法、电子设备及介质

Publications (2)

Publication Number Publication Date
CN113221809A true CN113221809A (zh) 2021-08-06
CN113221809B CN113221809B (zh) 2023-04-07

Family

ID=77098540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110575795.9A Active CN113221809B (zh) 2021-05-26 2021-05-26 一种基于剪影图的运动状态识别方法、电子设备及介质

Country Status (1)

Country Link
CN (1) CN113221809B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400154A (zh) * 2013-08-09 2013-11-20 电子科技大学 一种基于有监督等距映射的人体动作识别方法
CN111144165A (zh) * 2018-11-02 2020-05-12 银河水滴科技(北京)有限公司 一种步态信息识别方法、系统及存储介质
US20200293767A1 (en) * 2018-03-09 2020-09-17 Hanwha Techwin Co., Ltd. Method and apparatus for performing privacy asking by reflecting characteristic information of objects
CN111914762A (zh) * 2020-08-04 2020-11-10 浙江大华技术股份有限公司 基于步态信息的身份识别方法及装置
CN111950321A (zh) * 2019-05-14 2020-11-17 杭州海康威视数字技术股份有限公司 步态识别方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400154A (zh) * 2013-08-09 2013-11-20 电子科技大学 一种基于有监督等距映射的人体动作识别方法
US20200293767A1 (en) * 2018-03-09 2020-09-17 Hanwha Techwin Co., Ltd. Method and apparatus for performing privacy asking by reflecting characteristic information of objects
CN111144165A (zh) * 2018-11-02 2020-05-12 银河水滴科技(北京)有限公司 一种步态信息识别方法、系统及存储介质
CN111950321A (zh) * 2019-05-14 2020-11-17 杭州海康威视数字技术股份有限公司 步态识别方法、装置、计算机设备及存储介质
CN111914762A (zh) * 2020-08-04 2020-11-10 浙江大华技术股份有限公司 基于步态信息的身份识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
未志园: "动作识别在交通指挥中的应用研究", 《硕士电子期刊工程科技Ⅱ辑》 *

Also Published As

Publication number Publication date
CN113221809B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110427905B (zh) 行人跟踪方法、装置以及终端
US10452893B2 (en) Method, terminal, and storage medium for tracking facial critical area
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
CN110188719B (zh) 目标跟踪方法和装置
CN111553234A (zh) 融合人脸特征与Re-ID特征排序的行人跟踪方法及装置
CN112232311B (zh) 人脸跟踪方法、装置及电子设备
CN114049512A (zh) 模型蒸馏方法、目标检测方法、装置及电子设备
CN111461202A (zh) 甲状腺结节超声图像实时识别方法及装置
CN109035257A (zh) 人像分割方法、装置及设备
CN114168768A (zh) 图像检索方法及相关设备
CN113688839A (zh) 视频处理方法及装置、电子设备、计算机可读存储介质
CN110222576B (zh) 拳击动作识别方法、装置和电子设备
CN113221809B (zh) 一种基于剪影图的运动状态识别方法、电子设备及介质
CN115294162B (zh) 目标识别方法、装置、设备及存储介质
CN116958873A (zh) 行人跟踪方法、装置、电子设备及可读存储介质
CN113313007B (zh) 一种基于视频的行人静止状态识别方法、电子设备及存储介质
CN113326829B (zh) 视频中手势的识别方法、装置、可读存储介质及电子设备
WO2023273227A1 (zh) 指甲识别方法、装置、设备及存储介质
CN114511877A (zh) 一种行为识别方法、装置、存储介质及终端
CN111814865A (zh) 一种图像识别方法、装置、设备及存储介质
CN113903083B (zh) 行为识别方法、装置、电子设备以及存储介质
Rodrigo et al. Automatic highlight detection in videos of martial arts tricking
CN110008791B (zh) 一种人脸区域确定方法、电子设备及可读存储介质
CN115512261A (zh) 一种特征聚合方法、电子设备及可读存储介质
CN114841478A (zh) 一种信用信息获取方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant