CN113743234A - 目标动作确定方法、目标动作计数方法和电子装置 - Google Patents
目标动作确定方法、目标动作计数方法和电子装置 Download PDFInfo
- Publication number
- CN113743234A CN113743234A CN202110918539.5A CN202110918539A CN113743234A CN 113743234 A CN113743234 A CN 113743234A CN 202110918539 A CN202110918539 A CN 202110918539A CN 113743234 A CN113743234 A CN 113743234A
- Authority
- CN
- China
- Prior art keywords
- target object
- target
- determining
- human body
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种目标动作确定方法、目标动作计数方法和电子装置,其中,该目标动作确定方法包括:确定待处理视频片段的各帧图像中目标对象的姿态类型、局部关键点的位置和目标对象区域的高度;根据在各图像中局部关键点的位置,确定局部关键点的位置在第一方向上的位置分布特征;根据在各图像中目标对象区域的高度,确定目标对象区域的高度分布特征;根据位置分布特征与高度分布特征的关系,以及姿态类型与目标对象区域的高度的对应关系,确定目标对象在待处理视频片段中是否执行目标动作,通过本申请,解决了无法准确的确定目标对象是否执行一次目标动作的问题,提高了目标动作计数的准确性。
Description
技术领域
本申请涉及计算机视觉领域,特别是涉及目标动作确定方法、目标动作计数方法和电子装置。
背景技术
近年来,随着人工智能领域的技术发展尤其是深度学习技术的迅猛发展,计算机视觉领域取得很大的突破,使用计算机对数字图像进行计算分析的技术被广泛应用到各个领域。
以对图像中目标部位的动作检测为例,现有的利用计算机视觉检测动作的方法多是利用目标对象的侧脸和上半身轮廓信息,根据侧脸和上半身的轮廓信息来确定目标对象是否执行一次目标动作,比如,根据侧脸和上半身的轮廓信息来确定使用者是否发生一次仰卧起坐动作,实际在使用时容易受环境等因素影响,比如,使用时存在遮挡、摄像机的安装角度、安装高度变化等,造成无法准确的确定是否执行一次目标动作。
发明内容
在本实施例中提供了一种目标动作确定方法、目标动作计数方法和电子装置,以解决相关技术中无法准确的确定是否执行一次目标动作的问题。
第一个方面,在本实施例中提供了一种目标动作确定方法,包括:
确定待处理视频片段的各帧图像中所述目标对象的姿态类型、局部关键点的位置和目标对象区域的高度,其中,所述目标对象区域是图像中所述目标对象的区域;
根据在各所述图像中所述局部关键点的位置,确定局部关键点的位置在第一方向上的位置分布特征;
根据在各所述图像中所述目标对象区域的高度,确定所述目标对象区域的高度分布特征,其中,所述第一方向是基于所述目标对象区域的高度方向确定的;
根据所述位置分布特征与所述高度分布特征的关系,以及所述姿态类型与所述目标对象区域的高度的对应关系,确定所述目标对象在所述待处理视频片段中是否执行目标动作。
在其中的一些实施例中,还包括:
若确定所述目标对象执行目标动作,则确定所述目标对象在所述待处理视频片段内至少执行一次所述目标动作。
在其中的一些实施例中,所述确定所述目标对象在所述待处理视频片段内至少执行一次所述目标动作之后,所述方法还包括:
根据所述目标对象的局部关键点、对照信息、所述局部关键点的位置变化值、以及所述目标对象区域的高度变化值,确定所述目标对象执行的所述目标动作是否符合预设要求,其中,所述对照信息为与符合所述预设要求的预设对照动作对应的局部关键点的位置。
在其中的一些实施例中,所述待处理视频片段的时长等于或大于第一时长,所述第一时长是基于对象执行目标动作的参考时间确定的。
在其中的一些实施例中,所述方法还包括:根据在所述第一时长内各帧图像中所述目标对象的姿态类型,初步确定所述目标对象做第n个所述目标动作的开始时刻和结束时刻,其中,n≥1;根据所述开始时刻和所述结束时刻,确定第二时长;
所述确定局部关键点的位置在第一方向上的位置分布特征,包括:
确定在所述第二时长内局部关键点的位置在第一方向上的位置分布特征;
所述确定所述目标对象区域的高度分布特征,包括:确定在所述第二时长内所述目标对象区域的高度分布特征。
在其中的一些实施例中,所述目标对象包括人体,所述目标动作包括仰卧起坐和俯卧撑。
在其中的一些实施例中,所述根据在各所述图像中所述局部关键点的位置,确定局部关键点的位置在第一方向上的位置分布特征,包括:
根据在各帧图像中至少部分所述局部关键点确定一个人体代表点;
根据在各所述图像中所述人体代表点的位置,确定局部关键点的位置在第一方向上的位置分布特征。
在其中的一些实施例中,所述根据在各帧图像中至少部分所述局部关键点确定一个人体代表点,包括:
若至少部分所述局部关键点的个数为一个,将该关键点确定为所述人体代表点;
若至少部分所述局部关键点的个数为两个以上,将各关键点的像素坐标按照权重进行平均,得到平均像素坐标;
根据所述平均像素坐标确定所述人体代表点。
在其中的一些实施例中,所述确定待处理视频片段的各帧图像中所述目标对象的姿态类型、局部关键点的位置和目标对象区域的高度,之前包括:
将所述目标对象所在的各帧图像输入至训练后的人体姿态识别模型,得到各帧图像中与所述目标对象对应的人体姿态类型和人体关键点的位置;
根据各帧图像中与所述目标对象对应的人体姿态类型,判断所述目标对象是否处于躺下状态;
若是,根据所述人体关键点的位置确定所述目标对象是否处于准备状态。
在其中的一些实施例中,所述方法还包括:
获取待训练视频数据中的各帧人体图像,其中,所述待训练的视频数据包含相机不同角度下拍摄得到的所述人体图像;
标注各帧人体图像中的人体关键点和人体姿态类型,得到训练数据集,其中,所述人体姿态类型包括躺下类型和坐起类型;
根据所述训练数据集对人体姿态识别模型进行训练,得到训练后的人体姿态识别模型。
在其中的一些实施例中,所述确定待处理视频片段的各帧图像中所述目标对象的姿态类型、局部关键点的位置和目标对象区域的高度,之前还包括:
获取所述待处理视频片段中的人体图像;
根据所述人体图像,确定所述人体图像对应的人体与拍摄所述待处理视频片段的相机的距离;
根据所述距离、所述人体图像是否处于所述待处理视频片段对应的视频画面的边缘、以及与所述人体图像相对应的交并比,确定所述人体图像对应的人体是否为所述目标对象。
在其中的一些实施例中,所述确定所述目标对象在所述待处理视频片段中是否执行目标动作,包括:
若所述位置分布特征与所述高度分布特征一致,以及所述姿态类型与所述目标对象区域的高度相对应,则确定所述目标对象在所述待处理视频片段中执行目标动作。
在其中的一些实施例中,所述确定待处理视频片段的各帧图像中所述目标对象的姿态类型、局部关键点的位置和目标对象区域的高度,之前包括:
根据所述目标对象做目标动作的速度和所述待处理视频片段的帧率,确定所述目标对象至少完成一个所述目标动作对应的图像序列长度。
第二个方面,在本实施例中提供了一种目标动作计数方法,包括:
获取针对所述目标对象的监控视频;
将所述监控视频流分割成至少一个待处理视频片段;
基于权利要求1-13的方法,确定所述目标对象在各个待处理视频片段中是否执行目标动作;
基于所述目标对象在各个待处理视频片段中是否执行目标动作的结果,确定所述目标对象在所述监控视频中执行目标动作的数量。
在其中的一些实施例中,所述基于所述目标对象在各个待处理视频片段中是否执行目标动作的结果,确定所述目标对象在所述监控视频中执行目标动作的数量,包括:
若所述目标对象在各个待处理视频片段中执行目标动作,则所述目标对象在所述监控视频中执行目标动作的数量加一。
第三个方面,在本实施例中提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一个方面所述的目标动作确定方法。
第四个方面,在本实施例中提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一个方面所述的目标动作确定方法。
与相关技术相比,在本实施例中提供的目标动作确定方法、目标动作计数方法和电子装置,本申请中根据在各所述图像中所述局部关键点的位置,确定局部关键点的位置在第一方向上的位置分布特征;根据在各所述图像中所述目标对象区域的高度,确定所述目标对象区域的高度分布特征,其中,所述第一方向是基于所述目标对象区域的高度方向确定的;再根据位置分布特征与所述高度分布特征的关系,以及所述姿态类型与所述目标对象区域的高度的对应关系,能够更加准确的确定是否执行一次目标动作,解决了无法准确的确定是否执行一次目标动作的问题,提高了确定目标动作的准确性。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的目标动作确定方法的应用终端的硬件结构框图;
图2是根据本申请实施例的一种目标动作确定方法的流程图;
图3是根据本申请实施例的相机与目标对象的位置关系示意图;
图4是根据本申请实施例的目标对象做仰卧起坐的示意图一;
图5是根据本申请实施例的目标对象做仰卧起坐的示意图二;
图6是根据本申请实施例的目标对象做仰卧起坐的示意图三;
图7是根据本申请实施例的大小变化趋势和高度变化趋势的示意图;
图8是根据本申请实施例的目标对象处于躺下状态的示意图;
图9是根据本申请实施例的一种人体姿态识别模型的训练方法流程图;
图10是根据本申请实施例的再一种目标动作确定方法的流程图;
图11是根据本申请实施例的又一种目标动作确定方法的流程图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点,下面结合附图和实施例,对本申请进行了描述和说明。
除另作定义外,本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制,它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体,其目的是涵盖不排他的包含;例如,包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元),而可包括未列出的步骤或模块(单元),或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接,而可以包括电气连接,无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。通常情况下,字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等,只是对相似对象进行区分,并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行,图1是根据本申请实施例的目标动作确定方法的应用终端的硬件结构框图。如图1所示,终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104,其中,处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述终端的结构造成限制。例如,终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如在本实施例中的目标动作确定方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(NetworkInterface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种目标动作确定方法,图2是根据本申请实施例的一种目标动作确定方法的流程图,如图2所示,该流程包括如下步骤:
步骤S201,确定待处理视频片段的各帧图像中目标对象的姿态类型、局部关键点的位置和目标对象区域的高度,其中,目标对象区域是图像中目标对象的区域。
步骤S202,根据在各图像中局部关键点的位置,确定局部关键点的位置在第一方向上的位置分布特征。
在本实施例中,局部关键点包括肩关键点和肘关键点,但不限于上述两种关键点,比如腕关键点,此处不对局部关键点的具体位置做限定。
局部关键点的位置可以用局部关键点的像素坐标表示,但不限于这种方式,任何能够确定局部关键点位置的方式均在本申请的保护范围内。
需要说明的是,针对不同的目标动作,局部关键点的位置在第一方向上的位置分布特征可能会不同,比如,若用局部关键点的像素坐标表示局部关键点的位置,做仰卧起坐时,局部关键点的位置在第一方向上的位置分布特征为局部关键点的像素坐标值越来越小,做俯卧撑时,局部关键点的位置在第一方向上的位置分布特征为局部关键点的像素坐标值越来越大。
步骤S203,根据在各图像中目标对象区域的高度,确定目标对象区域的高度分布特征,其中,第一方向是基于目标对象区域的高度方向确定的。
需要说明的是,针对不同的目标动作,目标对象区域的高度分布特征可能会不同,比如,做仰卧起坐时,目标对象区域的高度分布特征为目标对象区域的高度值越来越小,做俯卧撑时,目标对象区域的高度分布特征为目标对象区域的高度值越来越大。
步骤S204,根据位置分布特征与高度分布特征的关系,以及姿态类型与目标对象区域的高度的对应关系,确定目标对象在待处理视频片段中是否执行目标动作。
通过上述步骤,从局部关键点的位置在第一方向上的位置分布特征和目标对象区域的高度分布特征两个维度能够更加准备的判断目标对象是否完成一次目标动作,解决了无法准确的确定是否完成一次目标动作的问题;根据姿态类型与目标对象区域的高度的对应关系,进一步的判断目标对象是否准确的执行一次目标动作,另外,现有方案中通常基于鼻子关键点与脚踝关键点的距离判断躺下和坐起两个状态,设置阈值来判断目标对象是否完成一次目标动作,在环境条件变化的情况下,需要人工去调节阈值,自适应能力差,而本申请中局部关键点的位置在第一方向上的位置分布特征与目标对象区域的高度分布特征,来判断目标对象是否执行一次目标动作,无需设置绝对阈值,自适应能力强。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。例如,步骤S202与步骤S203之间可以互换。
在其中一个实施例中,目标动作确定方法还包括:
若确定目标对象执行目标动作,则确定目标对象在待处理视频片段内至少执行一次目标动作。
可以理解的,本实施例中在确定目标对象执行目标动作后,确定目标对象在处理视频片段中内至少执行一次目标动作,在此基础上,能够方便目标动作的计数。
在其中一个实施例中,待处理视频片段的时长等于或大于第一时长,第一时长是基于对象执行目标动作的参考时间确定的。
可以理解的,基于目标对象执行目标动作的参考时长确定待处理视频片段的时长,即能够根据对象执行目标动作的参考时长自适应的调整待处理视频片段的时长。
在其中一个实施例中,目标对象包括人体,目标动作包括仰卧起坐和俯卧撑。
在本实施例中,目标对象执行不同的目标动作时,可能会选取不同的局部关键点,比如,目标动作为仰卧起坐时,可以选取人体上半身的关键点作为局部关键点,目标动作为俯卧撑时,可以选取人体的头部关键点、臀部关键点和脚部关键点作为局部关键点。
在其中一个实施例中,通过下述方式获取待处理视频片段:
图3是根据本申请实施例的相机与目标对象的位置关系示意图,如图3所示,相机位于目标对象的正前方3~7米处,相机的安装高度为1米,该相机可持续采集目标对象做目标动作时的视频,即可获取到待处理视频片段,
可以理解的,在本实施例中提供了一种获取待处理视频片段的方式,但不限于上述一种方式,任何能够获取到待处理视频片段的方式均在本申请的保护范围之内。
在其中的一些实施例中,根据在各图像中局部关键点的位置,确定局部关键点的位置在第一方向上的位置分布特征,包括:
根据在各帧图像中至少部分局部关键点确定一个人体代表点;
根据在各图像中人体代表点的位置,确定局部关键点的位置在第一方向上的位置分布特征。
在本实施例中,不对至少部分局部关键点的个数做限定,至少部分局部关键点的个数可以为一个,也可以为两个以上,若至少部分局部关键点的个数为一个,人体代表点即为该关键点,若至少部分局部关键点的个数为两个以上,则需要根据两个以上的局部关键点来确定一个人体代表点。
可以理解的,局部关键点有多个,目标对象在做目标动作的过程中,可能会出现其中一个或几个关键点与其余关键点在第一方向上的位置分布特征不一致,比如,目标对象在做仰卧起坐的过程,胳膊处的关键点不符合标准仰卧起坐动作标准,此时,若根据所有局部关键点在第一方向上的位置分布特征与高度分布特征的关系,会误认为目标对象没有执行一次仰卧起坐动作,实际上目标对象执行了一次仰卧起坐动作,只是目标对象在做该仰卧起坐动作的过程中胳膊没有完全标准要求,因此,在本实施例中从至少部分局部关键点确定一个人体代表点,根据在各图像中人体代表点的位置,确定局部关键点的位置在第一方向上的位置分布特征,能够减小异常关键点的影响,从而能够更加准确的确定目标对象是否执行一次目标动作。
在其中的一些实施例中,根据在各帧图像中至少部分局部关键点确定一个人体代表点,包括:
若至少部分局部关键点的个数为一个,将该关键点确定为人体代表点;
若至少部分局部关键点的个数为两个以上,将各关键点的像素坐标按照权重进行平均,得到平均像素坐标;
根据平均像素坐标确定人体代表点。
在本实施例中,可以根据局部关键点跟目标动作的关联性来确定各关键点对应的权重,比如,目标动作为仰卧起坐时,头顶关键点可以设置为较大的权重,而胸部关键点可以设置为较小的权重,此处,不对各局部关键点对应的权重做具体的限定,能够根据实际情况来做调整。
假设局部关键点为人体上半身六个关键点,分别为两肩关键点、两肘关键点和两腕关键点,各关键点对应的权重均相同,则将这六个关键点对应的像素坐标先求和再平均,得到平均像素坐标,根据平均像素坐标来确定人体上半身代表点的位置,即可确定人体上半身的代表点。
通过上述方式,将各局部关键点的像素坐标按照权重进行平均,得到平均像素坐标,再根据平均像素坐标确定人体代表点,从而能够准确的选取一个人体代表点,进一步的,根据在各帧图像中人体代表点的像素坐标,确定局部关键点的位置在第一方向上的位置分布特征,能够减小异常关键点的影响,从而能够更加准确的确定目标对象是否执行一次目标动作。
在其中的一些实施例中,确定目标对象在待处理视频片段中是否执行目标动作,包括:
若位置分布特征与高度分布特征一致,以及姿态类型与目标对象区域的高度相对应,则确定目标对象在待处理视频片段中执行目标动作。
需要说明的时,虽然针对不同的目标动作,位置分布特征可能会不同,高度分布特征可能会不同,但是,当目标对象做一个目标动作的过程中,位置分布特征与高度分布特征是一致的,比如,若用局部关键点的像素坐标表示局部关键点的位置,做仰卧起坐时,局部关键点的位置在第一方向上的位置分布特征为局部关键点的像素坐标值越来越小,做俯卧撑时,局部关键点的位置在第一方向上的位置分布特征为局部关键点的像素坐标值越来越大;做仰卧起坐时,目标对象区域的高度分布特征为目标对象区域的高度值越来越小,做俯卧撑时,目标对象区域的高度分布特征为目标对象区域的高度值越来越大;即虽然做仰卧起坐时的位置分布特征与做俯卧撑的位置分布特征不同,但是做仰卧起坐时的位置分布特征与做仰卧起坐时的高度分布特征一致,做俯卧撑时的位置分布特征与做俯卧撑时的高度分布特征一致。
在本实施例中,假设目标动作为仰卧起坐动作,请参考图4、图5和图6,图4表示目标对象开始做仰卧起坐的躺下姿态,图5表示目标对象处于仰卧起坐开始与结束之间的姿态,图6表示目标对象结束做仰卧起坐的坐起姿态,如图4、图5和图6所示,在目标对象执行一次仰卧起坐的过程中,即目标对象从躺下到坐起的过程中,目标对象区域的高度值越来越小,人体上半身关键点的位置在第一方向上对应的值越来越小,因此,可以根据位置分布特征与高度分布特征一致是否一致,来确定目标对象是否执行一个仰卧起坐,若位置分布特征与高度分布特征不一致,说明目标对象没有执行一次仰卧起坐动作,若位置分布特征与高度分布特征一致,如图7所示,可初步判断目标对象执行一次仰卧起坐动作,另外,判断人体姿态类型与目标对象区域的高度是否相对应,可以进一步的确定目标对象是否执行一次仰卧起坐动作,可排除一些异常情况,比如,在判断位置分布特征与高度分布特征一致的情况下,目标在躺下姿态下对应的目标对象区域的高度值为最小,此时,若判断目标对象执行一次仰卧起坐会造成误报,因为,在正常情况下,目标在躺下姿态下对应的目标对象区域的高度值应为最大,因此,通过判断人体姿态类型与目标对象区域的高度是否相对应,可以进一步的确定目标对象是否执行一个仰卧起坐动作。
通过上述方式,通过判断位置分布特征与高度分布特征一致,可初步判断目标对象执行一次目标动作,另外,判断姿态类型与目标对象区域的高度是否相对应,可以进一步的确定目标对象是否执行一次目标动作,可排除一些异常情况,从而能够更加准确的确定是否执行一次目标动作。
在其中的一些实施例中,确定待处理视频片段的各帧图像中目标对象的姿态类型、局部关键点的位置和目标对象区域的高度,之前包括:
将目标对象所在的各帧图像输入至训练后的人体姿态识别模型,得到各帧图像中与目标对象对应的人体姿态类型和人体关键点的位置;
根据各帧图像中与目标对象对应的人体姿态类型,判断目标对象是否处于躺下状态;
若是,根据人体关键点的位置确定目标对象是否处于准备状态。
在本实施例中,人体姿态类型包括躺下和坐起,在判断目标对象处于躺下状态时,再根据人体关键点的位置确定目标对象是否处于准备状态,比如,用人体关键点的像素坐标表示人体关键点的位置,根据手腕关键点的像素坐标和双耳关键点的像素坐标,确定手腕关键点与双耳关键点的距离,根据该距离可判断双手是否放于双耳两侧,同时判断下半身臀关键点、膝关键点与踝关键点所成角度是否在[80°,100°]范围内,若以上条件同时满足,则可判断该目标对象处于准备状态,如图8所示,目标对象处于躺下状态。
通过上述方式,先根据目标对象对应的人体姿态类型,初步判断目标对象是否处于准备状态,若是,再根据人体关键点的位置,进一步的确定目标对象是否处于准备状态,从而能够更加准确的确定目标对象是否处于准备状态,进一步的,在判断目标对象处于准备状态下,确定目标对象在各帧图像中的人体姿态类型、人体关键点的位置和目标对象区域的高度,从而能够在较短的时间段内获取目标对象做一个目标动作时对应的人体姿态类型、人体关键点的位置和目标对象区域的高度。
在其中的一些实施例中,请参阅图9,该人体姿态识别模型的训练过程如下:
步骤S901,获取待训练视频数据中的各帧人体图像,其中,待训练的视频数据包含相机不同角度下拍摄得到的人体图像。
步骤S902,标注各帧人体图像中的人体关键点和人体姿态类型,得到训练数据集,其中,人体姿态类型包括躺下类型和坐起类型。
步骤S903,根据训练数据集对人体姿态识别模型进行训练,得到训练后的人体姿态识别模型。
可以理解的,在本实施例中,训练数据集是对相机不同角度下拍摄得到的人体图像进行标注得到的,因此,基于该训练数据集得到的训练后的人体姿态识别模型鲁棒性更好,即基于该训练后的人体姿态模型能够检测到不同角度下拍摄的目标对象对应的人体姿态类型。
在其中的一些实施例中,确定待处理视频片段的各帧图像中目标对象的姿态类型、局部关键点的位置和目标对象区域的高度,之前包括:
根据目标对象做目标动作的速度和待处理视频片段的帧率,确定目标对象至少完成一个目标动作对应的图像序列长度。
可以理解的,在本实施例中,根据目标对象做目标动作的速度和待处理视频片段的帧率,可确定多少帧图像记录目标对象执行一次目标动作,即可确定目标对象至少执行一次目标动作对应的图像序列长度,该图像序列长度表示目标至少执行一次目标动作对应的图像数量。
通过上述方式,能够准确的确定目标对象至少执行一次目标动作对应的图像序列长度,从而能够在较小的存储空间内存储目标对象至少执行一次目标动作对应的各帧图像,节约了存储空间,避免了资源的浪费。
可以理解的,不同目标对象做目标动作的速度可能不同,即不同目标对象执行一次目标动作所需要的时间不同,因此,针对不同的目标对象需要自适应去调整在多长时间内确定局部关键点的位置在第一方向上的位置分布特征以及目标对象区域的高度分布特征,本申请通过上述方式来自适应调整在多长时间内确定局部关键点的位置在第一方向上的位置分布特征以及目标对象区域的高度分布特征。
在其中的一些实施例中,方法还包括:根据在第一时长内各帧图像中目标对象的姿态类型,初步确定目标对象做第n个目标动作的开始时刻和结束时刻,其中,n≥1;根据开始时刻和结束时刻,确定第二时长;
确定局部关键点的位置在第一方向上的位置分布特征,包括:确定在第二时长内局部关键点的位置在第一方向上的位置分布特征;
确定目标对象区域的高度分布特征,包括:确定在第二时长内目标对象区域的高度分布特征。
通过上述方式,能够确定目标对象做目标动作的开始时刻和结束时刻,从而能够确定不同目标对象做一个目标动作所需要的时间,从而能够针对不同的目标对象自适应调整在多长时间内确定局部关键点的位置在第一方向上的位置分布特征以及目标对象区域的高度分布特征,同时在该时间段内能够准确的确定目标对象做一个目标动作时对应的位置分布特征和高度分布特征。
在其中的一些实施例中,确定待处理视频片段的各帧图像中目标对象的姿态类型、局部关键点的位置和目标对象区域的高度,之前还包括::
获取待处理视频片段中的人体图像;
根据人体图像,确定人体图像对应的人体与拍摄待处理视频片段的相机的距离;
根据距离、人体图像是否处于待处理视频片段对应的视频画面的边缘、以及与人体图像相对应的交并比,确定人体图像对应的人体是否为目标对象。
在本实施例中,可以根据成像原理,来计算人体图像对应的人体与拍摄待处理视频片段的相机的距离,但不限于上述方式,任何能够确定人体图像对应的人体与拍摄待处理视频片段的相机的距离的方式均在本申请的保护范围之内。
可以将待处理视频片段对应的视频画面最外一圈像素点组成的线段作为视频画面边缘线,但不限于上述方式,比如,可以根据视频画面中的各像素点距离视频画面中的中心像素点的距离来确定是否为视频画面的边缘线,此处不对边缘线做具体的限定。
根据距离、人体图像是否处于待处理视频片段对应的视频画面的边缘、以及与人体图像相对应的交并比,能够去除待处理视频片段对应的视频画面中的移动人体,比如,发现人体从视频画面的中间移动至视频画面的边缘且与人体图像相对应的交并比越来越小,或者人体图像对应的人体与拍摄待处理视频片段的相机的距离越来越远且与人体图像相对应的交并比越来越小,则说明该人体为待处理视频片段对应的视频画面中的移动人体,需要去除。
需要说明的是,在检测任务中,使用交并比(Intersection of Union,IoU)作为衡量指标,来描述两个框之间的重合度。这一概念来源于数学中的集合,用来描述两个集合之间的关系,它等于两个集合的交集里面所包含的元素个数,除以它们的并集里面所包含的元素个数。
通过上述方式,能够去除视频画面中的移动人体,从而能将位置相对固定的人体确定为目标对象,进一步的,能够更加准确的确定目标对象是否执行一次目标动作。
在其中的一些实施例中,确定目标对象在待处理视频片段内至少执行一次目标动作之后,方法还包括:
根据目标对象的局部关键点、对照信息、局部关键点的位置变化值、以及目标对象区域的高度变化值,确定目标对象执行的目标动作是否符合预设要求,其中,对照信息为与符合预设要求的预设对照动作对应的局部关键点的位置。
在本实施例中,假设目标动作为仰卧起坐动作,对照信息定义为双手始终位于头部两侧,左右手臂成一定锐角,双腿弯曲成近似90度,并且腰部完全离地,坐起过程中手臂无支撑,从而能够确定标准仰卧起坐对应的人体关键点信息,在目标对象做仰卧起坐的过程中,可以将目标对象的人体关键点与标准仰卧起坐对应的人体关键点信息进行比较,从而能够确定目标对象的仰卧起坐动作是否标准,进一步的,通过图7可知,目标对象处于躺下状态时,目标对象区域的高度值最大,局部关键点的位置值为最大,目标对象处于坐起状态时,目标对象区域的高度值最小,局部关键点的位置值为最小,因此,可以根据局部关键点的位置变化值,以及目标对象区域的高度变化值来进一步的判断目标对象执行的仰卧起坐动作是否标准,比如,目标对象区域的高度变化值小于设定的第一阈值,说明目标对象的仰卧起坐动作不标准,该第一阈值可以是目标对象在完成一个标准的仰卧起坐动作过程中目标对象区域的高度变化值。
通过上述方式,在确定目标对象执行一次目标动作之后,能够判断目标对象执行的目标动作是否标准,从而能将不标准的目标动作去除。
另外,本申请还提出一种目标动作计数方法,包括:
获取针对目标对象的监控视频;
将监控视频流分割成至少一个待处理视频片段;
基于上述目标动作确定方法,确定目标对象在各个待处理视频片段中是否执行目标动作;
基于目标对象在各个待处理视频片段中是否执行目标动作的结果,确定目标对象在监控视频中执行目标动作的数量。
可以理解的,基于上述目标动作确定方法,能够更加准确的确定目标对象是否执行一次目标动作,在此基础上,能够更加准确的实现目标动作的计数。
在其中的一些实施例中,基于目标对象在各个待处理视频片段中是否执行目标动作的结果,确定目标对象在监控视频中执行目标动作的数量,包括:
若目标对象在各个待处理视频片段中执行目标动作,则目标对象在监控视频中执行目标动作的数量加一。
可以理解的,基于上述目标动作确定方法,能够更加准确的确定目标对象执行一次目标动作,在此基础上,能够更加准确的实现目标动作的计数。
图10是根据本申请实施例的再一种目标动作确定方法的流程图,如图10所示,该流程包括如下步骤:
步骤S1001,获取待处理视频片段,待处理视频片段中包括目标对象仰卧起坐时的图像。
步骤S1002,确定目标对象是否处于准备状态。
在本实施例中,将目标对象所在的各帧图像输入至训练后的人体姿态识别模型,得到各图像中与目标对象对应的人体姿态类型和人体关键点的像素坐标;根据各图像中与目标对象对应的人体姿态类型,判断目标对象是否处于躺下状态;若是,根据人体关键点的像素坐标确定目标对象是否处于准备状态。
步骤S1003,根据视待处理视频片段,确定在第一时间段内目标对象在各帧图像中的人体姿态类型、人体上半身关键点的像素坐标和平面框的高度,其中,第一时间段内目标对象至少能完成一个仰卧起坐动作,平面框用于在图像中选定目标对象。
步骤S1004,根据人体上半身中的至少部分关键点确定一个人体上半身的代表点。
在本实施例中,若至少部分关键点的个数为一个,将该关键点确定为代表点;若至少部分关键点的个数为两个以上,将各关键点的像素坐标按照权重进行平均,得到平均像素坐标;根据平均像素坐标确定代表点。
步骤S1005,根据在各图像中代表点的像素坐标,确定人体上半身关键点的像素坐标在第一方向上的大小变化趋势,其中,第一方向为平面框的高度方向。
步骤S1006,根据在各图像中平面框的高度,确定平面框的高度变化趋势。
步骤S1007,若大小变化趋势与平面框的高度变化方向一致,以及人体姿态类型与平面框的高度的相对应,则确定目标对象完成一次仰卧起坐动作。
步骤S1008,根据目标对象的人体关键点、对照信息、在第一时间段内人体上半身关键点的像素坐标变化值,以及在第一时间段内平面框的高度变化值,确定目标对象完成的一次仰卧起坐动作是否标准。
在本实施例中,对照信息为与标准仰卧起坐对应的人体关键点信息。
通过上述步骤,从大小变化趋势和高度变化趋势两个维度能够更加准备的判断目标对象是否完成一次仰卧起坐动作,解决了仰卧起坐计数不准确的问题;根据人体姿态类型与平面框的高度的对应关系,进一步的判断目标对象是否准确的完成仰卧起坐动作,另外,现有方案中通常基于鼻子关键点与脚踝关键点的距离判断躺下和坐起两个状态,设置阈值来判断目标对象是否完成一次仰卧起坐动作,在环境条件变化的情况下,需要人工去调节阈值,自适应能力差,而本申请中大小变化趋势与高度变化趋势的关系,来判断目标对象是否完成一次仰卧起坐动作,无需设置绝对阈值,自适应能力强。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。例如,步骤S1005与步骤S1006之间可以互换。
图11是根据本申请实施例的又一种目标动作确定方法的流程图,如图11所示,该目标动作确定方法包括如下步骤:
步骤S1101,采集目标对象做仰卧起坐时的视频数据,该视频数据包括各帧图像。
在本实施例中,请参阅图3,相机位于目标对象的正前方3~7米远,相机安装高度在1米左右,相机水平安装,目标对象平躺,持续采集目标对象做仰卧起坐时的视频数据。
步骤S1102,将与视频数据对应的各帧图像输入人体检测模型,输出若干个人体预选框的位置和每个位置的概率值。
步骤S1103,将概率值最高的人体预选框的位置作为人体的平面框,并基于深度学习的方法对人体进行跟踪。
步骤S1104,对跟踪的人体进行筛选,确定视频画面中的目标对象。
步骤S1105,将目标对象所在的各帧图像输入至训练后的人体姿态识别模型,得到各图像中与目标对象对应的人体姿态类型和人体关键点。
步骤S1106,确定目标对象是否处于准备状态。
在本实施例中,请参阅图8,根据两手腕关键点分别与双耳关键点的距离,判断双手是否放于双耳两侧,同时利用下半身臀关键点、膝关键点与踝关键点所成角度判断双腿是否蜷成90度,若以上条件同时满足,则可判断该目标对象处于准备状态。
步骤S1107,根据目标对象做仰卧起坐速度和视频帧率,确定目标对象至少完成一个仰卧起坐的图像序列长度。
步骤S1108,根据该图像序列长度,存储与目标对象对应的人体姿态类型序列、人体上半身关键点序列和平面框的高度序列。
在本实施例中,人体姿态类型序列的长度、人体上半身关键点序列的长度和平面框的高度序列的长度均与该图像序列长度相同。
人体关键点通常对应人体上有一定自由度的关节,比如颈、肩、肘、腕、腰、膝、踝等,通过对人体关键点在三维空间相对位置的计算,来估计人体当前的姿态类型,人体姿态类型表示人体当前的状态,比如站立、抬头、躺下等,目标对象在每帧图像中都会有一个姿态类型,一组时间上连续的人体姿态类型组成人体姿态序列,人体姿态类型序列的长度表示人体姿态类型的个数。
目标对象在每帧图像中都会得到与目标对象对应的人体上半身关键点,一组时间上连续的人体上半身关键点组成人体上半身关键点序列,在本实施例中,人体上半身关键点序列的长度与该图像序列长度相同,即目标对象至少完成一个仰卧起坐动作的时间内的上半身的关键点组成人体上半身关键点序列。
目标对象在每帧图像中都会得到与目标对象对应的平面框的高度,一组时间上连续的平面框的高度组成平面框的高度序列,在本实施例中,平面框的高度序列的长度与该图像序列长度相同,即目标对象至少完成一个仰卧起坐动作的时间内的平面框的高度组成平面框的高度序列。
步骤S1109,根据存储的人体姿态类型序列,确定目标对象完成一次仰卧起坐的开始时刻和结束时刻,并根据开始时刻和结束时刻确定第二时间段。
在本实施例中,根据存储的人体姿态类型序列,判断一定时间内目标对象的人体姿态是否有从躺到坐的变化,若是初步判定该目标对象发生一次仰卧起坐,同时记录由躺到坐这一变化过程的起始时刻和结束时刻,即可确定目标对象完成一次仰卧起坐的开始时刻和结束时刻。
步骤S1110,根据存储的人体上半身关键点确定一个人体上半身的一个代表点。
在本实施例中,根据两肩关键点的像素坐标、两肘关键点的像素坐标和两腕关键点的像素坐标,计算人体上半身关键点的像素坐标平均值,根据人体上半身关键点的像素坐标平均值确定人体上半身的一个代表点。
步骤S1111,将平面框的高度序列进行卡尔曼滤波,得到滤波后的平面框的高度序列。
在本实施例中,将平面框的高度序列进行卡尔曼滤波,剔除平面框高度数据中异常点
步骤S1112,根据在各图像中代表点的像素坐标,确定在第二时间段内人体上半身关键点的像素坐标在第一方向上的大小变化趋势。
步骤S1113,根据滤波后的平面框的高度序列,确定在第二时间段内平面框的高度变化趋势。
步骤S1114,若大小变化趋势与平面框的高度变化方向一致,以及人体姿态类型与平面框的高度的相对应,则确定目标对象完成一次仰卧起坐动作。
在本实施例中,请参阅图4、图5、图6和图7,在目标对象做仰卧起坐过程中,目标对象姿态会发生由躺到坐的变化,同时人体上半身的代表点位置会发生从高到低的变化,相应的平面框的高度也会发生由大到小的变化,根据第二时间段,判断上半身的代表点和平面框高度是否同步变化,以及人体姿态类型是否与平面框高度相对应,从而能够进一步判断该目标对象是否发生仰卧起坐动作。
步骤S1115,确定目标对象完成一次仰卧起坐动作后,确定该仰卧起坐动作是否标准。
在本实施例中,标准仰卧起坐动作定义为:双手始终位于头部两侧,左右手臂成一定锐角,双腿弯曲成近似90度,并且腰部完全离地,坐起过程中手臂无支撑,基于此,定义了下述三个条件。
条件1:整个仰卧起坐动作过程中,根据手腕关键点与双耳关键点的距离确定手腕是否始终位于双耳两侧;
条件2:利用肩膀、手肘、手腕三个点所成的角度判断左右手臂角度是否始终成一定锐角;
条件3:整个仰卧起坐动作过程中,平面框的高度最大值与最小值的差是否大于或者等于第一阈值,以及代表点在第一方向上的像素坐标的最大值与最小值的差是否大于或者等于第二阈值,该第一阈值可以是目标对象在完成一个标准的仰卧起坐动作过程中平面框的高度变化值,该第二阈值可以是目标对象在完成一个标准的仰卧起坐动作过程中代表点的像素坐标在第一方向上的变化值。
通过以上3个条件来综合判断一次仰卧起坐动作是否标准,滤除非标准仰卧起坐动作。若目标对象同时满足以上3个条件,则仰卧起坐动作计数增加一次。
可以理解的,本申请提出的基于视频的目标动作确定方法,无需依赖其他传感器,仅基于视频采集装置,就可实现多人同时无接触性测量计数,测量结果可回溯;本申请提出主要基于人体姿态变化,同时辅助人体上半身关键点位置变化和平面框的高度变化,利用以上三个不同维度的信息综合判断是否完成一次仰卧起坐动作,该三个维度相互独立,仰卧起坐计数结果可靠性更高;另外,本申请仰卧起坐计数过程中考虑手腕位置、手腕角度、双腿角度等信息,以及考虑上半身关键点位置变化、平面框的高度变化是否满足阈值等条件来综合判断该次仰卧起坐动作的规范性,有效滤除双手撑地,未完全坐起,腰部未完全着地等非规范仰卧起坐动作。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。例如,步骤S1110与步骤S1111之间可以互换。
在本实施例中还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
获取视频数据,视频数据中包括目标对象仰卧起坐时的图像。
根据视频数据,确定在第一时间段内目标对象在各帧图像中的人体姿态类型、人体上半身关键点的像素坐标和平面框的高度,其中,第一时间段内目标对象至少能完成一个仰卧起坐动作,平面框用于在图像中选定目标对象。
根据在各图像中人体上半身关键点的像素坐标,确定人体上半身关键点的像素坐标在第一方向上的大小变化趋势,其中,第一方向为平面框的高度方向。
根据在各图像中平面框的高度,确定平面框的高度变化趋势。
根据大小变化趋势与高度变化趋势的关系,以及人体姿态类型与平面框的高度的对应关系,判断目标对象是否完成一次仰卧起坐动作。
需要说明的是,在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,在本实施例中不再赘述。
此外,结合上述实施例中提供的目标动作确定方法,在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种目标动作确定方法。
应该明白的是,这里描述的具体实施例只是用来解释这个应用,而不是用来对它进行限定。根据本申请提供的实施例,本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例,均属本申请保护范围。
显然,附图只是本申请的一些例子或实施例,对本领域的普通技术人员来说,也可以根据这些附图将本申请适用于其他类似情况,但无需付出创造性劳动。另外,可以理解的是,尽管在此开发过程中所做的工作可能是复杂和漫长的,但是,对于本领域的普通技术人员来说,根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段,不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例,也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是,本申请中描述的实施例在没有冲突的情况下,可以与其它实施例结合。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对专利保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (17)
1.一种目标动作确定方法,其特征在于,包括:
确定待处理视频片段的各帧图像中所述目标对象的姿态类型、局部关键点的位置和目标对象区域的高度,其中,所述目标对象区域是图像中所述目标对象的区域;
根据在各所述图像中所述局部关键点的位置,确定局部关键点的位置在第一方向上的位置分布特征;
根据在各所述图像中所述目标对象区域的高度,确定所述目标对象区域的高度分布特征,其中,所述第一方向是基于所述目标对象区域的高度方向确定的;
根据所述位置分布特征与所述高度分布特征的关系,以及所述姿态类型与所述目标对象区域的高度的对应关系,确定所述目标对象在所述待处理视频片段中是否执行目标动作。
2.如权利要求1所述的目标动作确定方法,其特征在于,还包括:
若确定所述目标对象执行目标动作,则确定所述目标对象在所述待处理视频片段内至少执行一次所述目标动作。
3.根据权利要求2所述的目标动作确定方法,其特征在于,所述确定所述目标对象在所述待处理视频片段内至少执行一次所述目标动作之后,所述方法还包括:
根据所述目标对象的局部关键点、对照信息、所述局部关键点的位置变化值、以及所述目标对象区域的高度变化值,确定所述目标对象执行的所述目标动作是否符合预设要求,其中,所述对照信息为与符合所述预设要求的预设对照动作对应的局部关键点的位置。
4.如权利要求1所述的目标动作确定方法,其特征在于,所述待处理视频片段的时长等于或大于第一时长,所述第一时长是基于对象执行目标动作的参考时间确定的。
5.根据权利要求4所述的目标动作确定方法,其特征在于,所述方法还包括:根据在所述第一时长内各帧图像中所述目标对象的姿态类型,初步确定所述目标对象做第n个所述目标动作的开始时刻和结束时刻,其中,n≥1;根据所述开始时刻和所述结束时刻,确定第二时长;
所述确定局部关键点的位置在第一方向上的位置分布特征,包括:确定在所述第二时长内局部关键点的位置在第一方向上的位置分布特征;
所述确定所述目标对象区域的高度分布特征,包括:确定在所述第二时长内所述目标对象区域的高度分布特征。
6.如权利要求1所述的目标动作确定方法,其特征在于,所述目标对象包括人体,所述目标动作包括仰卧起坐和俯卧撑。
7.根据权利要求6所述的目标动作确定方法,其特征在于,所述根据在各所述图像中所述局部关键点的位置,确定局部关键点的位置在第一方向上的位置分布特征,包括:
根据在各帧图像中至少部分所述局部关键点确定一个人体代表点;
根据在各所述图像中所述人体代表点的位置,确定局部关键点的位置在第一方向上的位置分布特征。
8.根据权利要求7所述的目标动作确定方法,其特征在于,所述根据在各帧图像中至少部分所述局部关键点确定一个人体代表点,包括:
若至少部分所述局部关键点的个数为一个,将该关键点确定为所述人体代表点;
若至少部分所述局部关键点的个数为两个以上,将各关键点的像素坐标按照权重进行平均,得到平均像素坐标;
根据所述平均像素坐标确定所述人体代表点。
9.根据权利要求6所述的目标动作确定方法,其特征在于,所述确定待处理视频片段的各帧图像中所述目标对象的姿态类型、局部关键点的位置和目标对象区域的高度,之前包括:
将所述目标对象所在的各帧图像输入至训练后的人体姿态识别模型,得到各帧图像中与所述目标对象对应的人体姿态类型和人体关键点的位置;
根据各帧图像中与所述目标对象对应的人体姿态类型,判断所述目标对象是否处于躺下状态;
若是,根据所述人体关键点的位置确定所述目标对象是否处于准备状态。
10.根据权利要求9所述的目标动作确定方法,其特征在于,所述方法还包括:
获取待训练视频数据中的各帧人体图像,其中,所述待训练的视频数据包含相机不同角度下拍摄得到的所述人体图像;
标注各帧人体图像中的人体关键点和人体姿态类型,得到训练数据集,其中,所述人体姿态类型包括躺下类型和坐起类型;
根据所述训练数据集对人体姿态识别模型进行训练,得到训练后的人体姿态识别模型。
11.根据权利要求6所述的目标动作确定方法,其特征在于,所述确定待处理视频片段的各帧图像中所述目标对象的姿态类型、局部关键点的位置和目标对象区域的高度,之前还包括:
获取所述待处理视频片段中的人体图像;
根据所述人体图像,确定所述人体图像对应的人体与拍摄所述待处理视频片段的相机的距离;
根据所述距离、所述人体图像是否处于所述待处理视频片段对应的视频画面的边缘、以及与所述人体图像相对应的交并比,确定所述人体图像对应的人体是否为所述目标对象。
12.根据权利要求1所述的目标动作确定方法,其特征在于,所述确定所述目标对象在所述待处理视频片段中是否执行目标动作,包括:
若所述位置分布特征与所述高度分布特征一致,以及所述姿态类型与所述目标对象区域的高度相对应,则确定所述目标对象在所述待处理视频片段中执行目标动作。
13.根据权利要求1所述的目标动作确定方法,其特征在于,所述确定待处理视频片段的各帧图像中所述目标对象的姿态类型、局部关键点的位置和目标对象区域的高度,之前包括:
根据所述目标对象做目标动作的速度和所述待处理视频片段的帧率,确定所述目标对象至少完成一个所述目标动作对应的图像序列长度。
14.一种目标动作计数方法,其特征在于,包括
获取针对所述目标对象的监控视频;
将所述监控视频流分割成至少一个待处理视频片段;
基于权利要求1-13的方法,确定所述目标对象在各个待处理视频片段中是否执行目标动作;
基于所述目标对象在各个待处理视频片段中是否执行目标动作的结果,确定所述目标对象在所述监控视频中执行目标动作的数量。
15.如权利要求14所述的目标动作计数方法,其特征在于,所述基于所述目标对象在各个待处理视频片段中是否执行目标动作的结果,确定所述目标对象在所述监控视频中执行目标动作的数量,包括:
若所述目标对象在各个待处理视频片段中执行目标动作,则所述目标对象在所述监控视频中执行目标动作的数量加一。
16.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至13中任一项所述的目标动作确定方法或者权利要求14至15中任一项所述的目标动作计数方法。
17.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至13中任一项所述的目标动作确定方法的步骤或者权利要求14至15中任一项所述的目标动作计数方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110918539.5A CN113743234A (zh) | 2021-08-11 | 2021-08-11 | 目标动作确定方法、目标动作计数方法和电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110918539.5A CN113743234A (zh) | 2021-08-11 | 2021-08-11 | 目标动作确定方法、目标动作计数方法和电子装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113743234A true CN113743234A (zh) | 2021-12-03 |
Family
ID=78730778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110918539.5A Pending CN113743234A (zh) | 2021-08-11 | 2021-08-11 | 目标动作确定方法、目标动作计数方法和电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113743234A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116091983A (zh) * | 2023-04-10 | 2023-05-09 | 四川弘和通讯集团有限公司 | 一种行为检测方法、装置、电子设备及存储介质 |
-
2021
- 2021-08-11 CN CN202110918539.5A patent/CN113743234A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116091983A (zh) * | 2023-04-10 | 2023-05-09 | 四川弘和通讯集团有限公司 | 一种行为检测方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11372484B2 (en) | Method and system for determining a correct reproduction of a movement | |
CN108062536B (zh) | 一种检测方法及装置、计算机存储介质 | |
CN107171872B (zh) | 一种智能家居中用户行为预测方法 | |
EP3689236A1 (en) | Posture estimation device, behavior estimation device, posture estimation program, and posture estimation method | |
US9117138B2 (en) | Method and apparatus for object positioning by using depth images | |
JP7448679B2 (ja) | 画像処理方法及び装置 | |
JP2021064367A (ja) | 動作認識方法、動作認識装置及び電子機器 | |
CN110378244B (zh) | 异常姿态的检测方法和装置 | |
CN105631515A (zh) | 人流计数系统 | |
CN111160088A (zh) | Vr体感数据检测方法、装置、计算机设备及存储介质 | |
Pan et al. | Using accelerometer for counting and identifying swimming strokes | |
WO2024060978A1 (zh) | 关键点检测模型训练及虚拟角色驱动的方法和装置 | |
CN114187656A (zh) | 一种动作检测方法、装置、设备及存储介质 | |
CN113743234A (zh) | 目标动作确定方法、目标动作计数方法和电子装置 | |
CN111507301A (zh) | 视频处理方法、装置、计算机设备以及存储介质 | |
CN114397958A (zh) | 屏幕控制方法、装置、非触控屏系统和电子装置 | |
CN113673319A (zh) | 异常姿态检测方法、装置、电子装置和存储介质 | |
CN112395920B (zh) | 基于雷达的姿态识别装置、方法以及电子设备 | |
CN111563397A (zh) | 检测方法、装置、智能设备及计算机存储介质 | |
JP2010176588A (ja) | 端末装置、画像処理方法及びプログラム | |
CN110852943A (zh) | 图像处理方法及装置、图像处理设备及存储介质 | |
EP4128016A1 (en) | Motion tracking of a toothcare appliance | |
CN113893515B (zh) | 一种基于视觉技术的仰卧起坐测试计数方法、装置和介质 | |
CN111460868A (zh) | 动作识别纠错方法、系统、电子设备、存储介质 | |
KR102568538B1 (ko) | 이동 로봇을 이용한 휴먼 자세 평가 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |