CN110909687B - 动作特征有效性判定方法、计算机存储介质和电子装置 - Google Patents

动作特征有效性判定方法、计算机存储介质和电子装置 Download PDF

Info

Publication number
CN110909687B
CN110909687B CN201911171901.6A CN201911171901A CN110909687B CN 110909687 B CN110909687 B CN 110909687B CN 201911171901 A CN201911171901 A CN 201911171901A CN 110909687 B CN110909687 B CN 110909687B
Authority
CN
China
Prior art keywords
image frame
action
information
cache queue
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911171901.6A
Other languages
English (en)
Other versions
CN110909687A (zh
Inventor
胡佳文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Everest Shenzhen Technology Co ltd
Original Assignee
Everest Shenzhen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Everest Shenzhen Technology Co ltd filed Critical Everest Shenzhen Technology Co ltd
Priority to CN201911171901.6A priority Critical patent/CN110909687B/zh
Publication of CN110909687A publication Critical patent/CN110909687A/zh
Application granted granted Critical
Publication of CN110909687B publication Critical patent/CN110909687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种动作特征有效性判定方法、计算机存储介质和电子装置，通过前后相邻图像帧之间的产生时间戳间隔长短和动作特征一致性来判断相邻图像帧之间是否为连续动作以及是否发生数据抖动，并预设缓存队列来缓存连续且未发生数据抖动的图像帧的动作特征和产生时间戳信息。通过预设缓存队列的长度(即连续且未发生数据抖动的图像帧的数量)，当缓存达到预设数量的图像帧信息时，判定缓存队列中缓存的各图像帧中的动作特征为有效特征。本发明减少了由于环境的影响、设备精度的不足、底层算法的误差、物体运动轨迹的突变等因素导致的数据抖动，降低了对判断物体运动趋势的干扰，有效减少了判断结果的偏差，提升了动作追踪的稳定性和有效性。

Description

动作特征有效性判定方法、计算机存储介质和电子装置
技术领域
本发明涉及机器视觉识别技术，具体涉及一种动作特征有效性判定方法、计算机存储介质和电子装置。
背景技术
在人体动作姿势视觉识别领域，对于动作趋势预判、动作追踪等动态识别过程，需要对连续的动作进行关联计算，每一帧数据出现的偏差都会影响到最终的识别结果。而环境的影响、设备精度的不足、物体运动轨迹的突变等因素，都会导致数据抖动，这些抖动的数据会对实际动作趋势的判断产生干扰，导致判断结果出现偏差，甚至完全错误。
发明内容
本发明要解决的技术问题是，提供一种动作特征有效性判定方法、计算机存储介质和电子装置，以解决现有技术在进行人体动作趋势判断时由于存在数据抖动导致判断结果不准确的问题。
本发明是通过如下技术方案实现的：
一种动作特征有效性判定方法，应用于动作识别中，包括如下步骤：
步骤1：实时从视频流中捕获包含动作的图像帧；
步骤2：提取所述图像帧的信息，图像帧的信息包括图像帧中的动作特征和图像帧的产生时间戳；
步骤3：检测预设的缓存队列中是否缓存有图像帧的信息，如否，则直接跳转至步骤4，如是，则判断当前提取的图像帧的产生时间戳与所述缓存队列中存储的该当前提取的图像帧的上一图像帧的产生时间戳之间的时间间隔是否小于或等于预设时长，如否，则将所述缓存队列中存储的所有图像帧的信息清空后跳转至步骤4，如是，则判断该当前提取的图像帧中的动作特征与所述缓存队列中存储的该当前提取的图像帧的上一图像帧中的动作特征是否一致，如否，则将所述缓存队列中存储的所有图像帧的信息清空后跳转至步骤4，如是，则直接跳转至步骤4；
步骤4：将当前提取的图像帧的信息缓存到所述缓存队列中；
步骤5：判断所述缓存队列中是否存储达到预设数量的图像帧的信息，如是，则判定所述缓存队列中存储的各图像帧中的动作特征有效，并将所述缓存队列中存储的所有图像帧的信息清空后跳转至步骤6，如否，则返回步骤1；
步骤6，判断是否接收到停止动作识别的指令，如是，则结束，如否，则返回步骤1。
进一步地，所述预设时长为100毫秒。
进一步地，所述预设数量为3帧。
进一步地，在所述步骤1中，所述捕获具体为，按照所述视频流中的图像帧顺序顺次捕获，每次捕获一帧。
一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的动作特征有效性判定方法。
一种电子装置，包括存储器、处理器及存储在所述存储器中并可在所述处理器中运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的动作特征有效性判定方法。
本发明提供的动作特征有效性判定方法、计算机存储介质和电子装置，通过前后相邻图像帧之间的产生时间戳间隔长短和动作特征一致性来判断相邻图像帧之间是否为连续动作以及是否发生数据抖动，并预设缓存队列来缓存连续且未发生数据抖动的图像帧的动作特征和产生时间戳信息。通过预设缓存队列的长度(即连续且未发生数据抖动的图像帧的数量)，当缓存达到预设数量的图像帧信息时，判定缓存队列中缓存的各图像帧中的动作特征为有效特征。本发明减少了由于环境的影响、设备精度的不足、底层算法的误差、物体运动轨迹的突变等因素导致的数据抖动，降低了对判断物体运动趋势的干扰，有效减少了判断结果的偏差，提升了动作追踪的稳定性和有效性。
附图说明
图1为本发明实施例动作特征有效性判定方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步详细说明。
本发明实施例提供的动作特征有效性判定方法可应用于动作识别中。本文中动作识别主要是指人体动作识别，即通过图像采集设备采集人体动作图像或视频，从人体动作图像或视频中识别出人体的动作姿势或动作趋势。人体动作识别能够广泛应用于体感游戏、运动健身指导等领域。动作特征有效性用于表示在动作识别过程中图像帧中的动作特征对于动作识别是否有效，即图像帧中的动作特征是否能够用于动作识别。如果某一图像帧中的动作特征被判定为有效，则表示该图像帧中的动作特征能够用于动作识别，反之则表示该图像帧中的动作特征不能用于动作识别，应当舍弃。动作特征的有效性是由动作特征的连续性和是否发生数据抖动决定的，相邻动作特征间是连续的动作特征且未发生数据抖动，才可能是有效的动作特征。
为更清楚说明本发明技术方案，以下对本文其他部分术语进行如下解释：
1)动作特征:用于标识动作运动趋势的属性。在将手臂从肩部举过头顶的过程中，每一帧动作的真实运动趋势均是向上(图中大字型表示人体，每个小圆圈表示人体骨骼关节)。
2)产生时间戳:用于标识图像帧中动作特征的产生时间。
3)缓存队列:用于缓存一组连续图像帧中的动作特征和产生时间戳的队列。队列长度L可通过参数设置，长度L越大代表有效性判定条件越严格，适用于动作抖动越频繁的场景，反之适用于动作抖动越轻微的场景。例如：当缓存队列的长度L(即本发明中的预设数量)为3时，表示当连续缓存的3帧图像中的动作特征均一致时，表示这3帧图像中的动作特征是有效和可信的。
4)超时时间T(即本发明中预设时长):表示在一段运动过程中，任意两个相邻动作的时间差的最大值。超时时间T可通过参数设置，T值越大代表对动作的连贯性要求越低，适用于动作频率越低的场景，反之适用于动作频率越高的场景。例如:T＝100ms,表示当两帧图像的产生时间戳之间的时间间隔在100毫秒内时，这两图像帧中的动作之间为连续动作过程。
5)数据抖动:由于环境变化、设备精度、算法误差等外部原因或动作趋势真实发生改变，导致连续运动过程中的相邻动作特征发生变化。
在上述理解的基础上，如图1所示，本发明实施例提供的动作特征有效性判定方法包括如下步骤：
步骤1：实时从视频流中捕获包含动作的图像帧。可通过图像采集设备对图像帧进行捕获。具体可在进行动作识别的过程中进行图像帧捕获，在对图像帧进行捕获时，可以按照所述视频流中的图像帧顺序顺次捕获，每次捕获一帧，进行后续步骤的分析处理后，再捕获下一帧，直至完成对所有包含动作的图像帧的捕获和分析处理，或者接收到停止动作识别的指令时停止图像帧捕获。
步骤2：提取所述图像帧的信息，图像帧的信息包括图像帧中的动作特征和图像帧的产生时间戳。具体可通过动作特征识别算法对图像帧进行识别分析，以提取图像帧中的动作特征。视频流中每一图像帧都有对应的产生时间戳，图像帧的产生时间戳表示图像帧的产生时间，也是图像帧中对应动作的产生时间。
步骤3：检测预设的缓存队列中是否缓存有图像帧的信息，如否，则直接跳转至步骤4，如是，则判断当前提取的图像帧的产生时间戳与所述缓存队列中存储的该当前提取的图像帧的上一图像帧的产生时间戳之间的时间间隔是否小于或等于预设时长，如否，则表明该当前提取的图像帧中的动作与缓存队列中存储的上一图像帧中的动作之间是不连续的动作过程，则将所述缓存队列中存储的所有图像帧的信息清空后跳转至步骤4，如是，则说明该当前提取的图像帧中的动作与缓存队列中存储的上一图像帧中的动作之间是连续的动作过程，则进一步判断该当前提取的图像帧中的动作特征与所述缓存队列中存储的该当前提取的图像帧的上一图像帧中的动作特征是否一致，如否，则表明这两图像帧间发生了数据抖动，则将所述缓存队列中存储的所有图像帧的信息清空后跳转至步骤4，如是，则说明这两图像帧间没有发生数据抖动，则直接跳转至步骤4。本实施例中，预设时长可设置为100毫秒，即当两帧图像的产生时间戳之间的时间间隔在100毫秒内时，表示这两图像帧中的动作之间为连续动作过程。
步骤4：将当前提取的图像帧的信息缓存到所述缓存队列中。需要特别指出的是，图像帧的捕获是按照帧顺序实时从视频流中捕获的，因此，图像帧信息的缓存，也是按照帧顺序，将符合条件的图像帧的信息顺次缓存到缓存队列中的，即在前的图像帧的信息先缓存，在后的图像帧的信息后缓存。
步骤5：判断所述缓存队列中是否存储达到预设数量的图像帧的信息，如是，则表明已经符合预设的判定这批图像帧中的动作特征未有效的预设条件，则判定所述缓存队列中存储的各图像帧中的动作特征有效，并将所述缓存队列中存储的所有图像帧的信息清空后跳转至步骤6，如否，则返回步骤1。本实施例中，预设数量可设置为3，即当缓存队列中存储达到3帧图像的信息时，就可以判定这3帧图像中的动作特征为有效。
步骤6，判断是否接收到停止动作识别的指令，如是，则结束，如否，则返回步骤1。停止动作识别的指令可以是用户通过人工操作停止动作识别，也可以是检测到视频流中的图像帧捕获完毕。
基于上述动作特征有效性判定方法，本发明还提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的动作特征有效性判定方法。
基于上述动作特征有效性判定方法，本发明还提供了一种电子装置，包括存储器、处理器及存储在所述存储器中并可在所述处理器中运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的动作特征有效性判定方法。
上述实施例仅为优选实施例，并不用以限制本发明的保护范围。在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种动作特征有效性判定方法，应用于动作识别中，其特征在于，包括如下步骤：
步骤1：实时从视频流中捕获包含动作的图像帧；
步骤2：提取所述图像帧的信息，图像帧的信息包括图像帧中的动作特征和图像帧的产生时间戳；
步骤3：检测预设的缓存队列中是否缓存有图像帧的信息，如否，则直接跳转至步骤4，如是，则判断当前提取的图像帧的产生时间戳与所述缓存队列中存储的该当前提取的图像帧的上一图像帧的产生时间戳之间的时间间隔是否小于或等于预设时长，如否，则将所述缓存队列中存储的所有图像帧的信息清空后跳转至步骤4，如是，则判断该当前提取的图像帧中的动作特征与所述缓存队列中存储的该当前提取的图像帧的上一图像帧中的动作特征是否一致，如否，则将所述缓存队列中存储的所有图像帧的信息清空后跳转至步骤4，如是，则直接跳转至步骤4；
步骤4：将当前提取的图像帧的信息缓存到所述缓存队列中；
步骤5：判断所述缓存队列中是否存储达到预设数量的图像帧的信息，如是，则判定所述缓存队列中存储的各图像帧中的动作特征有效，并将所述缓存队列中存储的所有图像帧的信息清空后跳转至步骤6，如否，则返回步骤1；
步骤6，判断是否接收到停止动作识别的指令，如是，则结束，如否，则返回步骤1。
2.如权利要求1所述的动作特征有效性判定方法，其特征在于，所述预设时长为100毫秒。
3.如权利要求1所述的动作特征有效性判定方法，其特征在于，所述预设数量为3帧。
4.如权利要求1所述的动作特征有效性判定方法，其特征在于，在所述步骤1中，所述捕获具体为，按照所述视频流中的图像帧顺序顺次捕获，每次捕获一帧。
5.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至4中任一所述的动作特征有效性判定方法。
6.一种电子装置，其特征在于，包括存储器、处理器及存储在所述存储器中并可在所述处理器中运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1至4中任一所述的动作特征有效性判定方法。
CN201911171901.6A 2019-11-26 2019-11-26 动作特征有效性判定方法、计算机存储介质和电子装置 Active CN110909687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911171901.6A CN110909687B (zh) 2019-11-26 2019-11-26 动作特征有效性判定方法、计算机存储介质和电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911171901.6A CN110909687B (zh) 2019-11-26 2019-11-26 动作特征有效性判定方法、计算机存储介质和电子装置

Publications (2)

Publication Number Publication Date
CN110909687A CN110909687A (zh) 2020-03-24
CN110909687B true CN110909687B (zh) 2022-10-21

Family

ID=69819522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911171901.6A Active CN110909687B (zh) 2019-11-26 2019-11-26 动作特征有效性判定方法、计算机存储介质和电子装置

Country Status (1)

Country Link
CN (1) CN110909687B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255624B (zh) * 2021-07-14 2021-09-21 北京壹体科技有限公司 一种智能识别引体向上动作姿态完成状况的系统和方法
CN114140493B (zh) * 2021-12-03 2022-07-19 湖北微模式科技发展有限公司 目标多角度展示动作连续性检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7103839B1 (en) * 2000-10-03 2006-09-05 Adobe Systems Incorporated Tracking the validity of cache frames in digital movie editing
CN103533366A (zh) * 2012-07-03 2014-01-22 展讯通信（上海）有限公司 用于视频运动补偿的缓存方法与装置
CN109274966A (zh) * 2018-09-21 2019-01-25 华中科技大学 一种基于运动矢量的监控视频内容去重方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7103839B1 (en) * 2000-10-03 2006-09-05 Adobe Systems Incorporated Tracking the validity of cache frames in digital movie editing
CN103533366A (zh) * 2012-07-03 2014-01-22 展讯通信（上海）有限公司 用于视频运动补偿的缓存方法与装置
CN109274966A (zh) * 2018-09-21 2019-01-25 华中科技大学 一种基于运动矢量的监控视频内容去重方法和系统

Also Published As

Publication number Publication date
CN110909687A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN108256433B (zh) 一种运动姿态评估方法及系统
CN105809144B (zh) 一种采用动作切分的手势识别系统和方法
CN110858394B (zh) 一种图像质量评估方法、装置、电子设备及计算机可读存储介质
US10737158B2 (en) Method and device for recognizing movement of tennis racket
US8509484B2 (en) Information processing device and information processing method
JP5498454B2 (ja) 追跡装置、追跡方法およびプログラム
CN104346816B (zh) 一种深度确定方法、装置及电子设备
US20100208038A1 (en) Method and system for gesture recognition
CN110909687B (zh) 动作特征有效性判定方法、计算机存储介质和电子装置
CN107832736B (zh) 实时人体动作的识别方法和实时人体动作的识别装置
JP2011008601A (ja) 情報処理装置および情報処理方法
CN110674680B (zh) 活体识别的方法、装置、存储介质
CN107833240B (zh) 多跟踪线索引导的目标运动轨迹提取和分析方法
CN115331314A (zh) 一种基于app筛查功能的运动效果评估方法和系统
CN110991292A (zh) 动作识别比对方法、系统、计算机存储介质和电子装置
CN110910426A (zh) 动作过程和动作趋势识别方法、存储介质和电子装置
CN111651038A (zh) 基于ToF的手势识别控制方法及其控制系统
CN113837112A (zh) 一种视频数据处理方法及电子设备
CN112800816A (zh) 一种基于多模型的视频动作识别检测方法
CN108363974B (zh) 用于社会安全管理的计算机视觉步态识别的足根检测方法
CN106598232A (zh) 手势识别方法及装置
CN111568367B (zh) 一种识别和量化眼跳入侵的方法
CN115273243B (zh) 跌倒检测方法、装置、电子设备和计算机可读存储介质
CN116721126A (zh) 一种乒乓球拍运动轨迹跟踪的方法和系统
CN118097780A (zh) 一种基于关键点检测的康复训练动作评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant