CN108615241A - 一种基于光流的快速人体姿态估计方法 - Google Patents

一种基于光流的快速人体姿态估计方法 Download PDF

Info

Publication number
CN108615241A
CN108615241A CN201810397371.6A CN201810397371A CN108615241A CN 108615241 A CN108615241 A CN 108615241A CN 201810397371 A CN201810397371 A CN 201810397371A CN 108615241 A CN108615241 A CN 108615241A
Authority
CN
China
Prior art keywords
key frame
human body
body attitude
information
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810397371.6A
Other languages
English (en)
Other versions
CN108615241B (zh
Inventor
卿粼波
王露
何小海
滕奇志
吴小强
周文俊
熊文诗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201810397371.6A priority Critical patent/CN108615241B/zh
Publication of CN108615241A publication Critical patent/CN108615241A/zh
Application granted granted Critical
Publication of CN108615241B publication Critical patent/CN108615241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于光流的快速人体姿态估计方法，主要涉及利用代表视频序列帧间时间相关性的光流场，将关键帧的姿态信息传播到非关键帧，预测得到非关键帧的人体姿态信息。该方法包括：采用自适应关键帧检测算法确定原始视频序列的关键帧、非关键帧及图像组的大小，在关键帧上运用人体姿态估计算法得到关键帧的姿态信息，在同一图像组内，根据关键帧与每一非关键帧间的时间相关性计算光流场信息，利用光流场与关键帧的人体姿态信息预测非关键帧中人体姿态信息。本发明充分利用了的视频序列的时间相关性，避免了在每一帧上运行人体姿态估计算法，使得本发明在检测速度下降不大的情况下有效提高检测速度。

Description

一种基于光流的快速人体姿态估计方法
技术领域
本发明涉及视频分析领域中的人体姿估计问题，尤其是涉及一种基于光流信息的快速人体姿态估计的视频分析方法。
背景技术
人体姿态估计问题是指根据图像特征估计人体各个部位的位置与关联信息。视频图像大量存在于现实生活之中，如网络共享视频，无人机视频监控，3D视频等。通过对视频中人体姿态进行估计分析将有助于动态的了解视频中人群的情绪及行为的变化，有着广阔的应用前景。比如在人流密集的商圈，通过分析行人姿态的变化，管理员能有效把控此地段的实时情况，对突发状况起到手动干预的目的。
现有的人体姿态估计算法主要分为两类：一类是基于深度图像，另一类是基于可见光图像。这两种算法前者需要深度传感器等硬件设备，但这些硬件设备往往数量有限，从而导致无法分析诸如监控视频和网上的海量视频数据；对于后者，虽然只需要获取图片或视频中的人体表观特征，但都需要手动提取且不具有鲁棒性，基于可见光图像的算法一直没有突破性进展。
深度学习在图像处理领域的广泛运用，促进了人体姿态检测的进一步发展。但是常规的算法运用时往往需要对视频序列的每一帧图像分别进行人体姿态检测，大大降低了人体姿态检测速度。为了提高姿态检测效率，本发明充分利用视频序列帧间的时间相关性，对图像组进行合理划分，仅对视频序列的关键帧进行人体姿态估计，而对于非关键帧采用关键帧与非关键帧对应处的光流信息与关键帧的人体姿态信息进行融合预测，可在保证人体姿态检测效果与传统方法差距不大的情况下，大大提升了检测速度，为后续视频分析工作的进行节约时间。
发明内容
本发明的目的是提供一种视频中快速人体姿态估计方法，将深度学习与视频中的人体姿态检测相结合，充分利用视频序列帧间的时间相关性，可以大大缓解对视频序列每帧图像运用人体姿态估计算法导致的计算复杂度高、耗时长等问题。
为了方便说明，首先引入如下概念：
图像组：利用视频帧之间的时间相关性，将原始视频序列分为关键帧和非关键帧分别处理，相邻两关键帧之间的图像和前向关键帧组成一个图像组，同一图像组内的视频帧相似。
光流场：在图像灰度模式下，图像间的亚像素级运动矢量场，被广泛用于估计两个连续帧之间的像素点的运动。
人体姿态估计：基于视觉的人体姿态估计是指根据图像或视频序列的特征估计人体各部位的位置与关联信息。
本发明具体采用如下技术方案：
提出了一种基于光流的快速人体姿态估计的方法，该方法的主要特征在于：
1.利用本发明所提的自适应关键帧检测算法，确定图像序列的关键帧Pk、非关键帧Pi和图像组大小；
2.利用深度学习领域中Cao等[1]提出的人体姿态检测算法对关键帧进行人体姿态估计，得到关键帧的人体姿态信息；
3.在同一图像组内，计算关键帧与非关键帧之间的光流信息，该光流信息代表视频序列帧间的时间相关性，利用关键帧所有关节点处5x5邻域的光流信息将关键帧的人体姿态信息传播到非关键帧，融合得到非关键帧关节点的姿态信息，避免在每一帧上运用姿态检测算法，提高检测速度；
该方法主要包括以下步骤：
(1)读取视频序列图像，根据视频帧间的时间相关性，利用本发明所提的自适应关键帧检测算法，以视频序列的第一帧为关键帧Pk，依次计算随后各帧与关键帧之间的光流信息。在计算前事先设定光流信息的阈值，当计算得到的光流信息超过这一阈值时，更新图像组，确定下一关键帧。随后视频图像序列依次采用上述自适应关键帧检测算法确定关键帧Pk、非关键帧Pi以及各图像组的大小；
(2)对关键帧Pk直接运用深度学习中Cao等[1]提出的人体姿态检测算法，得到关键帧的人体姿态信息，同一图像组内利用关键帧与每一非关键帧之间的时间相关性，计算出二者间的光流场信息；
(3)在进行融合时，利用关键帧关节点处5x5邻域的光流信息代替其关节点的运动信息，结合关键帧的人体姿态信息融合得到非关键帧的人体姿态；
本发明的有益效果是：
(1)根据视频序列图像之间的时间相关性，利用光流场将关键帧关节点信息传播到非关键帧，将人体姿态估计算法的计算复杂度转移到光流信息的计算过程中，有效降低人体姿态估计的计算复杂度。
(2)根据提出的自适应关键帧检测算法，确定关键帧的位置，利用深度学习中Cao等[1]提出的人体姿态检测算法对关键帧进行人体姿态估计，改变了固定图像组模式下的由于视频序列相关性随时间增加而降低导致的姿态估计的不准确。
(3)对于非关键帧的人体姿态估计利用邻域特性，以关键帧关节点处5x5邻域的光流信息代替关节点的运动信息，提高对非关键帧人体关节点的信息预测的准确率。
(4)将光流信息与人体姿态估计相结合，在姿态检测效果与传统算法差异不大的情况下，降低人体姿态估计的计算复杂度，有效地提升了检测速度。
附图说明
图1为本发明中自适应关键帧检测算法的视频帧分割示意图；
图2为本发明的基于光流的快速人体姿态估计算法的组成框图；
图3为本发明的基于光流的快速人体姿态估计算法的流程图；
具体实施方式
下面通过实例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。
图2中，基于光流的快速人体姿态估计方法，具体包括以下步骤：
(1)读取视频序列图像，根据视频帧间的时间相关性，利用本发明所提的自适应关键帧检测算法，以视频序列的第一帧为关键帧Pk，依次计算随后各帧与关键帧之间的光流信息。在计算前事先设定光流信息的阈值，当计算得到的光流信息超过这一阈值时，更新图像组，确定下一关键帧。随后视频图像序列依次采用上述自适应关键帧检测算法确定关键帧Pk、非关键帧Pi以及各图像组的大小。
(2)对关键帧Pk直接运用Cao等[1]提出的人体姿态检测算法，计算得到关键帧人体姿态信息。
(3)同一图像组内，利用关键帧与每一非关键帧之间的时间相关性，计算出二者之间的光流场信息。
(4)邻域像素点光流信息代表该像素点的运动信息，因此在融合前，利用关键帧关节点处5x5邻域的光流信息代替关键帧与非关键帧对应关节点处的运动信息。
(5)融合时，利用关键帧与非关键帧对应关节点处的运动信息与关键帧的人体姿态信息融合预测得到非关键帧的人体姿态信息，在提高检测速度的同时保证检测效果的稳定。
参考文献
[1]Cao Z,Simon T,Wei S,et al.Realtime Multi-Person 2D Pose Estimationusing Part Affinity Fields[J].arXiv:Computer Vision and Pattern Recognition,2016。

Claims (4)

1.一种基于光流的快速人体姿态估计方法，其特征在于：
1.利用本发明所提的自适应关键帧检测算法，确定图像序列的关键帧Pk、非关键帧Pi和图像组大小；
2.利用深度学习领域中Cao等[1]提出的人体姿态检测算法对关键帧进行人体姿态估计，得到关键帧的人体姿态信息；
3.在同一图像组内，计算关键帧与非关键帧之间的光流信息，该光流信息代表视频序列帧间的时间相关性，利用关键帧所有关节点处5x5邻域的光流信息将关键帧的人体姿态信息传播到非关键帧，融合得到非关键帧关节点的姿态信息，避免在每一帧上运用姿态检测算法，提高检测速度；
该方法主要包括以下步骤：
(1)读取视频序列图像，根据视频帧间的时间相关性，利用本发明所提的自适应关键帧检测算法，以视频序列的第一帧为关键帧Pk，依次计算随后各帧与关键帧之间的光流信息。在计算前事先设定光流信息的阈值，当计算得到的光流信息超过这一阈值时，更新图像组，确定下一关键帧。随后视频图像序列依次采用上述自适应关键帧检测算法确定关键帧Pk、非关键帧Pi以及各图像组的大小；
(2)对关键帧Pk直接运用深度学习中Cao等[1]提出的人体姿态检测算法，得到关键帧的人体姿态信息，同一图像组内利用关键帧与每一非关键帧之间的时间相关性，计算出二者间的光流场信息；
(3)在进行融合时，利用关键帧关节点处5x5邻域的光流信息代替其关节点的运动信息，结合关键帧的人体姿态信息融合得到非关键帧的人体姿态。
2.如权利要求1所述的基于光流的快速人体姿态估计方法,其特征在于步骤(1)中采用本发明所提的自适应关键帧检测算法确定关键帧、非关键帧和图像组大小。
3.如权利要求1所述的基于光流的快速人体姿态估计方法,其特征在于步骤(3)中采用关键帧关节点处5x5邻域的光流信息代替关键帧人体姿态的运动信息。
4.如权利要求1所述的基于光流的快速人体姿态估计方法,其特征在于在步骤(3)中结合关键帧的人体姿态信息，利用代表视频序列帧间时间相关性的光流信息预测得到每一非关键帧的人体姿态信息。
参考文献：
[1]Cao Z,Simon T,Wei S,et al.Realtime Multi-Person 2D Pose Estimationusing Part Affinity Fields[J].arXiv:Computer Vision and Pattern Recognition,2016。
CN201810397371.6A 2018-04-28 2018-04-28 一种基于光流的快速人体姿态估计方法 Active CN108615241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810397371.6A CN108615241B (zh) 2018-04-28 2018-04-28 一种基于光流的快速人体姿态估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810397371.6A CN108615241B (zh) 2018-04-28 2018-04-28 一种基于光流的快速人体姿态估计方法

Publications (2)

Publication Number Publication Date
CN108615241A true CN108615241A (zh) 2018-10-02
CN108615241B CN108615241B (zh) 2020-10-27

Family

ID=63661155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810397371.6A Active CN108615241B (zh) 2018-04-28 2018-04-28 一种基于光流的快速人体姿态估计方法

Country Status (1)

Country Link
CN (1) CN108615241B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615593A (zh) * 2018-11-29 2019-04-12 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN109858406A (zh) * 2019-01-17 2019-06-07 西北大学 一种基于关节点信息的关键帧提取方法
CN110717430A (zh) * 2019-09-27 2020-01-21 聚时科技(上海)有限公司 基于目标检测与rnn的长物体识别方法及识别系统
CN112949352A (zh) * 2019-12-10 2021-06-11 北京地平线机器人技术研发有限公司 视频检测模型的训练方法及装置、存储介质与电子设备
CN117746259A (zh) * 2024-02-19 2024-03-22 湖南省第二测绘院 一种基于地图引擎的耕地监管方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102395984A (zh) * 2009-04-14 2012-03-28 皇家飞利浦电子股份有限公司 用于视频内容分析的关键帧提取
CN102682302A (zh) * 2012-03-12 2012-09-19 浙江工业大学 一种基于关键帧的多特征融合的人体姿态识别方法
EP2843621A1 (en) * 2013-08-26 2015-03-04 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Human pose calculation from optical flow data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102395984A (zh) * 2009-04-14 2012-03-28 皇家飞利浦电子股份有限公司 用于视频内容分析的关键帧提取
CN102682302A (zh) * 2012-03-12 2012-09-19 浙江工业大学 一种基于关键帧的多特征融合的人体姿态识别方法
EP2843621A1 (en) * 2013-08-26 2015-03-04 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Human pose calculation from optical flow data

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
20161231: "《基于先验的动作视频关键帧提取》", 《河南理工大学学报(自然科学版)》 *
XIZHOU ZHU等: "《Deep Feature Flow for Video Recognition》", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615593A (zh) * 2018-11-29 2019-04-12 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN109858406A (zh) * 2019-01-17 2019-06-07 西北大学 一种基于关节点信息的关键帧提取方法
CN109858406B (zh) * 2019-01-17 2023-04-07 西北大学 一种基于关节点信息的关键帧提取方法
CN110717430A (zh) * 2019-09-27 2020-01-21 聚时科技(上海)有限公司 基于目标检测与rnn的长物体识别方法及识别系统
CN112949352A (zh) * 2019-12-10 2021-06-11 北京地平线机器人技术研发有限公司 视频检测模型的训练方法及装置、存储介质与电子设备
CN112949352B (zh) * 2019-12-10 2024-05-24 北京地平线机器人技术研发有限公司 视频检测模型的训练方法及装置、存储介质与电子设备
CN117746259A (zh) * 2024-02-19 2024-03-22 湖南省第二测绘院 一种基于地图引擎的耕地监管方法及系统
CN117746259B (zh) * 2024-02-19 2024-05-03 湖南省第二测绘院 一种基于地图引擎的耕地监管方法及系统

Also Published As

Publication number Publication date
CN108615241B (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN108615241A (zh) 一种基于光流的快速人体姿态估计方法
CN109271933B (zh) 基于视频流进行三维人体姿态估计的方法
Zou et al. Df-net: Unsupervised joint learning of depth and flow using cross-task consistency
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
CN112801043B (zh) 基于深度学习的实时视频人脸关键点检测方法
CN106846359A (zh) 基于视频序列的运动目标快速检测方法
Maurer et al. Proflow: Learning to predict optical flow
CN111105432B (zh) 基于深度学习的无监督端到端的驾驶环境感知方法
CN110163887B (zh) 基于运动插值估计与前景分割相结合的视频目标跟踪方法
CN101877130A (zh) 复杂场景下基于粒子滤波器的运动目标跟踪方法
CN110569706A (zh) 一种基于时间和空间网络的深度集成目标跟踪算法
Wang et al. Unsupervised learning of accurate camera pose and depth from video sequences with Kalman filter
CN106778576B (zh) 一种基于sehm特征图序列的动作识别方法
CN117711066A (zh) 一种三维人体姿态估计方法、装置、设备及介质
Bashirov et al. Morf: Mobile realistic fullbody avatars from a monocular video
Liu et al. T‐ESVO: Improved Event‐Based Stereo Visual Odometry via Adaptive Time‐Surface and Truncated Signed Distance Function
CN109410254B (zh) 一种基于目标和相机运动建模的目标跟踪方法
CN115205737A (zh) 基于Transformer模型的运动实时计数方法和系统
CN115187633A (zh) 一种六自由度视觉反馈实时运动跟踪方法
Zhang et al. Unsupervised learning of monocular depth and large-ego-motion with multiple loop consistency losses
CN113761965A (zh) 动作捕捉方法、装置、电子设备和存储介质
CN113836980A (zh) 人脸识别方法、电子设备以及存储介质
Lan et al. Tracking Fast by Learning Slow: An Event-based Speed Adaptive Hand Tracker Leveraging Knowledge in RGB Domain
CN117241065B (zh) 视频插帧图像生成方法、装置、计算机设备和存储介质
Li et al. Towards Loss Balance and Consistent Model in Self-supervised Monocular Depth Estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant