CN108596945A - 一种基于微分算子的视频重复次数估计方法 - Google Patents

一种基于微分算子的视频重复次数估计方法 Download PDF

Info

Publication number
CN108596945A
CN108596945A CN201810382978.7A CN201810382978A CN108596945A CN 108596945 A CN108596945 A CN 108596945A CN 201810382978 A CN201810382978 A CN 201810382978A CN 108596945 A CN108596945 A CN 108596945A
Authority
CN
China
Prior art keywords
signal
time
video
estimation
differential
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810382978.7A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201810382978.7A priority Critical patent/CN108596945A/zh
Publication of CN108596945A publication Critical patent/CN108596945A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明中提出的一种基于微分算子的视频重复次数估计方法，其主要内容包括：目标实例定位、目标的时变信号表示和重复性估计，其过程为，对于输入的视频，先利用光流法分割出视频中的运动前景，通过分割出的运动前景对目标实例进行定位；然后，通过测量平均池流场和流场的微分构造一组不同的时变流信号，最后，对目标的时变信号进行时频分解，利用一种选择机制估计出重复的次数并且挑选最具识别性的信号。本发明解决了以往对非静止的不规律的运动的重复性估计准确率不高的问题，能够有效地处理现实视频中复杂的图像、摄像机的运动和非固定性等问题，并能根据估计结果的质量评估自动选择最具鉴别性的信号。

Description

一种基于微分算子的视频重复次数估计方法
技术领域
本发明涉及活动识别领域，尤其是涉及了一种基于微分算子的视频重复次数估计方法。
背景技术
关于在视频中如何估计重复性的问题，比如做俯卧撑、切瓜或拉小提琴，现有的工作在静态和稳定周期性的假设下展现了良好的性能，但由于现实的视频很少完全是静态和静止的，所以通常使用的傅里叶假设并不现实，因此，越来越多的研究者开始寻求新的算法，用于处理现实视频中复杂的重复性问题。对视频的重复次数估计可以应用于许多现实中的体育活动，比如估计篮球运动员训练或者比赛时进球的个数、兵乓球员挥拍训练的次数；也可以应用于自然界中的自然现象观测，比如鸟类飞行时翅膀的挥动次数；在工业领域，视频重复次数估计可以用于质量检测环节如估计按键能按击的次数。然而，以往的重复性估计方法存在着对非静止的不规律的运动的重复性估计准确率不高的问题。
本发明中提出了一种基于微分算子的视频重复次数估计方法。对于输入的视频，先利用光流法分割出视频中的运动前景，通过分割出的运动前景对目标实例进行定位；然后，通过测量平均池流场和流场的微分构造一组不同的时变流信号，最后，对目标的时变信号进行时频分解，利用一种选择机制估计出重复的次数并且挑选最具识别性的信号。本发明能够有效地处理现实视频中复杂的图像、摄像机的运动和非固定性等问题，并能根据估计结果的质量评估自动选择最具鉴别性的信号。
发明内容
针对以往对非静止的不规律的运动的重复性估计准确率不高的问题，本发明的目的在于提供一种基于微分算子的视频重复次数估计方法，对于输入的视频，先利用光流法分割出视频中的运动前景，通过分割出的运动前景对目标实例进行定位；然后，通过测量平均池流场和流场的微分构造一组不同的时变流信号，最后，对目标的时变信号进行时频分解，利用一种选择机制估计出重复的次数并且挑选最具识别性的信号。
为解决上述问题，本发明提供一种基于微分算子的视频重复次数估计方法，其主要内容包括：
(一)目标实例定位；
(二)目标的时变信号表示；
(三)重复性估计。
其中，所述的目标实例定位，是指对于输入的视频，利用光流法分割出视频中的运动前景，通过分割出的运动前景对目标实例进行定位。
其中，所述的目标的时变信号表示，是指通过测量平均池流场F＝(Fx,Fy)和流场的微分构造一组不同的时变流信号，然后从流场和流场的微分中，推导出平移、旋转和膨胀三种基本运动类型和三种三维固有周期性，在此基础上，通过三维周期性在二维的表征的两个极端视角，得到重复性在二维表征中的18种基本情况。
进一步地，所述的三维固有周期性，主要包括连续、间断和周期性振荡三种，根据运动的类型，运动场需要满足以下必要的周期性条件之一：
其中∈代表平移，因为物体的周期性可能会叠加在平移上；而为了更好地解释运动，对的测量比更重要；并且在实际中，运动的连续性可能是几种连续性混合的结果。
进一步地，所述的流场的微分，主要包括散度、梯度和旋度，能作用在流场上的微分算子有四种(其中旋度只有一个垂直于屏幕的方向)，而零阶的信息流信号有两种，所以总共有六种不同的信号；对于振荡和间歇性的运动，会传递最强烈的重复信号，对于连续性的运动，流场F会传递一个更强的重复信号；所有微分都是利用一个大的滤波尺度的高斯导数滤波器进行计算的，其中通过测量Fx和Fy来估计从而在前景分割中得到一个全局的测量值，而最终的测量值是在物体中心周围的一个小半径范围内的平均池值
其中，所述的重复性估计，是指先对目标的时变信号进行时频分解，然后估计重复的次数并且挑选最具识别性的信号。
进一步地，所述的时频分解，是指离散信号hn的时间步n＝1,…,N-1以相等的间隔δt采样；ψ0(η)是一些可接受的小波函数，由无量纲时间参数η决定；而连续变换小波定义为hn和由小波函数ψ0(η)缩放平移生成的衍生小波的卷积：
其中，*表示复共轭；通过改变时间参数n和尺度参数s，小波变换可以生成一个时间序列表示，描述信号的振幅随时间和尺度的变化，虽然形式上是一个时间序列表示法，但它也可以被认为是一种时频表示，因为小波的尺度与傅里叶频率直接相关。
进一步地，所述的小波函数，具体使用的是莫莱小波，它是一个复指数载波调制的高斯包络线：
由于莫莱小波变换Wn(s)很复杂，因此定义小波功率谱或量表|Wn(s)|2为表示时间频率的局域能量，通过调节尺度s的数量决定功率谱|Wn(s)|2的分辨率，并使用对数坐标：
sj＝s02jδj,j＝0,1,…,J (6)
其中最小可测尺度s0和尺度的数量J决定了频率分辨率的范围。
进一步地，所述的估计重复的次数，指假设在小波频谱中只有一个主要的重复运动，每一个时间步n都从小波频谱|Wn(s)|2中选择模量的最大值，测得莫莱小波近似于s-1的局部频率，然后将局部频率与时间结合起来估计重复计数：
进一步地，所述的最具识别性的信号，指通过一种选择机制，按时间频率空间中的局部规律性对信号进行排序，具体是利用一种最小损失算法，找到时间频率空间中的最优路径，；然后通过简单地翻转小波功率得到损失曲面：1/|Wn(s)|2，即经过大功率区域则意味着低损失；由于目标是用一次损失测量来描述一个信号，因此利用一个最小损失路径的贪婪算法来评估经过功率谱的最小损失，因此，该算法将较低的损失分配给具有较高局部规律性的路径；最后为了做出最终预测，选择最小损失的信号和相应的重复计数。
附图说明
图1是本发明一种基于微分算子的视频重复次数估计方法的系统流程图。
图2是本发明一种基于微分算子的视频重复次数估计方法的运动类型和周期性示意图。
图3是本发明一种基于微分算子的视频重复次数估计方法的三维运动的二维表征图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于微分算子的视频重复次数估计方法的系统流程图。主要包括目标实例定位，目标的时变信号表示，重复性估计。
其中，目标实例定位是指对于输入的视频，利用光流法分割出视频中的运动前景，通过分割出的运动前景对目标实例进行定位。
而重复性估计是指先对目标的时变信号进行时频分解，然后估计重复的次数并且挑选最具识别性的信号。
进一步地，所述的时频分解，是指离散信号hn的时间步n＝1,…,N-1以相等的间隔δt采样；ψ0(η)是一些可接受的小波函数，由无量纲时间参数η决定；而连续变换小波定义为hn和由小波函数ψ0(η)缩放平移生成的衍生小波的卷积：
其中，*表示复共轭；通过改变时间参数n和尺度参数s，小波变换可以生成一个时间序列表示，描述信号的振幅随时间和尺度的变化，虽然形式上是一个时间序列表示法，但它也可以被认为是一种时频表示，因为小波的尺度与傅里叶频率直接相关。
进一步地，所述的小波函数，具体使用的是莫莱小波，它是一个复指数载波调制的高斯包络线：
由于莫莱小波变换Wn(s)很复杂，因此定义小波功率谱或量表|Wn(s)|2为表示时间频率的局域能量，通过调节尺度s的数量决定功率谱|Wn(s)|2的分辨率，并使用对数坐标：
sj＝s02jδj,j＝0,1,…,J (3)
其中最小可测尺度s0和尺度的数量J决定了频率分辨率的范围。
进一步地，所述的估计重复的次数，指假设在小波频谱中只有一个主要的重复运动，每一个时间步n都从小波频谱|Wn(s)|2中选择模量的最大值，测得莫莱小波近似于s-1的局部频率，然后将局部频率与时间结合起来估计重复计数：
进一步地，所述的最具识别性的信号，指通过一种选择机制，按时间频率空间中的局部规律性对信号进行排序，具体是利用一种最小损失算法，找到时间频率空间中的最优路径，；然后通过简单地翻转小波功率得到损失曲面：1/|Wn(s)|2，即经过大功率区域则意味着低损失；由于目标是用一次损失测量来描述一个信号，因此利用一个最小损失路径的贪婪算法来评估经过功率谱的最小损失，因此，该算法将较低的损失分配给具有较高局部规律性的路径；最后为了做出最终预测，选择最小损失的信号和相应的重复计数。
图2是本发明一种基于微分算子的视频重复次数估计方法的运动类型和周期性示意图。
将目标实例用时变信号表示时，先通过测量平均池流场F＝(Fx,Fy)和求流场的微分构造一组不同的时变流信号，微分算子作用于流之后，三维的周期性分为9种情况。这些情况在生活中的例子包括：自动扶梯、跳跃的青蛙、跳跃的球、芭蕾舞、拧紧螺栓的动作、洗衣机、给轮胎充气、吹气球和呼吸的海葵。
其中，三维固有周期性主要包括连续、间断和周期性振荡三种，根据运动的类型，运动场需要满足以下必要的周期性条件之一：
其中∈代表平移，因为物体的周期性可能会叠加在平移上；而为了更好地解释运动，对的测量比更重要；并且在实际中，运动的连续性可能是几种连续性混合的结果。
而流场的微分主要包括散度、梯度和旋度，能作用在流场上的微分算子有四种(其中旋度只有一个垂直于屏幕的方向)，而零阶的信息流信号有两种，所以总共有六种不同的信号；对于振荡和间歇性的运动，会传递最强烈的重复信号，对于连续性的运动，流场F会传递一个更强的重复信号；所有微分都是利用一个大的滤波尺度的高斯导数滤波器进行计算的，其中通过测量Fx和Fy来估计从而在前景分割中得到一个全局的测量值，而最终的测量值是在物体中心周围的一个小半径范围内的平均池。
图3是本发明一种基于微分算子的视频重复次数估计方法的三维运动的二维表征图。
从正视图和侧视图两个视角，乘以三种运动类型和三种连续性，可以得到三维运动的重复性在二维表征中的18种基本情况。其中，↑表示流的方向，■表示表示一个消失的中心，●表示一个旋转的中心，★表示膨胀的中心，虚线表示重复运动的模式。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于微分算子的视频重复次数估计方法，其特征在于，主要包括目标实例定位(一)；目标的时变信号表示(二)；重复性估计(三)。
2.基于权利要求书1所述的目标实例定位(一)，其特征在于，对于输入的视频，利用光流法分割出视频中的运动前景，通过分割出的运动前景对目标实例进行定位。
3.基于权利要求书1所述的目标的时变信号表示(二)，其特征在于，通过测量平均池流场F＝(Fx,Fy)和流场的微分构造一组不同的时变流信号，然后从流场和它的微分中，推导出平移、旋转和膨胀三种基本运动类型和三种三维固有周期性，在此基础上，通过三维周期性在二维的表征的两个极端视角，得到重复性在二维表征中的18种基本情况。
4.基于权利要求书3所述的三维固有周期性，其特征在于，主要包括连续、间断和周期性振荡三种，根据运动的类型，运动场需要满足以下必要的周期性条件之一：
其中∈代表平移，因为物体的周期性可能会叠加在平移上；而为了更好地解释运动，对的测量比更重要；并且在实际中，运动的连续性可能是几种连续性混合的结果。
5.基于权利要求书3所述的流场的微分，其特征在于，主要包括散度、梯度和旋度，能作用在流场上的微分算子有四种(其中旋度只有一个垂直于屏幕的方向)，而零阶的信息流信号有两种，所以总共有六种不同的信号；对于振荡和间歇性的运动，会传递最强烈的重复信号，对于连续性的运动，流场F会传递一个更强的重复信号；所有微分都是利用一个大的滤波尺度的高斯导数滤波器进行计算的，其中通过测量和来估计从而在前景分割中得到一个全局的测量值，而最终的测量值是在物体中心周围的一个小半径范围内的平均池值。
6.基于权利要求书1所述的重复性估计(三)，其特征在于，先对目标的时变信号进行时频分解，然后估计重复的次数并且挑选最具识别性的信号。
7.基于权利要求书6所述的时频分解，其特征在于，离散信号hn的时间步n＝1,…,N-1以相等的间隔δt采样；ψ0(η)是一些可接受的小波函数，由无量纲时间参数η决定；而连续变换小波定义为hn和由小波函数ψ0(η)缩放平移生成的衍生小波的卷积：
其中，*表示复共轭；通过改变时间参数n和尺度参数s，小波变换可以生成一个时间序列表示，描述信号的振幅随时间和尺度的变化，虽然形式上是一个时间序列表示法，但它也可以被认为是一种时频表示，因为小波的尺度与傅里叶频率直接相关。
8.基于权利要求书7所述的小波函数，其特征在于，具体使用的是莫莱小波，它是一个复指数载波调制的高斯包络线：
由于莫莱小波变换Wn(s)很复杂，因此定义小波功率谱或量表|Wn(s)|2为表示时间频率的局域能量，通过调节尺度s的数量决定功率谱|Wn(s)|2的分辨率，并使用对数坐标：
sj＝s02jδj,j＝0,1,…,J (6)
其中最小可测尺度s0和尺度的数量J决定了频率分辨率的范围。
9.基于权利要求书6所述的估计重复的次数，其特征在于，假设在小波频谱中只有一个主要的重复运动，每一个时间步n都从小波频谱|Wn(s)|2中选择模量的最大值，测得莫莱小波近似于s-1的局部频率，然后将局部频率与时间结合起来估计重复计数：
10.基于权利要求书6所述的最具识别性的信号，其特征在于，通过一种选择机制，按时间频率空间中的局部规律性对信号进行排序，具体是利用一种最小损失算法，找到时间频率空间中的最优路径，；然后通过简单地翻转小波功率得到损失曲面：1/|Wn(s)|2，即经过大功率区域则意味着低损失；由于目标是用一次损失测量来描述一个信号，因此利用一个最小损失路径的贪婪算法来评估经过功率谱的最小损失，因此，该算法将较低的损失分配给具有较高局部规律性的路径；最后为了做出最终预测，选择最小损失的信号和相应的重复计数。
CN201810382978.7A 2018-04-26 2018-04-26 一种基于微分算子的视频重复次数估计方法 Withdrawn CN108596945A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810382978.7A CN108596945A (zh) 2018-04-26 2018-04-26 一种基于微分算子的视频重复次数估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810382978.7A CN108596945A (zh) 2018-04-26 2018-04-26 一种基于微分算子的视频重复次数估计方法

Publications (1)

Publication Number Publication Date
CN108596945A true CN108596945A (zh) 2018-09-28

Family

ID=63609360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810382978.7A Withdrawn CN108596945A (zh) 2018-04-26 2018-04-26 一种基于微分算子的视频重复次数估计方法

Country Status (1)

Country Link
CN (1) CN108596945A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544580A (zh) * 2018-11-15 2019-03-29 武汉大势智慧科技有限公司 一种基于旋转拍摄图像前背景自动分离方法
CN114139104A (zh) * 2021-12-10 2022-03-04 北京百度网讯科技有限公司 基于偏微分方程处理流场数据的方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341769A (zh) * 2016-05-03 2017-11-10 中国科学院微电子研究所 一种心电信号除噪方法及系统
CN107392937A (zh) * 2017-07-14 2017-11-24 腾讯科技（深圳）有限公司 目标跟踪方法、装置及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341769A (zh) * 2016-05-03 2017-11-10 中国科学院微电子研究所 一种心电信号除噪方法及系统
CN107392937A (zh) * 2017-07-14 2017-11-24 腾讯科技（深圳）有限公司 目标跟踪方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TOM F. H. RUNIA ET AL: "Real-World Repetition Estimation by Div, Grad and Curl", 《ARXIV:1802.09971V1》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544580A (zh) * 2018-11-15 2019-03-29 武汉大势智慧科技有限公司 一种基于旋转拍摄图像前背景自动分离方法
CN114139104A (zh) * 2021-12-10 2022-03-04 北京百度网讯科技有限公司 基于偏微分方程处理流场数据的方法、装置及电子设备
CN114139104B (zh) * 2021-12-10 2022-12-13 北京百度网讯科技有限公司 基于偏微分方程处理流场数据的方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN108596945A (zh) 一种基于微分算子的视频重复次数估计方法
CN110780289B (zh) 基于场景雷达的多目标车辆跟踪方法及装置
CA2853879C (en) System for characterizing motion of an individual, notably a human individual, and associated method
KR102404751B1 (ko) 스포츠 공의 스핀축을 결정하기 위한 시스템 및 방법
CN110111363A (zh) 一种基于目标检测的跟踪方法及设备
CN105137418B (zh) 基于全邻模糊聚类的多目标跟踪与数据互联方法
TWI810374B (zh) 在頻率調變連續波（ｆｍｃｗ）雷達單元中減少干擾的方法及裝置、ｆｍｃｗ雷達系統及相關的非暫時性電腦可讀媒體
US9188692B2 (en) Seismic data acquisition
CN103744428A (zh) 一种基于邻域智能水滴算法的水面无人艇路径规划方法
CN101393264B (zh) 基于多激光扫描仪的移动目标跟踪方法及系统
Horton et al. Automated classification of passing in football
Covas et al. New method to search for continuous gravitational waves from unknown neutron stars in binary systems
Diamant et al. A machine learning approach for dead-reckoning navigation at sea using a single accelerometer
CN114027805B (zh) 一种基于微波雷达的生命体征测量方法及系统
US8582922B2 (en) Image processing device and method
CN111708015B (zh) 一种多径效应下的低空目标跟踪滤波方法
US20230260406A1 (en) Ship monitoring system, ship monitoring method, and information processing device
MacLennan The drag of four-panel demersal trawls
CN116794649A (zh) 基于波形选择的杂波中机动目标跟踪方法
Gloaguen et al. Is speed through water a better proxy for fishing activities than speed over ground?
NO20181209A1 (en) System for displaying and controlling track of cast net of purse seine
CN108984820A (zh) 一种基于纳什均衡的粒子重投漂移路径预测方法
Dillon et al. Simultaneous velocity ambiguity resolution and noise suppression for multifrequency coherent Doppler sonar
US20190117195A1 (en) Visualization of Ultrasound Vector Flow Imaging (VFI) Data
Kaydok Chaff Discrimination Using Convolutional Neural Networks and Range Profile Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180928

WW01 Invention patent application withdrawn after publication