CN106919890A - 一种评价用户动作标准性的方法及装置 - Google Patents
一种评价用户动作标准性的方法及装置 Download PDFInfo
- Publication number
- CN106919890A CN106919890A CN201510994052.XA CN201510994052A CN106919890A CN 106919890 A CN106919890 A CN 106919890A CN 201510994052 A CN201510994052 A CN 201510994052A CN 106919890 A CN106919890 A CN 106919890A
- Authority
- CN
- China
- Prior art keywords
- frame
- video
- characteristic data
- pixel
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种评价用户动作标准性的方法及装置,其中,方法包括:根据帧差累积法,分别从示范视频中提取第一运动特征数据和从采集视频中提取第二运动特征数据,其中,所述采集视频为用户参照所述示范视频完成的动作视频;将同一时刻的所述第一运动特征数据和第二运动特征数据进行匹配,得到每一时刻的所述第一运动特征数据和第二运动特征数据的匹配结果;根据所述匹配结果,评价用户动作的标准性。本发明中的示范视频不限定特定活动,可以是用户产生的动作视频还可以是其他形式的视频,此外,本发明可以对运动特征数据直接进行匹配,而不需要对用户的动作进行识别,满足了居家运动中用户的需求,提高了用户体验。
Description
技术领域
本发明涉及数据业务技术领域,尤其是涉及一种评价用户动作标准性的方法及装置。
背景技术
规律的体力活动可以改善心肺功能,降低冠心病、高血压、高血糖、脂肪代谢紊乱等疾病的发病率,同时可以增强骨骼强度并减缓骨质疏松的进展。此外,活动还可以减少压力,保持心理健康,防止抑郁症。相反,缺乏运动,尤其是久坐不动是乳腺癌或结肠癌、糖尿病和心脏疾病的主要病因。
随着生活水平的逐渐提高,人们的健身意识不断增强,越来越多的人意识到运动健身的重要性,但是由于时间、场地和精力的限制,大部分人很难保持规律的运动。与此同时出现的居家运动可以节省时间,不需要额外场地,成为越来越多人的选择。在居家运动中,很多用户会采用在家里参照视频教程开展健身运动的运动方式。但是参照视频教程开展健身运动存在锻炼枯燥、缺乏有效互动的缺点,这也是在居家运动中XBOX等体感游戏机大受欢迎的原因。体感游戏机可以在给用户示范的同时识别用户的活动,并为用户的活动进行打分,衡量用户的动作是否准确到位。但在实际应用中,体感游戏机存在如下问题:
可参与的活动有限,目前体感游戏只有官方发布的一些程序,来源单一,种类较少,部分需要用户花钱购买,难以满足用户需求。此外,识别技术复杂,体感游戏机需要综合光学、景深等数据识别用户的动作、幅度等细节信息。另外,需要专业设备,体感游戏机价格昂贵,增加了用户成本。
综上所述,目前的居家运动监测模式很难满足用户的需求。
发明内容
为了解决现有的居家运动监测模式很难满足用户的需求的问题,本发明提供了一种评价用户动作标准性的方法及装置。
为了解决上述技术问题,本发明提供了一种评价用户动作标准性的方法,该方法包括:
根据帧差累积法,分别从示范视频中提取第一运动特征数据和从采集视频中提取第二运动特征数据,其中,所述采集视频为用户参照所述示范视频完成的动作视频;
将同一时刻的所述第一运动特征数据和第二运动特征数据进行匹配,得到每一时刻的所述第一运动特征数据和第二运动特征数据的匹配结果;
根据所述匹配结果,评价用户动作的标准性。
可选的,所述根据帧差累积法,分别从示范视频中提取第一运动特征数据和从采集视频中提取第二运动特征数据中,根据帧差累积法,从示范视频中提取第一运动特征数据,具体包括:计算所述示范视频中相邻两帧对应像素的像素值差值的绝对值,得到所述示范视频中每一帧的第一帧差绝对值,其中,所述第一帧差绝对值中包括相邻两帧所有对应像素的像素值差值的绝对值;将所述第一帧差绝对值中的每一绝对值与一预设阈值相比较,并将大于所述预设阈值的绝对值对应的像素记录为所述示范视频中每一帧的运动点;依据示范视频中相邻两帧像素的对应关系,将所述示范视频中每一帧的前后连续多帧的运动点进行累积,得到所述示范视频中每一帧的第一运动特征数据。
可选的,所述根据帧差累积法,分别从示范视频中提取第一运动特征数据和从采集视频中提取第二运动特征数据中,根据帧差累积法,从采集视频中提取第二运动特征数据,具体包括:计算所述采集视频中相邻两帧对应像素的像素值差值的绝对值,得到所述采集视频中每一帧的第二帧差绝对值,其中,所述第二帧差绝对值中包括相邻两帧所有对应像素的像素值差值的绝对值;将所述第二帧差绝对值中的每一绝对值与所述预设阈值相比较,并将大于所述预设阈值的绝对值对应的像素记录为所述采集视频中每一帧的运动点;依据采集视频中相邻两帧像素的对应关系,将所述采集视频中每一帧的前后连续多帧的运动点进行累积,得到所述采集视频中每一帧的第二运动特征数据。
可选的,所述将同一时刻的所述第一运动特征数据和第二运动特征数据进行匹配,得到每一时刻的所述第一运动特征数据和第二运动特征数据的匹配结果,具体包括:根据相关系数公式计算所述示范视频中第一帧的第一运动特征数据和所述采集视频中与所述第一帧相对应的第二帧的第二运动特征数据之间的相关系数,其中,在相关系数公式中,r表示相关系数,xij表示示范视频中第一帧的第i行、第j列像素的像素值,表示示范视频中第一帧所有像素的像素值的平均值,yij表示采集视频中第二帧的第i行、第j列像素的像素值,表示采集视频中第二帧所有像素的像素值的平均值,m表示第一帧或第二帧中像素的总行数,n表示第一帧或第二帧中像素的总列数,i表示第一帧或第二帧中的第i行像素,j表示第一帧或第二帧中的第j列像素,其中,m、n、i和j均为正整数;根据所述相关系数,将每一时刻的相关系数作为每一时刻的第一运动特征数据和第二运动特征数据的匹配结果。
可选的,所述根据所述匹配结果,评价用户动作的标准性,具体为:统计一预设时间段内的多个相关系数,并计算所述多个相关系数的平均值;根据所述平均值,评价用户动作的标准性,其中,所述平均值的值越大,用户动作的标准性越高。
依据本发明的另一个方面,本发明还提供了一种评价用户动作标准性的装置,所述装置包括:
提取模块,用于根据帧差累积法,分别从示范视频中提取第一运动特征数据和从采集视频中提取第二运动特征数据,其中,所述采集视频为用户参照所述示范视频完成的动作视频;
匹配模块,用于将同一时刻的所述第一运动特征数据和第二运动特征数据进行匹配,得到每一时刻的所述第一运动特征数据和第二运动特征数据的匹配结果;
评价模块,用于根据所述匹配结果,评价用户动作的标准性。
可选的,所述提取模块具体用于,计算所述示范视频中相邻两帧对应像素的像素值差值的绝对值,得到所述示范视频中每一帧的第一帧差绝对值,其中,所述第一帧差绝对值中包括相邻两帧所有对应像素的像素值差值的绝对值;将所述第一帧差绝对值中的每一绝对值与一预设阈值相比较,并将大于所述预设阈值的绝对值对应的像素记录为所述示范视频中每一帧的运动点;依据示范视频中相邻两帧像素的对应关系,将所述示范视频中每一帧的前后连续多帧的运动点进行累积,得到所述示范视频中每一帧的第一运动特征数据。
可选的,所述提取模块还用于,计算所述采集视频中相邻两帧对应像素的像素值差值的绝对值,得到所述采集视频中每一帧的第二帧差绝对值,其中,所述第二帧差绝对值中包括相邻两帧所有对应像素的像素值差值的绝对值;将所述第二帧差绝对值中的每一绝对值与所述预设阈值相比较,并将大于所述预设阈值的绝对值对应的像素记录为所述采集视频中每一帧的运动点;依据采集视频中相邻两帧像素的对应关系,将所述采集视频中每一帧的前后连续多帧的运动点进行累积,得到所述采集视频中每一帧的第二运动特征数据。
可选的,所述匹配模块具体用于,根据相关系数公式计算所述示范视频中第一帧的第一运动特征数据和所述采集视频中与所述第一帧相对应的第二帧的第二运动特征数据之间的相关系数,其中,在相关系数公式中,r表示相关系数,xij表示示范视频中第一帧的第i行、第j列像素的像素值,表示示范视频中第一帧所有像素的像素值的平均值,yij表示采集视频中第二帧的第i行、第j列像素的像素值,表示采集视频中第二帧所有像素的像素值的平均值,m表示第一帧或第二帧中像素的总行数,n表示第一帧或第二帧中像素的总列数,i表示第一帧或第二帧中的第i行像素,j表示第一帧或第二帧中的第j列像素,其中,m、n、i和j均为正整数;根据所述相关系数,将每一时刻的相关系数作为每一时刻的第一运动特征数据和第二运动特征数据的匹配结果。
可选的,所述评价模块具体用于,统计一预设时间段内的多个相关系数,并计算所述多个相关系数的平均值;根据所述平均值,评价用户动作的标准性,其中,所述平均值的值越大,用户动作的标准性越高。
本发明的有益效果是:
本发明提供的评价用户动作标准性的方法,首先根据帧差累积法,分别从示范视频中提取第一运动特征数据和从采集视频中提取第二运动特征数据,然后将同一时刻的第一运动特征数据和第二运动特征数据直接进行匹配,得到每一时刻的第一运动特征数据和第二运动特征数据的匹配结果,最后根据匹配结果,评价用户动作的标准性。本发明通过视频采集设备采集用户运动过程中的视频数据,进行运动特征数据提取,通过对运动特征数据直接匹配,评价用户运动与示范视频的匹配程度,本发明对运动设备和运动种类均没有限制,并且在对运动特征数据匹配时不需要进行动作识别,实现了居家运动评价,帮助用户养成良好的锻炼习惯,节约了成本,满足了居家运动中用户的需求,提高了用户体验。
附图说明
图1表示本发明的第一实施例中评价用户动作标准性的方法的步骤流程图;
图2表示本发明的第二实施例中评价用户动作标准性的方法的步骤流程图;
图3表示本发明的第二实施例的示范视频中其中一帧的图像及依据该帧的第一运动特征数据得到的运动特征结果;
图4表示第二实施例的采集视频中与图3相同时刻的一帧的图像及依据采集视频中该帧的第二运动特征数据得到的运动特征结果;
图5表示本发明的第三实施例中评价用户动作标准性的装置的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
第一实施例:
如图1所示,为本发明的第一实施例中评价用户动作标准性的方法的步骤流程图,该方法包括:
步骤101,根据帧差累积法,分别从示范视频中提取第一运动特征数据和从采集视频中提取第二运动特征数据。
在本步骤中,分别根据帧差累积法从示范视频中提取第一运动特征数据,并根据帧差累积法从采集视频中提取第二运动特征。具体的,采集视频为用户参照示范视频完成的动作视频。另外,具体的,在根据帧差累积法提取第一运动特征数据和第二运动特征数据时,还可以采用形态学方法辅助提取第一运动特征数据和第二运动特征数据。
此外,采集视频可以通过智能手机、平板电脑、智能电视等各种智能设备实现视频的播放和采集。具体的,可以通过智能电视或平板电脑等终端播放示范视频,然后在智能电视或平板电脑的摄像头前参照示范视频完成相同的动作,摄像头采集用户的视频数据。另外,在此需要说明的是,示范视频不仅指传统体感游戏中制作的动画,也可以是教练或其它用户采用相同方式录制的运动视频。另外需要说明的是,在提取运动特征数据时,可以只提取示范视频及采集视频中的运动信息,光照、色彩等信息造成的影响几乎可以忽略不计。
步骤102,将同一时刻的第一运动特征数据和第二运动特征数据进行匹配,得到每一时刻的第一运动特征数据和第二运动特征数据的匹配结果。
在本步骤中,具体的,在将同一时刻的示范视频的第一运动特征数据和采集视频的第二运动特征数据进行匹配时,可以利用同一时刻的第一运动特征数据和第二运动特征数据之间的相关性来表征匹配结果。此外,可选的,也可以利用运动的形状轮廓、横向或纵向累积值等多种特征来进行匹配。
步骤103,根据匹配结果,评价用户动作的标准性。
在本步骤中,在得到每一时刻的第一运动特征数据和第二运动特征数据时,可以根据每一时刻的匹配结果,评价用户动作的标准性。具体的,在评价用户动作的标准性时,可以将多个时刻的匹配结果相累加然后取平均值,评价用户动作的标准性,也可以取多个时刻的匹配结果的中位数,评价用户动作的标准性,即可以根据具体情况,调整评价用户动作标准性的策略。
在本实施例中,通过帧差累积法提取示范视频的第一运动特征数据和采集视频的第二运动特征数据,并对同一时刻的第一运动特征数据和第二运动特征数据直接匹配,得到每一时刻的匹配结果,最后根据匹配结果,评价用户动作的标准性。本实施例中的示范视频不限定特定活动,用户可以采用任何同样方式采集的运动视频作为示范视频,即任何人都可以生成示范视频,使得示范视频的种类丰富;此外,通过帧差累积法提取第一运动特征数据和第二运动特征数据,去除了背景、前景、光照、色彩等复杂内容的干扰,提高了运动特征数据的准确性;另外,本实施例不需要专业设备,节约了成本,满足了居家运动中用户的需求,提高了用户体验。
第二实施例:
如图2所示,为本发明的第二实施例中评价用户动作标准性的方法的步骤流程图,该方法包括:
步骤201,根据帧差累积法,从示范视频中提取第一运动特征数据。
在本步骤中,具体的,在根据帧差累积法,从示范视频中提取第一运动特征数据时,还可以采用形态学的方法辅助对第一运动特征进行提取。
具体的,根据帧差累积法从示范视频中提取第一运动特征数据时,可以先计算示范视频中相邻两帧对应像素的像素值差值的绝对值,得到示范视频中每一帧的第一帧差绝对值,其中,第一帧差绝对值中包括相邻两帧所有对应像素的像素值差值的绝对值;然后将第一帧差绝对值中的每一绝对值与一预设阈值相比较,并将大于预设阈值的绝对值对应的像素记录为示范视频中每一帧的运动点;最后依据示范视频中相邻两帧像素的对应关系,将示范视频中每一帧的前后连续多帧的运动点进行累计,得到示范视频中每一帧的第一运动特征数据。
具体的,在根据帧差累积法从示范视频中提取第一运动特征数据的同时,还可以确定运动目标的范围,实现运动目标的定位,并获取每一帧中运动区域的大小和形状等信息。
下面对从示范视频中提取第一运动特征数据,进行解释说明。
假设示范视频中每一帧的大小为100×100,即每一帧的像素行数和列数均为100,则首先得到示范视频中每一帧的第一帧差绝对值。例如,示范视频中第五帧的第2行第10列的像素与示范视频中第六帧的第2行第10列的像素相对应,则计算第五帧的第2行第10列的像素的像素值与第六帧的第2行第10列的像素的像素值的像素值差值的绝对值。依据该计算方式,计算第五帧和第六帧的所有对应像素的像素值差值的绝对值,并将计算得到的第五帧和第六帧的所有对应像素的像素值差值的绝对值作为示范视频中第五帧或第六帧的第一帧差绝对值。然后将第一帧差绝对值中的每一绝对值与一预设阈值相比较,并将大于预设阈值的绝对值对应的像素记录为示范视频中每一帧的运动点,例如,第五帧的第一帧差绝对值中的第2行第5列的绝对值大于一预设阈值,则将第一帧差绝对值中第2行第5列的绝对值对应的像素记录为示范视频中第五帧的运动点。最后依据示范视频中相邻两帧像素的对应关系,将示范视频中每一帧的前后连续多帧的运动点进行累积,得到示范视频中每一帧的第一运动特征数据,例如,依据示范视频中相邻两帧像素的对应关系,将示范视频的第六帧的前面连续五帧和后面连续五帧的运动点进行累计,即将示范视频的第一帧至第十一帧的运动点进行累计,假设第一帧、第五帧、第七帧的第2行第5列的像素相对应且均为运动点,则将第一帧、第五帧、第七帧的第2行第5列的像素相累计,得到示范视频中第六帧的第一运动特征数据。如图3所示,为示范视频中其中一帧的图像及依据该帧的第一运动特征数据得到的运动特征结果,其中,箭头指向的为依据该帧的第一运动特征数据得到的运动特征结果。
步骤202,根据帧差累积法,从采集视频中提取第二运动特征数据。
在本步骤中,具体的,在根据帧差累积法,从采集视频中提取第二运动特征数据时,还可以采用形态学的方法辅助对第二运动特征进行提取。
具体的,根据帧差累积法从采集视频中提取第二运动特征数据时,可以先计算采集视频中相邻两帧对应像素的像素值差值的绝对值,得到采集视频中每一帧的第二帧差绝对值,其中,第二帧差绝对值中包括相邻两帧所有对应像素的像素值差值的绝对值;然后将第二帧差绝对值中的每一绝对值与一预设阈值相比较,并将大于预设阈值的绝对值对应的像素记录为采集视频中每一帧的运动点;最后依据采集视频中相邻两帧像素的对应关系,将采集视频中每一帧的前后连续多帧的运动点进行累计,得到采集视频中每一帧的第二运动特征数据。
具体的,在根据帧差累积法从采集视频中提取第二运动特征数据的同时,还可以确定运动目标的范围,实现运动目标的定位,并获取每一帧中运动区域的大小和形状等信息。
下面对从采集视频中提取第二运动特征数据,进行解释说明。
假设采集视频中每一帧的大小为100×100,即每一帧的像素行数和列数均为100,则首先得到采集视频中每一帧的第二帧差绝对值。例如,采集视频中第五帧的第2行第10列的像素与采集视频中第六帧的第2行第10列的像素相对应,则计算第五帧的第2行第10列的像素的像素值与第六帧的第2行第10列的像素值的像素值差值的绝对值。依据该计算方式,计算第五帧和第六帧的所有对应像素的像素值差值的绝对值,并将计算得到的第五帧和第六帧的所有对应像素的像素值差值的绝对值作为采集视频中第五帧或第六帧的第二帧差绝对值。然后将第二帧差绝对值中的每一绝对值与一预设阈值相比较,并将大于预设阈值的绝对值对应的像素记录为采集视频中每一帧的运动点,例如,第五帧的第二帧差绝对值中的第2行第5列的绝对值大于该预设阈值,则将第二帧差绝对值中第2行第5列的绝对值对应的像素记录为采集视频中第五帧的运动点。最后依据采集视频中相邻两帧像素的对应关系,将采集视频中每一帧的前后连续多帧的运动点进行累积,得到采集视频中每一帧的第二运动特征数据,例如,依据采集视频中相邻两帧像素的对应关系,将采集视频的第六帧的前面连续五帧和后面连续五帧的运动点进行累计,即将采集视频的第一帧至第十一帧的运动点进行累计,假设第一帧、第五帧、第七帧的第2行第5列的像素相对应且均为运动点,则将第一帧、第五帧、第七帧的第2行第5列的像素相累计,得到采集视频中第六帧的第二运动特征数据。如图4所示,为采集视频中与图3相同时刻的一帧的图像及依据采集视频中该帧的第二运动特征数据得到的运动特征结果,其中,箭头指向的为依据该帧的第二运动特征数据得到的运动特征结果。
步骤203,根据相关系数公式,计算示范视频中第一帧的第一运动特征数据和采集视频中与第一帧相对应的第二帧的第二运动特征数据之间的相关系数。
在本步骤中,具体的,相关系数公式为:
在上述相关系数公式中,r表示相关系数,xij表示示范视频中第一帧的第i行、第j列像素的像素值,表示示范视频中第一帧所有像素的像素值的平均值,yij表示采集视频中第二帧的第i行、第j列像素的像素值,表示采集视频中第二帧所有像素的像素值的平均值,m表示第一帧或第二帧中像素的总行数,n表示第一帧或第二帧中像素的总列数,i表示第一帧或第二帧中的第i行像素,j表示第一帧或第二帧中的第j列像素,其中,m、n、i和j均为正整数。根据该相关系数,可以计算出示范视频中第一帧的第一运动特征数据和采集视频中与第一帧相同时刻的第二帧的第二运动特征数据之间的相关系数。
此外,可选的,同样也可以利用运动的形状轮廓、横向或纵向累积值等多种特征对第一运动特征数据和第二运动特征数据进行匹配。
步骤204,根据相关系数,将每一时刻的相关系数作为每一时刻的第一运动特征数据和第二运动特征数据的匹配结果。
在本步骤中,具体的,根据计算得到的示范视频中第一帧的第一运动特征数据和采集视频中与第一帧相对应的第二帧的第二运动特征数据之间的相关系数,可以将每一时刻的相关系数作为每一时刻的第一运动特征数据和第二运动特征数据的匹配结果。
步骤205,统计一预设时间段内的多个相关系数,计算多个相关系数的平均值,并根据平均值,评价用户动作的标准性。
在本步骤中,具体的,在统计得到一预设时间段内的多个相关系数之后,可以根据相关系数对一预设时间段内的用户动作进行评价。具体的,可以计算该预设时间段内的多个相关系数的平均值,并根据平均值评价用户动作的标准性,其中,平均值的值越大,用户动作的标准性越高。
此外,具体的,也可以取该预设时间段内的多个相关系数的中位数,评价用户动作的标准性,其中,中位数的值越大,也同样说明用户动作的标准性越高;也可以取该预设时间段内的多个相关系数的九分分位点等,即本步骤可以根据具体情况,调整评价用户动作标准性的策略。
另外,在此需要说明的是,预设时间段可以是整段采集视频,也可以是采集视频中的任意长度的一段,在此并不做具体限定,即可以根据相关系数帮助用户知道整套动作中哪一段动作比较差,以帮助用户针对性的提高动作的标准性。
在本实施例中,采用帧差累积法分别得到示范视频的第一运动特征数据和采集视频的第二运动特征数据,并利用相关系数公式计算示范视频中第一帧的第一运动特征数据和采集视频中与第一帧相同时刻的第二帧的第二运动特征数据之间的相关系数,然后将示范视频和采集视频的相对应的帧的相关系数作为每一时刻的匹配结果来评价用户动作的标准性。本实施例不需要活动识别即可实现评价用户动作标准性的功能,节约了成本,满足了居家运动中用户的需求,提高了用户体验。
第三实施例:
如图3所示,为本发明的第三实施例中评价用户动作标准性的装置的结构框图,该装置包括:
提取模块301,用于根据帧差累积法,分别从示范视频中提取第一运动特征数据和从采集视频中提取第二运动特征数据,其中,采集视频为用户参照示范视频完成的动作视频;
匹配模块302,用于将同一时刻的第一运动特征数据和第二运动特征数据进行匹配,得到每一时刻的第一运动特征数据和第二运动特征数据的匹配结果;
评价模块303,用于根据匹配结果,评价用户动作的标准性。
可选的,提取模块301具体用于,计算示范视频中相邻两帧对应像素的像素值差值的绝对值,得到示范视频中每一帧的第一帧差绝对值,其中,第一帧差绝对值中包括相邻两帧所有对应像素的像素值差值的绝对值;将第一帧差绝对值中的每一绝对值与一预设阈值相比较,并将大于预设阈值的绝对值对应的像素记录为示范视频中每一帧的运动点;依据示范视频中相邻两帧像素的对应关系,将示范视频中每一帧的前后连续多帧的运动点进行累积,得到示范视频中每一帧的第一运动特征数据。
可选的,提取模块301还用于,计算采集视频中相邻两帧对应像素的像素值差值的绝对值,得到采集视频中每一帧的第二帧差绝对值,其中,第二帧差绝对值中包括相邻两帧所有对应像素的像素值差值的绝对值;将第二帧差绝对值中的每一绝对值与预设阈值相比较,并将大于预设阈值的绝对值对应的像素记录为采集视频中每一帧的运动点;依据采集视频中相邻两帧像素的对应关系,将采集视频中每一帧的前后连续多帧的运动点进行累积,得到采集视频中每一帧的第二运动特征数据。
可选的,匹配模块302具体用于,根据相关系数公式计算示范视频中第一帧的第一运动特征数据和采集视频中与第一帧相对应的第二帧的第二运动特征数据之间的相关系数,其中,在相关系数公式中,r表示相关系数,xij表示示范视频中第一帧的第i行、第j列像素的像素值,表示示范视频中第一帧所有像素的像素值的平均值,yij表示采集视频中第二帧的第i行、第j列像素的像素值,表示采集视频中第二帧所有像素的像素值的平均值,m表示第一帧或第二帧中像素的总行数,n表示第一帧或第二帧中像素的总列数,i表示第一帧或第二帧中的第i行像素,j表示第一帧或第二帧中的第j列像素,其中,m、n、i和j均为正整数;根据相关系数,将每一时刻的相关系数作为每一时刻的第一运动特征数据和第二运动特征数据的匹配结果。
可选的,评价模块303具体用于,统计一预设时间段内的多个相关系数,并计算多个相关系数的平均值;根据平均值,评价用户动作的标准性,其中,平均值的值越大,用户动作的标准性越高。
以上所述的是本发明的优选实施方式,应当指出对于本技术领域的普通人员来说,在不脱离本发明所述的原理前提下还可以作出若干改进和润饰,这些改进和润饰也在本发明的保护范围内。
Claims (10)
1.一种评价用户动作标准性的方法,其特征在于,所述方法包括:
根据帧差累积法,分别从示范视频中提取第一运动特征数据和从采集视频中提取第二运动特征数据,其中,所述采集视频为用户参照所述示范视频完成的动作视频;
将同一时刻的所述第一运动特征数据和第二运动特征数据进行匹配,得到每一时刻的所述第一运动特征数据和第二运动特征数据的匹配结果;
根据所述匹配结果,评价用户动作的标准性。
2.根据权利要求1所述的方法,其特征在于,所述根据帧差累积法,分别从示范视频中提取第一运动特征数据和从采集视频中提取第二运动特征数据中,根据帧差累积法,从示范视频中提取第一运动特征数据,具体包括:
计算所述示范视频中相邻两帧对应像素的像素值差值的绝对值,得到所述示范视频中每一帧的第一帧差绝对值,其中,所述第一帧差绝对值中包括相邻两帧所有对应像素的像素值差值的绝对值;
将所述第一帧差绝对值中的每一绝对值与一预设阈值相比较,并将大于所述预设阈值的绝对值对应的像素记录为所述示范视频中每一帧的运动点;
依据示范视频中相邻两帧像素的对应关系,将所述示范视频中每一帧的前后连续多帧的运动点进行累积,得到所述示范视频中每一帧的第一运动特征数据。
3.根据权利要求2所述的方法,其特征在于,所述根据帧差累积法,分别从示范视频中提取第一运动特征数据和从采集视频中提取第二运动特征数据中,根据帧差累积法,从采集视频中提取第二运动特征数据,具体包括:
计算所述采集视频中相邻两帧对应像素的像素值差值的绝对值,得到所述采集视频中每一帧的第二帧差绝对值,其中,所述第二帧差绝对值中包括相邻两帧所有对应像素的像素值差值的绝对值;
将所述第二帧差绝对值中的每一绝对值与所述预设阈值相比较,并将大于所述预设阈值的绝对值对应的像素记录为所述采集视频中每一帧的运动点;
依据采集视频中相邻两帧像素的对应关系,将所述采集视频中每一帧的前后连续多帧的运动点进行累积,得到所述采集视频中每一帧的第二运动特征数据。
4.根据权利要求3所述的方法,其特征在于,所述将同一时刻的所述第一运动特征数据和第二运动特征数据进行匹配,得到每一时刻的所述第一运动特征数据和第二运动特征数据的匹配结果,具体包括:
根据相关系数公式 计算所述示范视频中第一帧的第一运动特征数据和所述采集视频中与所述第一帧相对应的第二帧的第二运动特征数据之间的相关系数,其中,在相关系数公式中,r表示相关系数,xij表示示范视频中第一帧的第i行、第j列像素的像素值,表示示范视频中第一帧所有像素的像素值的平均值,yij表示采集视频中第二帧的第i行、第j列像素的像素值,表示采集视频中第二帧所有像素的像素值的平均值,m表示第一帧或第二帧中像素的总行数,n表示第一帧或第二帧中像素的总列数,i表示第一帧或第二帧中的第i行像素,j表示第一帧或第二帧中的第j列像素,其中,m、n、i和j均为正整数;
根据所述相关系数,将每一时刻的相关系数作为每一时刻的第一运动特征数据和第二运动特征数据的匹配结果。
5.根据权利要求4所述的方法,其特征在于,所述根据所述匹配结果,评价用户动作的标准性,具体为:
统计一预设时间段内的多个相关系数,并计算所述多个相关系数的平均值;
根据所述平均值,评价用户动作的标准性,其中,所述平均值的值越大,用户动作的标准性越高。
6.一种评价用户动作标准性的装置,其特征在于,所述装置包括:
提取模块,用于根据帧差累积法,分别从示范视频中提取第一运动特征数据和从采集视频中提取第二运动特征数据,其中,所述采集视频为用户参照所述示范视频完成的动作视频;
匹配模块,用于将同一时刻的所述第一运动特征数据和第二运动特征数据进行匹配,得到每一时刻的所述第一运动特征数据和第二运动特征数据的匹配结果;
评价模块,用于根据所述匹配结果,评价用户动作的标准性。
7.根据权利要求6所述的装置,其特征在于,所述提取模块具体用于,计算所述示范视频中相邻两帧对应像素的像素值差值的绝对值,得到所述示范视频中每一帧的第一帧差绝对值,其中,所述第一帧差绝对值中包括相邻两帧所有对应像素的像素值差值的绝对值;将所述第一帧差绝对值中的每一绝对值与一预设阈值相比较,并将大于所述预设阈值的绝对值对应的像素记录为所述示范视频中每一帧的运动点;依据示范视频中相邻两帧像素的对应关系,将所述示范视频中每一帧的前后连续多帧的运动点进行累积,得到所述示范视频中每一帧的第一运动特征数据。
8.根据权利要求7所述的装置,其特征在于,所述提取模块还用于,计算所述采集视频中相邻两帧对应像素的像素值差值的绝对值,得到所述采集视频中每一帧的第二帧差绝对值,其中,所述第二帧差绝对值中包括相邻两帧所有对应像素的像素值差值的绝对值;将所述第二帧差绝对值中的每一绝对值与所述预设阈值相比较,并将大于所述预设阈值的绝对值对应的像素记录为所述采集视频中每一帧的运动点;依据采集视频中相邻两帧像素的对应关系,将所述采集视频中每一帧的前后连续多帧的运动点进行累积,得到所述采集视频中每一帧的第二运动特征数据。
9.根据权利要求8所述的装置,其特征在于,所述匹配模块具体用于,根据相关系数公式 计算所述示范视频中第一帧的第一运动特征数据和所述采集视频中与所述第一帧相对应的第二帧的第二运动特征数据之间的相关系数,其中,在相关系数公式中,r表示相关系数,xij表示示范视频中第一帧的第i行、第j列像素的像素值,表示示范视频中第一帧所有像素的像素值的平均值,yij表示采集视频中第二帧的第i行、第j列像素的像素值,表示采集视频中第二帧所有像素的像素值的平均值,m表示第一帧或第二帧中像素的总行数,n表示第一帧或第二帧中像素的总列数,i表示第一帧或第二帧中的第i行像素,j表示第一帧或第二帧中的第j列像素,其中,m、n、i和j均为正整数;根据所述相关系数,将每一时刻的相关系数作为每一时刻的第一运动特征数据和第二运动特征数据的匹配结果。
10.根据权利要求9所述的装置,其特征在于,所述评价模块具体用于,统计一预设时间段内的多个相关系数,并计算所述多个相关系数的平均值;根据所述平均值,评价用户动作的标准性,其中,所述平均值的值越大,用户动作的标准性越高。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510994052.XA CN106919890A (zh) | 2015-12-25 | 2015-12-25 | 一种评价用户动作标准性的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510994052.XA CN106919890A (zh) | 2015-12-25 | 2015-12-25 | 一种评价用户动作标准性的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106919890A true CN106919890A (zh) | 2017-07-04 |
Family
ID=59455604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510994052.XA Pending CN106919890A (zh) | 2015-12-25 | 2015-12-25 | 一种评价用户动作标准性的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106919890A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110008814A (zh) * | 2019-01-25 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 视频处理方法、视频处理装置和电子设备 |
CN110210386A (zh) * | 2019-05-31 | 2019-09-06 | 北京市商汤科技开发有限公司 | 用于动作迁移的视频生成方法及神经网络训练方法和装置 |
CN113596590A (zh) * | 2020-04-30 | 2021-11-02 | 聚好看科技股份有限公司 | 显示设备及播放控制方法 |
CN116074564A (zh) * | 2019-08-18 | 2023-05-05 | 聚好看科技股份有限公司 | 一种界面显示方法及显示设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101719216A (zh) * | 2009-12-21 | 2010-06-02 | 西安电子科技大学 | 基于模板匹配的运动人体异常行为识别方法 |
CN101739557A (zh) * | 2010-01-26 | 2010-06-16 | 重庆大学 | 基于运动周期分析的人体异常行为识别方法及装置 |
US8462985B2 (en) * | 2005-06-29 | 2013-06-11 | Ntt Docomo, Inc. | Video evaluation apparatus, spatio-temporal frequency analyzing apparatus, video evaluation method, spatio-temporal frequency analyzing method, video evaluation program, and spatio-temporal frequency analyzing program |
-
2015
- 2015-12-25 CN CN201510994052.XA patent/CN106919890A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8462985B2 (en) * | 2005-06-29 | 2013-06-11 | Ntt Docomo, Inc. | Video evaluation apparatus, spatio-temporal frequency analyzing apparatus, video evaluation method, spatio-temporal frequency analyzing method, video evaluation program, and spatio-temporal frequency analyzing program |
CN101719216A (zh) * | 2009-12-21 | 2010-06-02 | 西安电子科技大学 | 基于模板匹配的运动人体异常行为识别方法 |
CN101739557A (zh) * | 2010-01-26 | 2010-06-16 | 重庆大学 | 基于运动周期分析的人体异常行为识别方法及装置 |
Non-Patent Citations (2)
Title |
---|
刘茂英等: ""基于累积帧差图像的视频对象提取系统"", 《DIGITAL TV & DIGITAL VIDEO》 * |
孔韦韦: "《图像融合技术 基于多分辨率非下采样理论与方法》", 31 July 2015 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110008814A (zh) * | 2019-01-25 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 视频处理方法、视频处理装置和电子设备 |
CN110210386A (zh) * | 2019-05-31 | 2019-09-06 | 北京市商汤科技开发有限公司 | 用于动作迁移的视频生成方法及神经网络训练方法和装置 |
CN116074564A (zh) * | 2019-08-18 | 2023-05-05 | 聚好看科技股份有限公司 | 一种界面显示方法及显示设备 |
CN113596590A (zh) * | 2020-04-30 | 2021-11-02 | 聚好看科技股份有限公司 | 显示设备及播放控制方法 |
CN113596590B (zh) * | 2020-04-30 | 2022-08-26 | 聚好看科技股份有限公司 | 显示设备及播放控制方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109934111B (zh) | 一种基于关键点的健身姿态估计方法及系统 | |
CN110152273B (zh) | 一种基于智能目标识别的跳绳计数方法 | |
CN106919890A (zh) | 一种评价用户动作标准性的方法及装置 | |
CN103186775B (zh) | 基于混合描述子的人体运动识别方法 | |
Wild et al. | Differences in step characteristics and linear kinematics between rugby players and sprinters during initial sprint acceleration | |
Chen et al. | Computer-assisted self-training system for sports exercise using kinects | |
Chen et al. | Yoga posture recognition for self-training | |
CN113762133A (zh) | 基于人体姿态识别的自重健身辅助教练系统、方法、终端 | |
CN101470898B (zh) | 一种双人跳水同步性自动分析方法 | |
CN101799828B (zh) | 一种用于视频点读机的基于透视变换的书本查找方法 | |
CN109543652A (zh) | 一种智慧滑雪训练器及其训练结果显示方法、云服务器 | |
CN109876416B (zh) | 一种基于图像信息的跳绳计数方法 | |
CN109191428A (zh) | 基于掩蔽纹理特征的全参考型图像质量评价方法 | |
CN114100103B (zh) | 一种基于关键点识别的跳绳计数检测系统及方法 | |
CN112270970A (zh) | 一种智能运动管理系统及执行方法 | |
CN101324957B (zh) | 一种面向移动设备的足球视频智能播放方法 | |
KR102356685B1 (ko) | 온라인 그룹을 기반으로 하는 홈 트레이닝 제공 시스템 및 그 방법 | |
CN107172482A (zh) | 图像互换格式图片的生成方法及装置 | |
CN110168316B (zh) | 基于步频的足部计步数方法、装置及设备 | |
CN104809737A (zh) | 一种基于双策略和声搜索算法的柚子图像分割方法 | |
CN105069836A (zh) | 基于立体视觉与多特征图像检索的电子试衣系统 | |
CN111539310A (zh) | 一种光影智能步道系统及其方法 | |
CN114550071B (zh) | 田径视频动作关键帧自动识别和抓取方法、装置及介质 | |
CN116152924A (zh) | 一种运动姿势评估方法、装置、系统及计算机存储介质 | |
CN115445144A (zh) | 一种基于虚拟现实的智能交互式展示平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170704 |
|
RJ01 | Rejection of invention patent application after publication |