CN113297883A - 信息处理方法、分析模型的获得方法、装置及电子设备 - Google Patents

信息处理方法、分析模型的获得方法、装置及电子设备 Download PDF

Info

Publication number
CN113297883A
CN113297883A CN202010636893.4A CN202010636893A CN113297883A CN 113297883 A CN113297883 A CN 113297883A CN 202010636893 A CN202010636893 A CN 202010636893A CN 113297883 A CN113297883 A CN 113297883A
Authority
CN
China
Prior art keywords
analysis model
position information
target object
information analysis
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010636893.4A
Other languages
English (en)
Inventor
陈志文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010636893.4A priority Critical patent/CN113297883A/zh
Publication of CN113297883A publication Critical patent/CN113297883A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种信息处理方法，包括：实时获得待分析视频帧，待分析视频帧中包含目标对象；通过位置信息分析模型分析至少两个待分析视频帧，获得目标对象的多个指定部位的位置变化信息；如果目标对象的多个指定部位的位置变化信息满足位置变化条件，则确定目标对象进行了预设运动，并针对目标对象进行的所述预设运动进行计数处理。该计数方式由于避免采用人工计数，计数结果更加精确；同时由于仅通过位置信息分析模型即可分析待分析视频帧，以获得待分析视频帧中的目标对象的多个指定部位的位置信息，从而为后续确定目标对象是否进行了预设运动并进行计数提供依据，相较于现有技术的计数方式，该计数方式更为便捷。

Description

信息处理方法、分析模型的获得方法、装置及电子设备
技术领域
本申请涉及计算机技术领域，具体涉及信息处理方法、位置信息分析模型的获得方法、装置以及电子设备。同时还涉及一种运动量确定方法以及另外一种信息处理方法。
背景技术
随着现代生活水平的不断提高，人们越来越重视健康问题。越来越多的人通过定期进行一些体育测试活动来监测自己的身体健康状况。在进行体育测试相关活动时，需要对人们进行的体育活动进行监测。现有的很多应用程序即可达到监测一些体育活动。例如，可以通过一些智能穿戴设备监测佩戴者跑步时的心率、跑步的步数等。
但是对于一些较为复杂的预先设计好的体育活动，例如跳绳运动、引体向上体育运动，当想监测完成该类运动的次数时，需要人工计数。现有技术中有一些监测方法是采用多个较为复杂的计算设备对该类运动进行计数的。例如，在监测完成引体向上体育活动的次数时，即对引体向上体育活动进行计数时，需要一系列复杂的红外线计数设备才能判断是否完成了一个标准的引体向上动作。显然，采用上述方式计数，存在计数方式较为复杂的问题。而人工计数存在耗时耗力且容易出现计数不准确的问题。
发明内容
本申请实施例提供一种信息处理方法，用以解决现有技术中的对体育运动计数方式复杂、耗时耗力以及计数不准确的问题。本申请实施例对应提供一种信息处理装置、电子设备以及计算机存储介质。本申请实施例还提供一种位置信息分析模型的获得方法、装置、电子设备以及计算机存储介质。本申请实施例还另外提供一种运动量确定方法以及另外一种信息处理方法。
本申请实施例提供一种信息处理方法，包括：
实时获得待分析视频帧，所述待分析视频帧中包含目标对象；
通过位置信息分析模型分析至少两个所述待分析视频帧，获得所述目标对象的多个指定部位的位置变化信息；所述位置信息分析模型用于根据待分析视频帧，获得待分析视频帧中目标对象的多个指定部位的位置信息；
如果所述目标对象的多个指定部位的位置变化信息满足位置变化条件，则确定所述目标对象进行了预设运动，并针对所述目标对象进行的所述预设运动进行计数处理。
可选的，所述通过位置信息分析模型分析至少两个所述待分析视频帧，获得所述目标对象的多个指定部位的位置变化信息，包括：
将至少两个视频帧中的每个视频帧作为所述位置信息分析模型的输入数据，获得所述至少两个视频帧中的每个视频帧中的目标对象的多个指定部位的位置信息；
基于所述每个视频帧中的目标对象的多个指定部位的位置信息，获得所述目标对象的多个指定部位的位置变化信息。
可选的，所述位置信息分析模型设置在移动端。
可选的，所述目标对象的多个指定部位的位置变化信息满足位置变化条件，包括：
所述多个指定部位中的每个指定部位的位置对应的坐标局部最大值与坐标局部最小值的差值与位置变化条件匹配。
可选的，还包括：
判断所述目标对象的多个指定部位的位置变化信息是否满足所述位置变化条件；
如果所述目标对象的多个指定部位的位置变化信息不满足所述位置变化条件，则确定所述目标对象未进行预设运动，并判断下一待分析视频帧中的目标对象的多个指定部位的位置变化信息是否满足所述位置变化条件。
可选的，还包括：
判断当前时间信息是否已超过预设运动的计数时间条件；如果所述当前时间信息已超过所述预设运动的计数时间条件，则停止实时获得待分析视频帧，并获得针对所述预设运动的计数结果。
可选的，还包括：将所述针对所述预设运动的计数结果展示给所述目标对象，并存储所述计算结果。
可选的，还包括：
获得所述目标对象进行所述预设运动的运动程度信息；
将所述运动程度信息提供给用户，以供用户对所述目标对象进行的预设运动进行分析。
可选的，所述实时获得待分析视频帧，包括：
采用移动端的摄像装置对所述目标对象进行实时摄像，获得包含目标对象的视频文件；
根据所述包含目标对象的视频文件，获得待分析视频帧。
可选的，所述将至少两个视频帧中的每个视频帧作为所述位置信息分析模型的输入数据，获得所述至少两个视频帧中的每个视频帧中的目标对象的多个指定部位的位置信息，包括：
将所述至少两个视频帧中的每个视频帧，按照所述位置信息分析模型的输入图像数据量规模的要求条件进行压缩处理，获得压缩后的至少两个视频帧；
将所述压缩后的至少两个视频帧分别作为所述位置信息分析模型的输入数据，获得所述至少两个视频帧中的每个视频帧中的目标对象的多个指定部位的位置信息。
可选的，所述位置信息分析模型通过以下方式获得：
获得运行在移动端的关键点位置信息分析模型；其中，所述运行在移动端的关键点位置信息分析模型运行在移动端，并且能够根据输入的图像获得图像中包含的目标对象的关键点位置信息；
将所述运行在移动端的关键点位置信息分析模型作为初始位置信息分析模型；
将所述初始位置信息分析模型框架中的原始卷积核替换为预设大小以及预设数量的卷积核，并将所述初始位置信息分析模型框架中的原始部分亲和字段框架和原始热图预测框架替换为预设配比、预设数量的部分亲和字段框架与热图预测框架，获得优化位置信息分析模型，将所述优化位置信息分析模型作为所述位置信息分析模型。
可选的，所述将所述初始位置信息分析模型框架中的原始卷积核替换为预设大小以及预设数量的卷积核，包括：
将所述初始位置信息分析模型框架中的原始7x7卷积核替换为3个连续的3x3卷积核；
所述将所述初始位置信息分析模型框架中的原始部分亲和字段框架和原始热图预测框架替换为预设配比、预设数量的部分亲和字段框架与热图预测框架，包括：
在所述初始位置信息分析模型框架中，采用一个部分亲和字段框架替换原始部分亲和字段框架，采用一个热图预测框架替换原始热图预测框架。
可选的，还包括：
对所述优化位置信息分析模型框架中的热图预测框架输出的热图最大值，取3x3像素邻域进行像素点提炼。
可选的，如果所述输入图像包含多个目标对象，采用双线性差值机制在所述输入图像上提取部分亲和字段对应的点。
本申请实施例另外提供一种位置信息分析模型的获得方法，包括：
获得运行在移动端的关键点位置信息分析模型；其中，所述运行在移动端的关键点位置信息分析模型运行在移动端，并且能够根据输入的图像获得图像中包含的目标对象的关键点位置信息；
将所述运行在移动端的关键点位置信息分析模型作为初始位置信息分析模型；
将所述初始位置信息分析模型框架中的原始卷积核替换为预设大小以及预设数量的卷积核，并将所述初始位置信息分析模型框架中的原始部分亲和字段框架和原始热图预测框架替换为预设配比、预设数量的部分亲和字段框架与热图预测框架，获得目标位置信息分析模型。
本申请实施例对应提供一种信息处理装置，包括：
视频帧获得单元，用于实时获得待分析视频帧，所述待分析视频帧中包含目标对象；
位置变化信息获得单元，用于通过位置信息分析模型分析至少两个所述待分析视频帧，获得所述目标对象的多个指定部位的位置变化信息；所述位置信息分析模型用于根据待分析视频帧，获得待分析视频帧中目标对象的多个指定部位的位置信息；
计数处理单元，用于如果所述目标对象的多个指定部位的位置变化信息满足位置变化条件，则确定所述目标对象进行了预设运动，并针对所述目标对象进行的所述预设运动进行计数处理。
本申请实施例对应提供一种位置信息分析模型的获得装置，包括：
初始分析模型获得单元，用于获得运行在移动端的关键点位置信息分析模型；其中，所述运行在移动端的关键点位置信息分析模型运行在移动端，并且能够根据输入的图像获得图像中包含的目标对象的关键点位置信息；将所述运行在移动端的关键点位置信息分析模型作为初始位置信息分析模型；
目标位置信息分析模型获得单元，用于将所述初始位置信息分析模型框架中的原始卷积核替换为预设大小以及预设数量的卷积核，并将所述初始位置信息分析模型框架中的原始部分亲和字段框架和原始热图预测框架替换为预设配比、预设数量的部分亲和字段框架与热图预测框架，获得目标位置信息分析模型。
本申请实施例提供一种运动量确定方法，包括：
接收移动端采集的包含运动对象的视频帧；
对所述包含运动对象的视频帧进行实时分析，获得所述运动对象的多个指定部位的位置变化信息；所述实时分析由移动端中设置的位置信息分析模型承担，所述位置信息分析模型用于根据所述移动端采集的包含运动对象的视频帧，获得视频帧中目标对象的多个指定部位的位置变化信息；
如果所述运动对象的多个指定部位的位置变化信息满足位置变化条件，则针对所述运动对象进行的运动进行计数处理，获得计数结果。
可选的，还包括：
获得用户设定的运动类型信息；
采用与所述运动类型信息对应的分析参数，设定所述位置信息分析模型；所述对所述包含运动对象的视频帧进行实时分析的步骤中，采用上述进行了分析参数设定的位置信息分析模型进行分析。
可选的，还包括：
获得与所述运动类型信息对应的运动参数；
在获得计数结果后，对计数结果进行数据处理；并将数据处理后获得的测量结果与所述运动参数进行比较，获得比较结果；
根据所述比较结果，通过所述移动端发出相关运动提示。
本申请实施例提供一种信息处理方法，包括：
接收健身设备采集的包含运动对象的视频帧；
对所述包含运动对象的视频帧进行实时分析，获得所述运动对象的指定部位的位置变化信息；所述实时分析由健身设备中设置的位置信息分析模型承担，所述位置信息分析模型用于根据所述健身设备采集的包含运动对象的视频帧，获得视频帧中目标对象的指定部位的位置变化信息；
如果所述运动对象的指定部位的位置变化信息满足位置变化条件，则确定所述目标对象进行了预设运动，并针对所述目标对象进行的所述预设运动进行计数处理。
本申请实施例提供一种电子设备，所述电子设备包括：处理器；存储器，用于存储计算机程序，该计算机程序被处理器运行，执行上述信息处理方法实施例、位置信息分析模型的获得方法实施例、运动量确定方法实施例所述的方法。
本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，该计算机程序被处理器运行，执行上述信息处理方法实施例、位置信息分析模型的获得方法实施例、运动量确定方法实施例所述的方法。
与现有技术相比，本申请实施例具有以下优点：
本申请实施例提供一种信息处理方法，包括：实实时获得待分析视频帧，所述待分析视频帧中包含目标对象；通过位置信息分析模型分析至少两个所述待分析视频帧，获得所述目标对象的多个指定部位的位置变化信息；所述位置信息分析模型用于根据待分析视频帧，获得待分析视频帧中目标对象的多个指定部位的位置信息；如果所述目标对象的多个指定部位的位置变化信息满足位置变化条件，则确定所述目标对象进行了预设运动，并针对所述目标对象进行的所述预设运动进行计数处理。该计数方式由于避免采用人工计数，计数结果更加精确；同时由于仅通过位置信息分析模型即可分析待分析视频帧，以获得待分析视频帧中的目标对象的多个指定部位的位置信息，从而为后续确定目标对象是否进行了预设运动并进行计数提供依据，相较于现有技术的计数方式，该计数方式更为便捷。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1A为本申请提供的信息处理方法的应用场景实施例的第一示意图。
图1B为本申请提供的信息处理方法的应用场景实施例的第二示意图。
图2为本申请第一实施例中提供的一种信息处理方法的流程图。
图3为本申请第一实施例中提供的一种优化后的位置信息分析模型的示意图。
图4为本申请第二实施例中提供的一种位置信息分析模型的获得方法的流程图。
图5为本申请第三实施例中提供的一种信息处理装置的示意图。
图6为本申请第四实施例中提供的一种位置信息分析模型的获得装置的示意图。
图7为本申请第七实施例中提供的一种电子设备的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此，本申请不受下面公开的具体实施的限制。
本申请提供一种信息处理方法、装置、电子设备以及计算机存储介质。本申请还提供一种位置信息分析模型的获得方法、装置、电子设备以及计算机存储介质。本申请还提供一种运动量确定方法以及另外一种信息处理方法。以下为具体实施例。
为了更清楚地展示本申请提供的第一种信息处理方法，先介绍一下本申请提供的第一种信息处理方法的应用场景。本申请提供的第一种信息处理方法可以应用于处理一些体育运动的计数场景。本申请提供的第一种信息处理方法的场景实施例，仅仅在移动端就可以完成。移动端可以为安装有摄像装置并装载有运行在移动端的位置信息分析模型的电子设备，如：智能手机、PC(Personal Computer)端、平板电脑、智能音箱以及智能机顶盒等。上述智能手机、PC(Personal Computer)端、平板电脑、智能音箱以及智能机顶盒中通过安装在其内部的摄像装置采集包含目标对象的运动视频帧，并对采集的运动视频帧进行分析。在本申请提供的第一种信息处理方法的场景实施例中，具体以移动端为智能手机为例，以参与体育运动的用户作为目标对象，对本申请提供的第一种信息处理方法的场景实施例进行详细的说明。
以使用智能手机进行跳绳计数为例，在用户进行跳绳之前，打开手机摄像装置并固定好手机，同时保证用户在跳绳过程中全身处于摄像头的摄像范围之内。在用户开始跳绳时，手机的摄像装置实时可以采集用户的跳绳的视频，并将实时采集的视频传输至在手机上实时运行的位置信息分析模型。在该场景实施例中，位置信息分析模型是指能够根据图像，获得图像中的用户的多个指定部位的位置信息的移动端模型。多个指定部位可以是用户的身体躯干部位、手部、脚部以及头部等指定部位。在本场景实施例中，以用户的身体躯干部位、手部、脚部作为指定部位。由于电子设备上的摄像装置是实时采集用户跳绳的视频，因此可以将实时采集的视频帧作为图像。
上述位置信息分析模型是一种基于卷积神经网络和手机端深度学习框架的人体关键点位置信息分析模型，该人体关键点位置分析检测模型可以根据获得的视频帧实时地检测出视频帧中的用户的14个人体骨骼关键点的位置。14个人体骨骼关键点为2D(2dimension，即：2维)关键点，每个关键点位置采用手机当前手机端屏幕分辨率下的坐标值(x,y)表示。具体地，14个人体2D关键点按顺序依次为1-头顶，2-颈部，3-右肩，4-右肘，5-右手腕，6-左肩，7-左肘，8-左手腕，9-右臀，10-右膝盖，11-右脚踝，12-左臀，13-左膝盖，14-左脚踝。在跳绳运动计数场景下，可以从14个关键点中提取出三组关键点：人体躯干关键点(1-头顶、2-颈部、9-右臀、12-左臀)，人体手腕关键点(5-右手腕、8-左手腕)，人体脚踝关键点(11-右脚踝、14-左脚踝)。之所以采取该方式提取，是因为人体躯干在跳绳的过程中比较类似刚体，形变不大，比较容易提取到y轴方向上坐标值的变化信息。而人体手腕和人体脚踝处都是和跳绳运动有紧密联系的部位，本身会存在有规律的运动，适合用来判断一个完整的跳绳动作。例如，手腕在起跳时处在相对较高的位置，而在跳起的最高点时处在相对较低的位置。脚踝的运动规律则刚好相反，在起跳时处在地面的位置，而在跳起的最高点时处在相对较高的位置。人体手腕和人体脚踝处也比较容易提取到y轴方向上坐标值的变化信息。当然，可以理解的是，在建立坐标系时，可以以垂直于地面为y轴方向，平行于地面为x轴方向建立直角坐标系。
在本实施例中，根据跳绳运动的实际情形，将上述三组关键点位置变化信息作为指定部位的位置变化信息，上述位置变化信息分别均为在y轴方向上坐标值的变化信息，并将指定部位的位置变化信息作为跳绳计数的依据。位置信息分析模型分析实时获得的待分析视频帧，可以获得视频帧中的用户的这三组关键点位置信息。基于至少两个视频帧中的用户的这三组关键点位置信息，即可获取用户的这三组关键点位置变化信息。当然，也可以是分析多个视频帧中的用户的这三组关键点位置信息，在本申请中，以分析多个视频帧中用户的这三组关键点位置信息，从而获得用户的这三组关键点位置变化信息。
在获得用户的这三组关键点位置变化信息之后，分别判断每组关键点位置变化信息是否符合预设的跳绳运动的计数条件。预设的跳绳运动的计数条件即为预设运动的对象部位位置变化条件，假设预设的跳绳运动的计数条件为：规定人体躯干关键点位置变化信息要大于a，人体手腕关键点位置变化信息要大于b，人体脚踝关键点位置变化信息要大于c。可以是只有获得的这三组关键点位置变化信息均符合上述计数条件，才可以确定用户完成了一个完整的跳绳动作，并在原有的跳绳个数基础上增加一个跳绳个数。当然也可以是只要上述三组关键点位置变化信息的其中一组关键点位置变化信息或者两组关键点位置变化信息满足该组的关键点位置变化信息计算条件即可。例如，人体脚踝关键点位置变化信息大于c，也可以确定用户完成了一个完整的跳绳动作，并在原有的跳绳个数基础上增加一个跳绳个数。当然，上述三组关键点位置变化信息所对应的关键点，还可以是其它人体关键点，只要选择的关键点在运动时其对应的位置变化信息能够用来判断是否进行了运动即可。
具体地，请参见图1A，其示出了本申请场景实施例的第一示意图。采用该方式进行跳绳计数的流程具体如下：首先打开手机摄像装置，在打开摄像装置后，摄像装置可以实时采集跳绳运动的视频帧，同时开始进行跳绳计数。在进行计数时，预先将当前采集的视频帧作为位置信息分析模型的输入数据，从而实时获得视频帧中的用户的14个人体2D关键点位置信息。之后，分别获得三组关键点位置信息。基于实时获得的多个视频帧，就可以获得三组关键点位置变化信息。在本实施例中，每组关键点均采用位置变化曲线信息表示位置变化信息。
在获得三组关键点位置变化曲线信息后，分别判断每组关键点位置变化曲线出现局部最大值与局部最小值的差值与规定的计数阈值条件是否匹配。局部最大值与局部最小值可以为曲线上相邻的局部最高点与局部最低点对应的y值。如果判断每组关键点位置变化曲线出现局部最大值与局部最小值的差值与规定的计数条件都匹配，则进行跳绳计数加1。同时，还需要判断跳绳计数时间是否到时，如果判断结果为否，则继续实时获得采集跳绳运动的视频帧，并继续将采集的视频帧作为位置信息分析模型的输入数据。如果跳绳计数时间已经到时，则不再采集视频帧，跳绳计数结束，并获得跳绳的最终计数结果。
本实施例中针对运动的计数场景，可以基于运行在手机端的位置信息分析模型实现计数，如图1B所示，其为本申请提供的信息处理方法的应用场景实施例的第二示意图。将含有目标对象的视频帧发送给手机端，手机端通过其自身运行的位置信息分析模型分析该视频帧，从而获得待分析视频帧中目标对象的多个指定部位的位置信息。如果目标对象的多个指定部位的位置变化信息满足位置变化条件，则确定目标对象进行了预设运动，并针对目标对象进行的所述预设运动进行计数处理。当然，可以理解的是，还需要获得目标对象的多个指定部位的位置变化信息，必然含有目标对象的视频帧是多个视频帧。
实际上本申请的信息处理方法还可以应用在健身场景中，例如，可以通过放置在健身房或者在家中的、安装有摄像装置的健身设备采集包含运动对象的视频帧，并对视频帧进行分析。具体地，分析过程是由安装在移动端或者健身设备上的位置信息分析模型实现，通过位置信息分析模型可以获得视频帧中运动对象的多个指定部位的位置信息，在实际中，多个指定部位可以是人身体的关键点部位。在获得多个视频帧中的运动对象的多个指定部位的位置信息之后，即可获得运动对象的多个指定部位的位置变化信息，从而获得运动对象的运动程度信息。例如，运动对象进行运动的计数结果。通过上述过程即可实现在健身房或者在家中，仅需移动端或者健身设备检测运动对象的运动程度信息，同时，还便于运动对象掌握自身进行的运动程度信息。
当然，本申请的运动不限于跳绳运动，仅以跳绳运动作为例子阐述本申请的信息处理方法。本申请实施例中不对运动做具体的限定，本申请的信息处理方法还可以应用于引体向上运动、羽毛球运动以及其他涉及运动对象指定部位变化的运动等。同时，本申请的运动程度信息也不仅仅限于运动计数结果，还可以是运动对象的运动姿态信息等。
上述信息处理方法对跳绳运动计数的应用场景，仅仅是本申请提供的信息处理方法的应用场景的一个实施例，提供该应用场景实施例的目的是便于理解本申请提供的信息处理方法，而并非用于限定本申请提供的信息处理方法。本申请实施例中对提供的信息处理方法的其它应用场景，不再一一赘述。
第一实施例
本申请第一实施例提供一种信息处理方法，以下结合图2-图3进行说明。
请参照图2，其为本申请第一实施例中提供的一种信息处理方法的流程图。
在步骤S201中，实时获得待分析视频帧，待分析视频帧中包含目标对象。
首先，实时获得待分析视频帧。在本实施例中，通过实时采集包含目标对象的多个视频帧作为待分析视频帧，并对多个视频帧进行分析，以获得多个视频帧中的目标对象的多个指定部位的位置变化信息。通过目标对象的多个指定部位的位置变化信息，即可判断目标对象是否进行了预设运动，并对已进行的预设运动进行计数处理。
多个视频帧是指均包含目标对象并用于对预设运动进行计数分析的视频帧。目标对象可以是指进行预设运动的用户，预设运动可以是指一些体育运动，包括跳绳、引体向上等运动。由于是基于目标对象的多个指定部位的位置变化信息判断目标对象是否进行了预设运动，并对已进行的预设运动进行计数处理，因此上述实时采集的多个视频帧包含目标对象。例如，采集的多个视频帧可以是均包含正在进行跳绳运动的用户A的多个连续视频帧，也可以是均包含正在进行做引体向上运动的用户B的多个连续视频帧。
作为实时获得多个视频帧的其中一种方式，可以是：首先，采用移动端的摄像装置对目标对象进行实时摄像，获得包含目标对象的视频文件。之后，根据包含目标对象的视频文件，获得多个视频帧。至于根据视频文件获得多个视频帧，可以采用现有较为成熟的通过视频文件提取视频帧的方式，在此不再进行详细说明。由于移动端的摄像装置是对目标对象进行实时摄像的，因此，多个视频帧中必然包含目标对象。
在步骤S202中，通过位置信息分析模型分析至少两个待分析视频帧，获得目标对象的多个指定部位的位置变化信息。
在步骤S201获取多个视频帧后，基于位置信息分析模型分析多个视频帧，获得目标对象的多个指定部位的位置变化信息。需要说明的是，多个视频帧至少为两个视频帧。
在步骤S201中，已经说明本实施例是利用多个视频中的目标对象的多个指定部位的位置变化信息，来判断目标对象是否进行了预设运动。必然多个指定部位的位置变化信息是与预设运动相关的。以跳绳运动作为预设运动时，目标对象的多个指定部位可以是人体躯干、人体手腕，人体脚踝。指定部位的位置变化信息，可以是指由于进行预设运动的过程中导致的目标对象在不同时刻的指定部位的位置坐标变化信息。由于人体躯干在跳绳的过程中竖直方向上会有变化，而人体手腕和人体脚踝处都是和跳绳运动有紧密联系的部位，本身会存在有规律的运动，所以上述部位均适合用来判断用户是否进行了一个完整的跳绳动作。例如，用户在起跳时手腕处在相对较高的位置，而在跳起的最高点时处在相对较低的位置。脚踝的运动规律则刚好相反，用户在起跳时脚踝处在地面的位置，而在跳起的最高点时处在相对较高的位置。通过目标对象的这些指定部位的位置变化信息，即可判断目标对象是否进行了预设运动。
在获得目标对象的多个指定部位的位置变化信息之前，首先要获得目标对象的多个指定部位的位置信息。而目标对象的多个指定部位的位置信息是通过位置信息分析模型获得的，本实施例中的位置信息分析模型是指用于根据待分析视频帧，获得待分析视频帧中的目标对象的多个指定部位的位置信息的模型。本实施例中的位置信息分析模型可以运行移动端。
关于本实施例中的位置信息分析模型，相比于现有的运行在移动端的人体关键点位置信息分析模型，在移动端上整体计算量下降，而模型精度有明显提高。
现有的运行在移动端的人体关键点位置信息分析模型是能够运行在移动端、并且能够根据输入的图像获得图像中包含的人体的关键点位置信息的模型，可以是人体骨骼关键点定位模型。人体的关键点位置信息是用于定位图像中人体的头、颈、肩、肘、手、臀、膝、脚等部位的位置。为了进一步提高现有的运行在移动端的人体关键点位置信息分析模型在移动端的运行效率，以及处理性能，将其作为初始位置信息分析模型进行优化。
具体地，对初始位置信息分析模型的优化分为两个方面，分别为在模型框架层面的优化，以及在后处理层面的优化。
首先，在模型框架层面的优化包括：将初始位置信息分析模型框架中的原始卷积核替换为预设大小以及预设数量的卷积核，并将初始位置信息分析模型框架中的原始部分亲和字段框架和原始热图预测框架替换为预设配比、预设数量的部分亲和字段框架与热图预测框架。
更具体地，将初始位置信息分析模型框架中的原始卷积核替换为预设大小以及预设数量的卷积核，包括：将初始位置信息分析模型框架中的原始7x7卷积核替换为3个连续的3x3卷积核；将初始位置信息分析模型框架中的原始部分亲和字段框架和原始热图预测框架替换为预设配比、预设数量的部分亲和字段框架与热图预测框架，包括：在初始位置信息分析模型框架中，采用一个部分亲和字段框架(PAF Stage)和一个热图预测框架(Heatmap Stage)替换原始部分亲和字段框架和原始热图预测框架。即：采用一个部分亲和字段框架替换原始部分亲和字段框架，采用一个热图预测框架替换原始热图预测框架。
另外，模型框架层面的优化还包括：部分亲和字段框架和热图预测框架的精炼阶段层面的优化。在初始位置信息分析模型框架中，通过多个精炼阶段对原始部分亲和字段框架和原始热图预测框架进行精炼，以提高分析模型分析关键点的精度。但是，原始部分亲和字段框架和原始热图预测框架是分开单独进行精炼的，只是在每个精炼阶段结束时，将原始部分亲和字段框架的精炼结果和原始热图预测框架的精炼结果合并在一起，作为下一个精炼阶段的输入数据。在本实施例中，对部分亲和字段框架和热图预测框架并非分开单独进行精炼，而是采用级联的方式先优化部分亲和字段框架，再优化热图预测框架。这样可以既降低了参数量，同时提高精度。因为在优化部分亲和字段框架的同时，热图预测框架的精度也会得到提高。
如图3所示，其为本实施例优化后的位置信息分析模型的示意图。在图3所示的位置信息分析模型中，包含有3个连续的3x3卷积核，以及一个部分亲和字段框架(PAF Stage)和一个热图预测框架(Heatmap Stagge)。由于该模型在移动端运行，通过优化成更小的小模型，优化后的模型中通道数减少，减少了模型的计算量，在运行在移动端的该优化的小模型处理图像获得人体关键点时，能够取得和运行在服务端的大模型同样的计算精度。
其次，在后处理层面的优化包括：在处理的图像为单人模式时，即：待分析视频帧中的目标对象的数量为一个时，对位置信息分析模型框架中的热图预测框架输出的热图最大值，取3x3像素邻域进行像素点提炼。同时，当在位置信息分析模型的输入图像的目标对象的数量为多个时，例如输入图像中包含多人时，采用双线性差值机制在输入图像上提取部分亲和字段对应的点。
利用本实施例的位置信息分析模型时，输入一张图像，首先，通过主干网络将图像变成高维特征。然后，通过热图预测框架预测图像中人体的每一个骨骼关键点的热图。在热图上选取局部最大值的(x，y)坐标作为候选关键点，再通过部分亲和字段框架预测每一对候选关键点之间的x轴PAF值和y轴PAF值(PAF值代表了关键点对之间是否存在连接的置信度)。在每一对关键点(x1，y1)、(x2，y2)之间采样5个位置，在PAF图上取到这5个位置的PAF值，如果这5个位置的PAF值都大于规定的某个阈值，则认为该对关键点对成立，并属于同一个人。最后，将已经组合成关键点对的躯干组合成一个完整的人就可以了。上述过程介绍的是在处理的图像包含多人时，如何利用图3所示的分析模型获得某一个人的关键点位置信息。
通过将初始位置信息分析模型在模型框架层面的优化，以及在后处理层面的优化后，即可获得本实施例中的位置信息分析模型。在获得位置信息分析模型后，即可利用位置信息分析模型分析多个视频帧。该位置信息分析模型即为运行在移动端的位置信息分析模型。
作为通过位置信息分析模型分析多个视频帧，获得目标对象的多个指定部位的位置变化信息，可以是：首先，将多个视频帧中的每个视频帧分别作为位置信息分析模型的输入数据，获得多个视频帧中的每个视频帧中的目标对象的多个指定部位的位置信息。之后，基于多个视频帧中的每个视频帧中的目标对象的多个指定部位的位置信息，获得目标对象的多个指定部位的位置变化信息。
具体地，基于多个视频帧中的每个视频帧中的目标对象的多个指定部位的位置信息，获得目标对象的多个指定部位的位置变化信息，可以是：首先，基于多个视频帧中的每个视频帧中的目标对象的多个指定部位的位置信息，分别获得多个视频帧中的目标对象的每个指定部位的位置信息。之后，根据每个指定部位的位置信息，获得多个视频帧中的每个指定部位的位置变化信息。最终，根据多个视频帧中的每个指定部位的位置变化信息，获得目标对象的多个指定部位的位置变化信息。
需要说明的是，在将多个视频帧作为位置信息分析模型的输入数据，获得多个视频帧中的每个视频帧中的目标对象的多个指定部位的位置信息之前，对多个视频帧中的每个视频帧，按照位置信息分析模型的输入图像数据量规模的要求条件进行压缩处理，获得压缩后的多个视频帧。
在获得压缩后的多个视频帧，将压缩后的多个视频帧作为位置信息分析模型的输入数据，获得多个视频帧中的每个视频帧中的目标对象的多个指定部位的位置信息。
在步骤S203中，如果目标对象的多个指定部位的位置变化信息满足位置变化条件，则确定目标对象进行了预设运动，并针对目标对象进行的预设运动进行计数处理。
在步骤S203获得目标对象的多个指定部位的位置变化信息后，判断目标对象的多个指定部位的位置变化信息是否满足位置变化条件。位置变化条件是指预先设定的用于根据目标对象的多个指定部位的位置变化信息判断对象是否进行预设运动的标准条件。
如果目标对象的多个指定部位的位置变化信息满足位置变化条件，则确定目标对象进行了预设运动，并针对目标对象进行的预设运动进行计数处理。与此同时，判断当前时间信息是否已超过预设运动的计数时间条件；如果当前时间信息已超过预设运动的计数时间条件，则停止实时获得待分析视频帧，并获得目标对象进行预设运动的计数结果，即：针对预设运动的计数结果。例如：预设运动为跳绳运动时，获得的针对预设运动的计数结果为目标用户跳绳的个数。如果当前时间信息未超过预设运动的计数时间条件，继续判断下一待分析视频帧中的目标对象的多个指定部位的位置变化信息是否满足位置变化条件。
当然如果目标对象的多个指定部位的位置变化信息不满足预设运动的对象部位位置变化条件，则可以确定目标对象未进行预设运动，并在当前时间信息未超过预设运动的计数时间条件时，继续判断下一待分析视频帧中的目标对象的多个指定部位的位置变化信息是否满足位置变化条件。
具体地，目标对象的多个指定部位的位置变化信息满足位置变化条件可以是指，多个指定部位中的每个指定部位的位置对应的坐标局部最大值与坐标局部最小值的差值与位置变化条件匹配。在场景实施例中，已经详细说明了建立坐标系，并获取目标对象的多个指定部位中的每个指定部位的位置对应的坐标。基于多个视频帧，即可获得每个指定部位的位置对应的坐标曲线图，进而获得多个指定部位中的每个指定部位的位置对应的坐标局部最大值与坐标局部最小值。
在获得目标对象进行预设运动的计数结果后，将目标对象进行预设运动的计数结果展示给目标对象，并将计算结果进行存储。
当然，上述计数结果可以认为是运动程度信息的一种，还可以是将其他形式的运动程度信息存储，或者提供给用户，以供用户对目标对象进行的预设运动进行分析。关于运动程度信息，在场景实施例进行了详细介绍，相关部分可以参照场景实施例，此处不再赘述。
本实施例的信息处理方法，通过实时获得待分析视频帧，待分析视频帧中包含目标对象；通过位置信息分析模型分析至少两个待分析视频帧，获得目标对象的多个指定部位的位置变化信息；如果目标对象的多个指定部位的位置变化信息满足位置变化条件，则确定目标对象进行了预设运动，并针对目标对象进行的预设运动进行计数处理。该计数方式由于避免采用人工计数，计数结果更加精确；同时由于仅通过位置信息分析模型即可分析待分析视频帧，以获得待分析视频帧中的目标对象的多个指定部位的位置信息，从而为后续确定目标对象是否进行了预设运动并进行计数提供依据，相较于现有技术的计数方式，该计数方式更为便捷。
第二实施例
在上述的第一实施例中，提供了一种信息处理方法，该信息处理方法主要利用位置信息分析模型进行信息处理。对应地，本申请第二实施例提供一种位置信息分析模型的获得方法，由于该位置信息分析模型的获得方法已经在第一实施例中进行了详细描述，相关之处请参见第一实施例的描述，此处不再赘述。
本实施例提供一种位置信息分析模型的获得方法，请参照图4，其为本申请第二实施例中提供的一种位置信息分析模型的获得方法的流程图。
在步骤S401中，获得运行在移动端的关键点位置信息分析模型；将运行在移动端的关键点位置信息分析模型作为初始位置信息分析模型。
在本实施例中，运行在移动端的关键点位置信息分析模型运行在移动端，并且能够根据输入的图像获得图像中包含的目标对象的关键点位置信息。
在步骤S402中，将初始位置信息分析模型框架中的原始卷积核替换为预设大小以及预设数量的卷积核，并将初始位置信息分析模型框架中的原始部分亲和字段框架和原始热图预测框架替换为预设配比、预设数量的部分亲和字段框架与热图预测框架，获得目标位置信息分析模型。
第三实施例
与本申请提供的信息处理方法应用场景实施例以及第一实施例提供的信息处理方法相对应的，本申请第三实施例还提供了一种信息处理装置。由于装置实施例基本相似于应用场景实施例以及第一实施例，所以描述得比较简单，相关之处参见应用场景实施例以及第一实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
请参照图5，其为本申请第三实施例中提供的一种信息处理装置的示意图。
该信息处理装置包括：
视频帧获得单元501，用于实时获得待分析视频帧，所述待分析视频帧中包含目标对象；
位置变化信息获得单元502，用于通过位置信息分析模型分析所述待分析视频帧，获得所述目标对象的多个指定部位的位置变化信息；所述位置信息分析模型用于根据待分析视频帧，获得待分析视频帧中目标对象的多个指定部位的位置信息；
计数处理单元503，用于如果所述目标对象的多个指定部位的位置变化信息满足位置变化条件，则确定所述目标对象进行了预设运动，并针对所述目标对象进行的所述预设运动进行计数处理。
可选的，所述位置变化信息获得单元，具体用于：
将至少两个视频帧中的每个视频帧作为所述位置信息分析模型的输入数据，获得所述至少两个视频帧中的每个视频帧中的目标对象的多个指定部位的位置信息；
基于所述每个视频帧中的目标对象的多个指定部位的位置信息，获得所述目标对象的多个指定部位的位置变化信息。
可选的，所述位置信息分析模型设置在移动端。
可选的，所述目标对象的多个指定部位的位置变化信息满足位置变化条件，包括：
所述多个指定部位中的每个指定部位的位置对应的坐标局部最大值与坐标局部最小值的差值与位置变化条件匹配。
可选的，所述装置还包括第一判断单元，所述第一判断单元，用于判断所述目标对象的多个指定部位的位置变化信息是否满足位置变化条件；
如果所述目标对象的多个指定部位的位置变化信息不满足所述位置变化条件，则确定所述目标对象未进行预设运动，并判断下一待分析视频帧中的目标对象的多个指定部位的位置变化信息是否满足所述位置变化条件。
可选的，所述装置还包括第二判断单元，所述第二判断单元，用于判断当前时间信息是否已超过预设运动的计数时间条件；如果所述当前时间信息已超过所述预设运动的计数时间条件，则停止实时获得待分析视频帧，并获得针对所述预设运动的计数结果。
可选的，所述装置还包括展示与存储单元，所述展示与存储单元，用于将所述针对所述预设运动的计数结果展示给所述目标对象，并存储所述计算结果。
可选的，所述装置还包括：运动程度信息获得单元；
所述运动程度信息获得单元，用于：
获得所述目标对象进行所述预设运动的运动程度信息；
将所述运动程度信息提供给用户，以供用户对所述目标对象进行的预设运动进行分析。
可选的，所述视频帧获得单元，具体用于：
采用移动端的摄像装置对所述目标对象进行实时摄像，获得包含目标对象的视频文件；
根据所述包含目标对象的视频文件，获得待分析视频帧。
可选的，所述装置还包括压缩单元，所述压缩单元，用于将所述至少两个视频帧中的每个视频帧，按照所述位置信息分析模型的输入图像数据量规模的要求条件进行压缩处理，获得压缩后的至少两个视频帧；
所述位置变化信息获得单元，具体用于：
将所述压缩后的至少两个视频帧分别作为所述位置信息分析模型的输入数据，获得所述至少两个视频帧中的每个视频帧中的目标对象的多个指定部位的位置信息。
可选的，所述装置还包括分析模型获得单元，所述分析模型获得单元，具体用于：
获得运行在移动端的关键点位置信息分析模型；其中，所述运行在移动端的关键点位置信息分析模型运行在移动端，并且能够根据输入的图像获得图像中包含的目标对象的关键点位置信息；
将所述运行在移动端的关键点位置信息分析模型作为初始位置信息分析模型；
将所述初始位置信息分析模型框架中的原始卷积核替换为预设大小以及预设数量的卷积核，并将所述初始位置信息分析模型框架中的原始部分亲和字段框架和原始热图预测框架替换为预设配比、预设数量的部分亲和字段框架与热图预测框架，获得优化位置信息分析模型，将所述优化位置信息分析模型作为所述位置信息分析模型。
可选的，所述分析模型获得单元，具体用于：
将所述初始位置信息分析模型框架中的原始7x7卷积核替换为3个连续的3x3卷积核；
在所述初始位置信息分析模型框架中，采用一个部分亲和字段框架替换原始部分亲和字段框架，采用一个热图预测框架替换原始热图预测框架。
可选的，所述装置还包括第一优化单元，所述第一优化单元，用于对所述优化位置信息分析模型框架中的热图预测框架输出的热图最大值，取3x3像素邻域进行像素点提炼。
可选的，所述装置还包括第二优化单元，所述第二优化单元，用于如果所述输入图像包含多个目标对象，采用双线性差值机制在所述输入图像上提取部分亲和字段对应的点。
第四实施例
与本申请第二实施例提供的位置信息分析模型的获得方法相对应的，本申请第四实施例还提供了一种位置信息分析模型的获得装置。由于装置实施例基本相似于第二实施例，所以描述得比较简单，相关之处参见第二实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
请参照图6，其为本申请第四实施例中提供的位置信息分析模型的获得装置的示意图。
该位置信息分析模型的获得装置，包括：
初始分析模型获得单元601，用于获得运行在移动端的人体关键点位置信息分析模型；其中，所述运行在移动端的人体关键点位置信息分析模型运行在移动端，并且能够根据输入的图像获得图像中包含的人体的关键点位置信息；将所述运行在移动端的人体关键点位置信息分析模型作为初始位置信息分析模型；
目标位置信息分析模型获得单元602，用于将所述初始位置信息分析模型框架中的原始卷积核替换为预设大小以及预设数量的卷积核，并将所述初始位置信息分析模型框架中的原始部分亲和字段框架和原始热图预测框架替换为预设配比、预设数量的部分亲和字段框架与热图预测框架，获得目标位置信息分析模型。
第五实施例
在上述的第一实施例中，提供了一种信息处理方法，该信息处理方法主要利用位置信息分析模型进行信息处理，其应用场景可以是用于确定运动量，本申请第五实施例提供一种运动量确定方法，由于该方法的部分内容已经在第一实施例中进行了详细描述，相关之处请参见第一实施例的描述，此处不再赘述。
本实施例提供一种运动量确定方法，包括：
首先，接收移动端采集的包含运动对象的视频帧。
之后，对包含运动对象的视频帧进行实时分析，获得运动对象的多个指定部位的位置变化信息。其中，该实时分析由移动端中设置的位置信息分析模型承担，位置信息分析模型用于根据移动端采集的包含运动对象的视频帧，获得视频帧中目标对象的多个指定部位的位置变化信息。
如果运动对象的多个指定部位的位置变化信息满足位置变化条件，则针对运动对象进行的运动进行计数处理，获得计数结果。
在该方法的进一步的方案中，还可以获得用户设定的运动类型信息，并基于采用与运动类型信息对应的分析参数，设定位置信息分析模型。实际上对包含运动对象的视频帧进行实时分析的步骤中，采用上述进行了分析参数设定的位置信息分析模型进行分析。在本实施例中，用户可以通过客户端设置与运动相关的运动类型信息。
同时，还可以获得与运动类型信息对应的运动参数；在获得计数结果后，对计数结果进行数据处理；并将数据处理后获得的测量结果与运动参数进行比较，获得比较结果。根据比较结果，通过所述移动端发出相关运动提示。例如，相关运动提示可以是运动对象在运动过程中心率是否处于正常状态以及运动速率等。
第六实施例
对应于场景实施例的部分内容，本实施例提供一种信息处理方法，包括以下步骤：
首先：接收健身设备采集的包含运动对象的视频帧。
之后，对包含运动对象的视频帧进行实时分析，获得运动对象的指定部位的位置变化信息；实时分析由健身设备中设置的位置信息分析模型承担，位置信息分析模型用于根据健身设备采集的包含运动对象的视频帧，获得视频帧中目标对象的指定部位的位置变化信息。
如果运动对象的指定部位的位置变化信息满足位置变化条件，则最终确定目标对象进行了预设运动，并针对目标对象进行的预设运动进行计数处理。
第七实施例
与本申请第一实施例至第二实施例以及第五实施例至第六实施例提供的方法相对应的，本申请第七实施例还提供一种电子设备。
如7所示，图7为本申请第七实施例中提供的一种电子设备的示意图。
该电子设备包括：
处理器701；
存储器702，用于存储计算机程序，该计算机程序被处理器运行，执行第一实施例至第二实施例以及第五实施例至第六实施例所述的方法。
第八实施例
与本申请第一实施例至第二实施例以及第五实施例至第六实施例提供的方法相对应的，本申请第八实施例还提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，该计算机程序被处理器运行，执行第一实施例至第二实施例以及第五实施例至第六实施例所述的方法。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读存储媒体(non-transitorycomputer readable storage media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (23)

1.一种信息处理方法，其特征在于，包括：
实时获得待分析视频帧，所述待分析视频帧中包含目标对象；
通过位置信息分析模型分析至少两个所述待分析视频帧，获得所述目标对象的多个指定部位的位置变化信息；所述位置信息分析模型用于根据待分析视频帧，获得待分析视频帧中目标对象的多个指定部位的位置信息；
如果所述目标对象的多个指定部位的位置变化信息满足位置变化条件，则确定所述目标对象进行了预设运动，并针对所述目标对象进行的所述预设运动进行计数处理。
2.根据权利要求1所述的方法，其特征在于，所述通过位置信息分析模型分析至少两个所述待分析视频帧，获得所述目标对象的多个指定部位的位置变化信息，包括：
将至少两个视频帧中的每个视频帧作为所述位置信息分析模型的输入数据，获得所述至少两个视频帧中的每个视频帧中的目标对象的多个指定部位的位置信息；
基于所述每个视频帧中的目标对象的多个指定部位的位置信息，获得所述目标对象的多个指定部位的位置变化信息。
3.根据权利要求1所述的方法，其特征在于，所述位置信息分析模型设置在移动端。
4.根据权利要求1所述的方法，其特征在于，所述目标对象的多个指定部位的位置变化信息满足位置变化条件，包括：
所述多个指定部位中的每个指定部位的位置对应的坐标局部最大值与坐标局部最小值的差值与位置变化条件匹配。
5.根据权利要求1所述的方法，其特征在于，还包括：
判断所述目标对象的多个指定部位的位置变化信息是否满足所述位置变化条件；
如果所述目标对象的多个指定部位的位置变化信息不满足所述位置变化条件，则确定所述目标对象未进行预设运动，并判断下一待分析视频帧中的目标对象的多个指定部位的位置变化信息是否满足所述位置变化条件。
6.根据权利要求1所述的方法，其特征在于，还包括：
判断当前时间信息是否已超过预设运动的计数时间条件；如果所述当前时间信息已超过所述预设运动的计数时间条件，则停止实时获得待分析视频帧，并获得针对所述预设运动的计数结果。
7.根据权利要求6所述的方法，其特征在于，还包括：将所述针对所述预设运动的计数结果展示给所述目标对象，并存储所述计算结果。
8.根据权利要求1所述的方法，其特征在于，还包括：
获得所述目标对象进行所述预设运动的运动程度信息；
将所述运动程度信息提供给用户，以供用户对所述目标对象进行的预设运动进行分析。
9.根据权利要求1所述的方法，其特征在于，所述实时获得待分析视频帧，包括：
采用移动端的摄像装置对所述目标对象进行实时摄像，获得包含目标对象的视频文件；
根据所述包含目标对象的视频文件，获得待分析视频帧。
10.根据权利要求2所述的方法，其特征在于，所述将至少两个视频帧中的每个视频帧作为所述位置信息分析模型的输入数据，获得所述至少两个视频帧中的每个视频帧中的目标对象的多个指定部位的位置信息，包括：
将所述至少两个视频帧中的每个视频帧，按照所述位置信息分析模型的输入图像数据量规模的要求条件进行压缩处理，获得压缩后的至少两个视频帧；
将所述压缩后的至少两个视频帧分别作为所述位置信息分析模型的输入数据，获得所述至少两个视频帧中的每个视频帧中的目标对象的多个指定部位的位置信息。
11.根据权利要求2所述的方法，其特征在于，所述位置信息分析模型通过以下方式获得：
获得运行在移动端的关键点位置信息分析模型；其中，所述运行在移动端的关键点位置信息分析模型运行在移动端，并且能够根据输入的图像获得图像中包含的目标对象的关键点位置信息；
将所述运行在移动端的关键点位置信息分析模型作为初始位置信息分析模型；
将所述初始位置信息分析模型框架中的原始卷积核替换为预设大小以及预设数量的卷积核，并将所述初始位置信息分析模型框架中的原始部分亲和字段框架和原始热图预测框架替换为预设配比、预设数量的部分亲和字段框架与热图预测框架，获得优化位置信息分析模型，将所述优化位置信息分析模型作为所述位置信息分析模型。
12.根据权利要求11所述的方法，其特征在于，所述将所述初始位置信息分析模型框架中的原始卷积核替换为预设大小以及预设数量的卷积核，包括：
将所述初始位置信息分析模型框架中的原始7x7卷积核替换为3个连续的3x3卷积核；
所述将所述初始位置信息分析模型框架中的原始部分亲和字段框架和原始热图预测框架替换为预设配比、预设数量的部分亲和字段框架与热图预测框架，包括：
在所述初始位置信息分析模型框架中，采用一个部分亲和字段框架替换原始部分亲和字段框架，采用一个热图预测框架替换原始热图预测框架。
13.根据权利要求11所述的方法，其特征在于，还包括：
对所述优化位置信息分析模型框架中的热图预测框架输出的热图最大值，取3x3像素邻域进行像素点提炼。
14.根据权利要求11所述的方法，其特征在于，如果所述输入图像包含多个目标对象，采用双线性差值机制在所述输入图像上提取部分亲和字段对应的点。
15.一种位置信息分析模型的获得方法，其特征在于，包括：
获得运行在移动端的关键点位置信息分析模型；其中，所述运行在移动端的关键点位置信息分析模型运行在移动端，并且能够根据输入的图像获得图像中包含的目标对象的关键点位置信息；
将所述运行在移动端的关键点位置信息分析模型作为初始位置信息分析模型；
将所述初始位置信息分析模型框架中的原始卷积核替换为预设大小以及预设数量的卷积核，并将所述初始位置信息分析模型框架中的原始部分亲和字段框架和原始热图预测框架替换为预设配比、预设数量的部分亲和字段框架与热图预测框架，获得目标位置信息分析模型。
16.一种信息处理装置，其特征在于，包括：
视频帧获得单元，用于实时获得待分析视频帧，所述待分析视频帧中包含目标对象；
位置变化信息获得单元，用于通过位置信息分析模型分析至少两个所述待分析视频帧，获得所述目标对象的多个指定部位的位置变化信息；所述位置信息分析模型用于根据待分析视频帧，获得待分析视频帧中目标对象的多个指定部位的位置信息；
计数处理单元，用于如果所述目标对象的多个指定部位的位置变化信息满足位置变化条件，则确定所述目标对象进行了预设运动，并针对所述目标对象进行的所述预设运动进行计数处理。
17.一种位置信息分析模型的获得装置，其特征在于，包括：
初始分析模型获得单元，用于获得运行在移动端的关键点位置信息分析模型；其中，所述运行在移动端的关键点位置信息分析模型运行在移动端，并且能够根据输入的图像获得图像中包含的目标对象的关键点位置信息；将所述运行在移动端的关键点位置信息分析模型作为初始位置信息分析模型；
目标位置信息分析模型获得单元，用于将所述初始位置信息分析模型框架中的原始卷积核替换为预设大小以及预设数量的卷积核，并将所述初始位置信息分析模型框架中的原始部分亲和字段框架和原始热图预测框架替换为预设配比、预设数量的部分亲和字段框架与热图预测框架，获得目标位置信息分析模型。
18.一种运动量确定方法，其特征在于，包括：
接收移动端采集的包含运动对象的视频帧；
对所述包含运动对象的视频帧进行实时分析，获得所述运动对象的多个指定部位的位置变化信息；所述实时分析由移动端中设置的位置信息分析模型承担，所述位置信息分析模型用于根据所述移动端采集的包含运动对象的视频帧，获得视频帧中目标对象的多个指定部位的位置变化信息；
如果所述运动对象的多个指定部位的位置变化信息满足位置变化条件，则针对所述运动对象进行的运动进行计数处理，获得计数结果。
19.根据权利要求18所述的方法，其特征在于，还包括：
获得用户设定的运动类型信息；
采用与所述运动类型信息对应的分析参数，设定所述位置信息分析模型；所述对所述包含运动对象的视频帧进行实时分析的步骤中，采用上述进行了分析参数设定的位置信息分析模型进行分析。
20.根据权利要求19所述的方法，其特征在于，还包括：
获得与所述运动类型信息对应的运动参数；
在获得计数结果后，对计数结果进行数据处理；并将数据处理后获得的测量结果与所述运动参数进行比较，获得比较结果；
根据所述比较结果，通过所述移动端发出相关运动提示。
21.一种信息处理方法，其特征在于，包括：
接收健身设备采集的包含运动对象的视频帧；
对所述包含运动对象的视频帧进行实时分析，获得所述运动对象的指定部位的位置变化信息；所述实时分析由健身设备中设置的位置信息分析模型承担，所述位置信息分析模型用于根据所述健身设备采集的包含运动对象的视频帧，获得视频帧中目标对象的指定部位的位置变化信息；
如果所述运动对象的指定部位的位置变化信息满足位置变化条件，则确定所述目标对象进行了预设运动，并针对所述目标对象进行的所述预设运动进行计数处理。
22.一种电子设备，其特征在于，所述电子设备包括：处理器；存储器，用于存储计算机程序，该计算机程序被处理器运行，执行权利要求1-15、权利要求18-21任意一项所述的方法。
23.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，该计算机程序被处理器运行，执行权利要求1-15、权利要求18-21任意一项所述的方法。
CN202010636893.4A 2020-07-03 2020-07-03 信息处理方法、分析模型的获得方法、装置及电子设备 Pending CN113297883A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010636893.4A CN113297883A (zh) 2020-07-03 2020-07-03 信息处理方法、分析模型的获得方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010636893.4A CN113297883A (zh) 2020-07-03 2020-07-03 信息处理方法、分析模型的获得方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN113297883A true CN113297883A (zh) 2021-08-24

Family

ID=77318159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010636893.4A Pending CN113297883A (zh) 2020-07-03 2020-07-03 信息处理方法、分析模型的获得方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113297883A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627396A (zh) * 2021-09-22 2021-11-09 浙江大学 一种基于健康监测的跳绳计数方法
CN114061079A (zh) * 2021-10-27 2022-02-18 青岛海尔空调器有限总公司 一种空调器辅助健身控制方法、控制装置及空调器

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627396A (zh) * 2021-09-22 2021-11-09 浙江大学 一种基于健康监测的跳绳计数方法
CN113627396B (zh) * 2021-09-22 2023-09-05 浙江大学 一种基于健康监测的跳绳计数方法
CN114061079A (zh) * 2021-10-27 2022-02-18 青岛海尔空调器有限总公司 一种空调器辅助健身控制方法、控制装置及空调器
CN114061079B (zh) * 2021-10-27 2023-02-17 青岛海尔空调器有限总公司 一种空调器辅助健身控制方法、控制装置及空调器
WO2023071177A1 (zh) * 2021-10-27 2023-05-04 青岛海尔空调器有限总公司 一种空调器辅助健身控制方法、控制装置及空调器

Similar Documents

Publication Publication Date Title
US9183431B2 (en) Apparatus and method for providing activity recognition based application service
US20220351535A1 (en) Light Weight Multi-Branch and Multi-Scale Person Re-Identification
Chen et al. Sportscap: Monocular 3d human motion capture and fine-grained understanding in challenging sports videos
CN110929637A (zh) 一种图像识别方法、装置、电子设备及存储介质
Liu Objects detection toward complicated high remote basketball sports by leveraging deep CNN architecture
CN110378245B (zh) 基于深度学习的足球比赛行为识别方法、装置及终端设备
CN113297883A (zh) 信息处理方法、分析模型的获得方法、装置及电子设备
Xiao et al. Recognizing sports activities from video frames using deformable convolution and adaptive multiscale features
KR20170066227A (ko) 복수의 비디오들을 제시하는 사용자 인터페이스를 생성하기 위한 방법
WO2022032652A1 (en) Method and system of image processing for action classification
Wang et al. Distortion recognition for image quality assessment with convolutional neural network
CN111507301A (zh) 视频处理方法、装置、计算机设备以及存储介质
CN112149602B (zh) 动作计数方法、装置、电子设备及存储介质
CN110163837A (zh) 视频噪点识别方法、装置、设备及计算机可读存储介质
CN111479109B (zh) 基于视听联合注意的视频质量评价方法、系统及终端
Zahan et al. Learning sparse temporal video mapping for action quality assessment in floor gymnastics
Li et al. What and how well you exercised? An efficient analysis framework for fitness actions
CN116403285A (zh) 动作识别方法、装置、电子设备以及存储介质
Almasi Human movement analysis from the egocentric camera view
CN112818801B (zh) 运动计数方法、识别装置、识别系统及存储介质
Lee et al. Self-updatable database system based on human motion assessment framework
CN114694256A (zh) 实时网球动作识别方法、装置、设备及介质
CN115769276A (zh) 体型识别方法、健康评估获取方法、装置、设备
CN113544700A (zh) 神经网络的训练方法和装置、关联对象的检测方法和装置
CN111898471A (zh) 一种行人跟踪方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination