CN112040301B - 交互式练习设备动作讲解方法、系统、终端及介质 - Google Patents

交互式练习设备动作讲解方法、系统、终端及介质 Download PDF

Info

Publication number
CN112040301B
CN112040301B CN202010960134.3A CN202010960134A CN112040301B CN 112040301 B CN112040301 B CN 112040301B CN 202010960134 A CN202010960134 A CN 202010960134A CN 112040301 B CN112040301 B CN 112040301B
Authority
CN
China
Prior art keywords
action
real
image
video stream
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010960134.3A
Other languages
English (en)
Other versions
CN112040301A (zh
Inventor
蔡天才
唐天广
翁君
薛立君
李玉婷
陈亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Fit Future Technology Co Ltd
Original Assignee
Chengdu Fit Future Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Fit Future Technology Co Ltd filed Critical Chengdu Fit Future Technology Co Ltd
Priority to CN202010960134.3A priority Critical patent/CN112040301B/zh
Publication of CN112040301A publication Critical patent/CN112040301A/zh
Application granted granted Critical
Publication of CN112040301B publication Critical patent/CN112040301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了交互式练习设备动作讲解方法、系统、终端及介质，涉及智能健身技术领域，其技术方案要点是：根据触发信号截取实时动作图像；根据用户信息在数据库中搜索与实时图像匹配相关的历史视频集；根据动作评分值对历史视频集中的视频流数据进行排序，优选评分值高的视频流数据作为动作讲解视频流；将动作讲解视频流划分成多个在时间轴上连续的关键帧；根据播放信号调取相应的关键帧播放进行动作讲解。通过搜索与目标用户相关的历史视频集，对评分最高的动作讲解视频流进行分帧播放讲解，所作出的动作讲解内容能够与用户状态相匹配，方便用户直观、高效的完成对练习动作的理解，同时通过对练习动作的学习能够达到预期效果。

Description

交互式练习设备动作讲解方法、系统、终端及介质
技术领域
本发明涉及智能健身技术领域，更具体地说，它涉及交互式练习设备动作讲解方法、系统、终端及介质。
背景技术
在如今全民互联网时代，互联网会占用生活的大部分时间，同时随着生活节奏的加快，越来越多人的身体处于亚健康状态，但是又很难抽出时间进行户外运动，大多选择在家里自己对照网上的运动教程进行运动健身，由于缺乏专业指导，健身训练效果不显著，通过选择智能设备进行辅导训练。目前，目标用户在进行健身练习时，健身教练会在练习之前对练习动作进行逐一讲解，以及在练习过程中存在的不达标动作进行纠正讲解。然而，通过教练直接互动进行动作讲解存在效率低下、投入的人力物力成本高；此外，由于每个人对练习动作的理解和适应能力不尽相同，通过专业人员直接进行练习动作无法根据用户的差异性进行特定讲解，其练习动作讲解的效果差。
因此，如何研究设计一种交互式练习设备动作讲解方法、系统、终端及介质是我们目前急需解决的问题。
发明内容
为解决现有健身教练在进行练习动作讲解或纠正过程中存在工作效率低、投入的人力物力成本高、练习动作讲解的效果差的问题。本发明的目的是提供交互式练习设备动作讲解方法、系统、终端及介质。
本发明的上述技术目的是通过以下技术方案得以实现的：
第一方面，提供了交互式练习设备动作讲解方法，包括以下步骤：
根据触发信号截取实时动作图像；
根据用户信息在数据库中搜索与实时图像匹配相关的历史视频集；
根据动作评分值对历史视频集中的视频流数据进行排序，优选评分值高的视频流数据作为动作讲解视频流；
将动作讲解视频流划分成多个在时间轴上连续的关键帧；
根据播放信号调取相应的关键帧播放进行动作讲解。
进一步的，所述触发信号具体为：
根据目标用户的实时动作图像识别判断不达标而自动生成；
或，回看目标用户的实时动作图像时根据图像标定信号手动生成。
进一步的，所述用户信息的获取具体为：通过对截取的实时动作图像进行人脸识别获取身份信息，或进行图像识别处理后获取包括身高信息、体重信息、年龄信息的身体状态信息。
进一步的，所述历史视频集搜索匹配具体为：根据目标用户的身份信息在存储有自身历史练习记录的数据库中搜索匹配与实时图像匹配相关的历史视频集。
进一步的，所述历史视频集搜索匹配具体为：根据目标用户的身体状态信息在存储有同类型用户的历史练习记录的数据库中搜索匹配与实时图像匹配相关的历史视频集。
进一步的，所述动作讲解具体为：将实时动作图像中的关键节点与关键帧中的关键节点进行对比分析后生成动作纠正信号，将动作纠正信号转换成语言信号后进行播放。
进一步的，所述关键帧播放具体为：
根据播放信号进行逐帧单屏播放；
或，根据播放信号进行多帧同屏播放。
第二方面，提供了交互式练习设备动作讲解系统，包括：
图像获取模块，用于根据触发信号截取实时动作图像；
视频搜索模块，用于根据用户信息在数据库中搜索与实时图像匹配相关的历史视频集；
视频选取模块，用于根据动作评分值对历史视频集中的视频流数据进行排序，优选评分值高的视频流数据作为动作讲解视频流；
视频处理模块，用于将动作讲解视频流划分成多个在时间轴上连续的关键帧；
播放模块，用于根据播放信号调取相应的关键帧播放进行动作讲解。
第三方面，提供了一种计算机终端，包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面中任意一项所述的交互式练习设备动作讲解方法。
第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行可实现如第一方面中任意一项所述的交互式练习设备动作讲解方法。
与现有技术相比，本发明具有以下有益效果：
1、本发明通过搜索与目标用户相关的历史视频集，对评分最高的动作讲解视频流进行分帧播放讲解，所作出的动作讲解内容能够与用户状态相匹配，方便用户直观、高效的完成对练习动作的理解，同时通过对练习动作的学习能够达到预期效果；
2、本发明支持实时动作讲解和延后回放动作讲解双重功能，满足了大部分用户的练习动作学习需求；
3、本发明通过人脸识别技术和图像处理技术能够智能化的搜索匹配出相关历史训练记录信息，无需目标用户输入用户信息，其操作方便；
4、本发明通过智能识别关键节点生成动作纠正信号，将动作纠正信号转换成语言信号后进行播放，降低了动作讲解投入的人力物力成本，同时方便智能健身设备家庭化，具有较好的应用前景。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1是本发明实施例中的流程图；
图2是本发明实施例中的系统架构图。
附图中标记及对应的零部件名称：
101、图像获取模块；102、视频搜索模块；103、视频选取模块；104、视频处理模块；105、播放模块。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例1-2和附图1-2，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例：交互式练习设备动作讲解方法，如图1所示，包括以下步骤：
步骤一：根据触发信号截取实时动作图像。
步骤二：根据用户信息在数据库中搜索与实时图像匹配相关的历史视频集。
步骤三：根据动作评分值对历史视频集中的视频流数据进行排序，优选评分值高的视频流数据作为动作讲解视频流。
步骤四：将动作讲解视频流划分成多个在时间轴上连续的关键帧。
步骤五：根据播放信号调取相应的关键帧播放进行动作讲解。
触发信号具体为：根据目标用户的实时动作图像识别判断不达标而自动生成；或，回看目标用户的实时动作图像时根据图像标定信号手动生成。
用户信息的获取具体为：通过对截取的实时动作图像进行人脸识别获取身份信息，或进行图像识别处理后获取包括身高信息、体重信息、年龄信息的身体状态信息。
历史视频集搜索匹配具体为：根据目标用户的身份信息在存储有自身历史练习记录的数据库中搜索匹配与实时图像匹配相关的历史视频集。
历史视频集搜索匹配具体为：根据目标用户的身体状态信息在存储有同类型用户的历史练习记录的数据库中搜索匹配与实时图像匹配相关的历史视频集。
动作讲解具体为：将实时动作图像中的关键节点与关键帧中的关键节点进行对比分析后生成动作纠正信号，将动作纠正信号转换成语言信号后进行播放。
关键帧播放具体为：根据播放信号进行逐帧单屏播放；或，根据播放信号进行多帧同屏播放。
实施例2：交互式练习设备动作讲解系统，如图2所示，包括图像获取模块101、视频搜索模块102、视频选取模块103、视频处理模块104、播放模块105。其中，图像获取模块101，用于根据触发信号截取实时动作图像。视频搜索模块102，用于根据用户信息在数据库中搜索与实时图像匹配相关的历史视频集。视频选取模块103，用于根据动作评分值对历史视频集中的视频流数据进行排序，优选评分值高的视频流数据作为动作讲解视频流。视频处理模块104，用于将动作讲解视频流划分成多个在时间轴上连续的关键帧。播放模块105，用于根据播放信号调取相应的关键帧播放进行动作讲解。
工作原理：通过搜索与目标用户相关的历史视频集，对评分最高的动作讲解视频流进行分帧播放讲解，所作出的动作讲解内容能够与用户状态相匹配，方便用户直观、高效的完成对练习动作的理解，同时通过对练习动作的学习能够达到预期效果。通过人脸识别技术和图像处理技术能够智能化的搜索匹配出相关历史训练记录信息，无需目标用户输入用户信息，其操作方便。通过智能识别关键节点生成动作纠正信号，将动作纠正信号转换成语言信号后进行播放，降低了动作讲解投入的人力物力成本，同时方便智能健身设备家庭化，具有较好的应用前景。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.交互式练习设备动作讲解方法，其特征是，包括以下步骤：
根据触发信号截取实时动作图像；
根据用户信息在数据库中搜索与实时图像匹配相关的历史视频集；
根据动作评分值对历史视频集中的视频流数据进行排序，优选评分值高的视频流数据作为动作讲解视频流；
将动作讲解视频流划分成多个在时间轴上连续的关键帧；
根据播放信号调取相应的关键帧播放进行动作讲解；
所述触发信号具体为：
根据目标用户的实时动作图像识别判断不达标而自动生成；
或，回看目标用户的实时动作图像时根据图像标定信号手动生成；
其中，所述历史视频集与所述目标用户或所述目标用户的同类型用户的历史练习记录相关联。
2.根据权利要求1所述的交互式练习设备动作讲解方法，其特征是，所述用户信息的获取具体为：通过对截取的实时动作图像进行人脸识别获取身份信息，或进行图像识别处理后获取包括身高信息、体重信息和年龄信息的身体状态信息。
3.根据权利要求2所述的交互式练习设备动作讲解方法，其特征是，所述历史视频集搜索匹配具体为：根据目标用户的身份信息在存储有自身历史练习记录的数据库中搜索匹配与实时图像匹配相关的历史视频集。
4.根据权利要求2所述的交互式练习设备动作讲解方法，其特征是，所述历史视频集搜索匹配具体为：根据目标用户的身体状态信息在存储有同类型用户的历史练习记录的数据库中搜索匹配与实时图像匹配相关的历史视频集。
5.根据权利要求1所述的交互式练习设备动作讲解方法，其特征是，所述动作讲解具体为：将实时动作图像中的关键节点与关键帧中的关键节点进行对比分析后生成动作纠正信号，将动作纠正信号转换成语言信号后进行播放。
6.根据权利要求1所述的交互式练习设备动作讲解方法，其特征是，所述关键帧播放具体为：
根据播放信号进行逐帧单屏播放；
或，根据播放信号进行多帧同屏播放。
7.交互式练习设备动作讲解系统，其特征是，包括：
图像获取模块(101)，用于根据触发信号截取实时动作图像；
视频搜索模块(102)，用于根据用户信息在数据库中搜索与实时图像匹配相关的历史视频集；
视频选取模块(103)，用于根据动作评分值对历史视频集中的视频流数据进行排序，优选评分值高的视频流数据作为动作讲解视频流；
视频处理模块(104)，用于将动作讲解视频流划分成多个在时间轴上连续的关键帧；
播放模块(105)，用于根据播放信号调取相应的关键帧播放进行动作讲解；
所述触发信号具体为：
根据目标用户的实时动作图像识别判断不达标而自动生成；
或，回看目标用户的实时动作图像时根据图像标定信号手动生成；
其中，所述历史视频集与所述目标用户或所述目标用户的同类型用户的历史练习记录相关联。
8.一种计算机终端，包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-6中任意一项所述的交互式练习设备动作讲解方法。
9.一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行可实现如权利要求1-6中任意一项所述的交互式练习设备动作讲解方法。
CN202010960134.3A 2020-09-14 2020-09-14 交互式练习设备动作讲解方法、系统、终端及介质 Active CN112040301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010960134.3A CN112040301B (zh) 2020-09-14 2020-09-14 交互式练习设备动作讲解方法、系统、终端及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010960134.3A CN112040301B (zh) 2020-09-14 2020-09-14 交互式练习设备动作讲解方法、系统、终端及介质

Publications (2)

Publication Number Publication Date
CN112040301A CN112040301A (zh) 2020-12-04
CN112040301B true CN112040301B (zh) 2023-05-16

Family

ID=73589504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010960134.3A Active CN112040301B (zh) 2020-09-14 2020-09-14 交互式练习设备动作讲解方法、系统、终端及介质

Country Status (1)

Country Link
CN (1) CN112040301B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065020A (zh) * 2021-03-23 2021-07-02 上海兽鸟智能科技有限公司 一种智能健身设备、使用方法及终端

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170100637A1 (en) * 2015-10-08 2017-04-13 SceneSage, Inc. Fitness training guidance system and method thereof
CN107909060A (zh) * 2017-12-05 2018-04-13 前海健匠智能科技（深圳）有限公司 基于深度学习的健身房健身动作识别方法及装置
CN108525261A (zh) * 2018-05-22 2018-09-14 深圳市赛亿科技开发有限公司 一种智能镜子健身指导方法及系统
CN108924608B (zh) * 2018-08-21 2021-04-30 广东小天才科技有限公司 一种视频教学的辅助方法及智能设备
CN111401330B (zh) * 2020-04-26 2023-10-17 四川自由健信息科技有限公司 教学系统及采用该教学系统的智能镜

Also Published As

Publication number Publication date
CN112040301A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
Xu et al. Msr-vtt: A large video description dataset for bridging video and language
WO2021088510A1 (zh) 视频分类方法、装置、计算机以及可读存储介质
Zhou et al. Towards automatic learning of procedures from web instructional videos
CN110322738B (zh) 一种课程优化方法、装置和系统
Xu et al. Using webcast text for semantic event detection in broadcast sports video
CN105512348A (zh) 用于处理视频和相关音频的方法和装置及检索方法和装置
CN103559880B (zh) 语音输入系统和方法
CN110364146A (zh) 语音识别方法、装置、语音识别设备及存储介质
Bin et al. Adaptively attending to visual attributes and linguistic knowledge for captioning
CN111292745B (zh) 一种语音识别结果的处理方法、装置及电子设备
CN113779381B (zh) 资源推荐方法、装置、电子设备和存储介质
CN112040301B (zh) 交互式练习设备动作讲解方法、系统、终端及介质
CN113596601A (zh) 一种视频画面的定位方法、相关装置、设备及存储介质
Merler et al. Automatic curation of golf highlights using multimodal excitement features
Wang et al. Fast and accurate action detection in videos with motion-centric attention model
CN110309753A (zh) 一种赛事进程判别方法、装置和计算机设备
CN110728604B (zh) 一种分析方法及装置
CN106713973A (zh) 搜索节目的方法及装置
KR20210132300A (ko) 인공 지능을 이용한 스포츠 동영상 검색 방법 및 검색 시스템
CN111223014B (zh) 一种从大量细分教学内容在线生成细分场景教学课程的方法和系统
KR102122918B1 (ko) 대화형 질의응답 장치 및 그 방법
CN113539235B (zh) 文本分析与语音合成方法、装置、系统及存储介质
JP2000048044A (ja) マルチメディア情報提供方法及びシステム及びマルチメディア情報提供プログラムを格納した記憶媒体
CN113204670A (zh) 一种基于注意力模型的视频摘要描述生成方法及装置
CN113032567A (zh) 位置嵌入解释方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant