CN112348942B - 一种健身交互方法和系统 - Google Patents

一种健身交互方法和系统 Download PDF

Info

Publication number
CN112348942B
CN112348942B CN202010989546.XA CN202010989546A CN112348942B CN 112348942 B CN112348942 B CN 112348942B CN 202010989546 A CN202010989546 A CN 202010989546A CN 112348942 B CN112348942 B CN 112348942B
Authority
CN
China
Prior art keywords
user
human body
picture
coach
time sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010989546.XA
Other languages
English (en)
Other versions
CN112348942A (zh
Inventor
余锋
金凌琳
胡文涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dangqu Network Technology Hangzhou Co Ltd
Original Assignee
Dangqu Network Technology Hangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dangqu Network Technology Hangzhou Co Ltd filed Critical Dangqu Network Technology Hangzhou Co Ltd
Priority to CN202010989546.XA priority Critical patent/CN112348942B/zh
Publication of CN112348942A publication Critical patent/CN112348942A/zh
Application granted granted Critical
Publication of CN112348942B publication Critical patent/CN112348942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种健身交互方法和系统，其中，通过获取教练的健身视频和用户的动作视频流，对该健身视频和动作视频流中的每一帧图片进行处理，获取人体骨架关键点位置生成人体骨架信息，获取该健身视频和动作视频流图片帧上健身器材所在平面，根据该平面和人体骨架信息创建人体三维坐标，根据人体三维坐标与对应视频的图片帧数生成空间时序信息，将用户空间时序信息中第一图片帧数的用户图像和该教练空间时序信息中第一图片帧数的教练图像显示到同一个空间中，解决了分屏展示教练的健身视频和用户的动作视频流，该健身视频和动作视频流不能进行视频融合，容易分散用户注意力的问题，实现了健身视频和动作视频流的融合，提高了用户注意力。

Description

一种健身交互方法和系统
技术领域
本申请涉及计算机领域，特别是涉及一种健身交互方法和系统。
背景技术
智能电视的普及，带动健身类节目的流行，通过加入摄像头和AI算法，健身逐渐转变为AI健身。例如，教练的健身视频和用户的动作视频流分屏展示，提升了用户的参与度和实时反馈，但分屏展示容易分散用户注意力，且教练的健身视频和用户的动作视频流不能进行视频融合，不能很好的观察自己健身的动作与教练健身的动作的区别，在健身的动作出现错误时，很难对比知道自己健身动作有没有纠正到位。
目前针对相关技术中分屏展示教练的健身视频和用户的动作视频流，该健身视频和动作视频流不能进行视频融合，容易分散用户注意力的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种健身交互方法和系统，以至少解决相关技术中分屏展示教练的健身视频和用户的动作视频流，该健身视频和动作视频流不能进行视频融合，容易分散用户注意力的问题。
第一方面，本申请实施例提供了一种健身交互方法，所述方法包括：
获取用户的动作视频流，对所述动作视频流中的每一帧图片进行处理，获取用户人体骨架关键节点位置生成用户人体骨架信息，
获取教练的健身视频，对所述健身视频中的每一帧图片进行处理，获取教练人体骨架关键节点位置生成教练人体骨架信息；
获取所述动作视频流中图片帧上健身器材所在平面，根据所述平面和所述用户人体骨架信息创建用户人体三维坐标，根据所述用户人体三维坐标与所述动作视频流的图片帧数生成用户空间时序信息，
获取所述健身视频中图片帧上健身器材所在平面，根据所述平面和所述教练人体骨架信息创建教练人体三维坐标，根据所述教练人体三维坐标与所述健身视频的图片帧数生成教练空间时序信息；
将所述用户空间时序信息中第一图片帧数的用户图像和所述教练空间时序信息中第一图片帧数的教练图像显示到同一个空间中。
在其中一些实施例中，所述方法还包括：根据所述用户人体三维坐标生成用户人体3D模型，并通过所述用户空间时序信息中第一图片帧数的所述用户人体三维坐标，驱动所述用户人体3D模型动作。
在其中一些实施例中，通过对所述用户人体三维坐标进行坐标变换，将所述用户人体骨架进行放大或缩小，生成与所述教练人体骨架同等比例的用户人体骨架。
在其中一些实施例中，对所述动作视频流中的每一帧图片进行处理还包括：对所述动作视频流中的每一帧图片进行背景分割处理，区分出人体图像和非人体图像，所述人体图像为所述用户图像；
对所述健身视频中的每一帧图片进行处理还包括：对所述健身视频中的每一帧图片进行背景分割处理，区分出人体图像和非人体图像，所述人体图像为所述教练图像。
在其中一些实施例中，所述方法还包括：对所述用户空间时序信息中第一图片帧数的所述用户人体三维坐标和所述教练空间时序信息中第一图片帧数的所述教练人体三维坐标进行比对，通过所述比对结果的差异进行评分。
第二方面，本申请实施例提供了一种健身交互系统，所述系统包括：视频预处理模块和视频融合模块，
所述视频预处理模块，用于获取用户的动作视频流，对所述动作视频流中的每一帧图片进行处理，获取用户人体骨架关键节点位置生成用户人体骨架信息，
获取教练的健身视频，对所述健身视频中的每一帧图片进行处理，获取教练人体骨架关键节点位置生成教练人体骨架信息；
获取所述动作视频流中图片帧上健身器材所在平面，根据所述平面和所述用户人体骨架信息创建用户人体三维坐标，根据所述用户人体三维坐标与所述动作视频流的图片帧数生成用户空间时序信息，
获取所述健身视频中图片帧上健身器材所在平面，根据所述平面和所述教练人体骨架信息创建教练人体三维坐标，根据所述教练人体三维坐标与所述健身视频的图片帧数生成教练空间时序信息；
所述视频融合模块，用于将所述用户空间时序信息中第一图片帧数的用户图像和所述教练空间时序信息中第一图片帧数的教练图像显示到同一个空间中。
在其中一些实施例中，所述系统还包括人体驱动模块：所述人体驱动模块用于根据所述用户人体三维坐标生成用户人体3D模型，并通过所述用户空间时序信息中第一图片帧数的所述用户人体三维坐标，驱动所述用户人体3D模型动作。
在其中一些实施例中，通过对所述用户人体三维坐标进行坐标变换，将所述用户人体骨架进行放大或缩小，生成与所述教练人体骨架同等比例的用户人体骨架。
在其中一些实施例中，对所述动作视频流中的每一帧图片进行处理还包括：对所述动作视频流中的每一帧图片进行背景分割处理，区分出人体图像和非人体图像，所述人体图像为所述用户图像；
对所述健身视频中的每一帧图片进行处理还包括：对所述健身视频中的每一帧图片进行背景分割处理，区分出人体图像和非人体图像，所述人体图像为所述教练图像。
在其中一些实施例中，所述系统还包括评分模块：所述评分模块，对所述用户空间时序信息中第一图片帧数的所述用户人体三维坐标和所述教练空间时序信息中第一图片帧数的所述教练人体三维坐标进行比对，通过所述比对结果的差异进行评分。
相比于相关技术，本申请实施例提供的一种健身交互方法，通过获取用户的动作视频流，对该动作视频流中的每一帧图片进行处理，获取用户人体骨架关键点位置生成用户人体骨架信息，获取教练的健身视频，对该健身视频中的每一帧图片进行处理，获取教练人体骨架关键点位置生成教练人体骨架信息，获取该动作视频流中图片帧上健身器材所在平面，根据该平面和该用户人体骨架信息创建用户人体三维坐标，根据该用户人体三维坐标与该动作视频流的图片帧数生成用户空间时序信息，获取该健身视频中图片帧上健身器材所在平面，根据该平面和该教练人体骨架信息创建教练人体三维坐标，根据该教练人体三维坐标与该健身视频的图片帧数生成教练空间时序信息，将该用户空间时序信息中第一图片帧数的用户图像和该教练空间时序信息中第一图片帧数的教练图像显示到同一个空间中，解决了分屏展示教练的健身视频和用户的动作视频流，该健身视频和动作视频流不能进行视频融合，容易分散用户注意力的问题，实现了健身视频和动作视频流的融合，提高了用户注意力。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的健身交互方法的流程图；
图2是根据本申请实施例的创建人体三维坐标的示意图；
图3是根据本申请实施例的视频融合的示意图；
图4是根据本申请实施例的另一种健身交互方法的流程图；
图5是根据本申请实施例的背景分割的示意图；
图6是根据本申请实施例的健身交互系统的结构框图；
图7是根据本申请实施例的完成视频融合的示意图；
图8是根据本申请实施例的另一种健身交互系统的结构框图；
图9是根据本申请实施例的健身交互系统评分模块的结构框图；
图10是根据本申请实施例的健身交互系统各模块功能的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请提供了一种健身交互方法，图1是根据本申请实施例的健身交互方法的流程图，如图1所示，该流程包括如下步骤：
步骤S101，获取用户的动作视频流，对该动作视频流中的每一帧图片进行处理，获取用户人体骨架关键节点位置生成用户人体骨架信息，获取教练的健身视频，对该健身视频中的每一帧图片进行处理，获取教练人体骨架关键节点位置生成教练人体骨架信息。其中，人体的运动可以通过一些主要关节点的移动来描述，因此，只要10-12个关键节点的组合与追踪便能形成对诸多行为，例如跳舞、走路、跑步等的刻画，做到通过人体关键节点的运动来识别行为，本实施例的通过人体骨架检测得到人体骨架关键节点位置，人体骨架信息包括15个人体骨架关键节点的位置，分别是头、颈、腹、右肩膀、右手肘、右手腕、左肩膀、左手肘、左手腕、右骻、右膝盖、右脚踝、左骻、左膝盖和左脚踝。
步骤S102，获取该动作视频流中图片帧上健身器材所在平面，根据该平面和该用户人体骨架信息创建用户人体三维坐标，根据该用户人体三维坐标与该动作视频流的图片帧数生成用户空间时序信息，获取该健身视频中图片帧上健身器材所在平面，根据该平面和该教练人体骨架信息创建教练人体三维坐标，根据该教练人体三维坐标与该健身视频的图片帧数生成教练空间时序信息。
其中，基于图像Hough变换的矩形检测算法，通过对图像Hough变换空间中峰值点进行提取和组合，检测出满足角度和长度条件的直线组合，以快速定位出图像中的矩形，图2是根据本申请实施例的创建人体三维坐标的示意图，如图2所示，通过矩形检测算法进行坐标标定，寻找视频前几帧图片中健身器材所在的平面，例如瑜伽垫扩展出的xy平面，人体所在的竖直方向为Z轴，创建人体三维坐标，视频中的每一帧图片都有相对应的人体三维坐标，单个视频的所有图片帧和对应的人体三维坐标组成空间时序信息，空间时序信息中的时序指的是视频的帧数，空间指的是每一帧图片中对应的人体三维坐标信息。
步骤S103，将用户空间时序信息中第一图片帧数的用户图像和教练空间时序信息中第一图片帧数的教练图像显示到同一个空间中。其中，空间时序信息中的每一帧图片都对应有人体三维坐标，以及包含人体三维坐标对应的人体图像，图3是根据本申请实施例的视频融合的示意图，如图3所示，进行坐标统一，将第一图片帧数的用户图像和教练图像显示到同一个空间中，再将第二图片帧数的用户图像和教练图像显示到同一个空间中，直至将视频中所有图片帧数的用户图像和教练图像都按顺序连续的显示到同一个空间中，使两张图片的融合经多帧处理后形成相应的融合视频。
通过上述步骤S101至步骤S103，本实施例对用户的动作视频流和教练的健身视频的每一帧图片进行处理，获取对应的用户人体三维坐标和教练人体三维坐标，视频中的每一帧图片与对应的人体三维坐标构成空间时序信息，又依据用户空间时序信息将第一图片帧数的用户图像和该教练空间时序信息中第一图片帧数的教练图像显示到同一个空间中，直至将视频中所有图片帧数的用户图像和教练图像都按顺序连续的显示到同一个空间中，使健身视频和动作视频流进行了融合，健身视频和动作视频流不用再分屏展示，解决了该健身视频和动作视频流不能进行视频融合，容易分散用户注意力的问题，实现了健身视频和动作视频流的融合，提高了用户注意力。
在其中一些实施例中，可以用用户人体3D模型来代替用户图像，图4是根据本申请实施例的另一种健身交互方法的流程图，如图4所示，该流程包括如下步骤：
步骤S401，根据用户人体三维坐标生成用户人体3D模型，并通过用户空间时序信息中第一图片帧数的用户人体三维坐标，驱动该用户人体3D模型动作。其中，可以利用已有的人体数据模型，直接从单张RGB图片或视频中恢复人体3D模型(模型匹配)，也可以用深度传感器直接采集深度信息，再用拼接的方式构建完整模型(Fusion方式)生成可驱动的人体3D模型，有些用户不习惯自己的人体图像显示在屏幕上，该类用户可以选择用人体3D模型代替人体图像，以免因不习惯看到自己出现在视频里而导致分心。
在其中一些实施例中，通过对用户人体三维坐标进行坐标变换，将用户人体骨架进行放大或缩小，生成与教练人体骨架同等比例的用户人体骨架。其中，三维坐标变换有平移变换、比例变换和旋转变换，本实施例中通过比例变换，将人体骨架进行放大或缩小，用户距离摄像头距离的远近会导致拍摄出来的用户图像具有不同的大小，若因拍摄距离或用户与教练的身材差距较大，导致用户图像和教练图像一大一小，则不方便进行比较，故通过对三维坐标比例变换对用户人体骨架放大或缩小，使之与教练人体骨架的大小一致。
在其中一些实施例中，对动作视频流中的每一帧图片进行背景分割处理，区分出人体图像和非人体图像，该人体图像为用户图像；对健身视频中的每一帧图片进行背景分割处理，区分出人体图像和非人体图像，该人体图像为教练图像。其中，通过背景分割技术，对视频中的每一帧图片进行处理，区分出人体图像和非人体图像，并将教练视频和动作视频流中的非人体图像全部替换为统一的背景，在进行视频融合时，使融合视频的背景统一，图5是根据本申请实施例的背景分割的示意图，如图5所示，将非人体图像部分替换为白色背景，使融合视频的背景统一，并且当教练的健身视频和用户的动作视频流进行视频融合时，可以通过颜色判断，保证教练图像和用户图像不会相互覆盖。
在其中一些实施例中，对用户空间时序信息中第一图片帧数的用户人体三维坐标和教练空间时序信息中第一图片帧数的教练人体三维坐标进行比对，通过比对结果的差异进行评分。其中，通过人体骨架信息比对算法对教练和用户的人体骨架关键节点的坐标进行比较，若关键节点对应的坐标差异过大，则得到的评分低，并给出相应的纠正提示信息。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种健身交互系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本申请实施例的健身交互系统的结构框图，如图6所示，该系统包括：视频预处理模块61和视频融合模块62，
视频预处理模块61，用于获取用户的动作视频流，对该动作视频流中的每一帧图片进行处理，获取用户人体骨架关键节点位置生成用户人体骨架信息，获取教练的健身视频，对该健身视频中的每一帧图片进行处理，获取教练人体骨架关键节点位置生成教练人体骨架信息；获取动作视频流中图片帧上健身器材所在平面，根据该平面和用户人体骨架信息创建用户人体三维坐标，根据用户人体三维坐标与动作视频流的图片帧数生成用户空间时序信息，获取健身视频中图片帧上健身器材所在平面，根据该平面和教练人体骨架信息创建教练人体三维坐标，根据教练人体三维坐标与健身视频的图片帧数生成教练空间时序信息；视频融合模块62，用于将用户空间时序信息中第一图片帧数的用户图像和教练空间时序信息中第一图片帧数的教练图像显示到同一个空间中。其中，对教练健身视频的处理，可以是在云端提前处理好，用户需要时再进行下载，也可以是在本地实时处理，图7是根据本申请实施例的完成视频融合的示意图，如图7所示，教练的健身视频和用户的动作视频流融合成一个视频。
本实施例通过视频预处理模块61对用户的动作视频流和教练的动作视频进行处理，生成相应的用户空间时序信息和教练空间时序信息，视频融合模块62则基于用户空间时序信息和教练空间时序信息将视频中所有图片帧数的用户图像和教练图像都按顺序连续的显示到同一个空间中，进行视频融合，解决了分屏展示教练的健身视频和用户的动作视频流，该健身视频和动作视频流不能进行视频融合，容易分散用户注意力的问题。
在其中一些实施例中，用户可以根据喜好选择用户人体3D模型或用户图像用于显示，图8是根据本申请实施例的另一种健身交互系统的结构框图，如图8所示，该系统包括人体驱动模块81，人体驱动模块81用于根据用户人体三维坐标生成用户人体3D模型，并通过用户空间时序信息中第一图片帧数的用户人体三维坐标，驱动该用户人体3D模型动作。其中，通过快速渲染引擎和人体建模技术，生成人体3D模型后，进行骨架匹配，将用户空间时序信息中包含的用户人体三维坐标信息传入用户人体3D模型，生成对应的动作姿态，并输出相应的用户人体3D模型动作图片，所有图片按顺序连续播放则形成相应的视频。
在其中一些实施例中，用户做出和教练视频中相应的动作后，还要对用户的动作进行评分，并输出相应的纠正提示信息，图9是根据本申请实施例的健身交互系统评分模块的结构框图，如图9所示，该系统包括评分模块91，该评分模块91对用户空间时序信息中第一图片帧数的用户人体三维坐标和教练空间时序信息中第一图片帧数的教练人体三维坐标进行比对，通过比对结果的差异进行评分。本实施例中，用户可以根据评分信息知道自己的动作是否标准，并通过提示信息纠正自己的动作。
图10是根据本申请实施例的健身交互系统各模块功能的结构框图，如图10所示，一种健身交互系统包括：视频预处理模块61、人体驱动模块81、视频融合模块62和评分模块91，其中视频预处理模块61包括人体骨架检测、坐标标定和背景分割，人体驱动模块81包括人体建模和骨架匹配，视频融合模块62包括坐标统一和图片融合，评分模块91包括骨架信息比对算法。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种健身交互系统，其特征在于，所述系统包括：视频预处理模块和视频融合模块，
所述视频预处理模块，用于获取用户的动作视频流，对所述动作视频流中的每一帧图片进行处理，获取用户人体骨架关键节点位置生成用户人体骨架信息，
获取教练的健身视频，对所述健身视频中的每一帧图片进行处理，获取教练人体骨架关键节点位置生成教练人体骨架信息；
获取所述动作视频流中图片帧上健身器材所在平面，根据所述平面和所述用户人体骨架信息创建用户人体三维坐标，根据所述用户人体三维坐标与所述动作视频流的图片帧数生成用户空间时序信息，
获取所述健身视频中图片帧上健身器材所在平面，根据所述平面和所述教练人体骨架信息创建教练人体三维坐标，根据所述教练人体三维坐标与所述健身视频的图片帧数生成教练空间时序信息，其中，获取所述动作视频流中图片帧上健身器材所在平面包括：基于图像Hough变换的矩形检测算法，通过对图像Hough变换空间中峰值点进行提取和组合，检测出满足角度和长度条件的直线组合，以快速定位出图像中的矩形，基于矩形扩展出所在平面；
所述视频融合模块，用于将所述用户空间时序信息中第一图片帧数的用户图像和所述教练空间时序信息中第一图片帧数的教练图像显示到同一个空间中。
2.根据权利要求1所述的系统，其特征在于，所述系统还包括人体驱动模块：所述人体驱动模块用于根据所述用户人体三维坐标生成用户人体3D模型，并通过所述用户空间时序信息中第一图片帧数的所述用户人体三维坐标，驱动所述用户人体3D模型动作。
3.根据权利要求1所述的系统，其特征在于，通过对所述用户人体三维坐标进行坐标变换，将所述用户人体骨架进行放大或缩小，生成与所述教练人体骨架同等比例的用户人体骨架。
4.根据权利要求1所述的系统，其特征在于，对所述动作视频流中的每一帧图片进行处理还包括：对所述动作视频流中的每一帧图片进行背景分割处理，区分出人体图像和非人体图像，所述人体图像为所述用户图像；
对所述健身视频中的每一帧图片进行处理还包括：对所述健身视频中的每一帧图片进行背景分割处理，区分出人体图像和非人体图像，所述人体图像为所述教练图像。
5.根据权利要求1所述的系统，其特征在于，所述系统还包括评分模块：所述评分模块，对所述用户空间时序信息中第一图片帧数的所述用户人体三维坐标和所述教练空间时序信息中第一图片帧数的所述教练人体三维坐标进行比对，通过比对结果的差异进行评分。
6.一种健身交互方法，其特征在于，所述方法包括：
获取用户的动作视频流，对所述动作视频流中的每一帧图片进行处理，获取用户人体骨架关键节点位置生成用户人体骨架信息，
获取教练的健身视频，对所述健身视频中的每一帧图片进行处理，获取教练人体骨架关键节点位置生成教练人体骨架信息；
获取所述动作视频流中图片帧上健身器材所在平面，根据所述平面和所述用户人体骨架信息创建用户人体三维坐标，根据所述用户人体三维坐标与所述动作视频流的图片帧数生成用户空间时序信息，
获取所述健身视频中图片帧上健身器材所在平面，根据所述平面和所述教练人体骨架信息创建教练人体三维坐标，根据所述教练人体三维坐标与所述健身视频的图片帧数生成教练空间时序信息，其中，获取所述动作视频流中图片帧上健身器材所在平面包括：基于图像Hough变换的矩形检测算法，通过对图像Hough变换空间中峰值点进行提取和组合，检测出满足角度和长度条件的直线组合，以快速定位出图像中的矩形，基于矩形扩展出所在平面；
将所述用户空间时序信息中第一图片帧数的用户图像和所述教练空间时序信息中第一图片帧数的教练图像显示到同一个空间中。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：根据所述用户人体三维坐标生成用户人体3D模型，并通过所述用户空间时序信息中第一图片帧数的所述用户人体三维坐标，驱动所述用户人体3D模型动作。
8.根据权利要求6所述的方法，其特征在于，通过对所述用户人体三维坐标进行坐标变换，将所述用户人体骨架进行放大或缩小，生成与所述教练人体骨架同等比例的用户人体骨架。
9.根据权利要求6所述的方法，其特征在于，对所述动作视频流中的每一帧图片进行处理还包括：对所述动作视频流中的每一帧图片进行背景分割处理，区分出人体图像和非人体图像，所述人体图像为所述用户图像；
对所述健身视频中的每一帧图片进行处理还包括：对所述健身视频中的每一帧图片进行背景分割处理，区分出人体图像和非人体图像，所述人体图像为所述教练图像。
10.根据权利要求6所述的方法，其特征在于，所述方法还包括：对所述用户空间时序信息中第一图片帧数的所述用户人体三维坐标和所述教练空间时序信息中第一图片帧数的所述教练人体三维坐标进行比对，通过比对结果的差异进行评分。
CN202010989546.XA 2020-09-18 2020-09-18 一种健身交互方法和系统 Active CN112348942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010989546.XA CN112348942B (zh) 2020-09-18 2020-09-18 一种健身交互方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010989546.XA CN112348942B (zh) 2020-09-18 2020-09-18 一种健身交互方法和系统

Publications (2)

Publication Number Publication Date
CN112348942A CN112348942A (zh) 2021-02-09
CN112348942B true CN112348942B (zh) 2024-03-19

Family

ID=74357923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010989546.XA Active CN112348942B (zh) 2020-09-18 2020-09-18 一种健身交互方法和系统

Country Status (1)

Country Link
CN (1) CN112348942B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113556599A (zh) * 2021-07-07 2021-10-26 深圳创维－Rgb电子有限公司 视频教学方法、装置、电视机及存储介质
CN115202530B (zh) * 2022-05-26 2024-04-09 当趣网络科技(杭州)有限公司 一种用户界面的手势交互方法和系统
CN115052181A (zh) * 2022-07-11 2022-09-13 深圳创维－Rgb电子有限公司 分屏健身模式启动方法、装置、显示设备及可读存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106411889A (zh) * 2016-09-29 2017-02-15 宇龙计算机通信科技(深圳)有限公司 一种分组运动的方法、终端和系统
CN106464773A (zh) * 2014-03-20 2017-02-22 2Mee有限公司 增强现实的装置及方法
CN107961524A (zh) * 2017-12-29 2018-04-27 武汉艺术先生数码科技有限公司 基于ar的健身游戏与训练系统
CN108256433A (zh) * 2017-12-22 2018-07-06 银河水滴科技（北京）有限公司 一种运动姿态评估方法及系统
KR20180099399A (ko) * 2017-02-28 2018-09-05 최유석 증강현실 가상트레이너를 적용한 피트니스 센터 및 운동시설 시스템
CN108734104A (zh) * 2018-04-20 2018-11-02 杭州易舞科技有限公司 基于深度学习图像识别的健身动作纠错方法及系统
CN109191588A (zh) * 2018-08-27 2019-01-11 百度在线网络技术（北京）有限公司 运动教学方法、装置、存储介质及电子设备
CN109325466A (zh) * 2018-10-17 2019-02-12 兰州交通大学 一种基于动作识别技术的智能运动指导系统及方法
CN109432753A (zh) * 2018-09-26 2019-03-08 Oppo广东移动通信有限公司 动作矫正方法、装置、存储介质及电子设备
KR101970687B1 (ko) * 2018-04-11 2019-04-19 주식회사 큐랩 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템
CN109829442A (zh) * 2019-02-22 2019-05-31 焦点科技股份有限公司 一种基于摄像头的人体动作评分的方法及系统
CN109876415A (zh) * 2019-02-28 2019-06-14 京东方科技集团股份有限公司 姿势辅助矫正设备及其控制方法和控制装置
CN110110647A (zh) * 2019-04-30 2019-08-09 北京小米移动软件有限公司 基于ar设备进行信息显示的方法、装置及存储介质
CN110298309A (zh) * 2019-06-28 2019-10-01 腾讯科技（深圳）有限公司 基于图像的动作特征处理方法、装置、终端及存储介质
CN110418205A (zh) * 2019-07-04 2019-11-05 安徽华米信息科技有限公司 健身教学方法、装置、设备、系统及存储介质
CN110428486A (zh) * 2018-04-28 2019-11-08 上海形趣信息科技有限公司 虚拟互动的健身方法、电子设备及存储介质
CN110427900A (zh) * 2019-08-07 2019-11-08 广东工业大学 一种智能指导健身的方法、装置和设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102034021B1 (ko) * 2015-08-10 2019-10-18 한국전자통신연구원 헬스케어 유닛 기반 시뮬레이터 및 이를 이용한 시뮬레이션 방법

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464773A (zh) * 2014-03-20 2017-02-22 2Mee有限公司 增强现实的装置及方法
CN106411889A (zh) * 2016-09-29 2017-02-15 宇龙计算机通信科技(深圳)有限公司 一种分组运动的方法、终端和系统
KR20180099399A (ko) * 2017-02-28 2018-09-05 최유석 증강현실 가상트레이너를 적용한 피트니스 센터 및 운동시설 시스템
CN108256433A (zh) * 2017-12-22 2018-07-06 银河水滴科技（北京）有限公司 一种运动姿态评估方法及系统
CN107961524A (zh) * 2017-12-29 2018-04-27 武汉艺术先生数码科技有限公司 基于ar的健身游戏与训练系统
KR101970687B1 (ko) * 2018-04-11 2019-04-19 주식회사 큐랩 개인화 증강현실 기술을 이용한 피트니스 코칭 시스템
CN108734104A (zh) * 2018-04-20 2018-11-02 杭州易舞科技有限公司 基于深度学习图像识别的健身动作纠错方法及系统
CN110428486A (zh) * 2018-04-28 2019-11-08 上海形趣信息科技有限公司 虚拟互动的健身方法、电子设备及存储介质
CN109191588A (zh) * 2018-08-27 2019-01-11 百度在线网络技术（北京）有限公司 运动教学方法、装置、存储介质及电子设备
CN109432753A (zh) * 2018-09-26 2019-03-08 Oppo广东移动通信有限公司 动作矫正方法、装置、存储介质及电子设备
CN109325466A (zh) * 2018-10-17 2019-02-12 兰州交通大学 一种基于动作识别技术的智能运动指导系统及方法
CN109829442A (zh) * 2019-02-22 2019-05-31 焦点科技股份有限公司 一种基于摄像头的人体动作评分的方法及系统
CN109876415A (zh) * 2019-02-28 2019-06-14 京东方科技集团股份有限公司 姿势辅助矫正设备及其控制方法和控制装置
CN110110647A (zh) * 2019-04-30 2019-08-09 北京小米移动软件有限公司 基于ar设备进行信息显示的方法、装置及存储介质
CN110298309A (zh) * 2019-06-28 2019-10-01 腾讯科技（深圳）有限公司 基于图像的动作特征处理方法、装置、终端及存储介质
CN110418205A (zh) * 2019-07-04 2019-11-05 安徽华米信息科技有限公司 健身教学方法、装置、设备、系统及存储介质
CN110427900A (zh) * 2019-08-07 2019-11-08 广东工业大学 一种智能指导健身的方法、装置和设备

Also Published As

Publication number Publication date
CN112348942A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN112348942B (zh) 一种健身交互方法和系统
CN109976519B (zh) 一种基于增强现实的交互显示装置及其交互显示方法
CN111556278B (zh) 一种视频处理的方法、视频展示的方法、装置及存储介质
JP7337104B2 (ja) 拡張現実によるモデル動画多平面インタラクション方法、装置、デバイス及び記憶媒体
US11610331B2 (en) Method and apparatus for generating data for estimating three-dimensional (3D) pose of object included in input image, and prediction model for estimating 3D pose of object
KR101238608B1 (ko) 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
US11900557B2 (en) Three-dimensional face model generation method and apparatus, device, and medium
CN114097248B (zh) 一种视频流处理方法、装置、设备及介质
CN112950751B (zh) 姿态动作的展示方法及装置、存储介质、系统
CN111145135B (zh) 一种图像去扰处理方法、装置、设备及存储介质
WO2022174594A1 (zh) 基于多相机的裸手追踪显示方法、装置及系统
CN114363689B (zh) 直播控制方法、装置、存储介质及电子设备
CN116546149B (zh) 基于虚拟数字人的舞蹈教学交互方法、装置、设备及介质
WO2023280082A1 (zh) 一种手柄inside-out视觉6自由度定位方法及系统
CN114358112A (zh) 视频融合方法、计算机程序产品、客户端及存储介质
CN114373050A (zh) 一种基于HoloLens的化学实验教学系统及方法
US20230166157A1 (en) Electronic apparatus and control method therefor
JP2001236505A (ja) 座標推定方法、座標推定装置および座標推定システム
CN110070036B (zh) 辅助运动动作训练的方法、装置及电子设备
CN112711327A (zh) 信息处理装置、信息处理方法及存储介质
CN111901518A (zh) 显示方法、装置和电子设备
CN113662663B (zh) 一种ar全息手术导航系统坐标系转换方法、装置及系统
WO2017147826A1 (zh) 智能设备的图像处理方法及装置
CN113965550A (zh) 智能交互式远程辅助视频系统
CN113515187A (zh) 一种虚拟现实场景的生成方法和网络侧设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant