CN115712405A - 一种画面呈现方法、装置、智能健身显示设备及存储介质 - Google Patents
一种画面呈现方法、装置、智能健身显示设备及存储介质 Download PDFInfo
- Publication number
- CN115712405A CN115712405A CN202110957600.7A CN202110957600A CN115712405A CN 115712405 A CN115712405 A CN 115712405A CN 202110957600 A CN202110957600 A CN 202110957600A CN 115712405 A CN115712405 A CN 115712405A
- Authority
- CN
- China
- Prior art keywords
- action
- user
- fitness
- video
- guidance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000009471 action Effects 0.000 claims abstract description 385
- 230000033001 locomotion Effects 0.000 claims description 66
- 210000000988 bone and bone Anatomy 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 13
- 230000000875 corresponding effect Effects 0.000 description 90
- 230000036544 posture Effects 0.000 description 72
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 7
- 230000001960 triggered effect Effects 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000037237 body shape Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000035699 permeability Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开一种画面呈现方法、装置、智能健身显示设备及存储介质,该方法包括响应用户选定的目标健身课程;识别所述目标健身课程所对应课程视频中的至少一个指导动作;确定与所述至少一个指导动作相对应的呈现位置信息;根据所述呈现位置信息呈现所述至少一个指导动作。利用该方法,保证了健身课程教学中呈现在智能健身显示设备中的指导动作视频画面能够随着指导动作的不同而动态调整,使得指导动作视频画面均能够停留在用户当所处位置的正常视角范围,保证用户能够清晰观看指导动作视频画面,进而提升了用户相对智能健身显示设备的使用体验。
Description
技术领域
本申请涉及图像识别技术领域,尤其涉及一种画面呈现方法、装置、智能健身显示设备及存储介质。
背景技术
智能健身显示设备是近几年来比较热门的一种智能交互设备,可以作为用户健身的辅助设备,使得用户通过智能健身显示设备上的镜面来实时查看健身过程中的健身动作;同时,智能健身显示设备也可以通过显示装置向用户展示健身课程中的标准动作,以对用户的健身进行指导。
目前,通过智能健身显示设备向用户显示标准的健身指导动作时,往往在显示装置的默认位置、以默认画面尺寸来呈现这些标准的健身指导动作。然而,在用户健身的过程中,其相对于智能健身显示设备的视线范围及最佳视角是会发生变化的,在呈现健身指导动作的画面位置和画面尺寸固定时,如果用户的视角发生变化,将无法清晰的观看所呈现的健身指导动作,也会影响用户模仿健身指导动作的正确性,从而导致用户体验不佳。
发明内容
有鉴于此,本申请实施例提供了一种画面呈现方法、装置、智能健身显示设备及存储介质,能够实现健身指导画面的显示位置的适应性调整,以此提升智能健身显示设备的用户体验。
第一方面,本申请实施例提供了一种画面呈现方法,由智能健身显示设备执行,所述方法包括:
响应用户选定的目标健身课程;
识别所述目标健身课程所对应课程视频中的至少一个指导动作;
确定与所述至少一个指导动作相对应的呈现位置信息;
根据所述呈现位置信息呈现所述至少一个指导动作。
进一步地,根据所述呈现位置信息呈现所述至少一个指导动作之前,还包括:
接收第一触发指令;
根据所述第一触发指令,触发所述至少一个指导动作按照所述呈现位置信息进行呈现;
所述第一触发指令包括:用户在预设区域或预设按键上的操作;或用户的语音指令;或所述智能健身显示设备识别到用户的动作与所述课程视频中的指导动作的匹配度达到预设值。
进一步地,根据所述呈现位置信息呈现所述至少一个指导动作之后,还包括:
接收第二触发指令;
根据所述第二触发指令,将所述至少一个指导动作的呈现位置设置于预设位置。
进一步地,所述识别所述目标健身课程所对应课程视频中的至少一个指导动作,包括:
实时识别所述课程视频中当前视频帧包含的肢体动作姿态,根据所述当前视频帧包含的肢体动作姿态确定对应的指导动作;
或,实时识别所述课程视频中连续数个视频帧组合所包含的肢体动作姿态组合,根据所述肢体动作姿态组合确定对应的指导动作;
或,整体识别所述课程视频中各视频帧包含的肢体动作姿态,根据所述各视频帧包含的肢体动作姿态确定所述课程视频中包含的至少一个指导动作。
进一步地,所述确定与所述至少一个指导动作相对应的呈现位置信息,包括:
查找预先设置的画面位置关联表,从所述画面位置关联表中确定出与所述至少一个指导动作相匹配的呈现位置信息。
进一步地,所述画面位置关联表中包括至少一个二元关系组,
每个二元关系组中包括健身主姿态以及与之关联的动作呈现位置。
进一步地,所述根据所述呈现位置信息呈现所述至少一个指导动作,包括:
确定与所述至少一个指导动作对应的健身主姿态关联的动作呈现位置,将所述至少一个指导动作在所述动作呈现位置处进行呈现。
进一步地,所述智能健身显示设备识别到用户的动作与所述课程视频中的指导动作的匹配度达到预设值,包括:
预设时间段内采集到的用户动作与当前采集时间段对应的课程视频指导动作的匹配度达到第一阈值;
或,任意时刻采集到的用户动作与当前时刻对应的课程视频指导动作的匹配度达到第二阈值。
进一步地,所述智能健身显示设备识别用户的动作,包括:
采集用户图像帧;
根据预设的骨骼特征点提取模型,获取各所述用户图像帧分别对应的骨骼特征点集;
将每个用户图像帧对应的骨骼特征点集中的各骨骼特征点进行连线,获得用户在各用户图像帧中的肢体动作姿态。
进一步地,预设时间段内采集到的用户动作与当前采集时间段对应的课程视频指导动作的匹配度达到第一阈值,包括:
按照所述课程视频的播放顺序,将用户的各肢体动作姿态与课程视频中的各肢体动作姿态进行比对;
统计连续匹配成功的最大连续数量,基于所述最大连续数量以及构成各肢体动作姿态的视频帧数,获得匹配比值;
所述匹配比值达到所述第一阈值。
第二方面,本申请实施例提供了一种画面呈现装置,配置于智能健身显示设备,所述装置包括:
操作响应模块,用于响应用户选定的目标健身课程进入;
动作识别模块,用于识别所述目标健身课程所对应课程视频中的至少一个指导动作;
信息确定模块,用于确定与所述至少一个指导动作相对应的呈现位置信息;
位置呈现模块,用于根据所述呈现位置信息呈现所述至少一个指导动作。
第三方面,本申请实施例还提供智能健身显示设备,其特征在于,包括:
存储器和至少一个处理器;
所述存储器用于存储一个或多个计算机程序;
所述一个或多个计算机程序被所述至少一个处理器执行,使得所述至少一个处理器实现如上述第一方面提供的画面呈现方法。
第四方面,本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机控制器执行时用于执行如第一方面所述的画面呈现方法。
上述提供的一种画面呈现方法、装置、智能健身显示设备及存储介质,该方法首先响应用户选定的目标健身课程;然后识别目标健身课程所对应课程视频中的至少一个指导动作;之后确定与至少一个指导动作相对应的呈现位置信息,最终,根据呈现位置信息呈现所述至少一个指导动作。本实施例上述技术方案,通过对健身教学时所选定目标健身课程相关课程视频的分析,确定出目标健身课程中包括的至少一个指导动作,并可为每个指导动作确定相应的呈现位置信息,从而能够基于呈现位置信息对每个指导动作播放时的呈现位置进行调整。由此保证了健身课程教学中呈现在智能健身显示设备中的指导动作视频画面能够随着指导动作的不同而动态调整,使得指导动作视频画面均能够停留在用户当所处位置的正常视角范围,保证用户能够清晰观看指导动作视频画面,进而提升了用户相对智能健身显示设备的使用体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1为本申请实施例一提供的一种画面呈现方法的流程示意图;
图1a给出了现有智能健身显示设备中画面呈现的效果展示;
图1b为本申请实施例一所提供画面呈现方法中采用所确定呈现位置进行呈现的效果展示;
图2为本申请实施例二提供的一种画面呈现装置的结构框图;
图3为本申请实施例三提供的一种智能健身显示设备的结构示意图;
图3a给出了作为智能健身显示设备的一种智能健身镜的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施例方式作进一步地详细描述。应当明确,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中,需要理解的是,术语“第一”、“第二”、“第三”等仅用于区别类似的对象,而不必用于描述特定的顺序或先后次序,也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
实施例一
图1为本申请实施例一提供的一种画面呈现方法的流程示意图,该方法适用于用户通过智能健身显示设备进行健身运动时进行健身指导画面呈现位置确定的情况。该方法可以由画面呈现装置执行,该装置可以由硬件和/或软件实现,并一般集成在智能健身显示设备中,其中,智能健身显示设备可以包括智能健身镜、电视、智能交互平板、与健身器械结合使用的显示设备等。
本实施例以智能健身镜举例进行说明,智能健身镜中主要包括了摄像头、镜面以及显示屏等。对应智能健身镜的相关组成,可认为镜面与显示屏以覆盖形式组合,如,镜面铺设在显示屏的屏幕上面,且镜面和显示屏的屏幕尺寸大小可能相同,也可能不同,如,显示屏的屏幕尺寸小于镜面尺寸,摄像头可以为前置摄像头,设置于适合图像捕获的任意位置。
在软件层面,可认为智能健身显示设备集成了所设计的智能健身系统,该智能健身系统作为应用软件安装在与智能健身显示设备匹配的操作系统中。示例性的,该操作系统可以是嵌入式的安卓系统或IOS系统。
可以知道的是,智能健身显示设备在应用层面所具备的其中一个功能应用就是为用户提供教学指导。具体的,智能健身显示设备上存储了一系列健身项目的课程指导视频,用户通过相关的菜单界面可以选择自己所需的健身课程,并由智能健身显示设备将所选择健身课程对应的课程视频在显示屏播放;或者,智能健身显示设备具备网络传输条件,能够在线为用户提供健身课程指导菜单,从服务平台端调取用户选中的健身课程视频并在线播放,其中,显示屏播放健身课程视频画面可以透过镜面呈现给智能健身显示设备前的用户。
另一方面,在硬件结构层面,智能健身镜所配备的镜面可以具有半透光半反射的特点,也可具有一部分可透光,其余部分全反射的特点。基于上述特点下,在智能健身镜上配备半透光半反射的镜面时,整个镜面可以作为镜子让用户看到自己的镜像,还可以在镜面下铺设显示屏,透过镜面呈现在显示屏上播放的内容;在智能健身镜上配备部分可透光、余下部分全反射的镜面时,显示屏可以相对镜面的可透光部分设置,以透过该部分来呈现所播放的内容,而镜面上具备全反射特点的余下部分则可作为镜子供用户查看镜像。
对于智能健身镜而言,在融合健身课程指导以及用户健身动作镜像呈现时,需要考虑的是,健身课程所对应指导动作视频的呈现位置需要与用户健身动作的镜像的呈现位置分开,以便二者的呈现互不干扰。针对上述情况,现有的解决方法是对显示屏上所显示画面内容的呈现位置以及呈现尺寸大小进行固定设置,如,可以设定智能健身镜左上角的一定区域为画面内容的呈现区域。
然而,上述方法存在的问题在于用户在健身运动中,随着所做健身动作不同,用户的正常视线范围会发生变化,此时画面内容的呈现位置有可能无法呈现在用户的正常视线范围内,从而使得用户无法正常观看所呈现的画面内容。本实施例所提供的画面呈现方法,能够实现健身教学过程中指导画面的灵活调整,提升了用户观看指导画面的观看体验。
如图1所示,本实施例一提供的一种画面呈现方法,具体包括如下步骤:
S101、响应用户选定的目标健身课程。
在本实施例中,所述目标健身课程具体可理解为用于健身教学的各门健身课程中由用户当前选定的一门。示例性的,各门健身课程可以以列表形式展示在智能健身显示设备的显示屏上供用户选择,在用户通过触摸点触或者其他触发形式选择一门健身课程后,该健身课程可记为目标健身课程;用户也可以通过选择课程标签的方式选定目标健身课程,如用户选择难度标签(难、中、易等)、健身效果标签(减脂、增肌、塑形等)和锻炼部位标签(臂、腿、胸、背、臀等)后,根据用户选择的标签将生成相应的健身课程,该健身课程也可记为目标健身课程。作为执行主体的智能健身显示设备会响应用户选定目标健身课程的操作。
一般的,用户选定的目标健身课程的相关课程视频将会在智能健身显示设备的显示屏上进行播放,课程视频中包括了教学者相对目标健身课程所关联健身项目做出的健身指导动作,且各健身指导动作以指导动作视频画面帧的形式呈现在智能健身显示设备的显示屏上,用户通过模仿所播放的健身指导动作来进行健身动作学习,直至目标健身课程播放结束。
本实施例提供的方法中,将可以在用户选定目标健身课程后,继续执行S102的操作。
S102、识别所述目标健身课程所对应课程视频中的至少一个指导动作。
在本实施例中,通过上述步骤响应用户选定的目标健身课程后,本执行终端可以从本地存储的健身课程集合中获取到用户所选定目标健身课程对应的课程视频,还可以从服务平台端拉取用户所选定目标健身课程对应的课程视频,并本地缓存所拉取的课程视频。
在本实施例中,所述目标健身课程关联一个健身项目,该健身项目实际由一系列的健身指导动作构成,相应的,本实施例可认为目标健身课程的课程视频中包含了该健身项目一系列的指导动作,指导动作可认为是健身过程中所涉及肢体动作姿态的连贯执行,如瑜伽健身中腰躯扭动的指导动作,可认为该指导动作中至少包括了双手叉腰、向右扭动、向左扭动等肢体动作姿态。且本实施例考虑到课程视频以视频帧形式播放,由此,本步骤通过对课程视频中视频帧的识别处理,可以识别出课程视频中具体包括了哪些指导动作。
示例性的,对于指导动作的识别实现,可以是将课程视频以帧为单位进行划分,并通过给定的一些姿态识别算法确定出每个视频帧中的教学者以什么样的姿态呈现,之后可以通过对各视频帧对应的肢体动作姿态进行组合分析,最终可以在对肢体动作姿态进行连贯组合后,获得到课程视频中包括的各指导动作。
可以知道的是,目标健身课程的课程视频中至少包含一个指导动作,每个指导动作对应了以视频片段的形式构成了课程视频。同时,对于指导动作的识别,本步骤可以是直接对课程视频的所有视频帧进行分析,从而确定出课程视频包括的所有指导动作,然后播放课程视频;也可以是从课程视频中提取设定时长的视频片段,对视频片段进行分析,确定视频片段中包括的指导动作,其中,对视频片段的分析可以在视频播放的过程中同时进行。
S103、确定与所述至少一个指导动作相对应的呈现位置信息。
需要说明的是,现有的智能健身显示设备在用户选定目标健身课程后,会直接从本地获取目标健身课程的课程视频或者从服务平台端拉取相关课程视频,并在固定的内容呈现位置进行指导动作视频画面的呈现。由此存在的问题是随着用户跟随健身课程教学内容以相应肢体姿态进行模仿和学习时,呈现指导动作视频画面的位置可能无法处于用户的正常视线范围内,导致用户无法有效观看所呈现的教学内容。
在本实施例中,为了更好保证用户无论以何种肢体姿态进行健身操作时都能在正常视线范围内观看到所呈现的健身教学内容,就需要在用户进行健身学习时对智能健身显示设备显示屏上所呈现健身教学内容的呈现位置进行调整。由此,本实施例首先通过上述S102识别出目标健身课程中具体包括了哪些指导动作,之后可通过本步骤为目标健身课程中所包括的至少一个指导动作进行呈现位置信息的确定。
在本实施例中,可认为在基于所确定呈现位置信息中的呈现位置进行所关联指导动作的动作视频画面呈现时,可以使所关联指导动作刚好处在用户此刻所具备的正常视线范围内,保证用户在正常视角下观看该指导动作。
在本实施例中,智能健身显示设备的应用层面包含了多门用于用户健身教学的健身课程,而每门健身课程所对应的课程视频中包含了所关联健身项目的所有指导动作。本实施可预先为各指导动作进行关联信息的确定,所确定的关联信息中可以包括该指导动作所对应教学内容播放时应当具备的呈现位置,其中,该呈现位置可以是技术人员通过经验确定,也可以是用户在使用智能健身显示设备进行健身学习前预先编辑确定。
本步骤可以从预先存储的关联信息中确定出各指导动作分别关联的呈现位置信息,以便于通过该呈现位置信息实现相关指导动作呈现位置的动态调整。
S104、根据所述呈现位置信息呈现所述至少一个指导动作。
在本实施例中,当识别出的指导动作需要呈现在智能健身显示设备的显示屏上时,可以通过指导动作的呈现位置信息确定出指导动作在显示屏上呈现时的显示位置,并在该显示位置处进行相关指导动作内容的呈现。
本申请实施例一提供的一种画面呈现方法,通过对健身教学时所选定目标健身课程相关课程视频的分析,确定出目标健身课程中包括的至少一个指导动作,并可为每个指导动作确定相应的呈现位置信息,从而能够基于呈现位置信息对每个指导动作播放时的呈现位置进行调整。由此保证了健身课程教学中呈现在智能健身显示设备中的指导动作视频画面能够随着指导动作的不同而动态调整,使得指导动作视频画面均能够停留在用户当前所处位置的正常视角范围,保证用户能够清晰观看指导动作视频画面,进而提升了用户相对智能健身显示设备的使用体验。
作为本发明实施例的第一可选实施例,本第一可选实施例在上述实施例一的基础上,进一步在根据所述呈现位置信息呈现所述至少一个指导动作之前,优化增加了下述操作:
接收第一触发指令;
根据所述第一触发指令,触发所述至少一个指导动作按照所述呈现位置信息进行呈现;
所述第一触发指令包括:用户在预设区域或预设按键上的操作;或用户的语音指令;或所述智能健身显示设备识别到用户的动作与所述课程视频中的指导动作的匹配度达到预设值。
通过上述实施例一的描述,可以知道所提供方法通过S101对用户选定目标健身课程的操作进行响应后,继续执行上述S102至S104的操作。可以看出S104的执行为方法步骤的直接执行,只要在确定出指导动作对应的呈现位置信息后,就可直接通过指导动作呈现位置信息对指导动作在显示屏上的呈现位置进行匹配调整。
需要说明的是,本第一可选实施例进一步考虑了本实施例所提供方法在实际应用场景中的用户体验感。示例性的,其中一个实际应用场景,用户选定目标健身课程后,仍希望智能健身显示设备按照指导动作的默认呈现位置进行显示,比如用户希望先预览、熟悉一遍目标健身课程所包含的指导动作,此时用户并不希望指导动作的呈现位置不断发生变化,而若智能健身设备直接采用实施例一上述提供的方法,将会直接进行指导动作呈现位置调整的操作,由此无法满足用户对指导动作显示位置的操控需求。示例性的,又如另一个实际应用场景,用户希望目标健身课程的课程视频播放到某部分健身视频时再启动指导动作呈现位置的调整,用户的该种呈现需求同样无法通过本实施例一上述提供的方法实现。
在上述实施例一的基础上,本第一可选实施例还考虑了在直接按照呈现位置信息呈现至少一个指导动作之前,增设用户的交互触发功能。具体的,智能健身显示设备可以感应用户的交互操控事件,从而响应生成触发指令,本可选实施例记为第一触发指令。智能健身显示设备接收到该第一触发指令,就可以认为当前满足了用户期望指导动作显示位置调整的时机,由此可以触发至少一个指导动作按照呈现位置信息进行呈现。
其中,用户所进行的交互操控事件,可以是感应到用户在预先设定的触发区域中的触控操作而触发实现;也可以是接收到用户对预先设定的功能触发按钮的触发来实现;还可以识别到用户发出的语音指令而触发实现,同样可以是通过捕捉用户在健身教学中所做的肢体动作,并当识别到用户的动作与课程视频中指导动作的匹配度到达预设值而触发实现。
在本第一可选实施例中,对于通过捕捉用户的肢体动作,以及将所识别用户动作与课程视频中指导动作进行匹配度确定的具体实现,可以是:智能健身设备首次通过摄像头捕获用户在一个时间段内的健身画面,识别出用户在该段时间内都做了哪些肢体动作;之后将各肢体动作与该时间段内所播放指导动作中包含的肢体动作姿态进行比较;如果动作姿态匹配的最大连续数量达到了设定阈值,则可认为匹配度达到了预设值。由此可以触发智能健身显示设备进行指导动作呈现位置的调整操作。
通过本实施例一的上述第一可选实施例,为用户提供了指导动作呈现位置适应性调整的交互接口,能够接收到用户执行各种操控动作而触发生成的第一触发指令,来确定是否触发指导动作按照呈现位置信息进行呈现;更好的实现了用户与智能健身显示设备的人性化交互,可以按照用户意愿对指导动作的显示位置进行调整以满足用户需求,充分体现了其智能性,同时提升了用户在健身学习中的用户体验。
在上述实施例的基础上,进一步给出了本发明实施例的第二可选实施例,该第二可选实施例根据所述呈现位置信息调整所述至少一个指导动作的呈现位置之后优化增加了下述操作:
接收第二触发指令;
根据所述第二触发指令,将所述至少一个指导动作的呈现位置设置于预设位置。
可以理解的是,在用户跟随智能健身显示设备进行健身学习,同时目标健身课程中指导动作的呈现位置也在适应性调整的过程中,用户还存在结束指导动作呈现位置适应性调整的需求。用户的该种需求可以通过本第二可选实施例的执行来实现。
示例性的,在指导动作呈现位置适应性调整的过程中,当用户希望结束该种适应性调整时,可以通过操控动作来与智能健身显示设备进行交互,以使智能健身显示设备接收到触发指令,本实施例记该触发指令为第二触发指令,从而通过该第二触发指令来控制课程视频中未播放的指导动作在一个固定的预设位置处进行呈现。
其中,用户与智能健身显示设备的交互生成第二触控指令的具体实现,可以包括用户触发预先设定的控制按钮,通过对控制按钮按下操作的响应而形成第二触发指令;还可以包括用户触发显示设备上的某一区域,通过对该区域触控感应的响应而形成第二触发指令;也可以包括用户做出某一肢体动作,通过对该肢体动作的捕获分析而形成第二触发指令;同样还可以是智能健身显示设备识别到用户停止做健身动作达到预设时间,也可以形成第二触发指令。
其中,所述预设位置可以是默认的指导动作呈现位置,还可以是课程视频原本或默认在显示设备上的播放位置,还可以直接是智能健身显示设备显示屏的中间位置,也可以是用户预先在显示屏上自定义的利于观看的位置,同样可以是用户停止健身动作处于站立状态时所对应的位置。
需要说明的是,在执行本实施例所提供方法的过程中,智能健身显示设备还可以接收到用户通过交互方式而触发产生的其他操作指令,所产生的操作指令可能也会对指导动作呈现位置的调整产生影响,这里不再赘述。
通过本实施例一的上述第二可选实施例,同样为用户提供了指导动作呈现位置调整结束的交互接口,能够接收到用户通过执行各种操控动作而触发生成的第二触发指令,以此来确定是否结束指导动作呈现位置的调整操作;同样更好的实现了用户与智能健身显示设备的人性化交互,提升了用户在健身学习中的使用体验。
作为本发明实施例一的第三可选实施例,在上述实施例的基础上,可进一步将识别所述目标健身课程所对应课程视频中的至少一个指导动作,具体优化为:
实时识别所述课程视频中当前视频帧包含的肢体动作姿态,根据所述当前视频帧包含的肢体动作姿态确定对应的指导动作;
或,实时识别所述课程视频中连续数个视频帧组合所包含的肢体动作姿态组合,根据所述肢体动作姿态组合确定对应的指导动作;
或,整体识别所述课程视频中各视频帧包含的肢体动作姿态,根据所述各视频帧包含的肢体动作姿态确定所述课程视频中包含的至少一个指导动作。
可以理解的是,对于课程视频中指导动作的识别,其执行方式可以是实时的对课程视频中的一个或连续数个视频帧进行识别,从而基于相应获得的肢体动作姿态来确定所对应的指导动作;还可以是对课程视频中的视频帧先进行整体的肢体动作姿态识别,之后一次性的确定出课程视频中包括的所有指导动作。
在本可选实施例实现指导动作确定的过程中,可以直接对获取到的课程视频中的所有视频帧进行肢体动作姿态识别,也可以是以设定间隔抽取视频帧做为关键帧,对关键帧进行肢体动作姿态识别。还可以是在执行时刻选取连续的待播放的视频帧,对连续的多个视频帧进行肢体动作姿态识别,所述连续视频帧的数量可以根据经验设定,且具体可设定大于一个指导动作所对应视频帧的帧数,以保证通过识别出的肢体动作姿态可以确定出一个指导动作。
在本第三可选实施例中,无论本可选实施例采用哪种执行方式,其实质均是对课程视频中的视频帧进行识别处理,从而获得视频帧中包括的肢体动作姿态,之后通过识别出的肢体动作姿态,或者肢体动作姿态的组合,来确定出课程视频中具备的各指导动作。其中,因为健身教学的对象为人,所录制的课程视频相当于以人物形体姿态为主体的人物身体形态视频,即,课程视频的关键视频帧中包括了教学者的身体形态,本第三可选实施例可以通过给定的一些身体形态识别算法(如,骨骼特征点识别算法),确定出视频帧中教学者具备的肢体动作姿态。
接上述描述,本可选实施例可以按照课程视频的播放顺序对肢体动作姿态按照动作连贯性进行组合,如,组合后的肢体动作姿态可能呈现为手臂逐渐张开,之后手臂逐渐放下的连贯操作,该连贯操作就可看作课程视频中的一个指导动作。
本第三可选实施例完成了目标健身课程的课程视频中所包括指导动作的确定,所提供的多样化的确定方式确保了课程视频中指导动作的有效识别,为指导动作呈现位置的调整提供了执行基础。
作为本发明实施例的第四可选实施例,进一步地将确定与所述至少一个指导动作相对应的呈现位置信息,具体化为:查找预先设置的画面位置关联表,从所述画面位置关联表中确定出与所述至少一个指导动作相匹配的呈现位置信息。
在本可选实施例中,考虑直接为课程视频中的每个指导动作进行呈现位置信息的确定。其具体可以通过查找预先设置的画面位置关联表,从所述画面位置关联表中确定出与各指导动作相匹配的呈现位置信息。其中,所述画面位置关联表为预先设定的信息关联表,该画面位置关联表中包括了各门课程所包括的各指导动作相关的呈现位置信息。
具体的,本可选实施例可以优选所述画面位置关联表中包含了至少一个二元关系组,每个二元关系组中包括健身主姿态以及与该健身主姿态所对应的动作呈现位置。
示例性的,对于课程视频中的每个指导动作而言,其均相应存在一个健身主姿态,所述健身主姿态具体可理解为进行指导动作呈现过程中人体应该保持的一个姿态,如,正面站立、侧面站立、下蹲、坐姿、俯卧、仰卧以及侧卧等。
在本实施例中,可以为不同的健身主姿态分别设定相应的动作呈现位置。对于各动作呈现位置的设定,可以是用户在进行健身学习前在编辑模式下,对各个健身主姿态设定相应的呈现位置;也可以由技术人员通过一定的方式预先设定。
而技术人员预先进行设定时所借鉴的设定依据可描述为:首先默认一个固定的动作呈现位置,然后确定人以不同的健身主姿态做健身动作时,对应具备的正常视角范围与上述固定的动作呈现位置之间存在的视角差,并确定出最小视角差,之后就可以通过该最小视角差对上述动作呈现位置进行校正。当指导动作在校正后的动作呈现位置呈现时,可以保证用户在正常视角范围内观看到该指导动作。由此,本实施例可以将校正后的动作呈现位置认为是该指导动作在相应健身主姿态下关联的动作呈现位置,并可以将确定出的该动作呈现位置其关联记录形成画面位置关联表中的一个二元关系组。
可以知道的是,画面位置关联表中的每个动作呈现位置可以通过坐标值来表示,该坐标值可以通过以智能健身显示设备上显示屏屏幕的左上角构建的坐标系来确定具体值。
在本第四可选实施例的基础上,还可以将根据所述呈现位置信息呈现所述至少一个指导动作进一步地优化为:
确定与所述至少一个指导动作对应的健身主姿态关联的动作呈现位置,将所述至少一个指导动作在所述动作呈现位置处进行呈现。
在本可选实施例中,可优选每个指导动作对应的呈现位置信息包括:相对于所述指导动作的健身主姿态,以及所述健身主姿态关联的动作呈现位置。基于此,针对每个指导动作,本可选实施例可以从该指导动作对应的呈现位置信息中提取动作呈现位置;基于该动作呈现位置,确定该指导动作在所配备显示屏上的显示位置;最终可以将指导动作的当前呈现位置调整至该显示位置,以呈现该指导动作关联的课程视频画面。
其中,对于每个指导动作而言,本可选实施例确定该指导动作的呈现位置信息时,首先可以先对指导动作进行分析,确定出该指导动作具体对应了哪个健身主姿态。在确定出健身主姿态后,就可以在画面位置关联表中找到该指导动作匹配的健身主姿态,并将该健身主姿态关联的动作呈现位置作为指导动作的呈现位置。
此外,作为本可选实施例的优选项,还可以将画面位置关联表优选为一个三级信息表,该三级信息表包括三个层级的信息项;其中,一级信息项包括至少一门健身课程;二级信息项中相对一级信息项中的每门健身课程分别包括对应的各指导动作;三级信息项中相对二级信息项中的每个指导动作分别包括相对应的健身主姿态及关联所述健身主姿态的动作呈现位置。
相比于上述以二元关系组表征的画面位置关联表,优选后的画面关联表相当于一个包含所有健身课程相关信息的信息汇总表,其主要以三级信息表的形成呈现。示例性的,可以将智能健身显示设备中用户可选的各门教学健身课程罗列到一级信息项中,使得一级信息项中包括至少一门健身课程;接着,对于每门健身课程而言,该门课程中可以包括动作1、动作2...动作n等多拆分后的指导动作,使得二级信息项中相对于每门健身课程可以包括至少一个指导动作。一般的,对于每个指导动作,其可能还存在相关联的骨骼特征点序列,也可能不存在。
在本实施例所提供画面呈现方法的执行中,还可以采用上述三级信息表来实现每个指导动作所对应呈现位置信息的确定。确定过程可描述为:在确定出目标健身课程中指导动作后,可以直接查找该三级信息表,首先在一级信息项中查找到目标健身课程,之后在二级信息项中查找到该指导动作,最后可以在三级信息项中查找到该指导动作所对应的健身主姿态,以及该健身主姿态关联的动作呈现位置。
本实施例所述的三级信息表适用于健身主姿态过多的情况,在该种情况下,采用上述三级信息表来确定指导动作的呈现位置信息时,可直接通过该三级信息表快速查找某一目标健身课程中至少一个指导动作所对应的健身主姿态,从而确定至少一个指导动作的呈现位置,简化了呈现位置信息的确定步骤,也相应缩短了画面呈现方法的执行时长。
可以知道的是,上述可选实施例在接收到第二触发指令,通过对该第二触发指令的响应结束了指导动作的调整操作后,相当于不需要对后续的指导动作呈现位置进行调整,由此本执行主体可以继续在预设位置进行后续指导动作的呈现。
本可选实施例四给出了指导动作根据呈现位置信息进行呈现的具体实现,从而丰富了智能健身显示设备上画面呈现的实现过程。
作为本发明实施例的第五可选实施例,本第五可选实施例在上述第一可选实施例的基础上进行优化。
具体的,本第五可选实施例进一步将智能健身显示设备识别到用户的动作与所述课程视频中的指导动作的匹配度达到预设值,具体化为:
预设时间段内采集到的用户动作与当前采集时间段对应的课程视频指导动作的匹配度达到第一阈值;
或,任意时刻采集到的用户动作与当前时刻对应的课程视频指导动作的匹配度达到第二阈值。
在本可选实施例中,通过用户的肢体动作来实现第一触发指令形成的过程中,其实质主要是确定用户的肢体动作与指导动作的匹配度,而匹配度的确定实现中,主要考虑健身学习用户做出的肢体动作能够与指导动作的一部分连贯动作相匹配;或者,健身学习用户做出的肢体动作与指导动作中一部分连贯动作的匹配程度超过设定阈值。
本可选实施例给出的上述执行方式中,所涉及的用户动作可以基于对预先设定时间段内所采集用户图像帧帧的识别和分析确定,还可以基于对任意时刻下所采集用户图像帧帧的识别和分析确定。
其中,对于预设时间段内采集到的用户动作与当前采集时间段对应的课程视频指导动作的匹配度达到第一阈值的具体实现,可以描述为:
按照所述课程视频的播放顺序,将用户的各肢体动作姿态与课程视频中的各肢体动作姿态进行比对;
统计连续匹配成功的最大连续数量,基于所述最大连续数量以及构成各肢体动作姿态的视频帧数,获得匹配比值;
所述匹配比值达到所述第一阈值。
关于上述确定匹配度,并判定匹配度达到第一阈值的具体分析。
首先,用户的各肢体动作姿态由本执行主体(智能健身显示设备)通过对预设时间段内所采集各用户图像帧的识别处理而获得。示例性的,在上述第五可选实施例的基础上,所述智能健身显示设备识别用户的动作,可以优选包括:
a、采集用户图像帧。
其中,可以通过配置在智能健身显示设备上的摄像头进行用户图像采集,摄像头可以捕获用户健身画面,每个用户健身画面可以成为用户图像帧,本执行主体可以获取到摄像头采集的各用户图像帧。
b、根据预设的骨骼特征点提取模型,获取各所述用户图像帧分别对应的骨骼特征点集。
其中,所述骨骼关键点具体可理解为能够表征人体骨骼关节部位的关键点。本步骤可以采用预先训练好的骨骼点提取网络模型进行骨骼特征点提取。所述骨骼特征点提取模型相当于一个神经网络模型,将用户图像帧作为输入数据后,可以获得该神经网络模型输出的相对所输入用户图像帧的骨骼特征点集。由此,对于每个用户图像帧而言,通过该骨骼特征点提取模型,均可以获取到相应的骨骼特征点集。
c、将每个用户图像帧对应的骨骼特征点集中的各骨骼特征点进行连线,获得用户在各用户图像帧中的肢体动作姿态。
其中,对于每个用户图像帧而言,可以按照所对应骨骼特征点集中各骨骼特征点的坐标位置,进行骨骼特征点的标记,之后可以按照人体骨骼的轮廓曲线进行骨骼点的连线操作,连线后可以显现出该用户图像帧所表征的用户肢体轮廓,且可以获得到该用户肢体轮廓关联的当前肢体状态。
示例性的,用户的肢体状态可以表征用户的肢体,如,胳膊、腿脚以及身躯,在所关联图像帧这一时刻具备的状态,如胳膊高举、如一条腿屈膝抬起、又如身躯处于趴伏状态等。
其次,还需要确定出课程视频在该采集时间段内对应的指导动作,其具体实现描述为:确定课程视频的播放时长,在已知采集时间段后,可以确定出该采集时间段在课程视频播放中所对应的播放起始时间点以及播放结束时间点,之后可以获取到播放起始时间点与播放结束时间点之间的各视频帧,再之后,本执行主体可以识别出各视频帧分别对应的肢体动作姿态,而识别出的各肢体动作姿态通过组合就可以确定该采集时间段内具体对应的指导动作。
再次,需要将用户动作所对应各肢体动作姿态与指导动作所对应各肢体动作姿态的比对,并获得姿态比对结果。
可以知道的是,在进行肢体状态的匹配过程中,本可选实施例优选按课程视频的播放顺序来一一将相应指导动作的肢体动作姿态与用户动作中各肢体动作姿态进行比对。其中,如果用户动作的肢体动作姿态有剩余或者指导动作的肢体动作姿态有剩余,可以将剩余部分舍弃,只进行相对应的比对,或者,将剩余的状态分别与另一个中的最后一个状态进行比对。
示例性的,关于相比对的每个用户动作的肢体动作姿态以及指导动作的肢体动作姿态,其进行姿态比对的姿态比对结果要么为用户的肢体动作姿态与指导动作中对应的肢体动作姿态匹配成功,要么为用户的肢体动作姿态与指导动作中对应的肢体动作姿态匹配不成功。
接上述描述,需要通过上述姿态比对结果进行连续匹配成功的连续数量统计,由此获得最大连续数量。本执行主体同样可以按照播放顺序将上述一一对应进行状态匹配的姿态比对结果进行统计,统计出姿态比对结果连续为匹配成功的连续数量。所确定连续数量中的最大值可以作为最大连续数量。
示例性的,将一个用户动作的肢体动作姿态与相比对的指导动作中的一个肢体动作姿态看作一个状态匹配对,则假设预设采集时间段内确定出30个状态匹配对,并按照播放顺序分别为每状态匹配对进行编号,假设编号为1~5的状态匹配对的姿态比对结果均为匹配成功,而编号为6的状态匹配对的姿态比对结果为匹配不成功,则可认为其中一个连续为匹配成功的连续数量为5;之后,假设编号为7~29的状态匹配对的姿态比对结果均为匹配成功,则可认为还存在一个连续数量为13的连续为匹配成功的统计,本执行主体可以从各连续数量中选择最大连续数量,如选定13为最大连续数量。
最终,本实施例可以将最大连续数量与构成指导动作各肢体动作姿态的视频帧数进行比值计算,以视频帧数为分母,所获得的比值就可以记为匹配比值,而该匹配比值就可作为预设时间段内用户动作与相应指导动作的匹配度。当该匹配度大于第一阈值时,就可认为智能健身显示设备识别到用户的动作与所述课程视频中的指导动作的匹配度达到预设值,进而可以形成上述的第一触发指令。其中,第一阈值可以为70%。
同时,对于任意时刻采集到的用户动作与当前时刻对应的课程视频指导动作的匹配度达到第二阈值的具体实现,可以描述为:
本执行主体可以实时的通过摄像头对用户进行图像采集,并对摄像头采集的用户图像进行分析,确定该用户图像关联的用户动作。考虑到在课程视频的播放过程中用户会跟随课程视频中的指导动作做相应的动作,因此,在采集用户图像确定用户动作的时刻,课程视频中在该时刻也存在相对应的指导动作。本执行主体可以将确定的用户动作与指导动作进行比对,比对结果可以通过匹配度来表征,而当匹配度达到第二阈值时,也可以认为智能健身显示设备识别到用户的动作与所述课程视频中的指导动作的匹配度达到预设值,进而也可以形成上述的第一触发指令。
本可选实施例四给出了形成第一触发指令的其中一种触发方式的具体实现,通过将用户健身学习中的相关用户动作与课程视频中部分指导动作进行关联比对,来保证第一触发指令的形成条件的智能性判定,从而实现了指导动作呈现位置调整时机的灵活性,更好地提升了智能健身显示设备的用户体验。
为便于更好的理解本实施例所提供画面呈现方法与常规方法的区别,本实施例给出了下述示例进行说明。
示例性的,图1a给出了现有智能健身显示设备中画面呈现的效果展示;图1b为本申请实施例一所提供画面呈现方法中采用所确定呈现位置进行呈现的效果展示。
如图1a所示,第一指导动作视频画面211呈现在智能健身显示设备显示屏21的左上角位置,而第一指导动作视频画面211所包含的内容实际为一个教学健身者做俯卧动作,假设健身学习者此时在智能健身显示设备之前也在做该俯卧动作,那么按照默认的呈现位置呈现的第一指导动作视频画面211并不能正常呈现在健身学习者的视线内。
如图1b所示,智能健身显示设备显示屏22中包括了呈现在左下角的第二指导动作视频画面221,假设该第二指导动作视频画面221仍旧为教学健身者在做俯卧动作,则按照本实施例提供的方法进行画面呈现的调整后,相当于可以将该俯卧动作对应的第二指导动作视频画面呈现在智能健身显示设备显示屏22的左下角,那么当健身学习者此时也在智能健身显示设备之前做该俯卧动作时,健身学习者能够正常观看到该第二指导动作视频画面221。
通过图1a和图1b的比较,可以发现本实施例所提供的方法,更好的体现了指导动作呈现位置调整的灵活性,保证了健身课程教学中呈现在智能健身显示设备中的指导动作视频画面能够随着指导动作的不同而动态调整。
实施例二
图2为本申请实施例二提供的一种画面呈现装置的结构框图,该装置适用于用户通过智能健身显示设备进行健身运动时进行健身指导画面呈现位置确定的情况。该装置可以由硬件和/或软件实现,并一般集成在智能健身显示设备中,如图3所示,该装置包括:操作响应模块301、动作识别模块302、信息确定模块303以及位置呈现模块304。
操作响应模块301,用于响应用户选定的目标健身课程;
动作识别模块302,用于识别所述目标健身课程所对应课程视频中的至少一个指导动作;
信息确定模块303,用于确定与所述至少一个指导动作相对应的呈现位置信息;
位置呈现模块304,用于根据所述呈现位置信息呈现所述至少一个指导动作。
本实施例三提供的一种画面呈现装置,通过对健身教学时所选定目标健身课程相关课程视频的分析,确定出目标健身课程中包括的至少一个指导动作,并可为每个指导动作确定相应的呈现位置信息,从而能够基于呈现位置信息对每个指导动作播放时的呈现位置进行调整。由此保证了健身课程教学中呈现在智能健身显示设备中的指导动作视频画面能够随着指导动作的不同而动态调整,使得指导动作视频画面均能够停留在用户当前所处位置的正常视角范围,保证用户能够清晰观看指导动作视频画面,进而提升了用户相对智能健身显示设备的使用体验。
进一步地,该装置还包括了:
第一接收模块,用于在通过位置呈现模块执行根据所述呈现位置信息呈现所述至少一个指导动作之前,接收第一触发指令;
第一触发模块,用于根据所述第一触发指令,触发所述至少一个指导动作按照所述呈现位置信息进行呈现;
所述第一触发指令包括:用户在预设区域或预设按键上的操作;或用户的语音指令;或所述智能健身显示设备识别到用户的动作与所述课程视频中的指导动作的匹配度达到预设值。
进一步地,该装置还包括了:
第二接收模块,用于在通过位置呈现模块执行根据所述呈现位置信息呈现所述至少一个指导动作之后,接收第二触发指令;
第二触发模块,用于根据所述第二触发指令,将所述至少一个指导动作的呈现位置设置于预设位置。
进一步地,动作识别模块302具体可以用于:
实时识别所述课程视频中当前视频帧包含的肢体动作姿态,根据所述当前视频帧包含的肢体动作姿态确定对应的指导动作;
或,实时识别所述课程视频中连续数个视频帧组合所包含的肢体动作姿态组合,根据所述肢体动作姿态组合确定对应的指导动作;
或,整体识别所述课程视频中各视频帧包含的肢体动作姿态,根据所述各视频帧包含的肢体动作姿态确定所述课程视频中包含的至少一个指导动作。
进一步地,信息确定模块303具体可以用于:
查找预先设置的画面位置关联表,从所述画面位置关联表中确定出与所述至少一个指导动作相匹配的呈现位置信息。
在上述实施例的基础上,所述画面位置关联表中包括至少一个二元关系组,
每个二元关系组中包括健身主姿态以及所关联的动作呈现位置。
在上述实施例的基础上,位置呈现模块304具体可以用于:
确定与所述至少一个指导动作对应的健身主姿态关联的动作呈现位置,将所述至少一个指导动作在所述动作呈现位置处进行呈现。
进一步地,该装置还包括:条件判定模块,所述条件判定模块用于识别到用户的动作与所述课程视频中的指导动作的匹配度达到预设值;
其中,条件判定模块具体可以包括:
第一判定单元,用于预设时间段内采集到的用户动作与当前采集时间段对应的课程视频指导动作的匹配度达到第一阈值;
或,第二判定单元,用于任意时刻采集到的用户动作与当前时刻对应的课程视频指导动作的匹配度达到第二阈值。
在上述优化的基础上,该装置还包括:姿态确定模块,姿态确定模块用于识别用户的动作;
其中,姿态确定模块具体可以用于:
采集用户图像帧;
根据预设的骨骼特征点提取模型,获取各所述用户图像帧分别对应的骨骼特征点集;
将每个用户图像帧对应的骨骼特征点集中的各骨骼特征点进行连线,获得用户在各用户图像帧中的肢体动作姿态。
在上述优化的基础上,第一判定单元具体可以用于:
按照所述课程视频的播放顺序,将用户的各肢体动作姿态与课程视频中的各肢体动作姿态进行比对;
统计连续匹配成功的最大连续数量,基于所述最大连续数量以及构成各肢体动作姿态的视频帧数,获得匹配比值;
所述匹配比值达到所述第一阈值。
实施例三
图3为本申请实施例三提供的一种智能健身显示设备的结构示意图。该智能健身显示设备包括:处理器40、存储器41、显示屏42、输入装置43以及输出装置44。该智能健身显示设备中处理器40的数量可以是一个或者多个,图3中以一个处理器40为例。该智能健身显示设备中存储器41的数量可以是一个或者多个,图3中以一个存储器41为例。该智能健身显示设备的处理器40、存储器41、显示屏42、输入装置43以及输出装置44可以通过总线或者其他方式连接,图3中以通过总线连接为例。
实施例中,智能健身显示设备可以为智能健身镜、电视、智能交互平板、与健身器械结合使用的显示设备等。
存储器41作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明任意实施例所述的智能健身显示设备对应的程序指令/模块(例如,画面呈现装置中的操作响应模块301、动作识别模块302、信息确定模块303以及位置呈现模块304)。存储器41可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器41可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器41可进一步包括相对于处理器40远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
显示屏42可以为具有触摸功能的显示屏42,其可以是电容屏、电磁屏或者红外屏。一般而言,显示屏42用于根据处理器40的指示显示数据,还用于接收作用于显示屏42的触摸操作,并将相应的信号发送至处理器40或其他装置。
输入装置43可用于接收输入的数字或者字符信息,以及产生与展示设备的用户设置以及功能控制有关的键信号输入,还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。输出装置44可以包括扬声器等音频设备。需要说明的是,输入装置43和输出装置44的具体组成可以根据实际情况设定。
处理器40通过运行存储在存储器41中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的画面呈现方法。
图3a给出了作为智能健身显示设备的一种智能健身镜的结构框图,如图3a所示,该智能健身镜的外观部分至少包括了摄像头51、镜面52以及显示屏53,可优选认为智能健身镜上还存在输入模块以及输出模块,且控制器和存储器也可设置在智能健身镜中,其中,智能健身镜所包括的控制器、存储器、显示屏、输入模块以及输出模块可以通过总线或者其他方式连接。
上述提供的智能健身显示设备可用于执行上述任意实施例提供的画面呈现方法,具备相应的功能和有益效果。
实施例四
本发明实施例四还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机控制器执行时用于执行一种画面呈现方法,包括:
响应用户选定的目标健身课程;
识别所述目标健身课程所对应课程视频中的至少一个指导动作;
确定与所述至少一个指导动作相对应的呈现位置信息;
根据所述呈现位置信息呈现所述至少一个指导动作。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的画面呈现方法操作,还可以执行本发明任意实施例所提供的画面呈现方法中的相关操作,且具备相应的功能和有益效果。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本申请可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台智能健身显示设备(可以是机器人,个人计算机,服务器,或者网络设备等)执行本申请任意实施例所述的画面呈现方法。
值得注意的是,上述画面呈现装置中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。
Claims (13)
1.一种画面呈现方法,其特征在于,由智能健身显示设备执行,所述方法包括:
响应用户选定的目标健身课程;
识别所述目标健身课程所对应课程视频中的至少一个指导动作;
确定与所述至少一个指导动作相对应的呈现位置信息;
根据所述呈现位置信息呈现所述至少一个指导动作。
2.根据权利要求1所述的方法,其特征在于,所述根据所述呈现位置信息呈现所述至少一个指导动作之前,还包括:
接收第一触发指令;
根据所述第一触发指令,触发所述至少一个指导动作按照所述呈现位置信息进行呈现;
所述第一触发指令包括:用户在预设区域或预设按键上的操作;或用户的语音指令;或所述智能健身显示设备识别到用户的动作与所述课程视频中的指导动作的匹配度达到预设值。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述呈现位置信息呈现所述至少一个指导动作之后,还包括:
接收第二触发指令;
根据所述第二触发指令,将所述至少一个指导动作的呈现位置设置于预设位置。
4.根据权利要求1或2所述的方法,其特征在于,所述识别所述目标健身课程所对应课程视频中的至少一个指导动作,包括:
实时识别所述课程视频中当前视频帧包含的肢体动作姿态,根据所述当前视频帧包含的肢体动作姿态确定对应的指导动作;
或,实时识别所述课程视频中连续数个视频帧组合所包含的肢体动作姿态组合,根据所述肢体动作姿态组合确定对应的指导动作;
或,整体识别所述课程视频中各视频帧包含的肢体动作姿态,根据所述各视频帧包含的肢体动作姿态确定所述课程视频中包含的至少一个指导动作。
5.根据权利要求1或2所述的方法,其特征在于,所述确定与所述至少一个指导动作相对应的呈现位置信息,包括:
查找预先设置的画面位置关联表,从所述画面位置关联表中确定出与所述至少一个指导动作相匹配的呈现位置信息。
6.根据权利要求5所述的方法,其特征在于,所述画面位置关联表中包括至少一个二元关系组,
每个二元关系组中包括健身主姿态以及与之关联的动作呈现位置。
7.根据权利要求6所述的方法,其特征在于,所述根据所述呈现位置信息呈现所述至少一个指导动作,包括:
确定所述至少一个指导动作所对应健身主姿态关联的动作呈现位置,将所述至少一个指导动作在所述动作呈现位置处进行呈现。
8.根据权利要求2所述的方法,其特征在于,所述智能健身显示设备识别到用户的动作与所述课程视频中的指导动作的匹配度达到预设值,包括:
预设时间段内采集到的用户动作与当前采集时间段对应的课程视频指导动作的匹配度达到第一阈值;
或,任意时刻采集到的用户动作与当前时刻对应的课程视频指导动作的匹配度达到第二阈值。
9.根据权利要求8所述的方法,其特征在于,所述智能健身显示设备识别用户的动作,包括:
采集用户图像帧;
根据预设的骨骼特征点提取模型,获取各所述用户图像帧分别对应的骨骼特征点集;
将每个用户图像帧对应的骨骼特征点集中的各骨骼特征点进行连线,获得用户在各用户图像帧中的肢体动作姿态。
10.根据权利要求8所述的方法,其特征在于,所述预设时间段内采集到的用户动作与当前采集时间段对应的课程视频指导动作的匹配度达到第一阈值,包括:
按照所述课程视频的播放顺序,将用户的各肢体动作姿态与课程视频中的各肢体动作姿态进行比对;
统计连续匹配成功的最大连续数量,基于所述最大连续数量以及构成各肢体动作姿态的视频帧数,获得匹配比值;
所述匹配比值达到所述第一阈值。
11.一种画面呈现装置,其特征在于,由智能健身显示设备执行,所述装置包括:
操作响应模块,用于响应用户选定的目标健身课程;
动作识别模块,用于识别所述目标健身课程所对应课程视频中的至少一个指导动作;
信息确定模块,用于确定与所述至少一个指导动作相对应的呈现位置信息;
位置呈现模块,用于根据所述呈现位置信息呈现所述至少一个指导动作。
12.一种智能健身显示设备,其特征在于,包括:
存储器和至少一个处理器;
所述存储器用于存储一个或多个计算机程序;
所述一个或多个计算机程序被所述至少一个处理器执行,使得所述至少一个处理器实现如权利要求1-10任一所述的方法。
13.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-10任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110957600.7A CN115712405B (zh) | 2021-08-18 | 2021-08-18 | 一种画面呈现方法、装置、智能健身显示设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110957600.7A CN115712405B (zh) | 2021-08-18 | 2021-08-18 | 一种画面呈现方法、装置、智能健身显示设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115712405A true CN115712405A (zh) | 2023-02-24 |
CN115712405B CN115712405B (zh) | 2024-01-30 |
Family
ID=85230118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110957600.7A Active CN115712405B (zh) | 2021-08-18 | 2021-08-18 | 一种画面呈现方法、装置、智能健身显示设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115712405B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109302631A (zh) * | 2018-09-20 | 2019-02-01 | 传线网络科技(上海)有限公司 | 视频界面显示方法及装置 |
US20190262665A1 (en) * | 2012-07-31 | 2019-08-29 | Peloton Interactive, Inc. | Exercise system and method |
CN110290410A (zh) * | 2019-07-31 | 2019-09-27 | 安徽华米信息科技有限公司 | 影像位置调节方法、装置、系统及调节信息生成设备 |
CN111986775A (zh) * | 2020-08-03 | 2020-11-24 | 深圳追一科技有限公司 | 数字人的健身教练指导方法、装置、电子设备及存储介质 |
CN112261477A (zh) * | 2020-10-22 | 2021-01-22 | 新东方教育科技集团有限公司 | 视频处理方法及装置、训练方法和存储介质 |
-
2021
- 2021-08-18 CN CN202110957600.7A patent/CN115712405B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190262665A1 (en) * | 2012-07-31 | 2019-08-29 | Peloton Interactive, Inc. | Exercise system and method |
CN109302631A (zh) * | 2018-09-20 | 2019-02-01 | 传线网络科技(上海)有限公司 | 视频界面显示方法及装置 |
CN110290410A (zh) * | 2019-07-31 | 2019-09-27 | 安徽华米信息科技有限公司 | 影像位置调节方法、装置、系统及调节信息生成设备 |
CN111986775A (zh) * | 2020-08-03 | 2020-11-24 | 深圳追一科技有限公司 | 数字人的健身教练指导方法、装置、电子设备及存储介质 |
CN112261477A (zh) * | 2020-10-22 | 2021-01-22 | 新东方教育科技集团有限公司 | 视频处理方法及装置、训练方法和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115712405B (zh) | 2024-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109191588B (zh) | 运动教学方法、装置、存储介质及电子设备 | |
US9298263B2 (en) | Show body position | |
US8418085B2 (en) | Gesture coach | |
US9159151B2 (en) | Bringing a visual representation to life via learned input from the user | |
TWI377055B (en) | Interactive rehabilitation method and system for upper and lower extremities | |
CN108289180A (zh) | 根据肢体动作处理视频的方法、介质和终端装置 | |
CN110298220B (zh) | 动作视频直播方法、系统、电子设备、存储介质 | |
KR102320960B1 (ko) | 사용자 신체 맞춤형 홈 트레이닝 동작 안내 및 교정 시스템 | |
CN113761966A (zh) | 一种动作自适应同步方法及电子设备 | |
CN114022512A (zh) | 运动辅助方法、装置及介质 | |
WO2023108842A1 (zh) | 基于健身教学训练的动作评价方法及系统 | |
CN115331314A (zh) | 一种基于app筛查功能的运动效果评估方法和系统 | |
JP2020195648A (ja) | 動作類似度評価装置、方法およびプログラム | |
CN111223549A (zh) | 一种基于姿态矫正的疾病预防的移动端系统及方法 | |
Kinger et al. | Deep learning based yoga pose classification | |
CN115712405B (zh) | 一种画面呈现方法、装置、智能健身显示设备及存储介质 | |
JP6819194B2 (ja) | 情報処理システム、情報処理装置およびプログラム | |
JP2020080096A (ja) | オブジェクト識別装置、識別システムおよび識別方法 | |
Barioni et al. | BalletVR: a Virtual Reality System for Ballet Arm Positions Training | |
CN114333055A (zh) | 一种健身镜、图像识别方法、设备及介质 | |
WO2021178589A1 (en) | Exercise instruction and feedback systems and methods | |
JP2022187952A (ja) | プログラム、方法、情報処理装置 | |
CN110996149A (zh) | 一种信息处理方法、装置和系统 | |
JP7502957B2 (ja) | 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム | |
CN115862810B (zh) | 具有量化评估功能的vr康复训练方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |