CN117138317A - 运动动作监督提示方法及其装置、设备、介质 - Google Patents
运动动作监督提示方法及其装置、设备、介质 Download PDFInfo
- Publication number
- CN117138317A CN117138317A CN202311403336.8A CN202311403336A CN117138317A CN 117138317 A CN117138317 A CN 117138317A CN 202311403336 A CN202311403336 A CN 202311403336A CN 117138317 A CN117138317 A CN 117138317A
- Authority
- CN
- China
- Prior art keywords
- motion
- instructor
- action
- information
- student
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 884
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000009471 action Effects 0.000 claims abstract description 118
- 238000012549 training Methods 0.000 claims abstract description 65
- 230000000694 effects Effects 0.000 claims abstract description 33
- 230000001795 light effect Effects 0.000 claims abstract description 16
- 230000000386 athletic effect Effects 0.000 claims description 47
- 238000012544 monitoring process Methods 0.000 claims description 34
- 230000008859 change Effects 0.000 claims description 23
- 238000012937 correction Methods 0.000 claims description 16
- 230000033764 rhythmic process Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 abstract description 4
- 230000036544 posture Effects 0.000 description 54
- 238000010586 diagram Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000037147 athletic performance Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000004020 luminiscence type Methods 0.000 description 5
- 238000006467 substitution reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 239000011324 bead Substances 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B2071/0647—Visualisation of executed movements
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B2071/0694—Visual indication, e.g. Indicia
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开一种运动动作监督提示方法及其装置、设备、介质,所述方法包括:获取由第一摄像单元拍摄所生成的学员运动实景图像集,且获取运动教学视频对应的教员运动视频图像集;分别识别出所述教员运动视频图像集与所述学员运动实景图像集的教员运动动作信息与学员运动动作信息;比较出所述教员运动动作信息与所述学员运动动作信息之间的运动动作信息差异,获取运动动作差异信息;根据所述运动动作差异信息,控制运动监督提示氛围灯的运动动作提示灯效。本申请通过拍摄进行运动训练学员的运动场景,识别学员在运动训练过程中的运动动作相对于运动教学视频中教员的运动动作是否标准,控制氛围灯显示的灯效提示学员,提升学员的运动训练体验。
Description
技术领域
本申请涉及照明控制领域,尤其涉及一种运动动作监督提示方法,此外还涉及该方法相应的装置、设备、非易失性存储介质。
背景技术
随着人们对自身健康的追求,当今的人们会通过各类型的运动健身内容进行运动训练,以提升自身的身体素质,部分进行运动训练的人会通过将运动训练课程的运动教学视频输出至显示屏幕设备中播放,以便作为学员参与运动训练课程,跟随显示屏幕设备中播放的音运动教学视频中教员所指导的运动动作进行动作模仿,做出与教员所指导的运动动作进行运动训练,但对于刚刚参与运动训练的初学者而言,其自身并无法判断自身所做出的运动动作相对于教员所指导的运动动作是否标准,而不标准的运动动作不仅无法起到运动训练效果,甚至可能导致学员受伤,且部分初学者学员只能通过请教教员进行现场的运动动作指导,可以看出,若学员无法标准地做出与运动教学视频中教员所做出的运动动作对应的运动动作,则对于学员而言,运动教学视频的动训练课程并达不到运动教学的作用,使学员无法通过便利的方式进行有效的运动训练。
发明内容
本申请的目的在于满足用户需求而提供一种运动动作监督提示方法,此外还涉及该方法相应的装置、设备、非易失性存储介质。
为实现本申请的目的,采用如下技术方案:
获取由第一摄像单元拍摄所生成的学员运动实景图像集,且获取运动教学视频对应的教员运动视频图像集;
分别识别出所述教员运动视频图像集与所述学员运动实景图像集的教员运动动作信息与学员运动动作信息;
比较出所述教员运动动作信息与所述学员运动动作信息之间的运动动作信息差异,获取运动动作差异信息;
根据所述运动动作差异信息,控制运动监督提示氛围灯的运动动作提示灯效。
根据本申请的另一方面,提供一种运动动作监督提示装置,其包括:
图像获取模块,用于获取由第一摄像单元拍摄所生成的学员运动实景图像集,且获取运动教学视频对应的教员运动视频图像集;
动作识别模块,用于分别识别出所述教员运动视频图像集与所述学员运动实景图像集的教员运动动作信息与学员运动动作信息;
动作比较模块,用于比较出所述教员运动动作信息与所述学员运动动作信息之间的运动动作信息差异,获取运动动作差异信息;
灯效控制模块,用于根据所述运动动作差异信息,控制运动监督提示氛围灯的运动动作提示灯效。
根据本申请的另一方面,提供一种运动动作监督提示设备,包括第一与第二摄像单元、运动监督提示氛围灯和系统级芯片,其特征在于,所述第一与第二摄像单元用于拍摄图像,所述运动监督提示氛围灯用于输出运动动作提示灯效,所述系统级芯片用于调用运行所述的运动动作监督提示方法所实现的计算机程序。
根据本申请的另一方面,提供一种计算机可读存储介质,其特征在于,其以计算机可读指令的形式存储有所述的运动动作监督提示方法所实现的计算机程序,该计算机程序被计算机调用运行时,执行所述的运动动作监督提示方法所包括相应的步骤。
根据本申请的另一方面,提供一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现本申请任意一种实施例中所述运动动作监督提示方法的步骤。
相对于现有技术,本申请具有多方面技术优势,包括但不限于:
本申请通过为进行运动训练的学员提供运动动作监督提示服务,通过通过第一摄像单元实时拍摄学员进行运动训练时的运动动作,以获取具有学员运动动作的学员运动实景图像,且获取显示屏幕设备所播放显示的学员进行运动训练时参考的运动教学视频的视频图像,将视频图像作为具有教员指导学员进行运动训练的视频画面的教员运动视频图像,进而从教员运动视频图像中识别出教员指导学员进行运动训练时所做出的运动动作,以及从学员运动实景图像中识别出学员跟随教员所指导的运动动作所做出的运动动作,以比较学员与教员各自所做出的运动动作之间的动作差异,判断学员所做出的运动动作是否符合其所参考的运动教学视频中教员所做出的运动动作,从而控制运动监督提示氛围灯输出可表征学员所做出的运动动作是否标准的运动动作提示灯效,以通过输出运动动作提示灯效的方式,提醒学员其所做出的运动动作相对于运动教学视频中教员所做出的运动动作是否为标准动作,使学员根据运动监督提示氛围灯所输出的运动动作提示灯效,及时纠正运动动作,起到监督学员标准地做出与运动教学视频中教员所做出的运动动作对应的运动动作的效果,也使得运动教学视频的运动训练课程可达到指导学员进行运动训练的目的,使学员可通过便利的方式进行有效的运动训练。
另外,本申请通过控制运动监督提示氛围灯输出可表征学员所做出的运动动作是否标准的运动动作提示灯效,使学员可通过氛围灯灯效直观地理解其所做出的运动动作是否标准,且不打扰学员的运动训练,同时通过运动动作提示灯效为学员营造的沉浸式的运动氛围,加强学员进行运动训练时的代入感。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例中的运动动作监督提示设备的硬件结构示意图;
图2为本申请的运动动作监督提示方法的流程示意图;
图3为本申请中学员运动实景图像的图像示意图;
图4为本申请中教员运动视频图像的图像示意图;
图5为本申请中教员屏幕画面广角图像的图像示意图;
图6为本申请中识别出教员运动视频图像的教员运动姿势的图像示意图;
图7为本申请中识别出学员运动实景图像的学员运动姿势的图像示意图;
图8为本申请中识别出学员运动实景图像的学员运动姿势的另一图像示意图;
图9为本申请中矫正第二摄像单元的教员屏幕画面广角图像的图像畸变的流程示意图;
图10为本申请中识别出教员运动视频图像集与学员运动实景图像集各自的教员运动动作信息与学员运动动作信息的流程示意图;
图11为本申请中比较教员运动动作信息与学员运动动作信息的差异的流程示意图;
图12为本申请中根据运动动作差异信息控制运动监督提示氛围灯的运动动作提示灯效的流程示意图;
图13为本申请中显示着动作矫正通知的教员画面显示屏幕的图像示意图;
图14为本申请中生成动作矫正通知提示至学员用户端或教员画面显示屏幕中显示的流程示意图;
图15为本申请中执行学员独立训练模式的流程示意图;
图16为本申请的运动动作监督提示装置的典型实施例的原理框图;
图17为本申请一个实施例的计算机设备的基本结构框图。
具体实施方式
请参考图1,图1为本申请所述的运动动作监督提示设备的硬件构件示意图,以示意所述运动动作监督提示设备所具有的硬件设备,如图1所示,所述运动动作监督提示设备一般由所示第二摄像单元101、所示第一摄像单元102、所示系统级芯片103与所示运动监督提示氛围灯104所组成,当然,除此之外,本领域技术人员也可增设其他设备或模块等硬件至所述运动动作监督提示设备中,此处恕不赘述。
图1所示的第二摄像单元101、所示第一摄像单元102与所示系统级芯片103一般部署于同一设备中,当然所示运动监督提示氛围灯104也可共同部署,但为了学员可根据所处使用场景的需求随意部署所示运动监督提示氛围灯104,一般所示运动监督提示氛围灯104可通过蓝牙或无线互联网(wifi)的设备连接方式,与第二摄像单元101、所示第一摄像单元102及所示系统级芯片103所处的设备进行连接,以便于所述设备控制所示运动监督提示氛围灯104的运动动作提示灯效。
图1中所示的第二摄像单元101一般用于拍摄显示教员运动训练视频画面内容的教员画面显示屏幕,以获取由所示第二摄像单元101拍摄而生成的教员运动视频图像生成对应的教员运动视频图像集,相应的,所示的第一摄像单元102一般用于拍摄跟随着教员画面显示屏幕进行运动训练的学员的现实运动场景,以获取由所示第一摄像单元102拍摄而生成的学员运动实景图像生成对应的学员运动实景图像集,其中,所示第二摄像单元101与所示第一摄像单元102除了与所示系统级芯片103或所示运动监督提示氛围灯104部署于同一设备中外,也可为通过蓝牙或无线互联网(wifi)的设备连接方,与所示系统级芯片103或所示运动监督提示氛围灯104进行设备连接,便于学员用户根据实际使用场景随意部署所示第二摄像单元101与所示第一摄像单元102,使所示第二摄像单元101与所示第一摄像单元102所可清晰且完整地拍摄的其所需拍摄的对象(教员运动训练视频画面与学员的现实运动场景),例如,将所示第二摄像单元101部署于所述教员画面显示屏幕前,使所示第二摄像单元101可正面拍摄所述教员画面显示屏幕,将所示第一摄像单元102部署于学员用户身后或身前,使所示第一摄像单元102可完整拍摄学员用户的人体全身。
当然,若所示第二摄像单元101及所示第一摄像单元102与所示系统级芯片103或所示运动监督提示氛围灯104部署于同一设备中,则学员用户可将该设备部署于较高处,使得所示第二摄像单元101与所示第一摄像单元102可清晰且完整地拍摄的其所需拍摄的对象,例如,通过吊顶的方式将设备部署于室内天花板,或通过支架将设备架设于较高位置。
所示系统级芯片103一般是指System on chip,简称为SOC,通过将中央处理器(CPU)、图形处理单元(GPU)、图像处理单元(ISP)、数字信号处理器(DSP)、神经处理单元(NPU)、视频编解码器、调离解调器等组件进行集成后所构成的硬件即为所示系统级芯片103,所示系统级芯片103通过运行通过所述运动动作监督提示方法所实现的计算机程序,控制与其进行连接的所示第二摄像单元101、所示第一摄像单元102与所示运动监督提示氛围灯104,具体的,所示系统级芯片103可控制所示第二摄像单元101与所示第一摄像单元102进行图像拍摄,并对通过所示第二摄像单元101与所示第一摄像单元102所拍摄的教员运动视频图像集与学员运动实景图像集进行运动动作识别,且向所示运动监督提示氛围灯104发送用于控制灯效的指令或信号,以控制所示运动监督提示氛围灯104的运动动作提示灯效。
所示的运动监督提示氛围灯104一般由灯珠或灯泡等发光单元所构成,且各发光单元也可以设置相应的发光控制芯片,用来解析相应的控制数据而生成相应的发光控制信号,通过该发光控制信号控制相应的发光单元中的发光部件例如灯珠按照特定的发光参数进行发光。而所示运动监督提示氛围灯104作为一个整体,也会设置一个独立的控制芯片作为控制单元来对其中的全部发光单元进行发光控制,这个独立控制单元可以向各个发光单元的控制芯片传输相应的时序控制数据来达到集中控制的目的,当然,所示运动监督提示氛围灯104也可以由单个控制芯片来直接控制各个发光单元以达到输出运动动作提示灯目的,这主要视所示运动监督提示氛围灯104及其发光单元所采用的控制芯片的能力而灵活设计,不影响本申请的创造精神的体现;除此之外,所述运动动作监督提示设备可配备由多个如所示运动监督提示氛围灯104的运动监督提示氛围灯,以加强学员用户在进行运动训练时的沉浸感,具体的运动监督提示氛围灯数量,本领域技术人员可灵活设计,恕不赘述。
本申请的运动动作监督提示方法,可以实现为计算机程序产品,安装于运动动作监督提示设备中,以执行所述运动动作监督提示方法所实现的计算机程序。
请参考图2,在一个实施例中,本申请的运动动作监督提示方法,包括:
步骤S11,获取由第一摄像单元拍摄所生成的学员运动实景图像集,且获取运动教学视频对应的教员运动视频图像集:
请参考图3,所述第一摄像单元用于拍摄跟随着指导所述显示屏幕所显示的运动教学视频中的教员进行运动训练的学员,因此,所述第一摄像单元所拍摄的图像中将具有学员的人体图像,拍摄的图像一般作为学员运动实景图像,如图3所示的图像即为所述第一摄像单元所拍摄的学员运动实景图像;同样的,获取由所述第一摄像单元所拍摄的各学员运动实景图像后,可将各所述学员运动实景图像封装为学员运动实景图像集,当然,也可通过由所述第一摄像单元所拍摄的具有学员人体图像的视频拆分为多个图像帧,将具有学员人体图像的各图像帧作为学员人体图像封装为所述学员运动实景图像集。
请参考图4,所述第二摄像单元一般用于拍摄显示着指导学员进行运动训练的教员的运动教学视频的显示屏幕,其拍摄的图像中一般具有教员的人体图像,通过所述第二摄像单元所拍摄的图像一般作为教员运动视频图像,具体的,如图4所示的图像即为所述教员运动视频图像,所示的图像即为通过所述第二摄像单元拍摄所生成的教员运动视频图像;获取由所述第二摄像单元所拍摄的各教员运动视频图像后,可将各所述教员运动视频图像进行封装,生成包含着各所述教员运动视频图像的教员运动视频图像集,当然,也可通过所述第二摄像单元拍摄具有教员的人体图像的视频,通过将视频进行图像帧拆分,将拆分出的图像帧作为教员运动视频图像进行封装,以生成对应的教员运动视频图像集。
所述教员运动视频图像除了可通过所述第二摄像单元拍摄显示着指导学员进行运动训练的教员的运动教学视频的显示屏幕获取外,还可将显示着指导学员进行运动训练的教员的运动教学视频的显示屏幕进行与第一摄像单元的拍摄事件进行设备联动,当所述第一摄像单元拍摄获取学员运动实景图像时,将驱动显示屏幕对显示着指导学员进行运动训练的教员的视频流进行截图处理,获取所述视频流的视频图像帧作为教员运动视频图像。
可以看出,所述第二摄像单元的拍摄对象为显示屏幕中显示的教员,而所述第一摄像单元的拍摄对象为跟随着显示屏幕中教员进行运动训练的学员,进而获取所述第二摄像单元拍摄生成的教员运动视频图像集与所述第二拍摄单元拍摄生成的学员运动实景图像集进行运动动作识别,比较学员的运动动作与教员的运动动作之间的差异,判断学员的运动动作是否运动教学视频中教员的运动动作相同,若不相同,则表征学员的运动动作并不标准,进而通过控制运动监督提示氛围灯的运动动作提示灯效,提示学员的运动动作不标准,以起到对学员的运动动作监督提示的效果。
一种实施例中,请参考图4及图5,为了更全面地拍摄显示着指导学员进行运动训练的教员的运动教学视频的显示屏幕,以生成具有清晰且完整的教员的人体图像的教员运动视频图像,可采用180度超广角鱼眼镜头作为所述第二摄像单元进行拍摄,以使用更广的拍摄视角拍摄所述显示屏幕,生成具有清晰且完整的教员的人体图像的教员运动视频图像,提升从教员运动视频图像识别出的教员运动动作精确性,而通过180度超广角鱼眼镜头所拍摄的教员运动视频图像一般为广角图像,广角图像为畸变图像,如图5所示的图像即为通过180度超广角鱼眼镜头所拍摄的教员屏幕画面广角图像,而为了使得教员屏幕画面广角图像可作为图像不畸变的图像进行运动动作识别,以保证运动动作识别的识别精准度,因此,在获取由180度超广角鱼眼镜头作为所述第二摄像单元所拍摄的教员屏幕画面广角图像,需对该教员屏幕画面广角图像进行鱼眼畸变图像矫正,以将矫正后的教员屏幕画面广角图像作为教员运动视频图像,如将图5所示的教员屏幕画面广角图像矫正为图4所示的教员运动视频图像,其中,一般通过调用基于ISP图像信号处理所构建的鱼眼畸变矫正算法,矫正所述教员屏幕画面广角图像的图像畸变,将所述教员屏幕画面广角图像矫正为图像不畸变的教员运动视频图像。
关于教员运动视频图像集与学员运动实景图像集的图像数量,一般可设置为24张图像或60张图像,即以视频每秒的帧数所确定,或基于运动监督提示氛围灯的运动动作提示灯效控制频率所确定,当然,本领域技术人员可灵活设计教员运动视频图像集与学员运动实景图像集的图像数量,此处恕不赘述。
步骤S12,分别识别出所述教员运动视频图像集与所述学员运动实景图像集的教员运动动作信息与学员运动动作信息:
获取由所述第二摄像单元拍摄而生成的所述教员运动视频图像集,与获取由所述第一摄像单元所拍摄而生成的所述学员运动实景图像集后,将对所述教员运动视频图像集中包含的各教员运动视频图像进行运动动作识别,以及对所述学员运动实景图像集中包含的各学员运动实景图像进行运动识别,以对所述教员运动动作信息与所述学员运动动作信息进行运动动作比较。
所述的运动动作信息中一般包含各图像对应的运动姿势,以及通过各图像所识别出的运动轨迹,所述运动姿势是图像指教员或学员对象的运动姿势,而所述运动轨迹将通过确定多个图像中教员或学员的运动姿势之间的姿势变化幅度所确定。
请参考图4、图3、图6及图7,关于对所述教员运动视频图像集与所述学员运动实景图像集进行运动姿势识别时,一般将使用基于神经网络图像识别算法所构建且训练至收敛的运动姿势识别模型,识别出所述教员运动视频图像集中各教员运动视频图像的教员运动姿势,以及识别出所述学员运动实景图像集中各学员运动实景图像的学员运动姿势,所述的神经网络图像识别算法一般是指YOLO-pose、OpenPose或PoseNet等算法;具体的,以教员运动视频图像为例,如图4所示的教员运动视频图像,通过使用所述运动姿势识别模型,对图4所示的教员运动视频图像进行运动姿势识别后,将识别出图4中教员的人体对象的教员运动姿势,识别出教员运动姿势的教员运动视频图像如图6所示,图6所示的人体对象的教员运动姿势由多个人体关节点信息类型的人体关节点信息所连接组成,进而通过各人体关节点信息连接所展示出类似于人体对象的人体骨骼,以表征出教员的人体对象的运动姿势作为教员运动姿势,同理,对于学员运动实景图像而言,使用所述运动姿势识别模型识别出图3所示的学员运动实景图像,从而识别出学员运动姿势的学员运动实景图像将如图7所示的学员运动实景图像,图7所示的学员运动实景图像同样以多个人体关节点信息类型的人体关节点信息所连接组成人体骨骼,表征出学员的人体对象的运动姿势作为学员运动姿势。
请参考图7及图8,关于对所述教员运动视频图像集与所述学员运动实景图像集进行运动轨迹识别时,一般将使用基于神经网络图像识别算法所构建且训练至收敛的运动轨迹识别模型,识别出所述教员运动视频图像集中由多个教员运动视频图像的教员运动姿势所构成的教员运动轨迹,以及识别出所述学员运动实景图像集中由多个学员运动实景图像所构成的学员运动轨迹,所述的运动轨迹是通过人物对象的不同运动姿势中为同一人体关节点信息类型的人体关节点信息之间的节点位置所确定,因此,需要根据多张时序连续的图像中所识别出的运动姿势确定出对应的运动轨迹,所述时序连续的图像是指由摄像单元在同一时间段中所连续拍摄的图像,例如,以学员运动轨迹为例,如图7及图8各自所示的学员运动实景图像,图7与图8各自所示的学员运动实景图像为学员运动实景图像中时序连续的学员运动实景图像,可以理解为先第一摄像单元先拍摄了图7所示的学员运动实景图像后,马上拍摄的学员运动实景图像为图8所示的学员运动实景图像,图7与图8所示的学员运动实景图像皆已识别出对应的学员运动姿势,因此,可结合图7与图8各自所示的学员运动实景图像中学员的人体对象的学员运动姿势中同一人体关节点信息类型的人体关节点信息之间的节点位置,计算出图7与图8之间的拍摄时间差内各人体关节点信息类型的人体关节点信息的节点移动距离,确定出由图7与图8所示的学员运动实景图像所构成的学员运动轨迹;同理,所述教员运动轨迹同样以此实施方式进行识别,此处恕不赘述。
识别出教员运动视频图像集中各教员运动视频图像的教员运动姿势及由各教员运动视频图像所构成的教员运动轨迹后,将生成包含各所述教员运动姿势与所述教员运动轨迹的教员运动动作信息,且各教员运动姿势将与其所对应的教员运动视频图像或教员运动视频图像的图像标识作为映射关系数据封装于所述教员运动动作信息中,当然,也可根据各教员运动姿势对应的教员运动视频图像之间的时序关系,即各教员运动视频图像之间的拍摄时间关系,按序排序教员运动动作信息中的各所述各教员运动姿势,同理,识别出学员运动实景图像集中各学员运动实景图像对应的学员运动姿势及由各学员运动实景图像所构建的学员运动轨迹后,以同样的实施方式生成学员运动实景图像集对应的学员运动动作信息。
步骤S13,比较出所述教员运动动作信息与所述学员运动动作信息之间的运动动作信息差异,获取运动动作差异信息:
获取教员运动视频图像集对应的教员运动动作信息及学员运动实景图像集对应的学员运动动作信息后,将比较教员运动动作信息与学员运动动作信息之间的运动动作信息差异,以获取通过比较教员运动动作信息与学员运动动作信息所生成的运动动作差异信息。
比较教员运动动作信息与学员运动动作信息之间的运动动作差异时,将确定出教运动动作信息与学员运动动作信息中同一拍摄时间的图像的教员运动姿势与学员运动姿势,比较双方之间的运动姿势差异,所述同一拍摄时间的教员运动姿势与学员运动姿势是指双方所对应的图像为摄像单元同一时间或时间差较短的图像,即确定出第二摄像单元与第一摄像单元同一时间拍摄而生成的教员运动视频图像与学员运动实景图像,获取从所述教员运动视频图像与所述学员运动实景图像分别识别出的教员运动姿势与学员运动姿势进行运动姿势比较,确定出所述教员运动姿势与所述学员运动姿势之间的运动姿势差异。
请参考图6与图7,比较教员运动动作信息中各教员运动姿势与学员运动动作信息中各学员运动姿势之间的运动姿势差异,以监督学员的运动姿势相对于教员的运动姿势是否标准,图6与图7各自所示的教员运动视频图像与学员运动实景图像为同一拍摄时间的图像,且图6与图7所示的教员运动视频图像与学员运动实景图像以被识别出对应的教员运动姿势及学员运动姿势,通过比较所示教员运动姿势及所示学员运动姿势各自的人体对象中同一人体关节类型的人体关节点信息之间的差异,例如,同一人体关节类型的两个人体关节点信息之间的分布差异、角度差异、距离差异等点在平面空间中的空间位置差异,确定出教员运动姿势及学员运动姿势中同人体关节类型的人体关节点信息之间的差异后,将根据同人体关节类型的两两人体关节点信息之间的差异,作为人体关节类型的运动姿势差异,所述运动姿势差异用于表征两两人体关节点信息之间的空间位置差异是否超过对应的阈值,例如,判断人体关节类型的两两人体关节点信息之间的距离差值是否超过阈值,若超过,则人体关节类型的运动姿势差异将表征为差异明显,若未超过,则人体关节类型的运动姿势差异将表征为差异不明显,确定出教员运动姿势及学员运动姿势中各人体关节类型的所述运动姿势差异后,进而生成包含各所述运动姿势差异的运动姿势差异集。
根据教员运动动作信息与学员运动动作信息各自包含的各教员运动姿势与学员运动姿势之间同人体关节类型的两两人体关节点信息生成对应的所述运动姿势差异集时,将获取教员运动动作信息包含的教员运动轨迹或学员运动动作信息包含的学员运动轨迹作为运动轨迹,进而生成包含多个所述运动姿势差异集与所述运动轨迹的运动动作差异信息,以在后续根据所述运动姿势差异集中各运动姿势差异,控制运动监督提示氛围灯所输出的灯光颜色,通过所述运动轨迹控制所述运动监督提示氛围灯所输出的灯光时的灯光变化动态,进而控制所述运动监督提示氛围灯输出对应的运动动作提示灯效;关于所述运动监督提示氛围灯的具体实施方法,请参考后续步骤,本步骤恕不赘述。
一种实施例中,除了可比较教员运动动作信息中各教员运动姿势与学员运动动作信息中各学员运动姿势之间的运动姿势差异外,还将比较教员运动动作信息中教员运动轨迹与学员运动动作信息中学员运动轨迹之间的轨迹差异,以监督学员的运动动作相对于教员的运动动作是否标准,一般将通过比较教员运动轨迹与学员运动轨迹中同人体关节类型的两两人体关节点信息之间的节点移动速度差异或节点移动轨迹差异,以确定出教员运动轨迹与学员运动轨迹之间的运动轨迹差异,并将运动轨迹差异封装至运动动作差异信息中。
步骤S14,根据所述运动动作差异信息,控制运动监督提示氛围灯的运动动作提示灯效:
通过比较教员运动动作信息与学员运动动作信息,获取对应的运动动作差异信息后,将根据所述运动动作差异信息,控制所述运动节点提示氛围灯的运动动作提示灯效,以提示学员当前所做出的运动动作相对于屏幕中所显示的运动训练运动教学视频中的教员所做出的运动动作是否动作标准。
所述运动节点提示氛围灯的运动动作提示灯效一般由多个发光单元的发光部件所输出的灯光颜色与灯光亮度所构成,其中,通过控制各发光单元的发光部件所输出的不同灯光亮度,可形成如灯光闪烁、灯光流动、灯光脉冲等灯光变化动态。
根据运动动作差异信息中的运动姿势差异集或运动轨迹差异,控制所述运动节点提示氛围灯中各所述发光部件输出的灯光颜色,以根据运动姿势差异集控制所述灯光颜色为例,获取运动动作差异信息包含的运动姿势差异集后,将检测所述运动姿势差异集中多个运动姿势差异是否存在表征为差异明显的运动姿势差异,若存在,则将控制运动监督提示氛围灯输出姿势错误灯光颜色,例如具有警示作用的红色灯光颜色等,若不存在表征为差异明显的所述运动姿势差异时,则控制所述运动监督提示氛围灯输出姿势正确灯光颜色,例如具有可提示正确的绿色灯光颜色等,当然,为了防止频繁的灯光颜色变化打扰学员的运动训练,可检测运动姿势差异集中表征为差异明显的运动姿势差异的数量是否超过预设阈值,在超过或未超过时,才控制所述运动监督提示氛围灯输出的用于提示运动姿势是否差异的灯光颜色。
关于通过控制运动监督提示氛围灯中各发光单元的发光部件输出对应的灯光亮度以形成所述灯光变化动态的方式,将根据运动动作差异信息中包含的运动轨迹进行控制,一般基于所述运动轨迹所表征的运动变化节奏控制所述运动监督提示氛围灯输出的所述灯光变化动态,所述运动变化节奏根据运动轨迹中各人体关节点信息的移动速度所确定,若运动轨迹中各人体关节点信息的移动速度较快,则为运动轨迹确定的运动变化节奏表征为节奏较快,此时将以较快的速率改变运动监督提示氛围灯中各发光部件所输出的灯光亮度,以形成灯光变化较快速的灯光变化动态,反之,若各人体关节点信息的移动速度较慢,则为运动轨迹确定的运动变化节奏表征为节奏较慢,进而以较慢的速率改变运动监督提示氛围灯中各发光部件所输出的灯光亮度,形成灯光变化较缓和的灯光变化动态;可以看出,根据运动轨迹的运动变化节奏,控制运动监督提示氛围灯输出的灯光变化动态,使运动监督提示氛围灯输出的灯光的变化速率与学员或教员的运动训练速度相匹配,以提升学员的运动训练代入感。
根据以上实施例可以看出,本方法具有多方面技术优势,包括但不限于:
本方法通过为进行运动训练的学员提供运动动作监督提示服务,通过第二摄像单元实时拍摄播放着学员进行运动训练时参考的运动教学视频的显示屏幕设备,以获取运动教学视频中,具有教员指导学员进行运动训练的视频画面的教员运动视频图像,且通过第一摄像单元实时拍摄学员进行运动训练时的运动动作,以获取具有学员运动动作的学员运动实景图像,进而从教员运动视频图像中识别出教员指导学员进行运动训练时所做出的运动动作,以及从学员运动实景图像中识别出学员跟随教员所指导的运动动作所做出的运动动作,以比较学员与教员各自所做出的运动动作之间的动作差异,判断学员所做出的运动动作是否符合其所参考的运动教学视频中教员所做出的运动动作,从而控制运动监督提示氛围灯输出可表征学员所做出的运动动作是否标准的运动动作提示灯效,以通过输出运动动作提示灯效的方式,提醒学员其所做出的运动动作相对于运动教学视频中教员所做出的运动动作是否为标准动作,使学员根据运动监督提示氛围灯所输出的运动动作提示灯效,及时纠正运动动作,起到监督学员标准地做出与运动教学视频中教员所做出的运动动作对应的运动动作的效果,也使得运动教学视频的运动训练课程可达到指导学员进行运动训练的目的,使学员可通过便利的方式进行有效的运动训练。
其次,本方法通过控制运动监督提示氛围灯输出可表征学员所做出的运动动作是否标准的运动动作提示灯效,使学员可通过氛围灯灯效直观地理解其所做出的运动动作是否标准,且不打扰学员的运动训练,同时通过运动动作提示灯效为学员营造的沉浸式的运动氛围,加强学员进行运动训练时的代入感。
另外,本方法通过摄像单元拍摄播放着运动教学视频的显示屏幕设备,无需与显示屏幕设备进行设备连接,也可获取具有运动教学视频中教员运动动作的教员运动视频图像进行运动动作识别,使得学员可便捷地使用为其提供运动动作监督提示服务的相关设备,保证学员使用运动动作监督提示服务的便利性。
在本申请的方法的任意实施例的基础上,请参考图4、图5及图9,获取由第一摄像单元拍摄所生成的学员运动实景图像集,且获取运动教学视频对应的教员运动视频图像集的步骤之中,包括如下具体步骤:
步骤S111,启动第二摄像单元,获取由所述第二摄像单元拍摄的教员屏幕画面广角图像:
请参考图5,采用180度超广角鱼眼镜头作为摄像镜头的第二摄像单元所拍摄的教员运动视频图像为具有广角视野的教员屏幕画面广角图像,如图5所示的图像即为所述第二摄像单元所拍摄的教员屏幕画面广角图像。
步骤S112,矫正所述教员屏幕画面广角图像的图像畸变:
鱼眼畸变矫正算法一般基于为记忆ISP图像信号处理算法所实现的,通过使用所述鱼眼畸变矫正算法,可矫正图5所示的教员屏幕画面广角图像的图像畸变,将图5所示的教员屏幕画面广角图像矫正为图4所示的教员运动视频图像。
步骤S113,生成具有完成图像畸变的教员屏幕画面广角图像的教员运动视频图像集:
完成图像畸变矫正的各教员屏幕图像画面广角图像将被作为教员运动视频图像进行封装,以生成包含各所述教员运动视频图像的教员运动视频图像集。
根据以上实施例可以看出,采用180度超广角鱼眼镜头作为所述第二摄像单元的摄像镜头进行拍摄,可提升拍摄显示着教员指导学员进行运动训练的运动教学视频的显示屏幕时的拍摄视野,以获取完整显示教员人像的教员屏幕画面广角图像,提升从教员运动动作识别精确性,且提升拍摄设备的安装便利性,而为了使得教员屏幕画面广角图像可作为图像不畸变的图像进行运动动作识别,需矫正图像畸变教员屏幕画面广角图像,以保证运动动作识别的识别精准度。
在本申请的方法的任意实施例的基础上,请参考图4、图3、图6至图8,以及图10,分别识别出所述教员运动视频图像与所述学员运动实景图像的教员运动动作信息与学员运动动作信息的步骤之中,包括如下具体步骤:
步骤S121,识别出教员运动视频图像集包含的多个教员运动视频图像中人体对象的教员运动姿势,识别出学员运动实景图像集包含的多个学员运动实景图像中人体对象的学员运动姿势:
运动姿势识别模型为基于神经网络图像识别算法所构建且训练至收敛的图像识别模型,其中所述的神经网络图像识别算法一般是指YOLO-pose、OpenPose或PoseNet等算法。
以教员运动视频图像为例,如图4所示的教员运动视频图像,通过使用所述运动姿势识别模型,对图4所示的教员运动视频图像进行运动姿势识别后,将识别出图4中教员的人体对象的教员运动姿势,识别出教员运动姿势的教员运动视频图像如图6所示,图6所示的人体对象的教员运动姿势由多个人体关节点信息类型的人体关节点信息所连接组成。
相应的,关于学员运动实景图像的学员运动姿势识别,同样可使用所述运动姿势识别模型识别出图3所示的学员运动实景图像,从而识别出学员运动姿势的学员运动实景图像将如图7所示的学员运动实景图像,图7所示的学员运动实景图像同样以多个人体关节点信息类型的人体关节点信息所连接组成人体骨骼,表征出学员的人体对象的运动姿势作为学员运动姿势。
步骤S122,对所述教员运动视频图像集包含的各所述教员运动视频图像中的人体对象进行运动轨迹识别,获取所述教员运动视频图像集对应的教员运动轨迹,生成包含各所述教员运动姿势与所述教员运动轨迹的教员运动动作信息:
运动轨迹识别模型为基于神经网络图像识别算法所构建且训练至收敛的图像识别模型,其中所述的神经网络图像识别算法一般是指YOLO-pose、OpenPose或PoseNet等算法。
在对教员运动视频图像集中包含的教员运动视频图像进行教员运动姿势的识别时,也将使用所述运动轨迹识别模型,识别出所述教员运动视频图像集中由多个教员运动视频图像的教员运动姿势所构成的教员运动轨迹,所述的运动轨迹是通过人物对象的不同运动姿势中为同一人体关节点信息类型的人体关节点信息之间的节点位置所确定,因此,需要根据多张时序连续的图像中所识别出的运动姿势确定出对应的运动轨迹,所述时序连续的图像是指由摄像单元在同一时间段中所连续拍摄的图像。
识别出教员运动视频图像集中各教员运动视频图像的教员运动姿势与教员运动轨迹后,将对各所述教员运动姿势与所述教员运动轨迹进行封装,生成对应的教员运动动作信息。
步骤S123,对所述学员运动实景图像集包含的各所述学员运动实景图像中的人体对象进行运动轨迹识别,获取所述学员运动实景图像集对应的学员运动轨迹,生成包含各所述学员运动姿势与所述学员运动轨迹的学员运动动作信息:
以学员运动轨迹为例,如图7及图8各自所示的学员运动实景图像,图7与图8各自所示的学员运动实景图像为学员运动实景图像中时序连续的学员运动实景图像,可以理解为先第一摄像单元先拍摄了图7所示的学员运动实景图像后,马上拍摄的学员运动实景图像为图8所示的学员运动实景图像,图7与图8所示的学员运动实景图像皆已识别出对应的学员运动姿势,因此,可结合图7与图8各自所示的学员运动实景图像中学员的人体对象的学员运动姿势中同一人体关节点信息类型的人体关节点信息之间的节点位置,计算出图7与图8之间的拍摄时间差内各人体关节点信息类型的人体关节点信息的节点移动距离,确定出由图7与图8所示的学员运动实景图像所构成的学员运动轨迹。
识别出学员运动实景图像集中各学员运动实景图像的学员运动姿势与学员运动轨迹后,将对各所述学员运动姿势与所述学员运动轨迹进行封装,生成对应的学员运动动作信息。
根据以上实施例可以看出,通过从教员运动视频图像集与学员运动身体图像集进行运动姿势识别与运动轨迹识别,识别出教员与学员的运动动作,以比较教员与学员的运动动作之间的差异,检测学员的运动动作相对于教员的运动动作是否标准,保证学员进行有效的运动训练。
在本申请的方法的任意实施例的基础上,请参考图6、图7及图11,比较出所述教员运动动作信息与所述学员运动动作信息之间的运动动作信息差异,获取运动动作差异信息的步骤之中,包括如下具体步骤:
步骤S131,获取教员运动动作信息与学员运动动作信息中相对应的教员运动姿势与学员运动姿势:
比较教员运动动作信息与学员运动动作信息之间的运动动作差异时,将确定出教运动动作信息与学员运动动作信息中同一拍摄时间的图像的教员运动姿势与学员运动姿势,比较双方之间的运动姿势差异,所述同一拍摄时间的教员运动姿势与学员运动姿势是指双方所对应的图像为摄像单元同一时间或时间差较短的图像,即确定出第二摄像单元与第一摄像单元同一时间拍摄而生成的教员运动视频图像与学员运动实景图像,获取从所述教员运动视频图像与所述学员运动实景图像分别识别出的教员运动姿势与学员运动姿势进行运动姿势比较。
步骤S132,分别获取所述教员运动姿势与所述学员运动姿势中包含的人体关节点信息,得到教员人体关节点信息和学员人体关节点信息,比较同种关节类型的所述教员人体关节点信息和所述学员人体关节点信息之间的差异,确定出各所述关节类型的运动姿势差异,生成包含各所述运动姿势差异的运动姿势差异集:
比较教员运动动作信息中各教员运动姿势与学员运动动作信息中各学员运动姿势之间的运动姿势差异,以监督学员的运动姿势相对于教员的运动姿势是否标准,如图6与图7各自所示的教员运动视频图像与学员运动实景图像为同一拍摄时间的图像,且图6与图7所示的教员运动视频图像与学员运动实景图像已被识别出对应的教员运动姿势及学员运动姿势,通过比较所示教员运动姿势及所示学员运动姿势各自的人体对象中同一人体关节类型的人体关节点信息之间的差异,例如,同一人体关节类型的两个人体关节点信息之间的分布差异、角度差异、距离差异等点在平面空间中的空间位置差异,确定出教员运动姿势及学员运动姿势中同人体关节类型的人体关节点信息之间的差异后,将根据同人体关节类型的两两人体关节点信息之间的差异,作为人体关节类型的运动姿势差异,所述运动姿势差异用于表征两两人体关节点信息之间的空间位置差异是否超过对应的阈值,例如,判断同人体关节类型的两两人体关节点信息之间的距离差值是否超过阈值,若超过,则人体关节类型的运动姿势差异将表征为差异明显,若未超过,则人体关节类型的运动姿势差异将表征为差异不明显,确定出教员运动姿势及学员运动姿势中各人体关节类型的所述运动姿势差异后,进而生成包含各所述运动姿势差异的运动姿势差异集。
步骤S133,获取所述教员运动动作信息或所述学员运动动作信息包含的教员运动轨迹或学员运动轨迹作为运动轨迹,生成包含所述运动轨迹与多个运动姿势差异集的运动动作差异信息:
获取教员运动动作信息包含的教员运动轨迹或学员运动动作信息包含的学员运动轨迹作为运动轨迹,进而生成包含多个所述运动姿势差异集与所述运动轨迹的运动动作差异信息。
根据以上实施例可以看出,从表征运动姿势的各人体关节点信息进行同人体关节的差异比较,以比较教员与学员的运动姿势之间的差异,判断学员的运动动作相对于教员的运动动作是否标准,以进而根据运动姿势的差异控制运动监督提示氛围灯所输出的灯光颜色,且通过学员或教员的运动轨迹控制运动监督提示氛围灯所输出的灯光时的灯光变化动态,形成对应的运动动作提示灯效提醒学员改正其运动动作,监督学员的运动训练过程,保证学员的运动训练效果。
在本申请的方法的任意实施例的基础上,请参考图12,根据所述运动动作差异信息,控制运动监督提示氛围灯的运动动作提示灯效的步骤之中,包括如下具体步骤:
步骤S141,获取运动动作差异信息中运动姿势差异集包含的多个运动姿势差异,检测各所述运动姿势差异中是否存在表征为差异明显的运动姿势差异:
获取运动动作差异信息后,将获取运动动作差异信息中各运动姿势差异集各自包含的多个运动姿势差异,以检测各运动姿势差异集中各所述运动姿势差异中是否存在差异模型的运动姿势差异,即检测各所述运动姿势差异中是否存在教员与学员的人体关节点信息的空间位置存在差异的运动姿势差异。
步骤S142,当存在表征为差异明显的所述运动姿势差异时,控制运动监督提示氛围灯输出姿势错误灯光颜色,若不存在表征为差异明显的所述运动姿势差异时,控制所述运动监督提示氛围灯输出姿势正确灯光颜色:
当检测的运动姿势差异集中存在表征为差异明显的运动姿势差异时,则将控制运动监督提示氛围灯输出姿势错误灯光颜色,若所述运动姿势差异集中不存在表征为差异明显的运动姿势差异时,则将控制所述运动监督提示氛围灯输出姿势正确灯光颜色。
步骤S143,根据运动动作差异信息中包含的运动轨迹所表征的运动变化节奏,控制所述运动监督提示氛围灯输出的灯光变化动态:
获取运动动作差异信息中包含的运动轨迹,确定出所述运动轨迹中各人体关节点信息的移动速度所表征的运动变化节奏,进而根据所述运动变化节奏,控制所述运动监督提示氛围灯输出中各发光单元的发光部件输出对应的灯光亮度,以形成对应的灯光变化动态。
根据以上实施例可以看出,判断根据教员运动姿势与学员运动姿势所确定的各运动姿势差异中是否存在表征为明显差异的运动姿势差异,以参考教员的运动姿势判断学员的运动姿势是否为标准运动姿势,进而控制运动监督提示氛围灯输出表征姿势错误或姿势正确的灯光颜色,以提醒矫正学员的运动姿势,且根据学员或教员的运动轨迹的运动变化节奏控制灯光的变化动态,以提升学员的运动训练代入感。
在本申请的方法的任意实施例的基础上,请参考图13及图14,根据所述运动动作差异信息,控制运动监督提示氛围灯的运动动作提示灯效的步骤之后,包括如下具体步骤:
步骤S15,获取运动动作差异信息中运动姿势差异集包含的多个运动姿势差异,检测各所述运动姿势差异中是否存在表征为差异明显的运动姿势差异:
获取运动动作差异信息中包含的运动姿势差异集,以检测所述运动姿势差异集包含的多个运动姿势差异是否存在表征为差异明显的运动姿势差异。
步骤S16,获取表征为差异明显的所述运动姿势差异对应的人体关节类型,生成表征所述人体关节类型存在姿势错误的动作矫正通知:
当检测运动姿势差异集中存在表征为差异明显的运动姿势差异时,将获取该运动姿势差异对应的人体关节类型,进而生成表征所述人体关节类型存在姿势错误的动作矫正通知。
步骤S17,将所述动作矫正通知推送至学员用户端或教员画面显示屏幕中显示:
请参考图13,如图13所示的显示着教员运动教学的运动教学视频的教员画面显示屏幕1301中,所示教员画面显示屏幕1301中显示着表征人体关节类型为人体左手肘部关节存在姿势错误的动作矫正通知。
除了将所述动作矫正通知推送至教员画面显示屏幕中进行输出显示外,还可将所述动作矫正通知以短信或应用程序通知的方式推送至学员所登录的学员用户端中输出显示。
根据以上实施例可以看出,检测到学员的运动姿势不符合教员运动教学视频中教员的运动姿势后,可在显示屏幕显示用于提醒矫正学员存在姿势错误的人体关节的动作矫正通知,或将动作矫正通知推送至学员的用户端中进行通知提醒,以及时矫正学员的运动训练动作姿势,保证学员的运动训练效果。
在本申请的方法的任意实施例的基础上,请参考图15,根据所述运动动作差异信息,控制运动监督提示氛围灯的运动动作提示灯效的步骤之后,包括如下具体步骤:
步骤S15’,响应学员独立训练模式,获取由第一摄像单元拍摄生成的学员运动实景图像集:
所述的学员独立训练模式一般是指学员用户在进行运动训练时,不参考显示屏幕中播放的运动训练内容,而是独自进行运动训练,学员独立训练模式一般由学员通过用户端向运动动作监督提示设备推送学员独立训练指令所开启,此时,将由获取用于拍摄学员的运动训练过程的第一摄像单元拍摄生成的学员运动实景图像集进行运动轨迹识别。
步骤S16’,根据所述学员运动实景图像集包含的多个学员运动实景图像,识别出对应的学员运动轨迹:
调用所述的运动轨迹识别模型,根据学员运动实景图像集中多张时序连续的学员运动实景图像对应的运动姿势进行运动轨迹识别,确定出对应的学员运动轨迹。
步骤S17’,根据所述学员运动轨迹所表征的运动变化节奏,控制所述运动监督提示氛围灯输出的灯光变化动态:
识别出学员的学员运动轨迹后,将确定出所述学员运动轨迹中各人体关节点信息的移动速度所表征的运动变化节奏,进而根据所述运动变化节奏,控制所述运动监督提示氛围灯输出中各发光单元的发光部件输出对应的灯光亮度,以形成对应的灯光变化动态。
根据以上实施例可以看出,通过为学员提供独立训练模式,使运动动作监督提示设备不仅可监督学员的运动动作是否标准,还可在学员不参考教员的运动动作进行运动训练时,控制运动监督提示氛围灯输出与学员的运动节奏相符的灯光变化动态,提升学员的运动训练沉浸感。
请参考图16,本申请的另一实施例还提供一种运动动作监督提示装置,该装置包括:图像获取模块11,用于获取由第一摄像单元拍摄所生成的学员运动实景图像集,且获取运动教学视频对应的教员运动视频图像集;动作识别模块12,用于分别识别出所述教员运动视频图像集与所述学员运动实景图像集的教员运动动作信息与学员运动动作信息;动作比较模块13,用于比较出所述教员运动动作信息与所述学员运动动作信息之间的运动动作信息差异,获取运动动作差异信息;灯效控制模块14,用于根据所述运动动作差异信息,控制运动监督提示氛围灯的运动动作提示灯效。
在本申请的装置的任意实施例的基础上,所述图像获取模块11,包括:摄像单元启动单元,用于启动第二摄像单元,获取由所述第二摄像单元拍摄的教员屏幕画面广角图像;图像畸变矫正单元,用于矫正所述教员屏幕画面广角图像的图像畸变;图像集生成单元,用于生成具有完成图像畸变的教员屏幕画面广角图像的教员运动视频图像集。
在本申请的装置的任意实施例的基础上,所述动作识别模块12,包括:运动姿势识别单元,用于识别出教员运动视频图像集包含的多个教员运动视频图像中人体对象的教员运动姿势,识别出学员运动实景图像集包含的多个学员运动实景图像中人体对象的学员运动姿势;教员运动轨迹识别单元,用于对所述教员运动视频图像集包含的各所述教员运动视频图像中的人体对象进行运动轨迹识别,获取所述教员运动视频图像集对应的教员运动轨迹,生成包含各所述教员运动姿势与所述教员运动轨迹的教员运动动作信息;学员运动轨迹识别单元,用于对所述学员运动实景图像集包含的各所述学员运动实景图像中的人体对象进行运动轨迹识别,获取所述学员运动实景图像集对应的学员运动轨迹,生成包含各所述学员运动姿势与所述学员运动轨迹的学员运动动作信息。
在本申请的装置的任意实施例的基础上,所述动作比较模块13,包括:
运动姿势获取单元,用于获取教员运动动作信息与学员运动动作信息中相对应的教员运动姿势与学员运动姿势;姿势差异确定单元,用于分别获取所述教员运动姿势与所述学员运动姿势中包含的人体关节点信息,得到教员人体关节点信息和学员人体关节点信息,比较同种关节类型的所述教员人体关节点信息和所述学员人体关节点信息之间的差异,确定出各所述关节类型的运动姿势差异,生成包含各所述运动姿势差异的运动姿势差异集;动作差异信息生成单元,用于获取所述教员运动动作信息或所述学员运动动作信息包含的教员运动轨迹或学员运动轨迹作为运动轨迹,生成包含所述运动轨迹与多个运动姿势差异集的运动动作差异信息。
在本申请的装置的任意实施例的基础上,所述灯效控制模块14,包括:
差异明显姿势检测单元,用于获取运动动作差异信息中运动姿势差异集包含的多个运动姿势差异,检测各所述运动姿势差异中是否存在表征为差异明显的运动姿势差异;灯光颜色控制单元,用于当存在表征为差异明显的所述运动姿势差异时,控制运动监督提示氛围灯输出姿势错误灯光颜色,若不存在表征为差异明显的所述运动姿势差异时,控制所述运动监督提示氛围灯输出姿势正确灯光颜色;灯光动态控制单元,用于根据运动动作差异信息中包含的运动轨迹所表征的运动变化节奏,控制所述运动监督提示氛围灯输出的灯光变化动态。
在本申请任意实施例的基础上,请参考图17,本申请的另一实施例还提供一种运动动作监督提示设备,其包括第一与第二摄像单元、运动监督提示氛围灯和系统级芯片,系统级芯片可部署于计算机设备运行所述运动动作监督提示方法所实现的计算机程序,如图17所示,计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中,该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令,数据库中可存储有控件信息序列,该计算机可读指令被处理器执行时,可使得处理器实现一种运动动作监督提示方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行一种运动动作监督提示方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解,图17中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本实施方式中处理器用于执行本图16的运动动作监督提示装置中的各个模块/子模块的具体功能,存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有运动动作监督提示装置中执行所有模块/子模块所需的程序代码及数据,服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
本申请还提供一种非易失性存储介质,所述的运动动作监督提示方法被编写成计算机程序,以计算机可读指令的形式存储于该存储介质中,计算机可读指令被一个或多个处理器执行时,意味着该程序在计算机中的运行,由此使得一个或多个处理器执行上述任一实施例运动动作监督提示方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
综上所述,本申请通过拍摄进行运动训练学员的运动场景,识别学员在运动训练过程中的运动动作相对于运动教学视频中教员的运动动作是否标准,控制氛围灯显示的灯效提示学员,提升学员的运动训练体验。
Claims (10)
1.一种运动动作监督提示方法,其特征在于,包括如下步骤:
获取由第一摄像单元拍摄所生成的学员运动实景图像集,且获取运动教学视频对应的教员运动视频图像集;
分别识别出所述教员运动视频图像集与所述学员运动实景图像集的教员运动动作信息与学员运动动作信息;
比较出所述教员运动动作信息与所述学员运动动作信息之间的运动动作信息差异,获取运动动作差异信息;
根据所述运动动作差异信息,控制运动监督提示氛围灯的运动动作提示灯效。
2.根据权利要求1所述的运动动作监督提示方法,其特征在于,获取由第一摄像单元拍摄所生成的学员运动实景图像集,且获取运动教学视频对应的教员运动视频图像集的步骤之中,包括如下具体步骤:
启动第二摄像单元,获取由所述第二摄像单元拍摄的教员屏幕画面广角图像;
矫正所述教员屏幕画面广角图像的图像畸变;
生成具有完成图像畸变的教员屏幕画面广角图像的教员运动视频图像集。
3.根据权利要求1所述的运动动作监督提示方法,其特征在于,分别识别出所述教员运动视频图像与所述学员运动实景图像的教员运动动作信息与学员运动动作信息的步骤之中,包括如下具体步骤:
识别出教员运动视频图像集包含的多个教员运动视频图像中人体对象的教员运动姿势,识别出学员运动实景图像集包含的多个学员运动实景图像中人体对象的学员运动姿势;
对所述教员运动视频图像集包含的各所述教员运动视频图像中的人体对象进行运动轨迹识别,获取所述教员运动视频图像集对应的教员运动轨迹,生成包含各所述教员运动姿势与所述教员运动轨迹的教员运动动作信息;
对所述学员运动实景图像集包含的各所述学员运动实景图像中的人体对象进行运动轨迹识别,获取所述学员运动实景图像集对应的学员运动轨迹,生成包含各所述学员运动姿势与所述学员运动轨迹的学员运动动作信息。
4.根据权利要求3所述的运动动作监督提示方法,其特征在于,比较出所述教员运动动作信息与所述学员运动动作信息之间的运动动作信息差异,获取运动动作差异信息的步骤之中,包括如下具体步骤:
获取教员运动动作信息与学员运动动作信息中相对应的教员运动姿势与学员运动姿势;
分别获取所述教员运动姿势与所述学员运动姿势中包含的人体关节点信息,得到教员人体关节点信息和学员人体关节点信息,比较同种关节类型的所述教员人体关节点信息和所述学员人体关节点信息之间的差异,确定出各所述关节类型的运动姿势差异,生成包含各所述运动姿势差异的运动姿势差异集;
获取所述教员运动动作信息或所述学员运动动作信息包含的教员运动轨迹或学员运动轨迹作为运动轨迹,生成包含所述运动轨迹与多个运动姿势差异集的运动动作差异信息。
5.根据权利要求4所述的运动动作监督提示方法,其特征在于,根据所述运动动作差异信息,控制运动监督提示氛围灯的运动动作提示灯效的步骤之中,包括如下具体步骤:
获取运动动作差异信息中运动姿势差异集包含的多个运动姿势差异,检测各所述运动姿势差异中是否存在表征为差异明显的运动姿势差异;
当存在表征为差异明显的所述运动姿势差异时,控制运动监督提示氛围灯输出姿势错误灯光颜色,若不存在表征为差异明显的所述运动姿势差异时,控制所述运动监督提示氛围灯输出姿势正确灯光颜色;
根据运动动作差异信息中包含的运动轨迹所表征的运动变化节奏,控制所述运动监督提示氛围灯输出的灯光变化动态。
6.根据权利要求4所述的运动动作监督提示方法,其特征在于,根据所述运动动作差异信息,控制运动监督提示氛围灯的运动动作提示灯效的步骤之后,包括如下具体步骤:
获取运动动作差异信息中运动姿势差异集包含的多个运动姿势差异,检测各所述运动姿势差异中是否存在表征为差异明显的运动姿势差异;
获取表征为差异明显的所述运动姿势差异对应的人体关节类型,生成表征所述人体关节类型存在姿势错误的动作矫正通知;
将所述动作矫正通知推送至学员用户端或教员画面显示屏幕中显示。
7.根据权利要求4所述的运动动作监督提示方法,其特征在于,根据所述运动动作差异信息,控制运动监督提示氛围灯的运动动作提示灯效的步骤之后,包括如下具体步骤:
响应学员独立训练模式,获取由第一摄像单元拍摄生成的学员运动实景图像集;
根据所述学员运动实景图像集包含的多个学员运动实景图像,识别出对应的学员运动轨迹;
根据所述学员运动轨迹所表征的运动变化节奏,控制所述运动监督提示氛围灯输出的灯光变化动态。
8.一种运动动作监督提示装置,其特征在于,包括:
图像获取模块,用于获取由第一摄像单元拍摄所生成的学员运动实景图像集,且获取运动教学视频对应的教员运动视频图像集;
动作识别模块,用于分别识别出所述教员运动视频图像集与所述学员运动实景图像集的教员运动动作信息与学员运动动作信息;
动作比较模块,用于比较出所述教员运动动作信息与所述学员运动动作信息之间的运动动作信息差异,获取运动动作差异信息;
灯效控制模块,用于根据所述运动动作差异信息,控制运动监督提示氛围灯的运动动作提示灯效。
9.一种运动动作监督提示设备,包括第一与第二摄像单元、运动监督提示氛围灯和系统级芯片,其特征在于,所述第一与第二摄像单元用于拍摄图像,所述运动监督提示氛围灯用于输出运动动作提示灯效,所述系统级芯片用于调用运行依据权利要求1至7中任意一项所述的方法所实现的计算机程序。
10.一种计算机可读存储介质,其特征在于,其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序,该计算机程序被计算机调用运行时,执行相应的方法所包括的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311403336.8A CN117138317B (zh) | 2023-10-27 | 2023-10-27 | 运动动作监督提示方法及其装置、设备、介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311403336.8A CN117138317B (zh) | 2023-10-27 | 2023-10-27 | 运动动作监督提示方法及其装置、设备、介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117138317A true CN117138317A (zh) | 2023-12-01 |
CN117138317B CN117138317B (zh) | 2024-01-09 |
Family
ID=88906314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311403336.8A Active CN117138317B (zh) | 2023-10-27 | 2023-10-27 | 运动动作监督提示方法及其装置、设备、介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117138317B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118179002A (zh) * | 2024-04-11 | 2024-06-14 | 深圳市三为创新电子科技有限公司 | 一种健身器械联动控制方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106228143A (zh) * | 2016-08-02 | 2016-12-14 | 王国兴 | 一种教学视频与摄像头视频运动对比评分的方法 |
CN113192597A (zh) * | 2021-04-30 | 2021-07-30 | 华为技术有限公司 | 一种消息提醒方法,相关装置以及设备 |
CN114022512A (zh) * | 2021-10-30 | 2022-02-08 | 平安国际智慧城市科技股份有限公司 | 运动辅助方法、装置及介质 |
CN114712829A (zh) * | 2021-01-04 | 2022-07-08 | 深圳职业技术学院 | 一种运动训练方法、装置、系统、弹性运动服及存储介质 |
CN115334730A (zh) * | 2022-09-07 | 2022-11-11 | 深圳市齐创绿色科技有限公司 | 智能灯效的控制方法、装置、系统及可读存储介质 |
CN115802557A (zh) * | 2022-11-30 | 2023-03-14 | 深圳市千岩科技有限公司 | 灯效控制方法、装置、产品、介质及灯效控制设备 |
CN115994926A (zh) * | 2023-02-09 | 2023-04-21 | 平安科技(深圳)有限公司 | 基于双端视频流的运动轨迹检测方法、装置及存储介质 |
CN116033269A (zh) * | 2022-12-28 | 2023-04-28 | 努比亚技术有限公司 | 一种联动辅助防抖拍摄方法、设备及计算机可读存储介质 |
CN116077924A (zh) * | 2023-04-12 | 2023-05-09 | 深圳市智岩科技有限公司 | 游戏灯效控制方法、装置、设备及介质 |
-
2023
- 2023-10-27 CN CN202311403336.8A patent/CN117138317B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106228143A (zh) * | 2016-08-02 | 2016-12-14 | 王国兴 | 一种教学视频与摄像头视频运动对比评分的方法 |
CN114712829A (zh) * | 2021-01-04 | 2022-07-08 | 深圳职业技术学院 | 一种运动训练方法、装置、系统、弹性运动服及存储介质 |
CN113192597A (zh) * | 2021-04-30 | 2021-07-30 | 华为技术有限公司 | 一种消息提醒方法,相关装置以及设备 |
CN114022512A (zh) * | 2021-10-30 | 2022-02-08 | 平安国际智慧城市科技股份有限公司 | 运动辅助方法、装置及介质 |
CN115334730A (zh) * | 2022-09-07 | 2022-11-11 | 深圳市齐创绿色科技有限公司 | 智能灯效的控制方法、装置、系统及可读存储介质 |
CN115802557A (zh) * | 2022-11-30 | 2023-03-14 | 深圳市千岩科技有限公司 | 灯效控制方法、装置、产品、介质及灯效控制设备 |
CN116033269A (zh) * | 2022-12-28 | 2023-04-28 | 努比亚技术有限公司 | 一种联动辅助防抖拍摄方法、设备及计算机可读存储介质 |
CN115994926A (zh) * | 2023-02-09 | 2023-04-21 | 平安科技(深圳)有限公司 | 基于双端视频流的运动轨迹检测方法、装置及存储介质 |
CN116077924A (zh) * | 2023-04-12 | 2023-05-09 | 深圳市智岩科技有限公司 | 游戏灯效控制方法、装置、设备及介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118179002A (zh) * | 2024-04-11 | 2024-06-14 | 深圳市三为创新电子科技有限公司 | 一种健身器械联动控制方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117138317B (zh) | 2024-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10748376B2 (en) | Real-time game tracking with a mobile device using artificial intelligence | |
CN117138317B (zh) | 运动动作监督提示方法及其装置、设备、介质 | |
Rishan et al. | Infinity yoga tutor: Yoga posture detection and correction system | |
WO2021047306A1 (zh) | 一种异常行为判定方法、装置、终端及可读存储介质 | |
US9002054B2 (en) | Device, system and method for determining compliance with an instruction by a figure in an image | |
EP3860133A1 (en) | Audio and video quality enhancement method and system employing scene recognition, and display device | |
WO2021098616A1 (zh) | 运动姿态识别方法、运动姿态识别装置、终端设备及介质 | |
CN107871120A (zh) | 基于机器学习的体育赛事理解系统及方法 | |
CN110298231A (zh) | 一种用于篮球比赛视频进球判定的方法及系统 | |
JP7051315B2 (ja) | ボールの回転を測定するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体 | |
CN110956118B (zh) | 目标对象检测方法和装置、存储介质及电子装置 | |
JP2011194073A (ja) | ゲーム装置、ゲーム装置の制御方法、及びプログラム | |
CN113117306A (zh) | 一种瑜伽辅助学习方法、系统和存储介质 | |
CN109961039A (zh) | 一种个人进球视频捕捉方法及系统 | |
CN114187656A (zh) | 一种动作检测方法、装置、设备及存储介质 | |
CN114491466B (zh) | 一种基于私有云技术的智能训练系统 | |
EP4182893A1 (en) | Method and electronic device for generating ar content based on intent and interaction of multiple-objects | |
CN110472458A (zh) | 一种无人店铺秩序管理方法及系统 | |
Tafasca et al. | ChildPlay: A New Benchmark for Understanding Children's Gaze Behaviour | |
CN114513694A (zh) | 评分确定方法、装置、电子设备和存储介质 | |
CN114140721A (zh) | 射箭姿态评估方法、装置、边缘计算服务器及存储介质 | |
TWI776429B (zh) | 動作識別方法及裝置、電腦可讀存儲介質 | |
CN113703573B (zh) | 基于多媒体的交互系统、方法、终端设备及存储介质 | |
CN115994926A (zh) | 基于双端视频流的运动轨迹检测方法、装置及存储介质 | |
CN115884472A (zh) | 灯效控制方法、装置、产品、介质及灯效控制设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |