CN113691867B - 动作分析方法、装置、电子设备及存储介质 - Google Patents
动作分析方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113691867B CN113691867B CN202111251381.7A CN202111251381A CN113691867B CN 113691867 B CN113691867 B CN 113691867B CN 202111251381 A CN202111251381 A CN 202111251381A CN 113691867 B CN113691867 B CN 113691867B
- Authority
- CN
- China
- Prior art keywords
- human body
- target human
- video file
- demonstration
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 218
- 238000004458 analytical method Methods 0.000 title claims abstract description 35
- 230000009471 action Effects 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 13
- 210000003414 extremity Anatomy 0.000 claims description 39
- 238000005265 energy consumption Methods 0.000 claims description 16
- 230000036772 blood pressure Effects 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 210000002683 foot Anatomy 0.000 claims description 11
- 238000003062 neural network model Methods 0.000 claims description 11
- 230000003321 amplification Effects 0.000 claims description 10
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 10
- 210000003423 ankle Anatomy 0.000 claims description 9
- 210000000707 wrist Anatomy 0.000 claims description 9
- 230000009699 differential effect Effects 0.000 claims description 8
- 210000003127 knee Anatomy 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 72
- 230000004069 differentiation Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000003068 static effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 210000003811 finger Anatomy 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000001483 mobilizing effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/285—Analysis of motion using a sequence of stereo image pairs
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Epidemiology (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Physical Education & Sports Medicine (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本公开提出一种动作分析方法、装置、电子设备及存储介质。其中方法包括：获取目标人体的多个原始视频文件；每个所述原始视频文件分别由设置于不同位置的摄像装置对所述目标人体进行同步拍摄而得到；将所述多个原始视频文件进行合成，得到立体视频文件；从所述多个原始视频文件和所述立体视频文件中提取所述目标人体的第一动作特征数据；将所述第一动作特征数据与示范人体的第二动作特征数据进行比较；根据比较的结果以及从所述目标人体佩戴的至少一个可穿戴设备接收的身体数据，生成运动建议；提示所述运动建议，并显示所述多个原始视频文件及所述立体视频文件中的至少一个。根据本公开实施例能够提高动作分析的精确度，提供更适合的运动建议。
Description
技术领域
本公开涉及图像分析领域，尤其涉及一种动作分析方法、装置、电子设备及存储介质。
背景技术
利用视频进行人体动作分析是计算机视觉中的一个重要方向，涉及图像处理、模式识别、人工智能等多个学科，在人机交互、康复运动、体育训练等领域有广泛的应用前景。
目前出现的一些用于健身的智能镜（以下简称健身镜）采用动作分析方法分析用户的动作。用户在健身镜前方跟随选定的教学课程做相应的动作，设置在健身镜上的摄像头摄取用户的视频文件，健身镜对该视频文件进行动作识别，并对用户的健身动作进行分析。由于摄像头设置在健身镜上，仅能够从一个方向拍摄用户的视频，因此用于动作分析的视频文件内容较少，导致动作分析的精确度较低。
发明内容
本公开提出了一种动作分析方法，用以提高动作分析的精确度，提供更适合的运动建议。
第一方面，本公开提供了一种动作分析方法，包括：
获取目标人体的多个原始视频文件；每个所述原始视频文件分别由设置于不同位置的摄像装置对所述目标人体进行同步拍摄而得到；
将所述多个原始视频文件进行合成，得到立体视频文件；
从所述多个原始视频文件和所述立体视频文件中提取所述目标人体的第一动作特征数据；
将所述第一动作特征数据与示范人体的第二动作特征数据进行比较；
根据比较的结果以及从所述目标人体佩戴的至少一个可穿戴设备接收的身体数据，生成运动建议；
提示所述运动建议，并显示所述多个原始视频文件及所述立体视频文件中的至少一个。
第二方面，本公开提供了一种动作分析装置，包括：
原始视频获取模块，用于获取目标人体的多个原始视频文件；每个所述原始视频文件分别由设置于不同位置的摄像装置对所述目标人体进行同步拍摄而得到；
合成模块，用于将所述多个原始视频文件进行合成，得到立体视频文件；
第一提取模块，用于从所述多个原始视频文件和所述立体视频文件中提取所述目标人体的第一动作特征数据；
比较模块，用于将所述第一动作特征数据与示范人体的第二动作特征数据进行比较；
运动建议生成模块，用于根据比较的结果以及从所述目标人体佩戴的至少一个可穿戴设备接收的身体数据，生成运动建议；
提示模块，用于提示所述运动建议，并显示所述多个原始视频文件及所述立体视频文件中的至少一个。
第三方面，本公开提供了一种电子设备，包括：
一个或多个处理器；
与所述一个或多个处理器通信连接的存储器；
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，当所述一个或多个计算机程序被所述电子设备执行时，使得所述电子设备执行上述第一方面所提供的方法。
第四方面，本公开提供了一种计算机可读存储介质，其存储有计算机指令，当所述计算机指令在计算机上运行时，使得所述计算机执行上述第一方面所提供的方法。
本公开提供的技术方案至少包括以下有益效果：
本公开上述实施例的动作分析方法，利用目标人体的视频文件生成目标人体的动作特征数据，将目标人体的动作特征数据与示范人体的动作特征数据进行比较，并根据比较结果、结合可穿戴设备提取的目标人体的身体数据来生成运动建议。由于采用更丰富的数据进行运动分析和建议，因此能够提高动作分析的精确度，提供更适合的运动建议。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
图1为根据本公开一实施例的动作分析方法的流程图；
图2为根据本公开一实施例的摄像装置设置方式示意图；
图3为根据本公开一实施例的生成单个立体图像的实现流程图；
图4为根据本公开一实施例的根据动作特征比较结果进行图像差异化显示的实现流程图；
图5为根据本公开一实施例的根据第二动作特征数据进行图像差异化显示的实现流程图；
图6为根据本公开一实施例的根据用户的语音指令进行图像差异化显示的实现流程图；
图7为根据本公开一实施例的根据用户的手势指令进行图像差异化显示的实现流程图；
图8为根据本公开一实施例的根据用户指示更换示范视频文件的实现流程图；
图9为根据本公开一实施例的动作分析装置的结构示意图；
图10为根据本公开一实施例的电子设备的结构框图。
具体实施方式
下面将参考附图对本公开作进一步地详细描述。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路等未作详细描述，以便于凸显本公开的主旨。
图1为根据本公开一实施例的动作分析方法的流程图。该方法包括：
S110：获取目标人体的多个原始视频文件；每个原始视频文件分别由设置于不同位置的摄像装置对目标人体进行同步拍摄而得到；
S120：将多个原始视频文件进行合成，得到立体视频文件；
S130：从多个原始视频文件和立体视频文件中提取目标人体的第一动作特征数据；
S140：将第一动作特征数据与示范人体的第二动作特征数据进行比较；
S150：根据比较的结果以及从目标人体佩戴的至少一个可穿戴设备接收的身体数据，生成运动建议；
S160：提示运动建议，并显示多个原始视频文件及所述立体视频文件中的至少一个。
在一种可能的实现方式中，在室内区域设置多个摄像装置，用户（如上述目标人体）选择播放示范视频文件，并在该室内区域跟随示范视频文件中的示范人体做相同的动作。该示范视频文件可以包括健身教学文件，该健身教学文件可以由真人示范健身动作，和/或由动画人物示范健身动作。本公开可以采用多种方式播放该示范视频文件，例如，在智能终端播放、在用于实现本公开提出的动作分析方法的装置所包括的显示屏幕上播放、在安装于该室内区域的显示屏幕上播放、将该示范视频文件投影在该室内区域的墙壁或幕布上，等等。原始视频文件和立体视频文件也可以采用与前述方式同样的方式进行显示。可见，本公开并不限制显示视频文件的装置，而是可以复用家庭中已有的显示装置来实现视频文件的显示，因此能够降低用于实现本公开提出的动作分析方法的装置的成本。
图2为根据本公开一实施例的摄像装置设置方式示意图。如图2中的大矩形表示室内区域的平面图，在该室内区域的四面墙壁上分别设置一个摄像装置，图2中的四个小矩形分别表示一个摄像装置。用户在该室内区域中跟随示范视频文件做健身动作，则设置于室内区域四面墙壁的四个摄像装置可以分别拍摄到正面、背面、左侧和右侧的原始视频图像。显然，相比从单一方向拍摄的视频图像，本公开从不同方向拍摄的视频图像中包含了更多的人体动作特征信息。
在一些可能的实施方式中，本公开可以设置用于实现动作分析方法的系统，该系统可以至少包括控制模块、多个摄像装置和一个智能显示屏。智能显示屏可以包括镜面显示区域和触控显示区域，当用户在显示屏前方时，镜面显示区域可以显示出用户的镜面图像；触控显示区域至少可以包括视频显示区域和提示区域，其中视频显示区域可以显示摄像装置摄取的原始视频文件、合成后的立体视频文件、以及示范视频文件中的至少一种，提示区域可以用于提示运动建议及接收用户的指示等。在开始运动时，控制模块可以控制在视频显示区域显示用户选择的示范视频文件，并启动多个摄像装置，按照预定的方式选择部分或全部摄像装置拍摄的原始视频文件，将选择的原始视频文件在视频显示区域显示；同时，智能显示屏的镜面显示区域能够显示用户的镜面图像。
在一些可能的实施方式中，本公开可以将各个摄像装置拍摄得到的原始视频文件逐帧合成立体视频文件。例如，上述步骤S120可以包括：生成多个立体图像，将所述多个立体图像构成所述立体视频文件；其中，生成单个立体图像的方式如图3所示，包括：
S310：分别从多个原始视频文件中提取当前视频帧；
S320：分别对每个当前视频帧进行特征点检测，根据检测结果确定各个当前视频帧之间的多个匹配点；
S330：根据各个摄像装置的内外参数及该多个匹配点的坐标，确定多个匹配点的三维空间坐标；
S340：利用多个匹配点的三维空间坐标及当前视频帧，生成当前视频帧对应的立体图像。
上述步骤S320至S340中的确定匹配点方式、以及根据内外参数及匹配点坐标确定三维空间坐标并生成立体图像的过程可以采用已有的多目立体视频生成方法来实现。
以合成四个摄像装置所拍摄的原始视频文件为例，摄像装置1拍摄的视频文件包括多个帧，分别记为f11、f12、f13，…；摄像装置2拍摄的视频文件包括多个帧，分别记为f21、f22、f23，…；摄像装置3拍摄的视频文件包括多个帧，分别记为f31、f32、f33，…；摄像装置4拍摄的视频文件包括多个帧，分别记为f41、f42、f43，…。将各个摄像装置拍摄的原始视频文件中的第一帧分别提取，并进行合成，即将f11、f21、f31和f41进行合成，得到一个立体图像，作为立体视频文件中的第一帧；将各个摄像装置拍摄的原始视频文件中的第二帧分别提取，并进行合成，即将f12、f22、f32和f42进行合成，得到一个立体图像，作为立体视频文件中的第二帧；采用同样的方式对各帧进行合成。本公开在摄像装置拍摄到原始视频文件的同时，同步生成立体视频文件。
由于立体视频文件和从不同方向拍摄得到的多个原始视频文件中携带的动作信息更多，因此本公开从多个原始视频文件和立体视频文件中提取到的第一动作特征数据更为丰富和准确。本公开根据第一动作特征数据与第二动作特征数据进行比较的结果、以及从目标人体佩戴的可穿戴设备接收的身体数据，可以生成更为准确的运动建议。在一些实施方式中，身体数据可以由佩戴于目标人体四肢的四个可穿戴设备获取；该身体数据可以包括目标人体的四肢运动方向，还可以包括目标人体的心率、血压和能量消耗量中的至少一项。例如，在目标人体的左右手腕和左右脚踝各配置一个可穿戴设备，该可穿戴设备配置重力传感器，能够检测四肢的运动方向。
在一些可能的实施方式中，上述第一动作特征数据包括目标人体的多个身体部位相对于脊柱（指目标人体的脊柱）的第一位置数据，上述第二动作特征包括示范人体的多个身体部位相对于脊柱（指示范人体的脊柱）的第二位置数据、以及所述示范人体的四肢运动方向；其中，所述多个身体部位包括：头部、左手、左手腕、左肘、左肩、右手、右手腕、右肘、右肩、左臀、右臀、左膝、左脚踝、左脚、右膝、右脚踝、右脚中的至少一项；所述第一位置数据或所述第二位置数据包括：所述身体部位在三维直角坐标系中的坐标与所述脊柱在三维直角坐标系中的坐标的位置关系。
例如，在第一动作特征数据中，关于身体部位1的第一位置数据可以包括：身体部位1相对于脊柱在三维直角坐标系的X轴方向、Y轴方向和Z轴方向的偏移角度。可选地，本公开实施例建立三维直角坐标系，根据多个原始视频文件中对应同一拍摄时刻的视频帧、以及立体视频文件中对应该拍摄时刻的立体图像，确定该拍摄时刻各个身体部位在三维直角坐标系中的坐标及脊柱在三维直角坐标系中的坐标。如身体部位1在三维直角坐标系中的坐标=（x1,y1,z1），脊柱在三维直角坐标系中的坐标=（x0,y0,z0）；
根据该坐标，可以计算出身体部位1与三维直角坐标系中的X轴、Y轴、Z轴的夹角分别为V1x、V1y、V1z；脊柱与三维直角坐标系中的X轴、Y轴、Z轴的夹角分别为V0x、V0y、V0z；
进一步地，根据上述夹角可以计算出目标人体的身体部位1相对于目标人体的脊柱的第一位置数据，即相对于目标人体的脊柱在三维直角坐标系的X轴方向的偏移角度、Y轴方向的偏移角度和Z轴方向的偏移角度分别为：
采用同样的方式，可以计算出目标人体的各个身体部位相对于目标人体的脊柱的第一位置数据，即相对于目标人体的脊柱在三维直角坐标系的X轴方向的偏移角度、Y轴方向的偏移角度和Z轴方向的偏移角度。
在一些实施方式中，本公开实施例可以采用与上述第一动作特征数据相同的计算方式，利用包含示范人体的示范视频文件，确定示范人体的第二动作特征数据；或者，本公开可以预先存储各个示范视频文件中示范人体的第二动作特征数据（该第二动作特征数据包含示范人体的各个身体部位相对于脊柱的第二位置数据，每个第二位置数据包含该身体部位相对于脊柱在三维直角坐标系的X轴方向、Y轴方向和Z轴方向的偏移角度），在对第一动作特征数据和第二动作特征数据进行比较时，直接提取预先存储的示范视频文件中示范人体的第二动作特征数据。在比较第一动作特征数据和第二动作特征数据的差异时，本公开可以针对各个身体部位分别进行比较，如比较身体部位1的第一位置数据与第二位置数据的差异、身体部位2的第一位置数据与第二位置数据的差异，……，并将各个身体部位的差异综合，作为第一动作特征数据和第二动作特征数据的差异。在一些可能的实施方式中，上述根据比较的结果以及从目标人体佩戴的至少一个可穿戴设备接收的身体数据，生成运动建议，包括：
根据第一位置数据与第二位置数据的差异、以及目标人体的四肢运动方向与所述示范人体的四肢运动方向的差异，计算目标人体的动作规范度；根据所述动作规范度生成运动建议。
可选地，上述计算目标人体的动作规范度可以采用以下方式：
采用式子（1）计算所述第一位置数据与所述第二位置数据的差异：
其中，所述D1表示所述第一位置数据与所述第二位置数据的差异；
所述
表示所述目标人体的第n个身体部位相对于所述目标人体的脊柱在三维坐标系的X轴方向的偏移角度；
所述
表示所述目标人体的第n个身体部位相对于所述目标人体的脊柱在三维坐标系的Y轴方向的偏移角度；
所述
表示所述目标人体的第n个身体部位相对于所述目标人体的脊柱在三维坐标系的Z轴方向的偏移角度；
所述
表示所述示范人体的第n个身体部位相对于所述示范人体的脊柱在三维坐标系的X轴方向的偏移角度；
所述
表示所述示范人体的第n个身体部位相对于所述示范人体的脊柱在三维坐标系的Y轴方向的偏移角度；
所述
表示所述示范人体的第n个身体部位相对于所述示范人体的脊柱在三维坐标系的Z轴方向的偏移角度；
所述n为自然数；
所述N表示所述第一位置数据所涉及的目标人体的身体部位的个数，还表示所述第二位置数据所涉及的示范人体的身体部位的个数；
所述
表示所述第一位置数据所涉及的目标人体的各个身体部位对应的权重；
可见，D1越大，表示第一动作特征数据和第二动作特征数据的差异越大，也就是第一位置数据与第二位置数据的整体差异越大。D1=0时，表示各个第一位置数据和第二位置数据之间没有差异，即第一动作特征数据和第二动作特征数据之间没有差异，目标人体与示范人体的动作相同。D1=180°时，表示各个第一位置数据和第二位置数据之间的差异均为最大值，即第一动作特征数据与第二动作特征数据之间的差异最大。
之后，采用式子（2）计算所述目标人体的动作规范度：
其中，所述D表示目标人体的动作规范度；
所述α表示各个第一位置数据与第二位置数据的差异（也就是第一动作特征数据与第二动作特征数据的差异）所对应的权重；
所述D1表示各个第一位置数据与第二位置数据的差异（也就是第一动作特征数据与第二动作特征数据的差异）；
所述β表示所述目标人体的四肢运动方向与所述示范人体的四肢运动方向的差异所对应的权重；
所述L表示所述目标人体的四肢中，运动方向与所述示范人体对应四肢运动方向不同的肢体数量。
本公开可以设置α＋β＝1，α和β的具体值可以根据需要进行设置；例如，在计算第一位置数据与第二位置数据的差异的准确率更高的情况下，设置α＞β，在可穿戴设备获取四肢运动方向的准确率更高的情况下，设置α＜β。采用前述参数，计算出D的取值范围为[0,1]，取值越大表示动作规范度越高。
在一些可能的实施方式中，本公开可以在显示目标人体的原始视频文件和/或立体视频文件的同时，同步显示包含示范人体的示范视频文件。示范视频文件可以与原始视频文件或立体视频文件并列显示、或在距离较近的位置显示，便于用户观察自身动作与示范动作的差异。
在一些可能的实施方式中，本公开可以从显示示范人体的示范视频文件中提取示范人体的第二动作特征数据。或者，本公开可以预先保存各个示范视频文件所对应的第二动作特征数据，该第二动作特征数据包含多组特征数据，每组特征数据对应一个所述示范视频文件的播放进度；在播放示范视频文件的同时，提取该示范视频文件中当前播放进度所对应的特征数据，将该特征数据与目标人体的第一动作特征数据进行比较，从而分析目标人体的当前动作与示范人体的当前动作之间的差异，并根据第一动作特征数据与第二动作特征数据的比较结果以及从目标人体佩戴的至少一个可穿戴设备接收的身体数据计算动作规范度，根据动作规范度生成动作建议。
在一些可能的实施方式中，可以采用语音、文字、图像等方式中的至少一种提示动作规范度或动作建议。例如，当上述动作规范度低于预定阈值时，确定不规范动作所对应的身体部位，并在原始视频文件、立体视频文件和/或示范视频文件中的该身体部位显示预先设定的标记，或者语音播报该身体部位以及该身体部位的正确位姿，或者文字显示该身体部位以及该身体部位的正确位姿，其中该身体部位的正确位姿可以根据第二动作特征数据确定。
在显示视频文件时，本公开可以根据用户的选择，显示原始视频文件、立体视频文件及示范视频文件中的一个或多个。本公开可以预先保存用户的显示配置，后续在用户跟随示范视频文件进行健身动作时，根据预先保存的显示配置，选择对应的原始视频文件、立体视频文件和示范视频文件中的至少一个进行显示。或者，本公开可以实时接收用户输入的显示配置，根据该显示配置选择对应的原始视频文件、立体视频文件和示范视频文件中的至少一个进行显示。其中，用户可以通过语音或数据输入的方式输入显示配置，在用户通过语音的方式输入显示配置的情况下，本公开可以对用户输入的语音进行语音识别，从而确定用户输入的显示配置。
对于同一个动作，从不同方向拍摄的原始视频文件的可视度不同，可视度可以是：播放视频文件时、观察并判断动作是否规范的难易程度，可视度越高，直观观察视频文件时越容易判断出动作是否规范。本公开实施例涉及的第一可视度和第二可视度均为前述含义。例如，对于“双臂前伸与身体呈直角”这一动作，从身体正面拍摄的视频文件中不容易观察出手臂与身体的角度，而从身体侧面拍摄的视频文件中则容易观察出手臂与身体的角度，因此对于该动作，从身体侧面拍摄的视频文件的可视度更高。又如，对于“双脚分开与肩同宽”这一动作，从身体正面或后面拍摄的视频文件中容易观察出双脚分开的距离，而从身体侧面拍摄的视频文件中则不容易观察出双脚分开的距离，因此对于该动作，从身体正面或后面拍摄的视频文件的可视度更高。
根据上述分析，本公开可以将可视度更高的原始视频文件进行差异化显示（如放大显示），以便用户观察自身动作。
在一些可能的实施方式中，本公开可以根据动作建议或第一动作特征数据与示范人体的第二动作特征数据的比较结果进行差异化显示。图4为根据本公开一实施例的根据动作特征比较结果进行图像差异化显示的实现流程图，包括：
S410：根据动作建议，确定目标人体与示范人体的至少一个差异动作；
S420：利用第二动作特征数据，从该至少一个差异动作中确定关键差异动作；
S430：分别确定各个原始视频文件对该关键差异动作的第一可视度；
S440：将第一可视度最高的原始视频文件进行放大显示。
具体地，本公开可以预先保存第二动作特征数据与关键动作的对应关系，根据第二动作特征数据查找该对应关系，得到对应的关键动作；或者，预先训练相应的识别模型，将第二动作特征数据输入该识别模型，得到对应的关键动作。在步骤S410确定出目标人体与示范人体的至少一个差异动作之后，采用前述任意方式确定第二动作特征数据对应的关键动作，并利用该关键动作在步骤S410确定出的至少一个差异动作中确定关键差异动作。
其中，上述关键动作可以指对整体动作是否规范起较大作用、并且直接影响其他身体部位是否动作规范的分动作。例如，某健身动作中，腿部弯曲角度直接影响整体动作是否规范，如腿部弯曲角度直接影响上身动作是否标准，则对于该整体动作来说，腿部动作即为关键动作。
本公开提出的上述实施方式确定关键差异动作，并将最容易观察该关键差异动作的原始视频文件进行放大显示，可以使用户能够方便地观察并调整自身动作。
与上述实施方式类似，本公开可以根据第二动作特征数据对原始视频图像进行差异化显示。图5为根据本公开一实施例的根据第二动作特征数据进行图像差异化显示的实现流程图，包括：
S510：确定第二动作特征数据中的关键特征；
S520：分别确定各个原始视频文件对该关键特征的第二可视度；
S530：将该第二可视度最高的原始视频文件进行放大显示。
在一些可能的实施方式中，本公开可以预先保存各种动作特征数据与关键特征的对应关系列表，在确定出第二动作特征数据后，根据该第二动作特征数据查找该对应关系列表，找到第二动作特征数据中的关键特征。根据该关键特征，可以确定各个原始视频文件对该关键特征的第二可信度。例如，如果某第二动作特征数据的关键特征为“背部挺直”，则从身体侧面拍摄的原始视频文件对该第二动作特征数据的第二可信度更高，因此显示从身体侧面拍摄的原始视频文件能够便于用户观察自身动作。
此外，本公开还可以根据用户的指令，选择用户指示的一个或多个原始视频文件进行放大处理。用户可以通过语音、手势、数据输入等方式发送指令。
图6为根据本公开一实施例的根据用户的语音指令进行图像差异化显示的实现流程图，包括：
S610：接收语音信号；
S620：对所述语音信号进行语音识别，确定对应的第一放大显示指令；
S630：将所述第一放大显示指令所指示的原始视频文件进行放大显示。
可选地，该第一放大显示指令中可以指示放大显示至少一个原始视频文件。在一些可能的实施方式中，上述步骤S150中显示多个原始视频文件时，可以同时显示各个原始视频文件所对应的编号；相应地，用户在采用语音形式发出指令时可以指出需要放大显示的原始视频文件的编号，则步骤S620确定的第一放大显示指令中包含需要放大显示的原始视频文件的编号信息。或者，用户采用语音形式发出指令时，可以指明摄取需要放大显示的原始视频文件的摄像装置，如指明该摄像装置的设置位置或拍摄角度；相应地，步骤S620确定的第一放大显示指令中包含该摄像装置的设置位置或拍摄角度，根据该摄像装置的设置位置或拍摄角度确定对应的摄像装置，并确定该摄像装置所摄取的原始视频文件。或者，语音信号可以指示用户希望放大显示的身体部位，如“放大显示背部”，相应地，步骤S620中确定第一放大显示指令后，可以根据该第一放大显示指令所指示的身体部位、以及各个摄像装置的位置，确定靠近该身体部位、或更便于清晰拍摄该身体部位的摄像装置，并放大显示该摄像装置所拍摄的原始视频文件；进一步地，本公开还可以根据第一放大显示指令，调整该摄像装置的拍摄方向，以使该摄像装置所拍摄的原始视频文件更清晰，并放大该原始视频文件。
图7为根据本公开一实施例的根据用户的手势指令进行图像差异化显示的实现流程图，包括：
S710：对原始视频文件进行手势识别，确定所述目标人体的手势；
S720：根据该目标人体的手势，查找预先保存的手势与拍摄位置的对应关系，确定与该目标人体的手势对应的拍摄位置；
S730：从设置于不同位置的摄像装置中，确定与该拍摄位置最接近的第一摄像装置；
S740：将该第一摄像装置拍摄得到的原始视频文件进行放大显示。
可选地，用户可以采用特定的手势指示至少一个拍摄装置。例如，用户食指指向前方、其余手指弯曲，根据预先保存的手势与拍摄位置的对应关系，确定出该手势对应的拍摄位置为目标人体的前方；用户大拇指指向前方、其余手指弯曲，根据预先保存的手势与拍摄位置的对应关系，确定出该手势对应的拍摄位置为目标人体的后方。根据前述方式确定出手势对应的拍摄位置后，确定与该拍摄位置最接近的第一摄像装置；例如，某手势对应的拍摄位置为目标人体的后方，此时目标人体正后方不存在摄像装置，设置于目标人体侧后方的摄像装置与该拍摄位置最接近，则可以确定设置于目标人体侧后方的摄像装置为第一摄像装置，并放大显示该第一摄像装置拍摄的原始视频文件。
以上介绍了多种选择放大显示原始视频文件的实现方式，上述几种方式可以单个使用、也可以结合使用。在结合使用的情况下，如果多种方式选择的原始视频文件不同，则可以将多个原始视频文件均提示用户，由用户选择放大现实哪个或那些原始视频文件；根据用户的选择，放大显示至少一个原始视频文件。前述提示或用户选择的过程，可以采用语音交互方式，也可以在显示屏幕上采用图像或文字等形式进行交互。
进一步地，本公开可以根据目标人体的第二动作特征数据和/或动作建议，在放大显示的原始视频文件上，显示与第二动作特征数据和/或动作建议相关的身体部位的正确位置。例如，采用虚线或阴影的形式显示相关身体部位的轮廓，以表示该身体部位的正确位置。
可选地，本公开可以在将所述第一动作特征数据与示范人体的第二动作特征数据进行比较之前，进一步包括：获取显示所述示范人体的第一示范视频文件；从所述第一示范视频文件中提取所述示范人体的第二动作特征数据。
在一些可能的实施方式中，本公开可以进一步包括：根据上述动作规范度，以及目标人体的心率、血压和能量消耗量中的至少一项，对当前播放的第一示范视频文件的播放速度、对应的背景音乐、对应的语音内容、对应的语速中的至少一项进行调整。
例如，在动作规范度高于预设对应阈值，但心率或能量消耗量低于预设对应阈值的情况下，可能该第一示范视频文件中的动作对用户来说过于简单，用户能够非常轻松做出相应动作，但能量消耗不足，因此达不到锻炼的目的。这种情况下，可以加快第一示范视频文件的播放速度，并相应加快对应的语速，从而使用户的动作加快，增大能量消耗。又如，在动作规范度低于预设对应阈值，并且心率或能量消耗量低于预设对应阈值的情况下，可能该第一示范视频文件中的动作对用户来说难度不大，但用户运动的积极性不高。这种情况下，可以播放更激昂或节奏更快的背景音乐，或者播放包含鼓励内容的语音内容，从而调动用户的运动积极性。又如，在动作规范度低于预设对应阈值，并且心率、血压或能量消耗量高于预设对应阈值的情况下，可能该第一示范视频文件中的动作对用户来说难度过大，导致用户在接近力竭的情况下仍无法准确做出相应动作。这种情况下，可以提示用户终止运动，或者更换动作难度较低的示范视频文件。
可选地，上述调整方式可以包括：
将所述动作规范度及所述目标人体的心率、血压和能量消耗量中的至少一项输入预先训练的神经网络模型，由所述神经网络模型输出对第一示范视频文件的播放速度、对应的背景音乐、对应的语音内容、对应的语速中的至少一项的调整参数；
根据所述调整参数对所述第一示范视频文件的播放速度、对应的背景音乐、对应的语音内容、对应的语速中的至少一项进行调整。
上述神经网络模型可以采用用户在运动过程中采集的数据进行训练，如用户在运动过程中，实时计算该用户的动作规范度，并采集该用户的心率、血压和能量消耗量等身体数据，记录该用户选择的第一示范视频文件的播放速度、对应的背景音乐、对应的语音内容、对应的语速等，将前述计算、采集及记录的数据作为用于训练上述神经网络模型的样本数据，对该神经网络模型进行训练。随着用户对本公开提出的用于实现动作分析方法的装置的使用，可以同步更新样本数据，并采用更新后的样本数据对神经网络模型进行训练，以使训练后的神经网络模型能够满足用户最新的需求。
在一些可能的实施方式中，本公开还可以进一步包括：在动作规范度低于预先设定的规范度阈值，并且低于规范度阈值的持续时长或累计时长达到预先设定的时间阈值的情况下，提示动作异常信息。
可选地，本公开可以采用语音、文字、图像等形式提示动作异常信息。进一步地，本公开还可以结合运动时长、目标人体的身体数据等数据，分析并提示动作异常的原因。其中，目标人体的身体数据包括静态数据和实时数据，其中静态数据（如年龄、性别、身高、体重、体脂率等）可以由用户输入，实时数据（如心率、血压等）可以由用于实现本公开动作分析方法的装置实时获取、或从其他设备实时接收。
在提示动作异常信息之后，本公开可以进一步根据用户的指示更换其他的示范视频文件。图8为根据本公开一实施例的根据用户指示更换示范视频文件的实现流程图，包括：
S810：接收用户的动作更换指令；
S820：根据所述动作更换指令，获取比所述第一示范视频文件的动作难度低的多个第二示范视频文件；
S830：显示各个所述第二示范视频文件的相关信息；
S840：接收用户的视频选择指令，所述视频选择指令中指示用户选择的一个所述第二示范视频文件；
S850：根据所述视频选择指令，播放所述视频选择指令所指示的第二示范视频文件。
可选的，上述第二示范视频文件的相关信息可以包括第二示范视频文件的难度信息、类别信息、教练信息、训练时长等内容。
这样，本公开上述实施例的动作分析方法，能够利用目标人体的视频文件生成目标人体的动作特征数据，将目标人体的动作特征数据与示范人体的动作特征数据进行比较，并根据比较结果、结合可穿戴设备提取的目标人体的身体数据生成运动建议。由于结合视频分析数据及可穿戴设备摄取的数据进行运动分析和建议，能够实现更为准确的运动分析和建议，从而提高用户体验。
本公开还提出一种动作分析装置，图9为根据本公开一实施例的动作分析装置的结构示意图，包括：
原始视频获取模块910，用于获取目标人体的多个原始视频文件；每个所述原始视频文件分别由设置于不同位置的摄像装置对所述目标人体进行同步拍摄而得到；
合成模块920，用于将所述多个原始视频文件进行合成，得到立体视频文件；
第一提取模块930，用于从所述多个原始视频文件和所述立体视频文件中提取所述目标人体的第一动作特征数据；
比较模块940，用于将所述第一动作特征数据与示范人体的第二动作特征数据进行比较；
运动建议生成模块950，用于根据比较的结果以及从所述目标人体佩戴的至少一个可穿戴设备接收的身体数据，生成运动建议；
提示模块960，用于提示所述运动建议，并显示所述多个原始视频文件及所述立体视频文件中的至少一个。
在一种可能的实施方式中，身体数据由佩戴于目标人体四肢的四个可穿戴设备获取；
该身体数据包括所述目标人体的四肢运动方向，还包括所述目标人体的心率、血压和能量消耗量中的至少一项。
在一种可能的实施方式中，第一动作特征数据包括目标人体的多个身体部位相对于脊柱的第一位置数据，所述第二动作特征包括示范人体的多个身体部位相对于脊柱的第二位置数据、以及所述示范人体的四肢运动方向；其中，所述多个身体部位包括：头部、左手、左手腕、左肘、左肩、右手、右手腕、右肘、右肩、左臀、右臀、左膝、左脚踝、左脚、右膝、右脚踝、右脚中的至少一项；所述第一位置数据或所述第二位置数据包括：所述身体部位在三维直角坐标系中的坐标与所述脊柱在三维直角坐标系中的坐标的位置关系；
所述运动建议生成模块950，用于根据所述第一位置数据与所述第二位置数据的差异、以及所述目标人体的四肢运动方向与所述示范人体的四肢运动方向的差异，计算所述目标人体的动作规范度；根据所述动作规范度生成所述运动建议。
在一种可能的实施方式中，运动建议生成模块950，用于采用式子（1）计算所述第一位置数据与所述第二位置数据的差异：
其中，所述D1表示所述第一位置数据与所述第二位置数据的差异；
所述
表示所述目标人体的第n个身体部位相对于所述目标人体的脊柱在三维直角坐标系的X轴方向的偏移角度；
所述
表示所述目标人体的第n个身体部位相对于所述目标人体的脊柱在三维直角坐标系的Y轴方向的偏移角度；
所述
表示所述目标人体的第n个身体部位相对于所述目标人体的脊柱在三维直角坐标系的Z轴方向的偏移角度；
所述
表示所述示范人体的第n个身体部位相对于所述示范人体的脊柱在三维直角坐标系的X轴方向的偏移角度；
所述
表示所述示范人体的第n个身体部位相对于所述示范人体的脊柱在三维直角坐标系的Y轴方向的偏移角度；
所述
表示所述示范人体的第n个身体部位相对于所述示范人体的脊柱在三维直角坐标系的Z轴方向的偏移角度；
所述n为自然数；
所述N表示所述第一位置数据所涉及的目标人体的身体部位的个数，还表示所述第二位置数据所涉及的示范人体的身体部位的个数；
所述
表示所述第一位置数据所涉及的目标人体的各个身体部位对应的权重；
还用于采用式子（2）计算所述目标人体的动作规范度：
其中，所述D表示目标人体的动作规范度；
所述α表示所述第一位置数据与所述第二位置数据的差异所对应的权重；
所述D1表示所述第一位置数据与所述第二位置数据的差异；
所述β表示所述目标人体的四肢运动方向与所述示范人体的四肢运动方向的差异所对应的权重；
所述L表示所述目标人体的四肢中运动方向与所述示范人体对应四肢运动方向不同的肢体数量。
在一种可能的实施方式中，上述装置还包括：
第一放大显示模块，用于根据所述运动建议，确定所述目标人体与示范人体的至少一个差异动作；利用所述第二动作特征数据，从所述至少一个差异动作中确定关键差异动作；分别确定各个所述原始视频文件对所述关键差异动作的第一可视度；将所述第一可视度最高的原始视频文件进行放大显示。
在一种可能的实施方式中，上述装置还包括：
第二放大显示模块，用于确定所述第二动作特征数据中的关键特征；分别确定各个所述原始视频文件对所述关键特征的第二可视度；将所述第二可视度最高的原始视频文件进行放大显示。
在一种可能的实施方式中，上述装置还包括：
第三放大显示模块，用于接收语音信号；对所述语音信号进行语音识别，确定对应的第一放大显示指令；将所述第一放大显示指令所指示的原始视频文件进行放大显示。
在一种可能的实施方式中，上述装置还包括：
第四放大显示模块，用于对所述原始视频文件进行手势识别，确定所述目标人体的手势；根据所述目标人体的手势，查找预先保存的手势与拍摄位置的对应关系，确定与所述目标人体的手势对应的拍摄位置；从所述设置于不同位置的摄像装置中，确定与所述拍摄位置最接近的第一摄像装置；将所述第一摄像装置拍摄得到的原始视频文件进行放大显示。
在一种可能的实施方式中，上述装置还包括：
正确位置显示模块，用于根据所述目标人体的第二动作特征数据和/或所述运动建议，在被放大显示的原始视频文件上显示与所述第二动作特征数据和/或所述运动建议相关的身体部位的正确位置。
在一种可能的实施方式中，上述装置还包括：
第二动作特征数据提取模块，用于获取显示所述示范人体的第一示范视频文件；从所述第一示范视频文件中提取所述示范人体的第二动作特征数据。
在一种可能的实施方式中，上述装置还包括：
调整模块，用于根据所述动作规范度，以及所述目标人体的心率、血压和能量消耗量中的至少一项，对所述第一示范视频文件的播放速度、对应的背景音乐、对应的语音内容、对应的语速中的至少一项进行调整。
在一种可能的实施方式中，上述调整模块用于，将所述动作规范度及所述目标人体的心率、血压和能量消耗量中的至少一项输入预先训练的神经网络模型，由所述神经网络模型输出对第一示范视频文件的播放速度、对应的背景音乐、对应的语音内容、对应的语速中的至少一项的调整参数；根据所述调整参数对所述第一示范视频文件的播放速度、对应的背景音乐、对应的语音内容、对应的语速中的至少一项进行调整。
在一种可能的实施方式中，上述装置还包括：
异常提醒模块，用于在所述动作规范度低于预先设定的规范度阈值，并且低于所述规范度阈值的持续时长或累计时长达到预先设定的时间阈值的情况下，提示动作异常信息。
在一种可能的实施方式中，上述装置还包括：
示范视频更新模块，用于接收用户的动作更换指令；根据所述动作更换指令，获取比所述第一示范视频文件的动作难度低的多个第二示范视频文件；显示各个所述第二示范视频文件的相关信息；接收用户的视频选择指令，所述视频选择指令中指示用户选择的一个所述第二示范视频文件；根据所述视频选择指令，播放所述视频选择指令所指示的第二示范视频文件。
在一种可能的实施方式中，上述合成模块920用于，生成多个立体图像，将所述多个立体图像构成所述立体视频文件；其中，生成单个立体图像的方式包括：分别从所述多个原始视频文件中提取当前视频帧；分别对每个所述当前视频帧进行特征点检测，根据检测结果确定各个所述当前视频帧之间的多个匹配点；根据各个所述摄像装置的内外参数及所述多个匹配点的坐标，确定所述多个匹配点的三维空间坐标；利用所述多个匹配点的三维空间坐标及所述当前视频帧，生成所述当前视频帧对应的立体图像。
需要说明的是，本公开实施例中对各功能单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。在本公开的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)或处理器(processor)执行本公开各个实施例提供的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
图10为根据本公开一实施例的电子设备的结构框图。如图10所示，该电子设备包括：存储器1010和处理器1020，存储器1010内存储有可在处理器1020上运行的计算机程序。存储器1010和处理器1020的数量可以为一个或多个。存储器1010可以存储一个或多个计算机程序，当该一个或多个计算机程序被该电子设备执行时，使得该电子设备执行上述方法实施例提供的方法。
该电子设备还包括：
通信接口1030，用于与外界设备进行通信，进行数据交互传输。
如果存储器1010、处理器1020和通信接口1030独立实现，则存储器1010、处理器1020和通信接口1030可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(PeripheralComponent Interconnect，PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture ，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，在具体实现上，如果存储器1010、处理器1020及通信接口1030集成在一块芯片上，则存储器1010、处理器1020及通信接口1030可以通过内部接口完成相互间的通信。
本公开实施例还提供一种计算机可读存储介质，其存储有计算机指令，当所述计算机指令在计算机上运行时，使得所述计算机执行上述方法实施例提供的方法。
本公开实施例还提供一种计算机程序产品，所述计算机程序产品用于存储计算机程序，该计算机程序被计算机执行时，所述计算机可以实现上述方法实施例提供的方法。
本公开实施例还提供一种芯片，所述芯片与存储器耦合，所述芯片用于实现上述方法实施例提供的方法。
应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(Advanced RISC Machines，ARM)架构的处理器。
进一步地，可选地，上述存储器可以包括只读存储器和随机存取存储器，还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以包括随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用。例如，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic Random Access Memory ，DRAM) 、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Date SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct RAMBUS RAM，DR RAM)。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如：同轴电缆、光纤、数据用户线(Digital Subscriber Line，DSL))或无线(例如：红外、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如：软盘、硬盘、磁带)、光介质(例如：数字通用光盘(Digital Versatile Disc，DVD))或半导体介质(例如：固态硬盘(Solid State Disk，SSD))等。值得注意的是，本公开提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本公开实施例的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本公开的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本公开实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
在本公开实施例的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
以上所述仅为本公开的示例性实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (19)
1.一种动作分析方法，其特征在于，包括：
获取目标人体的多个原始视频文件；每个所述原始视频文件分别由设置于不同位置的摄像装置对所述目标人体进行同步拍摄而得到；
将所述多个原始视频文件进行合成，得到立体视频文件；
从所述多个原始视频文件和所述立体视频文件中提取所述目标人体的第一动作特征数据；所述第一动作特征数据包括目标人体的多个身体部位相对于脊柱的第一位置数据；
将所述第一动作特征数据与示范人体的第二动作特征数据进行比较；所述第二动作特征包括示范人体的多个身体部位相对于脊柱的第二位置数据、以及所述示范人体的四肢运动方向；
根据比较的结果以及从佩戴于所述目标人体四肢的四个可穿戴设备接收的身体数据，生成运动建议；其中，所述身体数据包括所述目标人体的四肢运动方向，还包括所述目标人体的心率、血压和能量消耗量中的至少一项；
提示所述运动建议，并显示所述多个原始视频文件及所述立体视频文件中的至少一个；
其中，所述根据比较的结果以及从佩戴于所述目标人体四肢的四个可穿戴设备接收的身体数据，生成运动建议，包括：
根据所述第一位置数据与所述第二位置数据的差异、以及所述目标人体的四肢运动方向与所述示范人体的四肢运动方向的差异，计算所述目标人体的动作规范度；根据所述动作规范度生成所述运动建议；
其中，采用式子（2）计算所述目标人体的动作规范度：
其中，所述D表示目标人体的动作规范度；所述表示所述α第一位置数据与所述第二位置数据的差异所对应的权重；所述D1表示所述第一位置数据与所述第二位置数据的差异；所述β表示所述目标人体的四肢运动方向与所述示范人体的四肢运动方向的差异所对应的权重；所述L表示所述目标人体的四肢中运动方向与所述示范人体对应四肢运动方向不同的肢体数量。
2.根据权利要求1所述的方法，其特征在于，所述多个身体部位包括：头部、左手、左手腕、左肘、左肩、右手、右手腕、右肘、右肩、左臀、右臀、左膝、左脚踝、左脚、右膝、右脚踝、右脚中的至少一项；所述第一位置数据或所述第二位置数据包括：所述身体部位在三维直角坐标系中的坐标与所述脊柱在三维直角坐标系中的坐标的位置关系。
3.根据权利要求2所述的方法，其特征在于，采用式子（1）计算所述第一位置数据与所述第二位置数据的差异：
其中，所述D1表示所述第一位置数据与所述第二位置数据的差异；
所述
表示所述目标人体的第n个身体部位相对于所述目标人体的脊柱在三维直角坐标系的X轴方向的偏移角度；
所述
表示所述目标人体的第n个身体部位相对于所述目标人体的脊柱在三维直角坐标系的Y轴方向的偏移角度；
所述
表示所述目标人体的第n个身体部位相对于所述目标人体的脊柱在三维直角坐标系的Z轴方向的偏移角度；
所述
表示所述示范人体的第n个身体部位相对于所述示范人体的脊柱在三维直角坐标系的X轴方向的偏移角度；
所述
表示所述示范人体的第n个身体部位相对于所述示范人体的脊柱在三维直角坐标系的Y轴方向的偏移角度；
所述
表示所述示范人体的第n个身体部位相对于所述示范人体的脊柱在三维直角坐标系的Z轴方向的偏移角度；
所述n为自然数；
所述N表示所述第一位置数据所涉及的目标人体的身体部位的个数，还表示所述第二位置数据所涉及的示范人体的身体部位的个数；
所述
表示所述第一位置数据所涉及的目标人体的各个身体部位对应的权重。
4.根据权利要求1所述的方法，其特征在于，还包括：
根据所述运动建议，确定所述目标人体与示范人体的至少一个差异动作；
利用所述第二动作特征数据，从所述至少一个差异动作中确定关键差异动作；
分别确定各个所述原始视频文件对所述关键差异动作的第一可视度；
将所述第一可视度最高的原始视频文件进行放大显示。
5.根据权利要求1或4所述的方法，其特征在于，还包括：
确定所述第二动作特征数据中的关键特征；
分别确定各个所述原始视频文件对所述关键特征的第二可视度；
将所述第二可视度最高的原始视频文件进行放大显示。
6.根据权利要求1或4所述的方法，其特征在于，还包括：
接收语音信号；
对所述语音信号进行语音识别，确定对应的第一放大显示指令；
将所述第一放大显示指令所指示的原始视频文件进行放大显示。
7.根据权利要求1或4所述的方法，其特征在于，还包括：
对所述原始视频文件进行手势识别，确定所述目标人体的手势；
根据所述目标人体的手势，查找预先保存的手势与拍摄位置的对应关系，确定与所述目标人体的手势对应的拍摄位置；
从所述设置于不同位置的摄像装置中，确定与所述拍摄位置最接近的第一摄像装置；
将所述第一摄像装置拍摄得到的原始视频文件进行放大显示。
8.根据权利要求1至3中任一所述的方法，其特征在于，还包括：
根据所述目标人体的第二动作特征数据和/或所述运动建议，在被放大显示的原始视频文件上显示与所述第二动作特征数据和/或所述运动建议相关的身体部位的正确位置。
9.根据权利要求2所述的方法，其特征在于，在所述将所述第一动作特征数据与示范人体的第二动作特征数据进行比较之前，还包括：
获取显示所述示范人体的第一示范视频文件；
从所述第一示范视频文件中提取所述示范人体的第二动作特征数据。
10.根据权利要求9所述的方法，其特征在于，还包括：
根据所述动作规范度，以及所述目标人体的心率、血压和能量消耗量中的至少一项，对所述第一示范视频文件的播放速度、对应的背景音乐、对应的语音内容、对应的语速中的至少一项进行调整。
11.根据权利要求10所述的方法，其特征在于，所述调整包括：
将所述动作规范度及所述目标人体的心率、血压和能量消耗量中的至少一项输入预先训练的神经网络模型，由所述神经网络模型输出对第一示范视频文件的播放速度、对应的背景音乐、对应的语音内容、对应的语速中的至少一项的调整参数；
根据所述调整参数对所述第一示范视频文件的播放速度、对应的背景音乐、对应的语音内容、对应的语速中的至少一项进行调整。
12.根据权利要求11所述的方法，其特征在于，还包括：
在所述动作规范度低于预先设定的规范度阈值，并且低于所述规范度阈值的持续时长或累计时长达到预先设定的时间阈值的情况下，提示动作异常信息。
13.根据权利要求12所述的方法，其特征在于，还包括：
接收用户的动作更换指令；
根据所述动作更换指令，获取比所述第一示范视频文件的动作难度低的多个第二示范视频文件；
显示各个所述第二示范视频文件的相关信息；
接收用户的视频选择指令，所述视频选择指令中指示用户选择的一个所述第二示范视频文件；
根据所述视频选择指令，播放所述视频选择指令所指示的第二示范视频文件。
14.根据权利要求1所述的方法，其特征在于，所述将所述多个原始视频文件进行合成，得到立体视频文件，包括：
生成多个立体图像，将所述多个立体图像构成所述立体视频文件；其中，生成单个立体图像的方式包括：
分别从所述多个原始视频文件中提取当前视频帧；
分别对每个所述当前视频帧进行特征点检测，根据检测结果确定各个所述当前视频帧之间的多个匹配点；
根据各个所述摄像装置的内外参数及所述多个匹配点的坐标，确定所述多个匹配点的三维空间坐标；
利用所述多个匹配点的三维空间坐标及所述当前视频帧，生成所述当前视频帧对应的立体图像。
15.一种动作分析装置，其特征在于，包括：
原始视频获取模块，用于获取目标人体的多个原始视频文件；每个所述原始视频文件分别由设置于不同位置的摄像装置对所述目标人体进行同步拍摄而得到；
合成模块，用于将所述多个原始视频文件进行合成，得到立体视频文件；
第一提取模块，用于从所述多个原始视频文件和所述立体视频文件中提取所述目标人体的第一动作特征数据；所述第一动作特征数据包括目标人体的多个身体部位相对于脊柱的第一位置数据；
比较模块，用于将所述第一动作特征数据与示范人体的第二动作特征数据进行比较；所述第二动作特征包括示范人体的多个身体部位相对于脊柱的第二位置数据、以及所述示范人体的四肢运动方向；
运动建议生成模块，用于根据比较的结果以及从佩戴于所述目标人体四肢的四个可穿戴设备接收的身体数据，生成运动建议；其中，所述身体数据包括所述目标人体的四肢运动方向，还包括所述目标人体的心率、血压和能量消耗量中的至少一项；具体用于根据所述第一位置数据与所述第二位置数据的差异、以及所述目标人体的四肢运动方向与所述示范人体的四肢运动方向的差异，计算所述目标人体的动作规范度；根据所述动作规范度生成所述运动建议；其中，采用式子（2）计算所述目标人体的动作规范度：
其中，所述D表示目标人体的动作规范度；所述α表示所述第一位置数据与所述第二位置数据的差异所对应的权重；所述D1表示所述第一位置数据与所述第二位置数据的差异；所述β表示所述目标人体的四肢运动方向与所述示范人体的四肢运动方向的差异所对应的权重；所述L表示所述目标人体的四肢中运动方向与所述示范人体对应四肢运动方向不同的肢体数量；
提示模块，用于提示所述运动建议，并显示所述多个原始视频文件及所述立体视频文件中的至少一个。
16.根据权利要求15所述的装置，其特征在于，所述多个身体部位包括：头部、左手、左手腕、左肘、左肩、右手、右手腕、右肘、右肩、左臀、右臀、左膝、左脚踝、左脚、右膝、右脚踝、右脚中的至少一项；所述第一位置数据或所述第二位置数据包括：所述身体部位在三维直角坐标系中的坐标与所述脊柱在三维直角坐标系中的坐标的位置关系。
17.根据权利要求16所述的装置，其特征在于，所述运动建议生成模块，用于采用式子（1）计算所述第一位置数据与所述第二位置数据的差异：
其中，所述D1表示所述第一位置数据与所述第二位置数据的差异；
所述
表示所述目标人体的第n个身体部位相对于所述目标人体的脊柱在三维直角坐标系的X轴方向的偏移角度；
所述
表示所述目标人体的第n个身体部位相对于所述目标人体的脊柱在三维直角坐标系的Y轴方向的偏移角度；
所述
表示所述目标人体的第n个身体部位相对于所述目标人体的脊柱在三维直角坐标系的Z轴方向的偏移角度；
所述
表示所述示范人体的第n个身体部位相对于所述示范人体的脊柱在三维直角坐标系的X轴方向的偏移角度；
所述
表示所述示范人体的第n个身体部位相对于所述示范人体的脊柱在三维直角坐标系的Y轴方向的偏移角度；
所述
表示所述示范人体的第n个身体部位相对于所述示范人体的脊柱在三维直角坐标系的Z轴方向的偏移角度；
所述n为自然数；
所述N表示所述第一位置数据所涉及的目标人体的身体部位的个数，还表示所述第二位置数据所涉及的示范人体的身体部位的个数；
所述
表示所述第一位置数据所涉及的目标人体的各个身体部位对应的权重。
18.一种电子设备，其特征在于，包括：
一个或多个处理器；
与所述一个或多个处理器通信连接的存储器；
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，当所述一个或多个计算机程序被所述电子设备执行时，使得所述电子设备执行如权利要求1至14中任一项所述的方法。
19.一种计算机可读存储介质，其特征在于，其存储有计算机指令，当所述计算机指令在计算机上运行时，使得所述计算机执行如权利要求1至14中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111251381.7A CN113691867B (zh) | 2021-10-27 | 2021-10-27 | 动作分析方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111251381.7A CN113691867B (zh) | 2021-10-27 | 2021-10-27 | 动作分析方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113691867A CN113691867A (zh) | 2021-11-23 |
| CN113691867B true CN113691867B (zh) | 2022-01-18 |
Family
ID=78588262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111251381.7A Active CN113691867B (zh) | 2021-10-27 | 2021-10-27 | 动作分析方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113691867B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017113183A1 (zh) * | 2015-12-30 | 2017-07-06 | 深圳市大疆创新科技有限公司 | 无人机飞行体验方法、装置、系统以及无人机 |
| CN207854076U (zh) * | 2018-02-25 | 2018-09-11 | 上海焱才信息科技有限公司 | 健身房的全方位摄像装置 |
| CN108525261A (zh) * | 2018-05-22 | 2018-09-14 | 深圳市赛亿科技开发有限公司 | 一种智能镜子健身指导方法及系统 |
| CN110327591A (zh) * | 2019-06-12 | 2019-10-15 | 广州医科大学附属第一医院（广州呼吸中心） | 一种膝关节康复训练的指导和评估方法及系统 |
| CN112805073A (zh) * | 2018-08-07 | 2021-05-14 | 交互力量公司 | 带镜面显示器的交互式健身器系统 |
| CN113018831A (zh) * | 2021-04-15 | 2021-06-25 | 上海兽鸟智能科技有限公司 | 一种智能健身镜及其使用方法 |
| CN113327662A (zh) * | 2021-04-15 | 2021-08-31 | 上海兽鸟智能科技有限公司 | 一种基于物联网的智能家居健身镜及其控制方法 |
-
2021
- 2021-10-27 CN CN202111251381.7A patent/CN113691867B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017113183A1 (zh) * | 2015-12-30 | 2017-07-06 | 深圳市大疆创新科技有限公司 | 无人机飞行体验方法、装置、系统以及无人机 |
| CN207854076U (zh) * | 2018-02-25 | 2018-09-11 | 上海焱才信息科技有限公司 | 健身房的全方位摄像装置 |
| CN108525261A (zh) * | 2018-05-22 | 2018-09-14 | 深圳市赛亿科技开发有限公司 | 一种智能镜子健身指导方法及系统 |
| CN112805073A (zh) * | 2018-08-07 | 2021-05-14 | 交互力量公司 | 带镜面显示器的交互式健身器系统 |
| CN110327591A (zh) * | 2019-06-12 | 2019-10-15 | 广州医科大学附属第一医院（广州呼吸中心） | 一种膝关节康复训练的指导和评估方法及系统 |
| CN113018831A (zh) * | 2021-04-15 | 2021-06-25 | 上海兽鸟智能科技有限公司 | 一种智能健身镜及其使用方法 |
| CN113327662A (zh) * | 2021-04-15 | 2021-08-31 | 上海兽鸟智能科技有限公司 | 一种基于物联网的智能家居健身镜及其控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113691867A (zh) | 2021-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10898755B2 (en) | Method for providing posture guide and apparatus thereof | |
| CN111263953B (zh) | 动作状态评估系统及其装置、服务器、方法以及存储介质 | |
| CN110321754B (zh) | 一种基于计算机视觉的人体运动姿态纠正方法及系统 | |
| US8878922B2 (en) | Video image information processing apparatus and video image information processing method | |
| JP6045139B2 (ja) | 映像生成装置、映像生成方法及びプログラム | |
| EP2982422A1 (en) | Body-motion assessment device, dance assessment device, karaoke device, and game device | |
| WO2020042542A1 (zh) | 眼动控制校准数据获取方法和装置 | |
| CN101453943B (zh) | 图像记录装置和图像记录方法 | |
| JP2007293818A (ja) | 画像記録装置、画像記録方法、および画像記録プログラム | |
| JP7235133B2 (ja) | 運動認識方法、運動認識プログラムおよび情報処理装置 | |
| JP2005198818A (ja) | 身体動作の学習支援システム及び学習支援方法 | |
| JP2007289656A (ja) | 画像記録装置、画像記録方法、および画像記録プログラム | |
| CN113856186B (zh) | 一种引体向上动作判定与计数的方法、系统及装置 | |
| US20200168311A1 (en) | Methods and systems of embodiment training in a virtual-reality environment | |
| CN114022512A (zh) | 运动辅助方法、装置及介质 | |
| JP2007289657A (ja) | 画像記録装置、画像記録方法、および画像記録プログラム | |
| JP2017047105A (ja) | エクササイズメニュー提供システムおよびエクササイズメニュー提供方法 | |
| CN113691867B (zh) | 动作分析方法、装置、电子设备及存储介质 | |
| CN114303142A (zh) | 影像生成装置 | |
| CN111134693A (zh) | 基于虚拟现实技术的自闭症儿童辅助检测方法、系统及终端 | |
| JP7169718B1 (ja) | 情報処理方法、装置及びプログラム | |
| CN113842622B (zh) | 一种运动教学方法、装置、系统、电子设备及存储介质 | |
| CN115862810B (zh) | 具有量化评估功能的vr康复训练方法及系统 | |
| Yang et al. | Wushu movement evaluation method based on Kinect | |
| JP2023127639A (ja) | 情報処理方法、装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Room 410-1, floor 4, building 1, courtyard 10, North Longyu street, Changping District, Beijing 100085 Patentee after: Beijing chuangmizhihui IOT Technology Co.,Ltd. Patentee after: Shanghai chuangmi Shulian Intelligent Technology Development Co.,Ltd. Address before: Room 410-1, floor 4, building 1, courtyard 10, North Longyu street, Changping District, Beijing 100085 Patentee before: Beijing chuangmizhihui IOT Technology Co.,Ltd. Patentee before: SHANGHAI CHUANGMI TECHNOLOGY Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230607 Address after: Room 001a, 11 / F, building 1, 588 Zixing Road, Minhang District, Shanghai, 200241 Patentee after: Shanghai chuangmi Shulian Intelligent Technology Development Co.,Ltd. Address before: Room 410-1, floor 4, building 1, courtyard 10, North Longyu street, Changping District, Beijing 100085 Patentee before: Beijing chuangmizhihui IOT Technology Co.,Ltd. Patentee before: Shanghai chuangmi Shulian Intelligent Technology Development Co.,Ltd. |
|
| TR01 | Transfer of patent right |