CN110012311A - 一种动作指导音视频播放方法、装置和系统 - Google Patents
一种动作指导音视频播放方法、装置和系统 Download PDFInfo
- Publication number
- CN110012311A CN110012311A CN201910378509.2A CN201910378509A CN110012311A CN 110012311 A CN110012311 A CN 110012311A CN 201910378509 A CN201910378509 A CN 201910378509A CN 110012311 A CN110012311 A CN 110012311A
- Authority
- CN
- China
- Prior art keywords
- audio
- cardon
- parameter
- action
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 235000011464 Pachycereus pringlei Nutrition 0.000 claims abstract description 122
- 240000006939 Pachycereus weberi Species 0.000 claims abstract description 122
- 235000011466 Pachycereus weberi Nutrition 0.000 claims abstract description 122
- 239000000463 material Substances 0.000 claims abstract description 112
- 230000033001 locomotion Effects 0.000 claims description 81
- 238000004458 analytical method Methods 0.000 claims description 23
- 230000006978 adaptation Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000036772 blood pressure Effects 0.000 claims description 3
- 238000000151 deposition Methods 0.000 claims 1
- 230000015572 biosynthetic process Effects 0.000 abstract description 5
- 238000003786 synthesis reaction Methods 0.000 abstract description 5
- 238000013467 fragmentation Methods 0.000 abstract description 3
- 238000006062 fragmentation reaction Methods 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 46
- 238000012549 training Methods 0.000 description 15
- 230000000386 athletic effect Effects 0.000 description 7
- 206010012601 diabetes mellitus Diseases 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 4
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 239000012634 fragment Substances 0.000 description 4
- 230000033764 rhythmic process Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Computer Security & Cryptography (AREA)
- Computer Graphics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种动作指导音视频播放方法、装置和系统。该系统服务端通过用户信息生成由动作控制块表述的动作指导音视频。动作控制块包括动图参数和音频参数。动图参数包括动图的素材参数和控制参数。音频参数包括音频的素材参数和控制参数。客户端播放时，按照动作控制块中动图的控制参数和音频的控制参数，将根据动图的素材参数和音频的素材参数从服务端下载的动图文件和声音文件提交至播放器进行播放，使得播放器在播放过程中将各个动作控制块的动图文件和声音文件呈现为连续视频。本发明依据用户的基本信息，由碎片化的基础动图文件和声音，合成符合每位用户个性化需求的连续动作指导音视频，并可实时调整变化视频及音频的内容。
Description
技术领域
本发明涉及视频处理技术。
背景技术
在某些系统中，比如糖尿病运动康复平台系统、个人运动健康管理平台系统或者舞蹈、武术、体操等的动作分解教学系统，需要根据个人情况定制个性化的动作指导视频。比如，在糖尿病运动康复平台系统中需要根据糖尿病病人的基本信息结合与糖尿病相关的信息生成个性化的慢病运动康复计划。该运动康复计划包含了个性化的动作指导视频。再比如，在个人运动健康管理平台系统中，需要根据个人的年龄、性别、职业等各种信息生成个性化的运动计划。该运动计划包含了个性化的动作指导视频。再比如在舞蹈动作分解教学系统中，需要根据个人与舞蹈素养相关的信息，生成个性化的舞蹈动作分解教学视频。该舞蹈动作分解教学视频同样是一种动作指导视频。这种动作指导视频由一个个不同的视频片段和音频片段合成，从而达到千人千面的效果。现有技术中，这种动作指导视频通常由服务端将一个个不同的视频片段和音频片段合成一个整体的动作指导视频，然后由客户端下载播放。这种方式存在以下缺陷：1、服务端需要保存合成的动作指导视频备份，增加了服务器存储的负担。2、整个动作指导视频需要通过网络传输，对网络传输要求比较大。3、由于视频是固定了的，因此不能实时调整播放速度，使得用户对照动作指导视频进行运动时，可能无法跟上动作指导视频的节奏。
发明内容
本发明所要解决的问题：背景技术中，现有动作指导视频所存在的缺陷。
为解决上述问题，本发明采用的方案如下：
进一步，根据本发明的一种动作指导音视频播放方法，该方法包括以下步骤：
S1：获取以动作控制块表述的动作指导音视频；所述动作控制块包括动图参数和音频参数；所述动图参数包括动图的素材参数和动图的控制参数；所述音频参数包括音频的素材参数和音频的控制参数；
S2：根据动作控制块中动图的素材参数和音频的素材参数提取相应的动图文件和声音文件；
S3：按照动作控制块中动图的控制参数和音频的控制参数，将相应的动图文件和声音文件提交至播放器进行播放，使得播放器在播放过程中将各个动作控制块的动图文件和声音文件呈现为连续音视频的播放。
进一步，根据本发明的动作指导音视频播放方法，所述动图文件通过摄像机以高于标准帧速的帧速拍摄获得；所述步骤S3中，所述动图文件提交至播放器进行播放时，还包括帧速适配处理步骤；所述帧速适配处理步骤通过删除、填补一些图像帧使得播放器能够以标准帧速进行播放，并通过所删除或填补的图像帧数量的多少调制所述动图文件的播放速度。
进一步，根据本发明的动作指导音视频播放方法，还包括用户动作节拍分析步骤；所述用户动作节拍分析步骤：通过采集传感器数据分析用户的动作节拍，然后将该动作节拍和当前所播放的动作控制块的所对应的节拍进行比较；倘若两者不相符合，则调整动作控制器当前动图文件的播放速度。
根据本发明的一种动作指导音视频播放装置，该装置包括以下模块：
M1，用于：获取以动作控制块表述的动作指导音视频；所述动作控制块包括动图参数和音频参数；所述动图参数包括动图的素材参数和动图的控制参数；所述音频参数包括音频的素材参数和音频的控制参数；
M2，用于：根据动作控制块中动图的素材参数和音频的素材参数提取相应的动图文件和声音文件；
M3，用于：按照动作控制块中动图的控制参数和音频的控制参数，将相应的动图文件和声音文件提交至播放器进行播放，使得播放器在播放过程中将各个动作控制块的动图文件和声音文件呈现为连续音视频的播放。
进一步，根据本发明的动作指导音视频播放装置，所述动图文件通过摄像机以高于标准帧速的帧速拍摄获得；该装置还包括帧速适配器；所述帧速适配器用于动图文件提交至播放器进行播放时，通过删除、填补一些图像帧使得播放器能够以标准帧速进行播放，并通过所删除或填补的图像帧数量的多少调制动图文件的播放速度。
进一步，根据本发明的动作指导音视频播放装置，还包括节拍分析器；所述节拍分析器用于：通过采集传感器数据分析用户的动作节拍，然后将该动作节拍和当前所播放的动作控制块的所对应的节拍进行比较；倘若两者不相符合，则调整动作控制器当前动图文件的播放速度。
进一步，根据本发明的动作指导音视频播放装置，还包括心率监控器；所述心率监控器用于通过传感器检测用户的运动的心率和血压，并将心率当前所播放的动作控制块的所对应的心率参数进行比较，并由此确定是否达到运动目标。
根据本发明的一种动作指导音视频播放系统，该系统包括服务端和客户端；所述服务端包括用户信息管理模块、动作块生成模块和素材数据库；所述用户信息管理模块用于存储用户信息；所述动作块生成模块用于根据所述用户信息管理模块所存储的用户信息生成相应的由动作控制块表述的动作指导音视频；所述动作控制块包括动图参数和音频参数；所述动图参数包括动图的素材参数和动图的控制参数；所述音频参数包括音频的素材参数和音频的控制参数；所述素材数据库用于存储素材，并为客户端提供素材下载服务；所述素材包括动图文件和声音文件；所述客户端包括：素材管理器、动作块接收器、动作控制器和播放器；所述素材管理器用于根据动作控制块的素材参数从服务端下载相应素材，并通过客户端本地缓存库缓存素材；所述动作块接收器用于从服务端接收动作块生成模块所生成的由动作控制块表述的动作指导音视频；所述动作控制器用于：按照动作控制块中动图的控制参数和音频的控制参数，将相应的动图文件和声音文件提交至播放器进行播放，使得播放器在播放过程中将各个动作控制块的动图文件和声音文件呈现为连续音视频的播放。
进一步，根据本发明的动作指导音视频播放系统，所述动图文件通过摄像机以高于标准帧速的帧速拍摄获得；该装置还包括帧速适配器；所述帧速适配器用于动图文件提交至播放器进行播放时，通过删除、填补一些图像帧使得播放器能够以标准帧速进行播放，并通过所删除或填补的图像帧数量的多少调制动图文件的播放速度。
进一步，根据本发明的动作指导音视频播放系统，所述客户端还包括节拍分析器；所述节拍分析器用于：通过采集传感器数据分析用户的动作节拍，然后将该动作节拍和当前所播放的动作控制块的所对应的节拍进行比较；倘若两者不相符合，则调整动作控制器当前动图文件的播放速度。
本发明的技术效果如下：
1、本发明依据用户的基本信息，由碎片化的基础动图文件和声音，合成符合每位用户个性化需求的连续动作指导音视频，并可实时调整变化视频及音频的内容。
2、由于本发明动作指导音视频通过动作控制块表述，因此服务端保存备份时，所要求的存储空间大大减少。
3、由动作控制块表述的动作指导音视频中，动作控制块中的碎片视频存在重复，因此重复的碎片视频不需要重复下载，由此大大减少了网络传输负担。
4、本发明依据用户动作节拍分析，能够实时调整播放速度，从而使得当用户运动无法跟上动作指导音视频中所播放的动作节奏时，本发明能够自动降低播放速度，以便于用户运动能够跟上动作指导音视频的动作节奏。
附图说明
图1是本发明动作指导音视频播放系统实施例的结构示意图。图中，点画线之上表示为服务端，点画线之下表示为客户端。
图2是本发明实施例中的动作控制块的示例。
具体实施方式
下面结合附图对本发明做进一步详细说明。
如图1所示，一种动作指导音视频播放系统，该系统用于播放为用户提供动作指导的视频，比如运动康复训练中的训练动作指导，舞蹈或者体操动作教学动作指导等。该系统包括服务端和客户端。其中，服务端至少包括三个模块：用户信息管理模块21、动作块生成模块22和素材数据库23。用户信息管理模块21用于存储用户信息。动作块生成模块22用于根据用户信息管理模块21所存储的用户信息生成相应的动作控制块表述的动作指导音视频。素材数据库23用于存储素材，并为客户端提供素材下载服务。客户端至少包括素材管理器11、动作块接收器12、动作控制器13和播放器14。素材管理器11用于根据动作控制块的素材参数从服务端下载相应素材，必要时通过客户端本地缓存库111缓存素材。动作块接收器12用于从服务端接收动作块生成模块22所生成的动作控制块表述的动作指导音视频。动作控制器13用于解析动作控制块并根据动作控制块中的控制参数控制播放器14播放相应的素材。播放器14用于播放素材。
本实施例中，素材包括片段视频、动图文件和音频文件。动图文件本发明中是指无声视频片段，而片段视频则是自带有声音的短时间的传统视频的片段。本领域技术人员理解，动图文件也可以是GIF动态图像。
用户信息根据本系统应用场合所确定。比如，本系统应用在糖尿病病人运动康复中时，用户信息除了包括年龄、性别、身高、体重、职业等基本信息之外，还包括与糖尿病相关的信息，诸如血压数据、晨脉心率、以及各个时段的血糖数据等信息。动作块生成模块22根据这些用户信息生成糖尿病病人运动康复计划。该运动康复计划覆盖一段比较长的时期，比如一个月或三个月的时间。在这较长时期内，该运动康复计划给出了按一定时间间隔的进行运动康复方案。每次运动，该运动康复计划给出了相应特别定制的运动指导音视频。再比如，本系统应用在某舞蹈动作教学视频中时，用户信息除了包括年龄、性别、身高、体重等基本信息之外，还包括与舞蹈素养相关的信息，诸如学会的舞蹈个数、基本舞蹈动作熟练度等信息。动作块生成模块22根据这些用户信息生成该舞蹈动作教学视频。前述运动康复计划中的运动指导音视频以及舞蹈动作教学视频在本发明中即为动作指导音视频。
不同于传统意义上的视频，本发明由动作块生成模块22所生成的动作指导音视频并不是能够直接由播放器进行播放的传统视频，而是包含了若干动作控制块。也就是说，动作块生成模块22生成动作控制块。每个动作控制块包括素材参数和控制参数。其中，素材参数可以是传统的视频文件、动图文件或音频文件，也可以是动作参数。当动作控制块中的素材参数为动作参数时，动作控制器13根据动作参数提取相应的素材，然后根据动作控制块的控制参数控制播放器14播放相应的素材。动作控制块的素材参数为传统的视频文件时，该视频文件也仅仅是一个短时间的视频片段，是碎片化的视频片段，因此称片段视频。最终的动作指导音视频在动作控制器13的控制下，由播放器14播放过程中，通过各个动作控制块所对应的素材拼凑而呈现为连续音视频的播放。
动作块生成模块22生成的动作控制块通常有多个。多个动作控制块共同表述一个动作指导音视频。也就是说，本发明中，动作指导音视频由若干动作控制块所组成，并通过XML格式或者JSON格式进行表述。图2是通过XML格式进行表述的动作指导音视频示例，由动作块生成模块22所生成。该动作指导音视频包括基本参数和若干动作组。每个动作组由若干动作控制块所组成。
图2示例中，标签title所定义的视频主题为基本参数，标签scheduleModules所定义的是为动作组，标签actionModule定义了动作控制块。动作组作为若干动作控制块的组合，可以视为动作控制块的扩展。动作组loopNumber标签所定义的循环次数3表示该动作组中的各个动作控制块重复3次，等价于动作组中的各个动作控制块连续复制粘贴三次。也就是说，动作组本质上还是动作控制块。
图2示例中，动作控制块包括阶段类型、动图参数、音频参数和心率监控参数。标签subSectionType所定义的即为阶段类型，标签videoInfo所定义的即为动图参数，标签voiceInfos和voiceInfo所定义的即为音频参数，标签maxHeartRate、averageHeartRate和heartRateTarget所定义的即为心率监控参数。动作控制块的阶段类型用于定义当前动作控制块在整个动作指导音视频所处的阶段。本实施例系统，阶段类型分：热身阶段、休息阶段、训练阶段和放松阶段。图2示例中的training表示训练阶段，rest表示休息阶段，也就是图2示例定义了一个训练阶段的动作控制块和一个休息阶段的动作控制块。训练阶段的动作控制块的标签videoInfo下的标签bodyPart、trainingType、intensity、frequency、weight分别定义了动作的身体部位、训练类型、运动强度、运动节拍和运动负荷。身体部位、训练类型、运动强度、运动节拍和运动负荷即为前述的动作参数方式的素材参数。动作控制器13根据身体部位、训练类型、运动强度、运动节拍和运动负荷等动作参数，通过素材管理器11获取相应的动图文件，也就是素材。此外，标签frequency所定义的运动节拍同时也是动图文件播放的控制参数，用以表示动图文件播放时所需要控制的播放速度。而在休息阶段的动作控制块的标签videoInfo下的标签videoContent所定义的是视频文件索引，视频文件索引所指向的是片段视频，而标签duration表示该片段视频的播放时间，这同时也表示一组训练阶段的动作后休息180秒。在上述的动图参数中，身体部位、训练类型、运动强度、运动节拍和运动负荷、视频文件索引均属于素材参数；运动节拍和播放时间为控制参数。
每个动作控制块所对应的动图参数只有一个，但音频参数可以有多个，也可以无需音频参数。图2示例中，休息阶段的动作控制块标签videoContent所指向的片段视频为有声视频，因此无需也没有必要附加声音。训练阶段的动作控制块中，根据身体部位、训练类型、运动强度、运动节拍和运动负荷等动作参数所获取的动图文件为无声视频，因此需要添加声音，使得动作指导过程显得更为生动。图2示例的训练阶段的动作控制块中，定义了两组音频参数。其中，第一组音频参数定义了背景声音，第二组音频参数定义了节拍声音。音频参数中的标签voiceType、voiceContent、playType、playPosition、Priority以及rhythmType和playTimes分别定义了声音类型、声音内容、播放类型、播放位置、优先级以及节拍类型和播放次数等参数。其中，声音类型本系统实施例中分为背景声音background、节拍声音rhythm和激励声音三种。背景声音通常是个人喜欢的音乐。节拍声音用于标识动图文件播放的节拍，或者在力量训练中动作次数的数数。激励声音是随机的“加油”，“再接再厉”等激励声音。背景声音中的标签voiceContent定义了音频文件索引。节拍声音中的标签rhythmType为音频文件的动作参数和素材参数，动作控制器13根据标签rhythmType所定义的节拍类型和动图参数中标签frequency所定义的的运动节拍，通过素材管理器11获取相应的音频文件。该音频文件也就是该音频参数中所定义的音频文件。播放类型用于定义音频文件的播放方式，本实施例定义了单次播放、循环播放、多次播放、随机播放四种音频文件的播放方式，其中，标签playType所定义的once表示为单次播放，所定义的loop为循环播放。播放位置定义音频文件什么时候播放。播放位置所定义的位置参数相对于所属的动作控制块而言，标签playPosition中所定义的0表示该动作控制块动图开始播放时。优先级表示多个音频参数的音频文件可能同时播放时所需要进行调度比较的优先级，当多个音频参数的音频文件同时需要播放时，播放具有最高优先级的音频参数中的音频文件。本实施例中，定义了0~10等11个音频文件的优先级。播放次数用于定义音频参数中的音频文件播放次数。当播放类型为循环播放或者多次播放时，才有需要播放次数的参数。标签playTimes所定义的auto表示，该音频文件自动作控制块的动图开始播放开始至动图结束播放后停止循环。在音频参数中，声音内容和节拍类型均为素材参数；播放类型、播放位置、优先级和播放次数均为控制参数。
动作块生成模块22生成动作控制块表述的动作指导音视频一般通过模板结合参数匹配的方式实现，具体实现与本系统应用场合相关，本说明书不再赘述。
动作指导音视频播放过程具体如下：服务端通过动作块生成模块22生成动作控制块表述的动作指导音视频后，发送至客户端。客户端通过动作块接收器12接收由动作控制块表述的动作指导音视频，提交至动作控制器13。客户端然后通过动作控制器13解析动作控制块并根据动作控制块中的控制参数控制播放器14播放相应的素材。动作控制器13的具体处理过程如下：
首先整理并解析各个动作控制块，也就是，将各个动作控制块映射至相应的视频控制块，组成视频控制块序列。将各个动作控制块映射至视频控制块时，根据动作控制块中的素材参数，通过素材管理器11获取相应的素材，使得各个视频控制块中的素材参数直接与相应的素材对应，同时，将动作控制块中的控制参数与视频控制块中的控制参数相对应，特别是将动作控制块中的运动节拍参数映射成视频控制块中动图文件的播放速度。
然后，按顺序依次将视频控制块序列中的动图文件或片段视频提交至播放器14进行播放。对于有声的片段视频播放，直接由动作控制器13将片段视频提交至播放器14进行播放；对于无声的动图文件，则将动图文件提交至播放器14的动图播放器141进行播放，相应的音频文件则提交至播放器14的声音播放器142进行播放。
显而易见地，视频控制块本质上还是一种动作控制块，只不过视频控制块中通过素材管理器11获得了相应具体的素材，而不是动作控制块中的素材参数，因而具体内容本说明书不再赘述。素材管理器11获取素材时，通过服务端的素材数据库23下载获得。对于需要通过素材参数获得相应素材时，素材管理器11将相应的素材参数发送至服务端，服务端根据素材参数通过素材数据库23检索相应或者类似的素材，在和相应的素材参数相符合的多个素材中随机选择某个素材，将该素材的索引发送至客户端。客户端通过素材管理器11得到该素材的索引后，首先查找客户端本地缓存库11是否存在相应的素材，倘若不存在相应的素材，则向服务端的素材数据库23发送相应素材的索引请求下载该素材。对于动作控制块中通过素材的索引所指向的素材时，客户端首先查找客户端本地缓存库11是否存在相应的素材，倘若不存在相应的素材，则向服务端的素材数据库23发送相应素材的索引请求下载该素材。
动图文件播放时，根据播放时间和播放速度对动图文件的播放进行控制，同时根据音频参数中的控制参数播放音频文件。动作控制器13对动图文件和音频文件的播放控制通过以下三种手段实现：第一是跟踪视频控制块的播放时间，第二是当播放器14完成某个动图文件或音频文件播放结束时所返回的事件，第三是随机值的跟踪。对于需要控制播放时间或者需要在某个播放位置播放音频文件时，通过跟踪视频控制块的播放时间判断是否达到相应的时间点，确定是否需要停止播放或者是否需要播放相应的音频文件。对于需要按顺序播放的，则根据上一个动图文件或音频文件播放结束时所返回的时间，确定是否需要播放下一个动图文件或音频文件。对于需要进行随机播放的，则通过播放时间是否达到随机值，确定是否需要播放随机播放类型的音频文件。
为更好地控制动图文件的播放速度，一种优选的实施方式是该系统还包括帧速适配器15。帧速适配器15用于适配动图的播放帧速，并通过帧速适配控制动图文件的播放速度。众所周知，播放器播放视频的帧速一般要求每秒20~30帧，而相应的视频同样也是按照每秒20~30帧的帧速拍摄。这每秒20~30帧的帧速在本发明中定义为标准帧速。为匹配动作控制块中的运动节拍，需要将播放速度降低或提高。当播放速度降低时，比如每秒10帧的情况下，存在视频画面断断续续的问题。为解决这一问题，帧速适配器15的一种实施方式是在帧与帧之间通过前一帧图像和后一帧图像的合成生成中间帧的方式插入中间帧，从而使得播放器能够以保持以每秒20帧的帧速进行播放，从而避免视频画面出现不连续的问题。对于播放速度提高时，比如每秒30帧的情况下，播放器14可能存在帧速达不到每秒30帧的要求，此时，帧速适配器15的一种实施方式是等间隔的删除一些图像帧，从而使得播放器14能够按每秒20帧的帧速进行播放，并且通过图像画面能够看到动作加快。通过前一帧图像和后一帧图像的合成生成中间帧现有技术下虽然并不难实现，但显而易见地，对客户端的处理器负担非常大。为解决这一问题，本实施例中，素材数据库23所存储的动图文件素材均通过摄像机以高于标准帧速的帧速进行拍摄得到，具体来说，按每秒50~60帧的帧速拍摄得到。即使将播放速度降低一半，播放器14依旧需要按每秒30帧的帧速进行播放，此种情况下，帧速适配器15仅仅需要等间隔的删除一些图像帧，使得播放器14按每秒20帧的帧速进行播放。也就是说，本发明优选的实施方案是：动图文件素材通过摄像机以高于标准帧速的帧速进行拍摄得到，动作控制器13将动图文件提交至帧速适配器15，再经帧速适配器15进行播放帧速适配后，提交至播放器14的动图播放器141进行播放，帧速适配器15进行播放适配适配时，通过删除一些图像帧，使得播放器14能够按每秒20帧的标准帧速进行播放。由此，帧速适配器15根据动图文件的播放速度进行调整时，无论是加快播放速度还是降低播放速度，帧速适配器15均采用删除一些图像帧进行调整，只是在加快播放速度的情况下所删除的图像帧比降低播放速度的情况要多。也就是在此种情况下，帧速适配器15通过删除图像帧数量的多少调制动图文件的播放速度。此外，本领域技术人员理解，在某些情况下，帧速适配器15也还可以填补图像帧以提高音视频播放的效果。
优选地，本系统可以还包括节拍分析器161。节拍分析器161用于通过采集传感器数据分析用户的动作节拍，然后将该动作节拍和动作控制器13当前所播放的视频控制块的所对应的节拍进行比较，倘若两者不相符合，则调整动作控制器13当前视频控制块的播放速度。当前视频控制块的播放速度也就是当前动图文件的播放速度，也就是当前动作控制块的播放速度。节拍分析器161分析用户的动作节拍的一种实施方式是通过三轴加速度传感器实现。节拍分析器161通过三轴加速度传感器分析用户的动作节拍的处理与通过三轴加速度传感器进行计步的处理类似，只不过节拍分析器161统计步与步之间的时间间隔作为用户的动作节拍，而不是直接统计步数。而通过三轴加速度传感器进行计步为本领域技术人员所熟悉，节拍分析器161统计步与步之间的时间间隔作为用户的动作节拍，也同样不难实现。
节拍分析器161分析用户的动作节拍的另一种实施方式是通过摄像机拍摄的视频进行用户动作分析。节拍分析器161的这种实施方式与通过图像进行手势识别的方法类似，只不过本实施方式下，节拍分析器161中识别的不是手势而是整个人体，通过视频图像分析整个人体姿态的周期性作为用户的动作节拍。通过图像进行手势识别为本领域技术人员所熟悉，因此通过视频图像分析整个人体姿态并不难实现。
优选地，节拍分析器161将分析得到的用户的动作节拍和当前视频控制块的对应信息发送至服务端。服务端将用户的动作节拍和该视频控制块的对应信息作为用户信息通过用户信息管理模块21保存。由此动作块生成模块22以后可以根据用户的动作节拍和该视频控制块的对应信息调整相应的运动节拍，生成相应的动作控制块。
优选地，本系统还包括心率监控器162。心率监控器162用于通过传感器检测用户的运动的心率，并将心率当前所播放的视频控制块的所对应的心率参数进行比较，并由此确定是否达到运动目标。需要指出的是，当前所播放的视频控制块的所对应的心率参数也就是当前所播放的动作控制块的所对应的心率参数。优选地，心率监控器162将心率和心率参数比较的结果以及对应的视频控制块信息发送至服务端。服务端将心率和心率参数比较的结果心率和心率参数比较的结果以及对应的视频控制块信息作为用户信息通过用户信息管理模块21保存。由此动作块生成模块22以后可以该用户信息调整运动强度、运动节拍生成相应的动作控制块。
此外，需要指出的是，本实施例的动作指导音视频播放系统针对的是音频和视频，本领域技术人员理解，该播放系统应用于单独的音频或单独的视频。当该播放系统应用于单独的音频时，动作控制块中素材参数指向的是音频，而不包括视频；而应用于单独的视频时，动作控制块中素材参数指向的是视频，而不包括音频。
Claims (10)
1.一种动作指导音视频播放方法，其特征在于，该方法包括以下步骤：
S1：获取以动作控制块表述的动作指导音视频；所述动作控制块包括动图参数和音频参数；所述动图参数包括动图的素材参数和动图的控制参数；所述音频参数包括音频的素材参数和音频的控制参数；
S2：根据动作控制块中动图的素材参数和音频的素材参数提取相应的动图文件和声音文件；
S3：按照动作控制块中动图的控制参数和音频的控制参数，将相应的动图文件和声音文件提交至播放器进行播放，使得播放器在播放过程中将各个动作控制块的动图文件和声音文件呈现为连续音视频的播放。
2.如权利要求1所述的动作指导音视频播放方法，其特征在于，所述动图文件通过摄像机以高于标准帧速的帧速拍摄获得；所述步骤S3中，所述动图文件提交至播放器进行播放时，还包括帧速适配处理步骤；所述帧速适配处理步骤通过删除、填补一些图像帧使得播放器能够以标准帧速进行播放，并通过所删除或填补的图像帧数量的多少调制所述动图文件的播放速度。
3.如权利要求2所述的动作指导音视频播放方法，其特征在于，还包括用户动作节拍分析步骤；所述用户动作节拍分析步骤：通过采集传感器数据分析用户的动作节拍，然后将该动作节拍和当前所播放的动作控制块的所对应的节拍进行比较；倘若两者不相符合，则调整动作控制器当前动图文件的播放速度。
4.一种动作指导音视频播放装置，其特征在于，该装置包括以下模块：
M1，用于：获取以动作控制块表述的动作指导音视频；所述动作控制块包括动图参数和音频参数；所述动图参数包括动图的素材参数和动图的控制参数；所述音频参数包括音频的素材参数和音频的控制参数；
M2，用于：根据动作控制块中动图的素材参数和音频的素材参数提取相应的动图文件和声音文件；
M3，用于：按照动作控制块中动图的控制参数和音频的控制参数，将相应的动图文件和声音文件提交至播放器进行播放，使得播放器在播放过程中将各个动作控制块的动图文件和声音文件呈现为连续音视频的播放。
5.如权利要求4所述的动作指导音视频播放装置，其特征在于，所述动图文件通过摄像机以高于标准帧速的帧速拍摄获得；该装置还包括帧速适配器；所述帧速适配器用于动图文件提交至播放器进行播放时，通过删除、填补一些图像帧使得播放器能够以标准帧速进行播放，并通过所删除或填补的图像帧数量的多少调制动图文件的播放速度。
6.如权利要求5所述的动作指导音视频播放装置，其特征在于，还包括节拍分析器；所述节拍分析器用于：通过采集传感器数据分析用户的动作节拍，然后将该动作节拍和当前所播放的动作控制块的所对应的节拍进行比较；倘若两者不相符合，则调整动作控制器当前动图文件的播放速度。
7.如权利要求4所述的动作指导音视频播放装置，其特征在于，还包括心率监控器；所述心率监控器用于通过传感器检测用户的运动的心率和血压，并将心率当前所播放的动作控制块的所对应的心率参数进行比较，并由此确定是否达到运动目标。
8.一种动作指导音视频播放系统，其特征在于，该系统包括服务端和客户端；所述服务端包括用户信息管理模块、动作块生成模块和素材数据库；所述用户信息管理模块用于存储用户信息；所述动作块生成模块用于根据所述用户信息管理模块所存储的用户信息生成相应的由动作控制块表述的动作指导音视频；所述动作控制块包括动图参数和音频参数；所述动图参数包括动图的素材参数和动图的控制参数；所述音频参数包括音频的素材参数和音频的控制参数；所述素材数据库用于存储素材，并为客户端提供素材下载服务；所述素材包括动图文件和声音文件；所述客户端包括：素材管理器、动作块接收器、动作控制器和播放器；所述素材管理器用于根据动作控制块的素材参数从服务端下载相应素材，并通过客户端本地缓存库缓存素材；所述动作块接收器用于从服务端接收动作块生成模块所生成的由动作控制块表述的动作指导音视频；所述动作控制器用于：按照动作控制块中动图的控制参数和音频的控制参数，将相应的动图文件和声音文件提交至播放器进行播放，使得播放器在播放过程中将各个动作控制块的动图文件和声音文件呈现为连续音视频的播放。
9.如权利要求8所述的动作指导音视频播放系统，其特征在于，所述动图文件通过摄像机以高于标准帧速的帧速拍摄获得；该装置还包括帧速适配器；所述帧速适配器用于动图文件提交至播放器进行播放时，通过删除、填补一些图像帧使得播放器能够以标准帧速进行播放，并通过所删除或填补的图像帧数量的多少调制动图文件的播放速度。
10.如权利要求9所述的动作指导音视频播放系统，其特征在于，所述客户端还包括节拍分析器；所述节拍分析器用于：通过采集传感器数据分析用户的动作节拍，然后将该动作节拍和当前所播放的动作控制块的所对应的节拍进行比较；倘若两者不相符合，则调整动作控制器当前动图文件的播放速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910378509.2A CN110012311B (zh) | 2019-05-08 | 2019-05-08 | 一种动作指导音视频播放方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910378509.2A CN110012311B (zh) | 2019-05-08 | 2019-05-08 | 一种动作指导音视频播放方法、装置和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110012311A true CN110012311A (zh) | 2019-07-12 |
| CN110012311B CN110012311B (zh) | 2021-04-06 |
Family
ID=67176186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910378509.2A Active CN110012311B (zh) | 2019-05-08 | 2019-05-08 | 一种动作指导音视频播放方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110012311B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110971963A (zh) * | 2019-12-31 | 2020-04-07 | 维沃移动通信有限公司 | 视频播放控制的方法、电子设备及存储介质 |
| CN111541938A (zh) * | 2020-04-30 | 2020-08-14 | 维沃移动通信有限公司 | 视频生成方法、装置及电子设备 |
| CN111641861A (zh) * | 2020-05-27 | 2020-09-08 | 维沃移动通信有限公司 | 视频播放方法及电子设备 |
| CN112365568A (zh) * | 2020-11-06 | 2021-02-12 | 广州小鹏汽车科技有限公司 | 音频处理方法、装置、电子设备和存储介质 |
| CN113596551A (zh) * | 2020-04-30 | 2021-11-02 | 聚好看科技股份有限公司 | 显示设备及播放速度调整方法 |
| CN114495594A (zh) * | 2021-12-23 | 2022-05-13 | 中国科学院自动化研究所 | 线上体育项目自适应训练方法和装置 |
| US11924513B2 (en) | 2019-08-18 | 2024-03-05 | Juhaokan Technology Co., Ltd. | Display apparatus and method for display user interface |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003033457A (ja) * | 2001-07-19 | 2003-02-04 | Kouros:Kk | 本発明はコンピュータとインターネットを用いたストリーミングによる動画を使用した、ダンスレッスンシステム及び装置に関する。 |
| US20090268949A1 (en) * | 2008-04-26 | 2009-10-29 | Hiromu Ueshima | Exercise support device, exercise support method and recording medium |
| CN103197929A (zh) * | 2013-03-25 | 2013-07-10 | 中国科学院软件研究所 | 一种面向儿童的图形化编程系统和方法 |
| CN103678569A (zh) * | 2013-12-09 | 2014-03-26 | 北京航空航天大学 | 一种面向虚拟场景生成的视频图像素材库的构造方法 |
| CN105405325A (zh) * | 2015-12-22 | 2016-03-16 | 深圳市时尚德源文化传播有限公司 | 一种网络教学方法及系统 |
| CN106267734A (zh) * | 2016-08-30 | 2017-01-04 | 石家庄铁路职业技术学院 | 一种数字化健身系统 |
| CN106845938A (zh) * | 2017-01-20 | 2017-06-13 | 刘园 | 一种基于评价反馈来指导运动的服务平台 |
| CN109479110A (zh) * | 2016-03-08 | 2019-03-15 | 优确诺股份有限公司 | 动态创建个人化锻炼视频的系统和方法 |
-
2019
- 2019-05-08 CN CN201910378509.2A patent/CN110012311B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003033457A (ja) * | 2001-07-19 | 2003-02-04 | Kouros:Kk | 本発明はコンピュータとインターネットを用いたストリーミングによる動画を使用した、ダンスレッスンシステム及び装置に関する。 |
| US20090268949A1 (en) * | 2008-04-26 | 2009-10-29 | Hiromu Ueshima | Exercise support device, exercise support method and recording medium |
| CN103197929A (zh) * | 2013-03-25 | 2013-07-10 | 中国科学院软件研究所 | 一种面向儿童的图形化编程系统和方法 |
| CN103678569A (zh) * | 2013-12-09 | 2014-03-26 | 北京航空航天大学 | 一种面向虚拟场景生成的视频图像素材库的构造方法 |
| CN105405325A (zh) * | 2015-12-22 | 2016-03-16 | 深圳市时尚德源文化传播有限公司 | 一种网络教学方法及系统 |
| CN109479110A (zh) * | 2016-03-08 | 2019-03-15 | 优确诺股份有限公司 | 动态创建个人化锻炼视频的系统和方法 |
| CN106267734A (zh) * | 2016-08-30 | 2017-01-04 | 石家庄铁路职业技术学院 | 一种数字化健身系统 |
| CN106845938A (zh) * | 2017-01-20 | 2017-06-13 | 刘园 | 一种基于评价反馈来指导运动的服务平台 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11924513B2 (en) | 2019-08-18 | 2024-03-05 | Juhaokan Technology Co., Ltd. | Display apparatus and method for display user interface |
| CN110971963A (zh) * | 2019-12-31 | 2020-04-07 | 维沃移动通信有限公司 | 视频播放控制的方法、电子设备及存储介质 |
| CN111541938A (zh) * | 2020-04-30 | 2020-08-14 | 维沃移动通信有限公司 | 视频生成方法、装置及电子设备 |
| CN113596551A (zh) * | 2020-04-30 | 2021-11-02 | 聚好看科技股份有限公司 | 显示设备及播放速度调整方法 |
| CN113596537A (zh) * | 2020-04-30 | 2021-11-02 | 聚好看科技股份有限公司 | 显示设备及播放速度方法 |
| CN113596537B (zh) * | 2020-04-30 | 2022-09-02 | 聚好看科技股份有限公司 | 显示设备及播放速度方法 |
| CN111641861A (zh) * | 2020-05-27 | 2020-09-08 | 维沃移动通信有限公司 | 视频播放方法及电子设备 |
| CN112365568A (zh) * | 2020-11-06 | 2021-02-12 | 广州小鹏汽车科技有限公司 | 音频处理方法、装置、电子设备和存储介质 |
| CN114495594A (zh) * | 2021-12-23 | 2022-05-13 | 中国科学院自动化研究所 | 线上体育项目自适应训练方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110012311B (zh) | 2021-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110012311A (zh) | 一种动作指导音视频播放方法、装置和系统 | |
| US20230414159A1 (en) | System and method for associating music with brain-state data | |
| CN104298722B (zh) | 多媒体交互系统及其方法 | |
| US11819751B2 (en) | Video rebroadcasting with multiplexed communications and display via smart mirrors | |
| US7409700B1 (en) | System and method for enhanced broadcasting and interactive | |
| CN102076387B (zh) | 用于诸如电子游戏机(egm)的游戏装置的生物反馈 | |
| US10825356B2 (en) | System and method for determining and providing behavioural modification motivational cues | |
| CN111782101B (zh) | 直播间的显示控制方法、电子设备及存储介质 | |
| KR20060123074A (ko) | 콘텐트 정보의 사용자 프로파일 제어 렌더링 | |
| US10864447B1 (en) | Highlight presentation interface in a game spectating system | |
| US10363488B1 (en) | Determining highlights in a game spectating system | |
| CN110162667A (zh) | 视频生成方法、装置及存储介质 | |
| Karageorghis | The scientific application of music in exercise and sport: Towards a new theoretical model | |
| US20220078503A1 (en) | Video rebroadcasting with multiplexed communications and display via smart mirrors | |
| CN110177298A (zh) | 一种基于语音的视频倍速播放方法及系统 | |
| US20240017123A1 (en) | Emotion-led workout generator | |
| CN113687744B (zh) | 一种用于情绪调节的人机交互设备 | |
| CN113674833B (zh) | 健身视频生成方法、系统、终端及存储介质 | |
| Ludwig et al. | The effect of cutting rates on the liking of live sports broadcasts | |
| CN111432234A (zh) | 视频生成方法、装置、电子设备和可读存储介质 | |
| CN114564611B (zh) | 一种用于音乐治疗的音乐播放方法、装置及系统 | |
| CN110267103A (zh) | 基于遥控器反馈的多媒体评分系统及方法 | |
| CN114697685B (zh) | 解说视频生成方法、装置、服务器及存储介质 | |
| CN113068054B (zh) | 直播中的信息展示方法及信息展示装置、计算机可读存储介质 | |
| Brambilla et al. | StrEx: Towards a Modulator of Stressful Experience in Virtual Reality Games |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210104 Address after: 210042 building 22, 699-22 Xuanwu Avenue, Xuanwu District, Nanjing City, Jiangsu Province Applicant after: JIANGSU KANGXI SPORTS HEALTH RESEARCH INSTITUTE Co.,Ltd. Applicant after: SOUTHEAST University Address before: 210042 building 22, 699-22 Xuanwu Avenue, Xuanwu District, Nanjing City, Jiangsu Province Applicant before: JIANGSU KANGXI SPORTS HEALTH RESEARCH INSTITUTE Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |