CN110099300B - 视频处理方法、装置、终端及计算机可读存储介质 - Google Patents

视频处理方法、装置、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN110099300B
CN110099300B CN201910219388.7A CN201910219388A CN110099300B CN 110099300 B CN110099300 B CN 110099300B CN 201910219388 A CN201910219388 A CN 201910219388A CN 110099300 B CN110099300 B CN 110099300B
Authority
CN
China
Prior art keywords
video
limb
module
marked
amplitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910219388.7A
Other languages
English (en)
Other versions
CN110099300A (zh
Inventor
杨天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201910219388.7A priority Critical patent/CN110099300B/zh
Publication of CN110099300A publication Critical patent/CN110099300A/zh
Application granted granted Critical
Publication of CN110099300B publication Critical patent/CN110099300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明实施例提供了一种视频处理方法、装置、终端及计算机可读存储介质，所述方法包括：获取待处理的视频；标记所述视频中的肢体动作的频率，利用音乐节拍对所述视频中标记的所述肢体动作的频率进行处理，和/或，标记所述视频中的肢体动作的幅度，并利用预定义滤镜对标记的所述肢体动作的幅度进行处理；输出处理后的视频。本发明实施例中，通过音乐节拍或预定义滤镜可以按照用户需求生成高品质的视频，不但提高了用户的生成视频的效率，还提升了用户的观看视频的体验。

Description

视频处理方法、装置、终端及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种视频处理方法、装置、终端及计算机可读存储介质。
背景技术
随着移动短视频用户的快速增长，推动了用户原创内容(UGC，User GeneratedContent)的大幅增加，也推高了专业生产内容(PGC，Professional Generated Content)的制作品质。而街舞、嘻哈类节目的热播，使得舞蹈成为视频生成的重要品类。
目前的现有技术中，主要集中于美化用户的外部特征，或者通过美化技术来修饰肢体，或者让用户做出符合预设的肢体动作，或者通过比对来教学肢体动作，而在用户生成舞蹈类视频的过程中，并不能按照用户需求，快速的生成高品质的舞蹈类视频。
因此，如何按照用户需求快速的生成高品质的舞蹈类视频，是目前有待解决的技术问题。
发明内容
本发明实施例所要解决的技术问题是提供一种视频处理方法，以解决现有技术中由于不能按照用户需求快速的生成高品质的视频，导致视频生成效率低的技术问题。
相应的，本发明实施例还提供了一种视频处理装置、终端及计算机可读存储介质，用以保证上述方法的实现及应用。
为了解决上述问题，本发明是通过如下技术方案实现的：
第一方面提供一种视频处理方法，所述方法包括：
获取待处理的视频；
标记所述视频中的肢体动作的频率，利用音乐节拍对所述视频中标记的所述肢体动作的频率进行处理，和/或，标记所述视频中的肢体动作的幅度，并利用预定义滤镜对标记的所述肢体动作的幅度进行处理；
输出处理后的视频。
可选的，所述标记所述视频中的肢体动作的频率，和/或，标记所述视频中的肢体动作的幅度，包括：
对所述视频中的人体姿态进行评估，得到肢体动作的描述结果，所述肢体动作的描述结果包括：肢体动作的关键点与轮廓信息；
对所述肢体动作的描述结果进行识别，得到对应肢体动作的频率和/或幅度；
对所述肢体动作的频率和/或幅度进行标记。
可选的，所述利用音乐节拍对所述视频中标记的所述肢体动作的频率进行处理，包括：
识别所述视频中标记的肢体动作的动作节拍以及音乐节拍；
利用比对算法将所述动作节拍适配到音乐节拍上；
通过调整所述视频的帧率来调节适配到所述音乐节拍上的所述肢体动作的频率。
可选的，所述识别标记的所述肢体动作的动作节拍以及音乐节拍，包括：
利用动态编程方法来识别所述视频中标记的所述肢体动作的音乐节拍；
根据识别出的所述肢体动作的描述结果构建人体运动关键点的时间序列数据；
通过构建的所述关键点的时间序列数据，按照人体运动关键点的运动轨迹的幅度时序变化，提取所述运动轨迹的一阶与二阶的周期极值；
根据所述周期极值来识别所述视频中标记的所述肢体动作的动作节拍。
可选的，所述利用预定义滤镜对标记的所述肢体动作的幅度进行处理，包括：
按照标记的所述肢体动作对所述视频进行分段；
通过预定义滤镜调整每段视频内标记的肢体动作的幅度；
合成调整所述肢体动作的幅度后的每段视频。
第二方面提供一种视频处理装置，所述装置包括：
获取模块，用于获取待处理的视频；
标记模块，用于标记所述视频中的肢体动作的频率，和/或，标记所述视频中的肢体动作的幅度；
处理模块，用于利用音乐节拍对标记的所述肢体动作的频率，和/或，利用预定义滤镜对标记的所述肢体动作的幅度进行处理；
输出模块，用于输出处理后的视频。
可选的，所述标记模块包括：
评估模块，用于对所述视频中的人体姿态进行评估，得到肢体动作的描述结果，所述肢体动作的描述结果包括：肢体动作的关键点与轮廓信息；
识别模块，用于对所述肢体动作的描述结果进行识别，得到对应肢体动作的频率和/或幅度；
标记子模块，用于对所述肢体动作的频率和/或幅度进行标记。
可选的，所述处理模块包括：第一处理模块和/或第二处理模块，其中，
所述第一处理模块，用于利用音乐节拍对标记的所述肢体动作的频率进行处理；
所述第二处理模块，用于利用预定义滤镜对标记的所述肢体动作的幅度进行处理。
可选的，所述第一处理模块包括：
节拍识别模块，用于识别标记的所述肢体动作的动作节拍以及音乐节拍；
适配模块，用于利用比对算法将所述动作节拍适配到音乐节拍上；
第一调整模块，用于通过调整所述视频的帧率来调节适配到所述音乐节拍上的肢体动作的频率。
可选的，所述节拍识别模块包括：
音乐节拍识别模块，用于利用动态编程方法来识别标记的所述肢体动作的音乐节拍；
构建模块，用于根据识别出的所述肢体动作的描述结果构建人体运动关键点的时间序列数据；
提取模块，用于通过构建的所述关键点的时间序列数据，按照人体关键点的运动轨迹的幅度时序变化，提取运动轨迹的一阶与二阶的周期极值；
动作节拍识别模块，用于根据所述周期极值来识别所述视频中标记的所述肢体动作的动作节拍。
可选的，所述第二处理模块包括：
划分模块，用于按照标记的所述肢体动作对所述视频进行分段；
第二调整模块，用于通过预定义滤镜调整每段视频内标记的肢体动作的幅度；
合成模块，用于合成调整所述肢体动作的幅度后的每段视频。
第三方面提供一种终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上所述的视频处理方法的步骤。
第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的视频处理方法的步骤。
与现有技术相比，本发明实施例包括以下优点：
本发明实施例中，先获取待处理的视频，标记待处理视频中的肢体动作的频率和幅度，然后，利用音乐节拍对标记的所述肢体动作的频率或利用预定义滤镜对标记的所述肢体动作的幅度进行处理，并输出处理后的视频。本发明实施例中，通过音乐节拍或预定义滤镜可以按照用户需求快速的生成高品质的视频(比如舞蹈类视频等)，不但提高了生成视频的效率，还提升了用户的观看类视频的体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
图1是本发明实施例提供的一种视频处理方法的流程图；
图2是本发明实施例提供的一种利用音乐节拍对所述视频中肢体动作的频率进行处理的流程图；
图3是本发明实施例提供的一种利用预定义滤镜对所述肢体动作的幅度进行处理的流程图；
图4是本发明实施例提供的一种视频处理装置的结构示意图；
图5是本发明实施例提供的一种标记模块的结构示意图；
图6是本发明实施例提供的第一处理模块的结构示意图；
图7是本发明实施例提供的第二处理模块的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
请参阅图1，为本发明实施例提供的一种视频处理方法的流程图，所述方法可以应用于舞蹈类、动作类的视频，具体可以包括如下步骤：
步骤101：获取待处理的视频；
该步骤中的视频，可以是移动终端已存储的舞蹈类或动作类视频，也可以是移动终端通过摄像头直接拍摄的舞蹈类视频或动作类视频，当然，还可以是移动终端加载播放的舞蹈类视频或动作类视频，或者是预剪辑(比如视频尺寸裁剪、亮度调节等)的舞蹈类视频或动作类视频。
步骤102：标记所述视频中的肢体动作的频率，和/或，标记所述视频中的肢体动作的幅度；
该步骤中，移动终端先利用姿态评估方法对所述视频中的人体姿态进行评估，得到肢体动作的描述结果，所述描述结果包括肢体动作的关键点与轮廓信息，然后，通过预先训练的深度学习训练模型对所述肢体动作的描述结果进行识别，得到对应的肢体动作的频率和/或幅度，最后，对所述视频中肢体动作的频率和/或幅度进行标记。
其中，该实施例中，移动终端可以利用本地存储的姿态估计方法(比如姿态估计tf-pose-estimation算法等)对所述视频中的人体姿态进行评估，还可以将所述视频上传到云端通过AlphaPose等精度更高的姿态评估方法对视频中的人体姿态进行评估。
其中，tf-pose-estimation算法是基于Tensorflow与自定义架构将姿态评估(OpenPose)算法移植至移动端实现。OpenPose算法核心是提取部分亲和字段(PAF，PartAffinity Field)即关节连线，以及提取热图(PDCM，Part Detection Confidence Maps)，自下而上的将身体关键点和个人进行匹配，实现人体姿态的评估。
步骤103：利用音乐节拍对标记的所述肢体动作的频率进行处理，和/或，利用预定义滤镜对标记的所述肢体动作的幅度进行处理；
该步骤中，移动终端可以利用音乐节拍对所述视频中标记的肢体动作的频率进行处理(或者是优化处理)；也可以利用预定义滤镜对所述视频中标记的肢体动作的幅度进行处理优化，或者利用音乐节拍和预定义滤镜组合的方式对所述视频中的肢体动作的频率和幅度进行处理。
其中，音乐节拍可以是用户选择的音乐节拍，滤镜可以是用户自定义的滤镜，称为预定义滤镜。该预定义滤镜为用来调整每段视频中关键肢体动作的幅度(比如头部转动的幅度、手臂转动的幅度等)，当然，还可以对视频中的关键肢体动作的幅度进行修饰。其具体实现可以是基于经典的弹簧质点系统算法，或者基于生成对抗网络(GAN，GenerativeAdversarial Nets)的算法，例如MoCoGAN算法等。
也就是说，该步骤中，使用音乐节拍来优化视频中肢体动作的频率，和/或，使用预定义滤镜来优化该视频中肢体动作的幅度，从而将该视频生成高品质的视频。当然，使用预定义滤镜，还可以对视频中的肢体动作进行修饰，即在视频中添加文字或Emoji等。
步骤104：输出处理后的视频。
本发明实施例中，先获取待处理的视频，标记待处理视频中的肢体动作的频率和/或幅度，然后，利用音乐节拍对标记的所述肢体动作的频率和/或利用预定义滤镜对标记的所述肢体动作的幅度进行处理，并输出处理后的视频。本发明实施例中，通过音乐节拍或预定义滤镜可以按照用户需求生成高品质的视频，不但提高了用户的生成视频的效率，还提升了用户的观看视频的体验。
还请参阅图2，为本发明实施例提供的一种利用音乐节拍对所述视频中肢体动作的频率进行优化的流程图，具体包括：
步骤201：识别所述视频中标记的动作节拍以及音乐节拍；
该步骤中，首先，移动终端可以利用动态编程方法来识别所述视频中的音乐节拍，并确定音乐节拍的位置。其动态编程方法可以采用基于全局节奏评估与最佳节奏时间组发现的节拍跟踪beattrack算法。
其次，移动终端根据识别出的所述肢体动作的描述结果来构建人体运动关键点的时间序列数据，其中，时间序列数据可以包括头部、肘部、膝盖、手足等关键点运动的先后时间；
之后，通过构建的所述关键点的时间序列数据，根据人体运动关键点的运动轨迹的幅度时序变化，来提取该运动轨迹的一阶与二阶的周期极值，即可得到局部极值时间差(局部节奏的时间差)；
最后，根据所述周期极值来识别所述视频中标记的所述肢体动作的动作节拍的关键时间，其中，该步骤可以通过全局评估优化识别算法根据周期极值来识别所述视频中肢体动作的动作节拍的关键时间。
其中，音乐节拍对应的音乐，可以是视频自带的背景音乐，也可以是用户选取或者系统推荐的音乐，本实施例不做限制。
步骤202：利用比对算法将所述动作节拍适配到音乐节拍上；
该步骤中，移动终端通过比较动作节拍的关键点时间和音乐节拍的位置，将上述动作节拍的关键点时间t，逐个对齐到近邻并符合整体节奏的音乐节拍的位置t’上。
步骤203：通过调整所述视频的帧率来调节所述视频中肢体动作的频率。
该步骤中，按照动作节拍的关键点时间t将所述视频切分为多个视频段，然后，通过调整每段视频的帧率，来调节所述肢体动作的频率，使所述动作节拍的时间(比如动作节拍的开始时间点为t1，结束时间点为t2)全映射到所述音乐节的位置(比如音乐位置的开始时间点为t1’，结束时间点为t2’)上，合成调节后的所有视频段，得到处理后的视频。即将[t1,t2]完全映射到[t1’,t2’]上。
本发明实施例中，通过音乐节拍可以按照用户需求来生成高品质的视频(比如舞蹈类视频等)，不但提高了用户的生成视频的效率，还提升了用户的观看视频的体验。
还请参阅图3，为本发明实施例提供的一种利用预定义滤镜对所述肢体动作的幅度进行处理的流程图，具体包括：
步骤301：按照标记的所述肢体动作对所述视频进行分段；
该步骤中，按照步骤102中标记的肢体动作的幅度，将该视频划分为多个视频段，即按照所标记的肢体动作前后连贯的相邻多帧序列来划分视频。
步骤302：通过预定义滤镜调整每段视频内标记的肢体动作的幅度；
该步骤中，预定义滤镜为用来调整每段视频中关键肢体动作的幅度(比如头部转动的幅度、手臂转动的幅度等)，并对视频中的关键肢体动作的幅度进行修饰，比如在视频中添加文字或Emoji等。
其中，移动终端可以利用基于弹簧质点系统算法或者基于生成对抗网络算法，例如MoCoGAN算法，对调整后的肢体动作进行修饰(比如添加文字、Emoji，或者表情等)，得到修饰后的肢体动作。其中，MoCoGAN算法通过将运动与内容分解的生成对抗网络，将包含内容部分与运动部分的系列随机向量映射到视频帧序来生成视频。
步骤303：合成调整所述肢体动作的幅度后的每段视频。
本发明实施例中，通过预定义滤镜，可以按照用户需求生成高品质的视频，不但提高了用户的生成视频的效率，还提升了用户的观看视频的体验。
当然，再另一实施例中，可以先采用音乐节拍对视频中的肢体动作的频率进行优化处理，在采用预定义滤镜对视频中的肢体动作的幅度进行优化处理；反之也可行，具体的过程详见上述，在此不再赘述。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
请参阅图4，为本发明实施例提供的一种视频处理装置的结构示意图，具体可以包括：获取模块41，标记模块42，处理模块43和输出模块44，其中，
获取模块41，用于获取待处理的视频；
标记模块42，用于标记所述视频中的肢体动作的频率，和/或，标记所述视频中的肢体动作的幅度；
处理模块43，用于利用音乐节拍对标记的所述肢体动作的频率，和/或，利用预定义滤镜对标记的所述肢体动作的幅度进行处理；
输出模块44，用于输出处理后的视频。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述标记模块41包括：评估模块51，识别模块52和标记子模块53，其结构示意图如图5所示，其中，
评估模块51，用于对所述视频中的人体姿态进行评估，得到肢体动作的描述结果，所述肢体动作的描述结果包括：肢体动作的关键点与轮廓信息；
识别模块52，用于对所述肢体动作的描述结果进行识别，得到对应肢体动作的频率和/或幅度；
标记子模块53，用于对所述识别模块52得到的所述肢体动作的频率和/或幅度进行标记。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述优化模块43包括：第一处理模块和/或第二处理模块(图中未示)，其中，
所述第一处理模块，用于利用音乐节拍对标记的所述肢体动作的频率进行处理；
所述第二处理模块，用于利用预定义滤镜对标记的所述肢体动作的幅度进行处理。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述第一处理模块包括：节拍识别模块61，适配模块62和第一调整模块63，其结构示意图如图6所示，其中，
节拍识别模块61，用于识别标记的所述肢体动作的动作节拍以及音乐节拍；
适配模块62，用于利用比对算法将所述动作节拍适配到音乐节拍上；
第一调整模块63，用于通过调整所述视频的帧率来调节适配到所述音乐节拍上的肢体动作的频率。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述节拍识别模块包括：音乐节拍识别模块，构建模块，提取模块和动作节拍识别模块(图中未示)，其中，
音乐节拍识别模块，用于利用动态编程方法来识别标记的所述肢体动作的音乐节拍；
构建模块，用于根据识别出的所述肢体动作的描述结果构建人体运动关键点的时间序列数据；
提取模块，用于通过构建的所述关键点的时间序列数据，按照人体关键点的运动轨迹的幅度时序变化，提取运动轨迹的一阶与二阶的周期极值；
动作节拍识别模块，用于根据所述周期极值来识别所述视频中标记的所述肢体动作的动作节拍。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述第二处理模块包括：划分模块71，第二调整模块72和合成模块73，其结构示意图如图7所示，
划分模块71，用于按照标记的所述肢体动作对所述视频进行分段；
第二调整模块72，用于通过预定义滤镜调整每段视频内标记的肢体动作的幅度；
合成模块73，用于合成调整所述肢体动作的幅度后的每段视频。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述装置还可以包括第一处理模块和第二处理模块，各个处理模块的功能和作用具体详见上述，在此不再赘述。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述装置还可以包括：所述修饰模块，用于基于经典的弹簧质点系统算法或者基于生成对抗网络的算法，对调整后的肢体动作进行修饰，得到优化处理后的肢体动作的幅度。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
可选的，本发明实施例还提供一种终端，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述视频处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述视频处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种视频处理方法、装置、终端及计算机可存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种视频处理方法，其特征在于，包括：
获取待处理的视频；
标记所述视频中的肢体动作的频率，利用音乐节拍对所述视频中标记的所述肢体动作的频率进行处理，和，标记所述视频中的肢体动作的幅度，并利用预定义滤镜对标记的所述肢体动作的幅度进行处理；
输出处理后的视频；
所述利用音乐节拍对所述视频中标记的所述肢体动作的频率进行处理，包括：
利用动态编程方法来识别所述视频中标记的所述肢体动作的音乐节拍；
根据识别出的所述肢体动作的描述结果构建人体运动关键点的时间序列数据；
通过构建的所述关键点的时间序列数据，按照人体运动关键点的运动轨迹的幅度时序变化，提取所述运动轨迹的一阶与二阶的周期极值；
根据所述周期极值来识别所述视频中标记的所述肢体动作的动作节拍；
利用比对算法将所述动作节拍适配到音乐节拍上；
通过调整所述视频的帧率来调节适配到所述音乐节拍上的所述肢体动作的频率。
2.根据权利要求1所述的方法，其特征在于，所述标记所述视频中的肢体动作的频率，和，标记所述视频中的肢体动作的幅度，包括：
对所述视频中的人体姿态进行评估，得到肢体动作的描述结果，所述肢体动作的描述结果包括：肢体动作的关键点与轮廓信息；
对所述肢体动作的描述结果进行识别，得到对应肢体动作的频率和幅度；
对所述肢体动作的频率和幅度进行标记。
3.根据权利要求1或2所述的方法，其特征在于，所述利用预定义滤镜对标记的所述肢体动作的幅度进行处理，包括：
按照标记的所述肢体动作对所述视频进行分段；
通过预定义滤镜调整每段视频内标记的肢体动作的幅度；
合成调整所述肢体动作的幅度后的每段视频。
4.一种视频处理装置，其特征在于，包括：
获取模块，用于获取待处理的视频；
标记模块，用于标记所述视频中的肢体动作的频率，和，标记所述视频中的肢体动作的幅度；
处理模块，用于利用音乐节拍对标记的所述肢体动作的频率进行处理，和，利用预定义滤镜对标记的所述肢体动作的幅度进行处理；
输出模块，用于输出处理后的视频；
所述处理模块包括：
音乐节拍识别模块，用于利用动态编程方法来识别标记的所述肢体动作的音乐节拍；
构建模块，用于根据识别出的所述肢体动作的描述结果构建人体运动关键点的时间序列数据；
提取模块，用于通过构建的所述关键点的时间序列数据，按照人体关键点的运动轨迹的幅度时序变化，提取运动轨迹的一阶与二阶的周期极值；
动作节拍识别模块，用于根据所述周期极值来识别所述视频中标记的所述肢体动作的动作节拍；
适配模块，用于利用比对算法将所述动作节拍适配到音乐节拍上；
第一调整模块，用于通过调整所述视频的帧率来调节适配到所述音乐节拍上的肢体动作的频率。
5.根据权利要求4所述的装置，其特征在于，所述标记模块包括：
评估模块，用于对所述视频中的人体姿态进行评估，得到肢体动作的描述结果，所述肢体动作的描述结果包括：肢体动作的关键点与轮廓信息；
识别模块，用于对所述肢体动作的描述结果进行识别，得到对应肢体动作的频率和幅度；
标记子模块，用于对所述肢体动作的频率和幅度进行标记。
6.根据权利要求4或5所述的装置，其特征在于，所述处理模块包括：第一处理模块和第二处理模块，其中，
所述第一处理模块，用于利用音乐节拍对标记的所述肢体动作的频率进行处理；
所述第二处理模块，用于利用预定义滤镜对标记的所述肢体动作的幅度进行处理。
7.根据权利要求6所述的装置，其特征在于，所述第二处理模块包括：
划分模块，用于按照标记的所述肢体动作对所述视频进行分段；
第二调整模块，用于通过预定义滤镜调整每段视频内标记的肢体动作的幅度；
合成模块，用于合成调整所述肢体动作的幅度后的每段视频。
8.一种终端，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至3中任一项所述的视频处理方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的视频处理方法的步骤。
CN201910219388.7A 2019-03-21 2019-03-21 视频处理方法、装置、终端及计算机可读存储介质 Active CN110099300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910219388.7A CN110099300B (zh) 2019-03-21 2019-03-21 视频处理方法、装置、终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910219388.7A CN110099300B (zh) 2019-03-21 2019-03-21 视频处理方法、装置、终端及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110099300A CN110099300A (zh) 2019-08-06
CN110099300B true CN110099300B (zh) 2021-09-03

Family

ID=67443344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910219388.7A Active CN110099300B (zh) 2019-03-21 2019-03-21 视频处理方法、装置、终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110099300B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112887796B (zh) * 2021-02-10 2022-07-22 北京字跳网络技术有限公司 视频生成方法、装置、设备及介质
CN113556578B (zh) * 2021-08-03 2023-10-20 广州酷狗计算机科技有限公司 视频生成方法、装置、终端及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016111386A (ja) * 2014-12-02 2016-06-20 キヤノン株式会社 映像編集装置の制御方法、映像編集装置、映像編集方法、コンピュータプログラム、及び記憶媒体
WO2016098430A1 (ja) * 2014-12-15 2016-06-23 ソニー株式会社 情報処理方法、映像処理装置及びプログラム
CN107682654A (zh) * 2017-09-30 2018-02-09 北京金山安全软件有限公司 视频录制方法、拍摄装置、电子设备及介质
CN108734104A (zh) * 2018-04-20 2018-11-02 杭州易舞科技有限公司 基于深度学习图像识别的健身动作纠错方法及系统
CN108924617A (zh) * 2018-07-11 2018-11-30 北京大米科技有限公司 同步视频数据和音频数据的方法、存储介质和电子设备
CN109191548A (zh) * 2018-08-28 2019-01-11 百度在线网络技术（北京）有限公司 动画制作方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016111386A (ja) * 2014-12-02 2016-06-20 キヤノン株式会社 映像編集装置の制御方法、映像編集装置、映像編集方法、コンピュータプログラム、及び記憶媒体
WO2016098430A1 (ja) * 2014-12-15 2016-06-23 ソニー株式会社 情報処理方法、映像処理装置及びプログラム
CN107682654A (zh) * 2017-09-30 2018-02-09 北京金山安全软件有限公司 视频录制方法、拍摄装置、电子设备及介质
CN108734104A (zh) * 2018-04-20 2018-11-02 杭州易舞科技有限公司 基于深度学习图像识别的健身动作纠错方法及系统
CN108924617A (zh) * 2018-07-11 2018-11-30 北京大米科技有限公司 同步视频数据和音频数据的方法、存储介质和电子设备
CN109191548A (zh) * 2018-08-28 2019-01-11 百度在线网络技术（北京）有限公司 动画制作方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110099300A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
CN111080752B (zh) 基于音频的动作序列生成方法、装置以及电子设备
CN109815776B (zh) 动作提示方法和装置、存储介质及电子装置
CN109191548A (zh) 动画制作方法、装置、设备及存储介质
JP5554677B2 (ja) 映像コンテンツ生成システム、映像コンテンツ生成装置及びコンピュータプログラム
JP6942300B2 (ja) コンピュータグラフィックスのプログラム、表示装置、送信装置、受信装置、動画生成装置、データ変換装置、データ生成装置、情報処理方法及び情報処理システム
CN110099300B (zh) 视频处理方法、装置、终端及计算机可读存储介质
CN108765268A (zh) 一种辅助化妆方法、装置及智能镜
US11869524B2 (en) Audio processing method and apparatus, computer device, and storage medium
KR101491760B1 (ko) 무대 가상 현실 제공 장치 및 방법
JP2010267069A (ja) 映像コンテンツ生成装置及びコンピュータプログラム
Borsos et al. Speechpainter: Text-conditioned speech inpainting
CN109064548B (zh) 视频生成方法、装置、设备及存储介质
CN111179385A (zh) 一种舞蹈动画的处理方法及装置、电子设备、存储介质
CN113903067A (zh) 虚拟对象视频的生成方法、装置、设备及介质
WO2012088629A1 (en) Method for generating motion synthesis data and device for generating motion synthesis data
CN115550744B (zh) 一种语音生成视频的方法和装置
CN114582029B (zh) 一种非专业舞蹈运动序列增强方法及系统
CN107888974A (zh) 一种基于场景或特定对象的即时视频合成方法与系统
Nakatsuka et al. Audio-guided Video Interpolation via Human Pose Features.
KR20220057842A (ko) 모션인식 안무학습 장치
CN112735472A (zh) 音视频旋律动作自生成方法及装置
CN114022597B (zh) 多风格唇形合成方法、装置、设备及存储介质
CN115471591A (zh) 一种舞蹈生成方法、装置、设备及存储介质
CN113901267A (zh) 动作视频的生成方法、装置、设备及介质
JP6287921B2 (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant