CN107124624B - 视频数据生成的方法和装置 - Google Patents

视频数据生成的方法和装置 Download PDF

Info

Publication number
CN107124624B
CN107124624B CN201710266687.7A CN201710266687A CN107124624B CN 107124624 B CN107124624 B CN 107124624B CN 201710266687 A CN201710266687 A CN 201710266687A CN 107124624 B CN107124624 B CN 107124624B
Authority
CN
China
Prior art keywords
time
video
rhythm
point
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710266687.7A
Other languages
English (en)
Other versions
CN107124624A (zh
Inventor
汪倩怡
戴阳刚
高雨
傅斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710266687.7A priority Critical patent/CN107124624B/zh
Publication of CN107124624A publication Critical patent/CN107124624A/zh
Priority to PCT/CN2018/080520 priority patent/WO2018192342A1/zh
Priority to US16/506,422 priority patent/US10880598B2/en
Application granted granted Critical
Publication of CN107124624B publication Critical patent/CN107124624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/685—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using automatically derived transcript of audio data, e.g. lyrics
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113—Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明涉及一种视频数据生成的方法和装置，包括：获取与原始视频对应的待添加的音频数据，获取所述音频数据对应的当前节奏信息；获取视频效果描述文件，所述视频效果描述文件包括视频效果时间描述信息，所述视频效果时间描述信息通过节奏特征描述；根据所述视频效果时间描述信息从所述当前节奏信息中确定目标节奏点；根据所述目标节奏点获取对应的待调整原始视频帧，将视频效果描述文件对应的视频效果添加至所述待调整原始视频帧得到对应的目标视频，将所述目标视频与音频数据混合生成对应的目标视频数据，提高了视频效果与音乐节奏的结合性。

Description

视频数据生成的方法和装置
技术领域
本发明涉及计算机技术领域，特别是涉及一种视频数据生成的方法和装置。
背景技术
随着计算机技术的发展，网络与多媒体技术相互结合的应用在人们的日常生活中越来越常见，可在录制的视频中插入背景音乐，为视频添加各种效果，如视频剪辑、视频播放速度调整、视频添加水印、视频叠加动画、字幕等。
传统的方法中视频和音乐是相互独立的，使得视频与音乐间的相关度低，视频与音乐在播放时无法相互配合。
发明内容
基于此，有必要针对上述技术问题，提供一种视频数据生成的方法和装置，能根据音频的节奏信息生成与节奏配合的视频效果，提高视频效果与音乐节奏的结合性。
一种视频数据生成的方法，所述方法包括：
获取与原始视频对应的待添加的音频数据，获取所述音频数据对应的当前节奏信息；
获取视频效果描述文件，所述视频效果描述文件包括视频效果时间描述信息，所述视频效果时间描述信息通过节奏特征描述；
根据所述视频效果时间描述信息从所述当前节奏信息中确定目标节奏点；
根据所述目标节奏点获取对应的待调整原始视频帧，将视频效果描述文件对应的视频效果添加至所述待调整原始视频帧得到对应的目标视频，将所述目标视频与音频数据混合生成对应的目标视频数据。
一种视频数据生成的装置，所述装置包括：
节奏信息获取模块，用于获取与原始视频对应的待添加的音频数据，获取所述音频数据对应的当前节奏信息；
视频效果描述文件获取模块，用于获取视频效果描述文件，所述视频效果描述文件包括视频效果时间描述信息，所述视频效果时间描述信息通过节奏特征描述；
目标节奏点确定模块，用于根据所述视频效果时间描述信息从所述当前节奏信息中确定目标节奏点；
视频数据生成模块，用于根据所述目标节奏点获取对应的待调整原始视频帧，将视频效果描述文件对应的视频效果添加至所述待调整原始视频帧得到对应的目标视频，将所述目标视频与音频数据混合生成对应的目标视频数据。
上述视频数据生成的方法和装置，通过获取与原始视频对应的待添加的音频数据，获取音频数据对应的当前节奏信息，获取视频效果描述文件，视频效果描述文件包括视频效果时间描述信息，视频效果时间描述信息通过节奏特征描述，根据视频效果时间描述信息从当前节奏信息中确定目标节奏点，根据目标节奏点获取对应的待调整原始视频帧，将视频效果描述文件对应的视频效果添加至待调整原始视频帧得到对应的目标视频，将目标视频与音频数据混合生成对应的目标视频数据，视频效果时间描述信息通过节奏特征描述，将视频效果的起始时间和/或终止时间设置在节奏点上，使得目标视频与音频数据混合生成的目标视频数据添加的视频效果与节奏点匹配，生成的视频效果根据音频的节奏展示，提高了视频效果与音乐节奏的结合性。
附图说明
图1为一个实施例中视频数据生成的方法的应用环境图；
图2为一个实施例中图1中终端的内部结构图；
图3为一个实施例中图1中服务器的内部结构图；
图4为一个实施例中视频数据生成的方法的流程图；
图5为一个实施例中确定目标节奏点的流程图；
图6为一个实施例中叠加类视频效果类型生成目标视频的流程图；
图7为一个实施例中节奏点视频帧生成的流程图；
图8为一个实施例中添加视频效果的目标视频帧示意图；
图9为一个实施例中根据暂停时间点调整视频帧的流程图；
图10为另一个实施例中生成目标视频帧的流程图；
图11为再一个实施例中生成目标视频帧的流程图；
图12为一个实施例中叠加歌词效果后的目标视频帧示意图；
图13为一个实施例中视频数据生成的装置的结构框图；
图14为一个实施例中节奏信息获取模块的结构框图；
图15为一个实施例中目标节奏确定模块的结构框图；
图16为一个实施例中视频数据生成模块的结构框图；
图17为一个实施例中节奏点视频帧形成单元的结构框图；
图18为一个实施例中视频数据生成模块的结构框图。
具体实施方式
图1为一个实施例中视频数据生成的方法运行的应用环境图。如图1所示，该应用环境包括终端110和服务器120，其中终端110、服务器120通过网络进行通信。
终端110，可为智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。视频数据生成的方法可以在服务器120或终端110中完成，服务器120可从终端110获取待处理的原始视频并根据对应的音频节奏信息生成目标视频数据，再将目标视频数据发送至终端110。
在一个实施例中，图1中的终端110的内部结构如图2所示，该终端110包括通过系统总线连接的处理器、图形处理单元、存储介质、内存、网络接口、显示屏幕和输入设备。其中，终端110的存储介质存储有操作系统，还包括第一视频数据生成的装置，该装置用于实现一种适用于终端的视频数据生成的方法。该处理器用于提供计算和控制能力，支撑整个终端110的运行。终端110中的图形处理单元用于至少提供显示界面的绘制能力，内存为存储介质中的第一视频数据生成的装置的运行提供环境，网络接口用于与服务器120进行网络通信。显示屏幕用于显示应用界面等，如显示与音频数据混合后的添加了视频效果的目标视频数据，输入设备用于接收用户输入的命令或数据等。对于带触摸屏的终端110，显示屏幕和输入设备可为触摸屏。
在一个实施例中，图1中的服务器120的内部结构如图3所示，该服务器120包括通过系统总线连接的处理器、存储介质、内存和网络接口。其中，该服务器120的存储介质存储有操作系统、数据库、第二视频数据生成的装置，数据库用于存储数据，第二视频数据生成的装置用于实现一种适用于服务器120的视频数据生成的方法。该服务器120的处理器用于提供计算和控制能力，支撑整个服务器120的运行。该服务器120的内存为存储介质中的第二视频数据生成的装置的运行提供环境。该服务器120的网络接口用于与外部的终端110通过网络连接通信，比如接收终端110上传的原始视频等。图2和图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的终端或服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，如图4所示，提供了一种视频数据生成的方法，以应用于上述应用环境中的终端或服务器来举例说明，包括以下步骤：
步骤S210，获取与原始视频对应的待添加的音频数据，获取音频数据对应的当前节奏信息。
具体的，如果在终端执行视频数据生成的方法，则原始视频、待添加的音频数据可以是终端存储的视频、音频数据，从服务器下载的视频、音频数据，终端实时录制的视频、音频数据。如果在服务器执行视频数据生成的方法，则原始视频、待添加的音频数据可以是服务器接收的终端上传的原始视频、音频数据，或通过终端发送的选择指令确定的服务器存储的原始视频、音频数据。节奏信息是由音频数据对应的节奏点组成的包括节奏点标识和节奏点时间戳的信息，节奏点包括重音、次重音中的至少一种。音频数据对应的当前节奏信息可通过自定义的算法进行确定，可通过音频数据自带的电子乐谱(MIDI)文件确定节奏信息，直接将MIDI文件中每一节的第一个音符出现的时间作为节奏点时间，或获取人工标记的节奏信息。还可通过预设时长窗口扫描音频数据对应的波形数据，获取各个预设时长窗口对应的最大幅值对应的时间点，根据最大幅值对应的相邻时间点的时间间隔确定节奏点。对于4/4拍的音乐，第三拍的第一个音符为次重音，次重音也可作为节奏点。
步骤S220，获取视频效果描述文件，视频效果描述文件包括视频效果时间描述信息，视频效果时间描述信息通过节奏特征描述。
具体的，视频效果描述文件用于对需要添加至原始视频的视频效果进行描述，视频效果包括对视频帧本身进行处理添加的视频效果，如视频剪辑、视频动画，包括加速播放、减速播放、拼接视频动效、分离视频动效等，还包括叠加视频叠加数据添加的视频效果，如在视频帧上叠加光晕、水印、动画效果等。视频效果描述文件可为自定义格式编写的文件，如XML(Extensible Markup Language，可扩展标记语言)或者json(JavaScript ObjectNotation，JavaScript对象表示法)格式文件，视频效果时间描述信息用于描述当前视频效果对应的起始时间、持续时间，对于周期性出现的视频效果，还可包括循环时间间隔信息、循环次数等。
其中视频效果时间描述信息通过节奏特征描述，节奏特征是指与节奏相关的特征，如起始时间用第N个节奏点描述，持续时间用持续M个节奏点描述，从而保证视频效果时间描述信息是相对描述信息，对于不同的音频数据，由于各个节奏点的时间分布不同，视频效果可对应不同的绝对时间。视频效果描述文件还可包括视频效果类型信息，用于视频效果类型，视频效果描述文件可包括一个或多种类型的视频效果类型，每个视频效果类型分别存在对应的视频效果描述信息。视频效果描述文件还可包括视频效果对应的参数信息，用于描述视频效果的展示状态，如水印的透明度参数、叠加数据的大小参数等，提高视频效果的灵活度。
步骤S230，根据视频效果时间描述信息从当前节奏信息中确定目标节奏点。
具体的，根据视频效果时间描述信息携带的节奏特征信息，从当前节奏信息对应的各个节奏点中筛选目标节奏点，目标节奏点对应的发生时间为视频效果的实际发生时间。根据视频效果时间描述信息的不同，可确定一个或多个目标节奏点，可为周期性的节奏点，目标节奏点可包括起始节奏点和/或终止节奏点。如第一视频效果时间描述信息描述了从第一个重音开始添加花朵水印，花朵水印持续到第三个重音结束，则目标节奏点包括起始节奏点即音频数据的第一个重音点，终止节奏点即第三个重音点。由于视频效果时间描述信息通过节奏特征描述，将视频效果的起始时间和/或终止时间设置在节奏点上，从而使得视频效果的播放与音乐的节奏相匹配。
步骤S240，根据目标节奏点获取对应的待调整原始视频帧，将视频效果描述文件对应的视频效果添加至待调整原始视频帧得到对应的目标视频，将目标视频与音频数据混合生成对应的目标视频数据。
具体的，目标节奏点包括时间戳信息，获取时间戳信息对应的待调整原始视频帧，根据目标节奏点的不同，待调整原始视频帧为一个或多个原始视频帧。根据视频效果类型的不同，对待调整原始视频帧进行相应的处理得到对应的目标视频。对于对视频帧本身进行处理添加的视频效果，需要对待调整原始视频帧进行与视频效果对应的编辑，如抽帧实现加速效果，重复帧实现重复效果，得到对应的目标视频帧，目标视频帧与不需处理的原始视频帧组成目标视频。对于叠加视频叠加数据添加的视频效果，需要将视频叠加数据相应的叠加到待调整原始视频帧上得到目标视频帧，同一待调整原始视频帧可添加不同类型的视频效果。由于待调整原始视频帧是节奏点对应的视频帧，从节奏点开始调整，和/或在节奏点结束调整，从而使得目标视频与音频数据混合生成的目标视频数据添加的视频效果与节奏点匹配，生成的视频效果根据音频的节奏展示，提高了视频效果与音乐节奏的结合性。
本实施例中，通过获取与原始视频对应的待添加的音频数据，获取音频数据对应的当前节奏信息，获取视频效果描述文件，视频效果描述文件包括视频效果时间描述信息，视频效果时间描述信息通过节奏特征描述，根据视频效果时间描述信息从当前节奏信息中确定目标节奏点，根据目标节奏点获取对应的待调整原始视频帧，将视频效果描述文件对应的视频效果添加至待调整原始视频帧得到对应的目标视频，将目标视频与音频数据混合生成对应的目标视频数据，视频效果时间描述信息通过节奏特征描述，将视频效果的起始时间和/或终止时间设置在节奏点上，使得目标视频与音频数据混合生成的目标视频数据添加的视频效果与节奏点匹配，生成的视频效果根据音频的节奏展示，提高了视频效果与音乐节奏的结合性。
在一个实施例中，如图5所示，步骤S210中获取所述音频数据对应的当前节奏信息的步骤包括：
步骤S211，将音频数据转换为波形数据，以预设时长窗口扫描波形数据，依次获取预设时长窗口内的最大幅值对应的时间点，组成最大幅值数组。
具体的，波形数据展示了音频对应的振幅随时间的变化，预设时长窗口的长度可根据需要自定义，在一个实施例中，预设时长窗口为2秒的窗口。依次获取预设时长窗口内的最大幅值对应的时间点，时间点为在整个音频中的发生时间。将各个窗口对应的最大幅值时间点存入最大幅值数组。
步骤S212，依次计算最大幅值数组中相邻两个时间点对应的时间间隔，组成时间间隔数组，获取时间间隔数组对应的中位时间间隔作为目标时间间隔，从最大幅值数组中获取目标时间点组成第一序列，第一序列中相邻两个时间点的对应的时间间隔为目标时间间隔的倍数。
具体的，新建时间间隔数组，计算最大幅值数组中相邻两个时间点对应的时间间隔，将各个时间间隔存入时间间隔数组。对时间间隔数组按大小排序，取排序后的中位数得到中位时间间隔作为目标时间间隔。从最大幅值数组选取目标时间点组成第一序列，使得第一序列中相邻两个时间点的对应的时间间隔为目标时间间隔的倍数，倍数包括1倍或更多整数倍。
步骤S213，在第一序列中插入时间点使得相邻两个时间点对应的时间间隔为目标时间间隔得到目标序列，目标序列中各个时间点为音频数据对应的节奏点。
具体的，对于第一序列中如果相邻两个时间点对应的时间间隔为目标时间间隔的多倍时，如第一序列为{2S、8S、10S}，目标时间间隔为2S，则需要在相邻两个时间点间插入时间点，使得插入后得到的目标序列中所有相邻两个时间点对应的时间间隔为目标时间间隔，插入后得到目标序列为{2S、4S、6S、8S、10S}，目标序列中各个时间点即为音频数据对应的节奏点。
本实施例中，根据音乐节奏点的分布规律，一般均匀分布且在最大幅值处，采用预设时长窗口扫描波形数据并进行分析得到音频数据对应的节奏点，简单方便。
在一个实施例中，步骤S230包括：从视频效果时间描述信息获取效果起始时间描述信息，根据效果起始时间描述信息从当前节奏信息中确定起始节奏点，从视频效果时间描述信息获取效果持续时长描述信息，根据效果持续时长描述信息从当前节奏信息中确定终止节奏点。
具体的，效果起始时间描述信息描述了起始节奏点的信息，可将起始节奏点的信息与当前节奏信息对应的各个节奏点进行匹配，匹配成功，则得到起始节奏点。效果持续时长描述信息描述了视频效果的持续时间，是通过节奏特征来描述的，从而可根据效果持续时长描述信息从当前节奏信息中确定终止节奏点，如效果持续时长描述信息为“持续3个节奏点”，则可获取从起始节奏点向后查找3个节奏点得到终止节奏点。对于效果起始时间描述信息中包括周期信息时，如每5个节奏点间隔重复一次，则可根据周期信息依次从当前节奏信息中确定周期出现的多个起始节奏点，并根据效果持续时长描述信息从当前节奏信息中确定各个起始节奏点对应的周期出现的终止节奏点。
本实施例中，通过持续时长描述信息可确定终止节奏点与起始节奏点的相对时间关系，从而快速确定终止节奏点。且将视频动效的起始时间和终止时间都设定在节奏点上，加强了视频动效与音乐节奏的匹配度。
在一个实施例中，视频效果描述文件对应的视频效果类型为叠加类，如图6所示，步骤S240包括：
步骤S241，获取视频效果描述文件对应的视频叠加数据。
具体的，视频叠加数据是指叠加显示在原始视频帧上的数据，可为连续变化的动态数据叠加显示在连续的原始视频帧序列上，包括动画贴图类，如打鼓动画、蝴蝶动画、花等，包括水印类，如透明光晕、光线等。
步骤S242，从视频叠加数据中获取节奏点数据，将所述节奏点数据的叠加时间确定为目标节奏点对应的节奏发生时间，获取与节奏发生时间对应的待调整原始视频帧叠加节奏点数据形成节奏点视频帧。
具体的，可根据视频效果描述文件确定节奏点数据，视频效果描述文件可通过时间或帧标识规定节奏点数据，如规定视频叠加数据中的第5帧为节奏点数据，节奏点数据是需要叠加在节奏点对应的原始视频帧上的数据，如打鼓动画中鼓点落下的动画帧为节奏点数据。如果视频效果描述文件中不存在节奏点数据的描述，可设置默认节奏点数据为视频叠加数据的起始帧和/或终止帧。获取与节奏发生时间具备相同时间戳的视频帧得到待调整原始视频帧，并在待调整原始视频帧上叠加节奏点数据形成节奏点视频帧。视频效果描述文件描述的目标节奏点可为一个或多个。
步骤S243，将视频叠加数据中的其它叠加数据按照时间顺序叠加在节奏发生时间前和/或节奏发生时间后对应的待调整原始视频帧上形成叠加视频帧。
具体的，如果节奏点数据是起始帧，则将其它叠加数据对应的帧依次叠加在节奏发生时间后对应的待调整原始视频帧上形成叠加视频帧。如果节奏点数据是中间帧，则将节奏点数据之前的帧依次叠加在节奏发生时间前对应的待调整原始视频帧上形成前叠加视频帧，将节奏点数据之后的帧依次叠加在节奏发生时间后对应的待调整原始视频帧上形成后叠加视频帧。如果节奏点数据是终止帧，则将其它叠加数据对应的帧依次叠加在节奏发生时间前对应的待调整原始视频帧上形成叠加视频帧。所有的待调整原始视频帧叠加完成后，形成目标视频。
本实施例中，将特定视频叠加数据，即节奏点数据叠加在节奏点对应的原始视频帧上，控制了视频动效中节奏点数据在视频中的叠加效果，将其和音乐的节奏完全匹配。对于节奏点数据是起始帧的情况，保证了视频动效的起始时间在目标节奏点上。对于节奏点数据是终止帧的情况，保证了视频动效的终止时间在目标节奏点上。
在一个实施例中，节奏点数据包括起始节奏点数据和终止节奏点数据，目标节奏点包括起始节奏点和终止节奏点，如图7所示，步骤S242包括：
步骤S242a，将起始节奏点数据的叠加时间确定为起始节奏点对应的第一发生时间，获取与第一发生时间对应的待调整原始视频帧叠加起始节奏点数据形成起始节奏点视频帧。
具体的，起始节奏点数据为节奏点数据中的起始帧。对于周期性出现的视频动效，每个周期内的都包括对应周期内的起始节奏点数据和终止节奏点数据。
步骤S242b，将终止节奏点数据的叠加时间确定为终止节奏点对应的第二发生时间，获取与第二发生时间对应的待调整原始视频帧叠加终止节奏点数据形成终止节奏点视频帧。
具体的，终止节奏点数据为节奏点数据中的终止帧。
步骤S243包括：将视频叠加数据中的其它叠加数据按照时间顺序叠加在第一发生时间与第二发生时间之间的待调整原始视频帧上形成叠加视频帧。
具体的，将视频叠加数据控制叠加在两个节奏点之间的原始视频帧上。如一个具体的实施例中，视频叠加数据为蝴蝶或者花，通过在两个节奏点之间的一个小节的音乐节奏为一个单位，不断重复运动，蝴蝶或者花的出现时间控制在一个节奏点，消失时间控制在另一个节奏点。在另一个具体的实施例中，原始视频帧两侧增加不同颜色的光线，光线的运动跟随着音乐节奏一起，光线从左到右运动的时间间隔为X，其中X为相邻两个节奏点对应的时间间隔倍数。
本实施例中，保证视频动效在两个节奏点之间，起始节奏点和终止节奏点可以是相邻的节奏点或存在间隔的节奏点。不仅可保证视频动效的起始时间在节奏点上，也可保证视频动效的终止时间在目标节奏点上，进一步加强了视频动效的节奏感。
在一个实施例中，视频效果描述文件对应的视频效果类型为编辑类，编辑类包括速度编辑、画面编辑、播放次序编辑中的至少一种，步骤S240包括：将视频编辑的编辑时间确定为目标节奏点对应的目标发生时间，根据目标发生时间获取对应的待调整原始视频帧进行编辑形成编辑视频帧。
具体的，速度编辑是指改变播放速度的编辑，可通过抽帧或插帧实现快放或慢放。画面编辑是指改变原始播放画面图像的编辑，如通过将不同或相同视频帧进行组合、叠加形成新的画面帧代替原始帧，如对原始帧进行放大显示或缩小显示，进行模糊度变化显示等。播放次序编辑是指改变原始播放次序的编辑，如将视频按照一定的颗粒度切分成N段，如100ms为一段，将第11～20段视频插到第50端视频之后。编辑类只需要对视频帧进行编辑，不需要在视频帧上添加额外的数据。由于对视频进行编辑会形成对应的视频效果，通过将编辑时间设定在目标节奏点对应的目标发生时间，保证编辑会形成的视频效果在目标节奏点播放，保证了视频动效中编辑效果与音乐节奏的匹配。如从一个节奏点开始显示放大的视频帧，在另一个节奏点恢复显示正常的视频帧。根据不同的编辑效果，对应的待调整原始视频帧可包括一个或多个，当存在多个待调整原始视频帧时，可控制编辑开始时间和编辑结束时间都在节奏点上，进一步加强编辑效果与音乐节奏的匹配。在一个具体的实施例中，如图8所示为添加了不同的视频效果的目标视频帧。
在一个实施例中，如图9所示，原始视频包括第一暂停时间点和相邻的第二暂停时间点，步骤S240包括：
步骤S245，从目标节奏点中获取与第一暂停时间点最接近的第一节奏点，将视频效果的开始时间确定为第一节奏点对应的第三发生时间。
具体的，暂停时间点是指用户录制视频时暂停录制的时间点，暂停后可重新开始录制，通过暂停时间点可实现画面的切换。如果暂停点不在节奏点上，则画面切换点与音乐的节奏不匹配。从目标节奏点中获取与第一暂停时间点最接近的第一节奏点，如第一暂停时间点在整个视频对应的时间戳为3S，目标节奏点中在3S附近存在A节奏点对应的时间戳为3.5S，存在B节奏点对应的时间戳为2.8S，则与第一暂停时间点最接近的第一节奏点为B点。将视频效果的开始时间确定为B点对应的2.8S，使之与暂停时间相匹配。
步骤S246，从目标节奏点中获取与第二暂停时间点最接近的第二节奏点，将视频效果的终止时间确定为第二节奏点对应的第四发生时间。
具体的，第二暂停时间点与第一暂停时间点之间的视频画面是连续的视频画面，第二暂停时间点之后又存在画面的切换，所以将与第二暂停时间点最接近的第二节奏点作为视频效果的终止时间，使得视频效果与暂停时间相匹配。
步骤S247，通过对第一暂停时间点附近的原始视频帧编辑将第一暂停时间点调整到第三发生时间，通过对第二暂停时间点附近的原始视频帧编辑将第二暂停时间点调整到第四发生时间。
具体的，如果第一暂停时间点在第三发生时间之前，则可将第一暂停时间点与第三发生时间之间的视频帧进行抽帧处理，将视频帧进行加速处理，将第一暂停时间点调整到第三发生时间，从而保证画面切换点在节奏点上。如果第一暂停时间点在第三发生时间之后，则可将第一暂停时间点附近的视频帧，如第一暂停时间点为1S，则将1-1.3S间的视频进行复制填充到第一暂停时间点与第三发生时间之间，将第一暂停时间点调整到第三发生时间，从而保证画面切换点在节奏点上。
同时，如果第二暂停时间点在第四发生时间之前，则可将第二暂停时间点附近的视频帧，如第二暂停时间点为1S，则将0.5-1S间的视频进行复制填充到第二暂停时间点与第四发生时间之间，将第二暂停时间点调整到第四发生时间，从而保证画面切换点在节奏点上。如果第二暂停时间点在第四发生时间之后，则可将第二暂停时间点与第四发生时间之间的视频帧进行抽帧处理，将第二暂停时间点调整到第四发生时间，从而保证画面切换点在节奏点上。
本实施例中，通过暂停时间点调整视频动效的开始时间与结束时间，且对原始视频帧进行编辑，调整暂停时间点到节奏点上，可使得视频动效与画面切换同步开始或同步结束，且保证画面切换点在节奏点上。且由于暂停时间点由用户随机操作确定，进一步加强了视频动效与用户操作间的关联，使得视频动效与节奏的适应关系随着用户操作动态变化，提高了自适应性。
在一个实施例中，步骤S220中获取视频效果描述文件的步骤之后，如图10所示，还包括：
步骤S310，解析视频效果描述文件，获取不同的节点。
具体的，各种不同的效果如速度编辑、画面编辑、播放次序编辑、叠加视频动画、叠加水印等可称为子动效，每个子动效都可通过一个节点来描述，可通过预设字符区分不同的节点。
步骤S320，获取各个节点对应的视频效果描述信息，视频效果描述信息包括对应的视频效果类型，视频效果时间描述信息。
具体的，每个节点都对应描述一个具体的子动效，每个子动效都有对应的视频效果描述信息，视频效果类型描述了当前子动效对应的效果类型，视频效果时间描述信息描述了当前子动效对应的开始时间、持续时间、周期等。
步骤S330，根据视频效果时间描述信息确定各个节点对应的目标节奏点，根据各个节点对应的目标节奏点获取对应的待调整原始视频帧，将各个节点对应的视频效果添加至对应的待调整原始视频帧得到对应的目标视频，将目标视频与音频数据混合生成对应的目标视频数据。
具体的，分别对每个节点对应的视频效果时间描述信息确定各个节点对应的目标节奏点，并获取对应的待调整原始视频帧将各个节点对应的视频效果添加至对应的待调整原始视频帧。同一个原始视频帧上可能添加了多个节点对应的视频效果，从而实现不同视频效果的叠加和组合。且由于每个视频效果的添加都与节奏点匹配，实现了多个不同视频效果与音乐节奏的匹配。
在一个实施例中，如图11所示，步骤S240包括：
步骤S248，获取音频数据对应的歌词信息，获取与目标节奏点对应的目标歌词信息。
具体的，歌词信息包括了歌词文本和歌词文本中每个字符对应的时间戳。查找与目标节奏点匹配的时间戳对应的歌词文本得到目标歌词信息。目标歌词信息可为一个或多个字符。
步骤S249，将目标歌词信息的开始叠加时间确定为目标节奏点对应的目标发生时间，从目标发生时间对应的待调整原始视频帧开始叠加目标歌词信息形成叠加视频帧。
具体的，在目标节奏点上开始叠加歌词，使得歌词的显示与节奏匹配，在节奏点处出现歌词。进一步的，可使得歌词的结束叠加时间为另一个节奏点，从而使得歌词的消失时间也与节奏匹配，在节奏点处出现并在节奏点处消失，进一步加强了视频效果与音乐节奏的匹配度。在一个实施例中，目标歌词信息包括不同种类语言，如中文和英文同步显示，加强视频效果的灵活度。如图12所示，为一个具体的实施例中叠加目标歌词信息后的叠加视频帧示意图。
在一个实施例中，如图13所示，提供了一种视频数据生成的装置，包括：
节奏信息获取模块410，用于获取与原始视频对应的待添加的音频数据，获取音频数据对应的当前节奏信息。
视频效果描述文件获取模块420，用于获取视频效果描述文件，视频效果描述文件包括视频效果时间描述信息，视频效果时间描述信息通过节奏特征描述。
目标节奏点确定模块430，用于根据所述视频效果时间描述信息从所述当前节奏信息中确定目标节奏点。
视频数据生成模块440，用于根据所述目标节奏点获取对应的待调整原始视频帧，将视频效果描述文件对应的视频效果添加至所述待调整原始视频帧得到对应的目标视频，将所述目标视频与音频数据混合生成对应的目标视频数据。
在一个实施例中，如图14所示，节奏信息获取模块410包括：
最大幅值数组确定单元411，用于将音频数据转换为波形数据，以预设时长窗口扫描波形数据，依次获取预设时长窗口内的最大幅值对应的时间点，组成最大幅值数组。
时间间隔数组确定单元412，用于依次计算最大幅值数组中相邻两个时间点对应的时间间隔，组成时间间隔数组。
序列组成单元413，用于获取时间间隔数组对应的中位时间间隔作为目标时间间隔，从最大幅值数组中获取目标时间点组成第一序列，第一序列中相邻两个时间点的对应的时间间隔为所述目标时间间隔的倍数。
序列插值单元414，用于在第一序列中插入时间点使得相邻两个时间点对应的时间间隔为目标时间间隔得到目标序列，目标序列中各个时间点为音频数据对应的节奏点。
在一个实施例中，如图15所示，目标节奏点确定模块430包括：
起始节奏点确定单元431，用于从所述视频效果时间描述信息获取效果起始时间描述信息，根据所述效果起始时间描述信息从所述当前节奏信息中确定起始节奏点；
终止节奏点确定单元432，用于从所述视频效果时间描述信息获取效果持续时长描述信息，根据所述效果持续时长描述信息从所述当前节奏信息中确定终止节奏点。
在一个实施例中，视频效果描述文件对应的视频效果类型为叠加类，如图16所示，视频数据生成模块440包括：
获取单元441，用于获取所述视频效果描述文件对应的视频叠加数据；
节奏点视频帧形成单元442，用于从所述视频叠加数据中获取节奏点数据，将所述节奏点数据的叠加时间确定为所述目标节奏点对应的节奏发生时间，获取与节奏发生时间对应的待调整原始视频帧叠加节奏点数据形成节奏点视频帧；
叠加视频帧形成单元443，用于将视频叠加数据中的其它叠加数据按照时间顺序叠加在节奏发生时间前和/或节奏发生时间后对应的待调整原始视频帧上形成叠加视频帧。
在一个实施例中，节奏点数据包括起始节奏点数据和终止节奏点数据，目标节奏点包括起始节奏点和终止节奏点，如图17所示，节奏点视频帧形成单元442包括：
起始节奏点视频帧形成单元442a，用于将起始节奏点数据的叠加时间确定为起始节奏点对应的第一发生时间，获取与第一发生时间对应的待调整原始视频帧叠加起始节奏点数据形成起始节奏点视频帧；
终止节奏点视频帧形成单元442b，用于将终止节奏点数据的叠加时间确定为终止节奏点对应的第二发生时间，获取与第二发生时间对应的待调整原始视频帧叠加终止节奏点数据形成终止节奏点视频帧。
叠加视频帧形成单元443还用于将视频叠加数据中的其它叠加数据按照时间顺序叠加在第一发生时间与第二发生时间之间的待调整原始视频帧上形成叠加视频帧。
在一个实施例中，视频效果描述文件对应的视频效果类型为编辑类，编辑类包括速度编辑、画面编辑、播放次序编辑中的至少一种，视频数据生成模块440还用于将视频编辑的编辑时间确定为目标节奏点对应的目标发生时间，根据目标发生时间获取对应的待调整原始视频帧进行编辑形成编辑视频帧。
在一个实施例中，原始视频包括第一暂停时间点和相邻的第二暂停时间点，如图18所示，视频数据生成模块440包括：
开始时间确定单元444，用于从目标节奏点中获取与第一暂停时间点最接近的第一节奏点，将视频效果的开始时间确定为第一节奏点对应的第三发生时间。
终止时间确定单元445，用于从目标节奏点中获取与第二暂停时间点最接近的第二节奏点，将视频效果的终止时间确定为第二节奏点对应的第四发生时间。
调整单元446，用于通过对第一暂停时间点附近的原始视频帧编辑将第一暂停时间点调整到第三发生时间，通过对第二暂停时间点附近的原始视频帧编辑将第二暂停时间点调整到第四发生时间。
在一个实施例中，视频效果描述文件获取模块420还用于解析视频效果描述文件，获取不同的节点，获取各个节点对应的视频效果描述信息，视频效果描述信息包括对应的视频效果类型，视频效果时间描述信息。
目标节奏点确定模块430还用于根据视频效果时间描述信息确定各个节点对应的目标节奏点。
视频数据生成模块440还用于根据各个节点对应的目标节奏点获取对应的待调整原始视频帧，将各个节点对应的视频效果添加至对应的待调整原始视频帧得到对应的目标视频，将目标视频与音频数据混合生成对应的目标视频数据。
在一个实施例中，视频数据生成模块440还用于获取音频数据对应的歌词信息，获取与目标节奏点对应的目标歌词信息，将目标歌词信息的开始叠加时间确定为目标节奏点对应的目标发生时间，从目标发生时间对应的待调整原始视频帧开始叠加目标歌词信息形成叠加视频帧。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述程序可存储于一计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种视频数据生成的方法，所述方法包括：
获取与原始视频对应的待添加的音频数据，获取所述音频数据对应的当前节奏信息，包括：将所述音频数据转换为波形数据，以预设时长窗口扫描所述波形数据，依次获取所述预设时长窗口内的最大幅值对应的时间点，组成最大幅值数组；依次计算所述最大幅值数组中相邻两个时间点对应的时间间隔，组成时间间隔数组；获取所述时间间隔数组对应的中位时间间隔作为目标时间间隔，从所述最大幅值数组中获取目标时间点组成第一序列，所述第一序列中相邻两个时间点的对应的时间间隔为所述目标时间间隔的倍数；在所述第一序列中插入时间点使得相邻两个时间点对应的时间间隔为所述目标时间间隔得到目标序列，所述目标序列中各个时间点为所述音频数据对应的节奏点，节奏信息是由音频数据对应的节奏点组成的包括节奏点标识和节奏点时间戳的信息；
获取视频效果描述文件，所述视频效果描述文件包括视频效果时间描述信息，所述视频效果时间描述信息通过节奏特征描述，节奏特征是指与节奏相关的特征，所述视频效果时间描述信息是相对描述信息，所述节奏特征包括节奏点描述信息；
根据所述视频效果时间描述信息从所述当前节奏信息中确定目标节奏点；
根据所述目标节奏点获取对应的待调整原始视频帧，将视频效果描述文件对应的视频效果添加至所述待调整原始视频帧得到对应的目标视频，将所述目标视频与音频数据混合生成对应的目标视频数据。
2.根据权利要求1所述的方法，其特征在于，所述根据所述视频效果时间描述信息从所述当前节奏信息中确定目标节奏点的步骤包括：
从所述视频效果时间描述信息获取效果起始时间描述信息，根据所述效果起始时间描述信息从所述当前节奏信息中确定起始节奏点；
从所述视频效果时间描述信息获取效果持续时长描述信息，根据所述效果持续时长描述信息从所述当前节奏信息中确定终止节奏点。
3.根据权利要求1所述的方法，其特征在于，所述视频效果描述文件对应的视频效果类型为叠加类，所述根据所述目标节奏点获取对应的待调整原始视频帧，将视频效果描述文件对应的视频效果添加至所述待调整原始视频帧得到对应的目标视频的步骤包括：
获取所述视频效果描述文件对应的视频叠加数据；
从所述视频叠加数据中获取节奏点数据，将所述节奏点数据的叠加时间确定为所述目标节奏点对应的节奏发生时间，获取与节奏发生时间对应的待调整原始视频帧叠加节奏点数据形成节奏点视频帧；
将视频叠加数据中的其它叠加数据按照时间顺序叠加在节奏发生时间前和/或节奏发生时间后对应的待调整原始视频帧上形成叠加视频帧。
4.根据权利要求3所述的方法，其特征在于，所述节奏点数据包括起始节奏点数据和终止节奏点数据，目标节奏点包括起始节奏点和终止节奏点，所述从所述视频叠加数据中获取节奏点数据，将所述节奏点数据的叠加时间确定为所述目标节奏点对应的节奏发生时间，获取与节奏发生时间对应的待调整原始视频帧叠加节奏点数据形成节奏点视频帧的步骤包括：
将所述起始节奏点数据的叠加时间确定为起始节奏点对应的第一发生时间，获取与第一发生时间对应的待调整原始视频帧叠加起始节奏点数据形成起始节奏点视频帧；
将所述终止节奏点数据的叠加时间确定为终止节奏点对应的第二发生时间，获取与第二发生时间对应的待调整原始视频帧叠加终止节奏点数据形成终止节奏点视频帧；
所述将视频叠加数据中的其它叠加数据按照时间顺序叠加在节奏发生时间前和/或节奏发生时间后对应的待调整原始视频帧上形成叠加视频帧的步骤包括：将视频叠加数据中的其它叠加数据按照时间顺序叠加在第一发生时间与第二发生时间之间的待调整原始视频帧上形成叠加视频帧。
5.根据权利要求1所述的方法，其特征在于，所述视频效果描述文件对应的视频效果类型为编辑类，所述编辑类包括速度编辑、画面编辑、播放次序编辑中的至少一种，所述根据所述目标节奏点获取对应的待调整原始视频帧，将视频效果描述文件对应的视频效果添加至所述待调整原始视频帧得到对应的目标视频的步骤包括：
将视频编辑的编辑时间确定为所述目标节奏点对应的目标发生时间，根据所述目标发生时间获取对应的待调整原始视频帧进行编辑形成编辑视频帧。
6.根据权利要求1所述的方法，其特征在于，所述原始视频包括第一暂停时间点和相邻的第二暂停时间点，所述根据所述目标节奏点获取对应的待调整原始视频帧，将视频效果描述文件对应的视频效果添加至所述待调整原始视频帧得到对应的目标视频的步骤包括：
从所述目标节奏点中获取与所述第一暂停时间点最接近的第一节奏点，将视频效果的开始时间确定为所述第一节奏点对应的第三发生时间；
从所述目标节奏点中获取与所述第二暂停时间点最接近的第二节奏点，将视频效果的终止时间确定为所述第二节奏点对应的第四发生时间；
通过对第一暂停时间点附近的原始视频帧编辑将第一暂停时间点调整到所述第三发生时间，通过对第二暂停时间点附近的原始视频帧编辑将第二暂停时间点调整到所述第四发生时间。
7.根据权利要求1所述的方法，其特征在于，所述获取视频效果描述文件的步骤之后，还包括：
解析所述视频效果描述文件，获取不同的节点；
获取各个节点对应的视频效果描述信息，所述视频效果描述信息包括对应的视频效果类型，视频效果时间描述信息；
根据所述视频效果时间描述信息确定各个节点对应的目标节奏点；
根据各个节点对应的目标节奏点获取对应的待调整原始视频帧，将各个节点对应的视频效果添加至对应的待调整原始视频帧得到对应的目标视频，将所述目标视频与音频数据混合生成对应的目标视频数据。
8.根据权利要求1所述的方法，其特征在于，所述根据所述目标节奏点获取对应的待调整原始视频帧，将视频效果描述文件对应的视频效果添加至所述待调整原始视频帧得到对应的目标视频的步骤包括：
获取所述音频数据对应的歌词信息，获取与所述目标节奏点对应的目标歌词信息；
将目标歌词信息的开始叠加时间确定为所述目标节奏点对应的目标发生时间，从所述目标发生时间对应的待调整原始视频帧开始叠加所述目标歌词信息形成叠加视频帧。
9.一种视频数据生成的装置，其特征在于，所述装置包括：
节奏信息获取模块，用于获取与原始视频对应的待添加的音频数据，获取所述音频数据对应的当前节奏信息，节奏信息是由音频数据对应的节奏点组成的包括节奏点标识和节奏点时间戳的信息，包括：最大幅值数组确定单元，用于将所述音频数据转换为波形数据，以预设时长窗口扫描所述波形数据，依次获取所述预设时长窗口内的最大幅值对应的时间点，组成最大幅值数组；时间间隔数组确定单元，用于依次计算所述最大幅值数组中相邻两个时间点对应的时间间隔，组成时间间隔数组；序列组成单元，用于获取所述时间间隔数组对应的中位时间间隔作为目标时间间隔，从所述最大幅值数组中获取目标时间点组成第一序列，所述第一序列中相邻两个时间点的对应的时间间隔为所述目标时间间隔的倍数；序列插值单元，用于在所述第一序列中插入时间点使得相邻两个时间点对应的时间间隔为所述目标时间间隔得到目标序列，所述目标序列中各个时间点为所述音频数据对应的节奏点；
视频效果描述文件获取模块，用于获取视频效果描述文件，所述视频效果描述文件包括视频效果时间描述信息，所述视频效果时间描述信息通过节奏特征描述，节奏特征是指与节奏相关的特征，所述视频效果时间描述信息是相对描述信息，所述节奏特征包括节奏点描述信息；
目标节奏点确定模块，用于根据所述视频效果时间描述信息从所述当前节奏信息中确定目标节奏点；
视频数据生成模块，用于根据所述目标节奏点获取对应的待调整原始视频帧，将视频效果描述文件对应的视频效果添加至所述待调整原始视频帧得到对应的目标视频，将所述目标视频与音频数据混合生成对应的目标视频数据。
10.根据权利要求9所述的装置，其特征在于，所述目标节奏点确定模块包括：
起始节奏点确定单元，用于从所述视频效果时间描述信息获取效果起始时间描述信息，根据所述效果起始时间描述信息从所述当前节奏信息中确定起始节奏点；
终止节奏点确定单元，用于从所述视频效果时间描述信息获取效果持续时长描述信息，根据所述效果持续时长描述信息从所述当前节奏信息中确定终止节奏点。
11.根据权利要求9所述的装置，其特征在于，所述视频效果描述文件对应的视频效果类型为叠加类，视频数据生成模块包括：
获取单元，用于获取所述视频效果描述文件对应的视频叠加数据；
节奏点视频帧形成单元，用于从所述视频叠加数据中获取节奏点数据，将所述节奏点数据的叠加时间确定为所述目标节奏点对应的节奏发生时间，获取与节奏发生时间对应的待调整原始视频帧叠加节奏点数据形成节奏点视频帧；
叠加视频帧形成单元，用于将视频叠加数据中的其它叠加数据按照时间顺序叠加在节奏发生时间前和/或节奏发生时间后对应的待调整原始视频帧上形成叠加视频帧。
12.根据权利要求11所述的装置，其特征在于，所述节奏点数据包括起始节奏点数据和终止节奏点数据，目标节奏点包括起始节奏点和终止节奏点，所述节奏点视频帧形成单元包括：
起始节奏点视频帧形成单元，用于将所述起始节奏点数据的叠加时间确定为起始节奏点对应的第一发生时间，获取与第一发生时间对应的待调整原始视频帧叠加起始节奏点数据形成起始节奏点视频帧；
终止节奏点视频帧形成单元，用于将所述终止节奏点数据的叠加时间确定为终止节奏点对应的第二发生时间，获取与第二发生时间对应的待调整原始视频帧叠加终止节奏点数据形成终止节奏点视频帧；
所述叠加视频帧形成单元还用于将视频叠加数据中的其它叠加数据按照时间顺序叠加在第一发生时间与第二发生时间之间的待调整原始视频帧上形成叠加视频帧。
13.根据权利要求9所述的装置，其特征在于，所述原始视频包括第一暂停时间点和相邻的第二暂停时间点，所述视频数据生成模块包括：
开始时间确定单元，用于从所述目标节奏点中获取与所述第一暂停时间点最接近的第一节奏点，将视频效果的开始时间确定为所述第一节奏点对应的第三发生时间；
终止时间确定单元，用于从所述目标节奏点中获取与所述第二暂停时间点最接近的第二节奏点，将视频效果的终止时间确定为所述第二节奏点对应的第四发生时间；
调整单元，用于通过对第一暂停时间点附近的原始视频帧编辑将第一暂停时间点调整到所述第三发生时间，通过对第二暂停时间点附近的原始视频帧编辑将第二暂停时间点调整到所述第四发生时间。
CN201710266687.7A 2017-04-21 2017-04-21 视频数据生成的方法和装置 Active CN107124624B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710266687.7A CN107124624B (zh) 2017-04-21 2017-04-21 视频数据生成的方法和装置
PCT/CN2018/080520 WO2018192342A1 (zh) 2017-04-21 2018-03-26 视频数据生成的方法、计算机设备和存储介质
US16/506,422 US10880598B2 (en) 2017-04-21 2019-07-09 Video data generation method, computer device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710266687.7A CN107124624B (zh) 2017-04-21 2017-04-21 视频数据生成的方法和装置

Publications (2)

Publication Number Publication Date
CN107124624A CN107124624A (zh) 2017-09-01
CN107124624B true CN107124624B (zh) 2022-09-23

Family

ID=59724744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710266687.7A Active CN107124624B (zh) 2017-04-21 2017-04-21 视频数据生成的方法和装置

Country Status (3)

Country Link
US (1) US10880598B2 (zh)
CN (1) CN107124624B (zh)
WO (1) WO2018192342A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107124624B (zh) * 2017-04-21 2022-09-23 腾讯科技（深圳）有限公司 视频数据生成的方法和装置
CN107770596A (zh) * 2017-09-25 2018-03-06 北京达佳互联信息技术有限公司 一种特效同步方法、装置及移动终端
CN107871012A (zh) * 2017-11-22 2018-04-03 广州酷狗计算机科技有限公司 音频处理方法、装置、存储介质及终端
CN108337547B (zh) * 2017-11-27 2020-01-14 腾讯科技（深圳）有限公司 一种文字动画实现方法、装置、终端和存储介质
CN108259984A (zh) * 2017-12-29 2018-07-06 广州市百果园信息技术有限公司 视频图像处理方法、计算机可读存储介质及终端
CN108259983A (zh) * 2017-12-29 2018-07-06 广州市百果园信息技术有限公司 一种视频图像处理方法、计算机可读存储介质和终端
CN108322802A (zh) * 2017-12-29 2018-07-24 广州市百果园信息技术有限公司 视频图像的贴图处理方法、计算机可读存储介质及终端
CN108111909A (zh) * 2017-12-15 2018-06-01 广州市百果园信息技术有限公司 视频图像处理方法及计算机存储介质、终端
CN108259925A (zh) * 2017-12-29 2018-07-06 广州市百果园信息技术有限公司 视频直播中的音乐礼物处理方法、存储介质及终端
CN108319657B (zh) * 2018-01-04 2022-02-01 广州市百果园信息技术有限公司 检测强节奏点的方法、存储介质和终端
CN110786002B (zh) * 2018-07-24 2022-02-25 深圳市大疆创新科技有限公司 视频处理方法、设备、计算机可读存储介质
CN110892731B (zh) * 2018-07-25 2022-01-25 深圳市大疆创新科技有限公司 视频播放速度控制方法及系统、控制终端和可移动平台
CN109640166A (zh) * 2018-08-13 2019-04-16 张利军 基于动感程度的片尾曲选择方法
CN109257545B (zh) * 2018-08-27 2021-04-13 咪咕文化科技有限公司 一种多源视频剪辑方法、装置及存储介质
CN111405357A (zh) * 2019-01-02 2020-07-10 阿里巴巴集团控股有限公司 音视频编辑方法、装置及存储介质
US11487815B2 (en) * 2019-06-06 2022-11-01 Sony Corporation Audio track determination based on identification of performer-of-interest at live event
CN110139159B (zh) * 2019-06-21 2021-04-06 上海摩象网络科技有限公司 视频素材的处理方法、装置及存储介质
CN110390943B (zh) * 2019-06-28 2022-07-08 上海元笛软件有限公司 音频合成方法、装置、计算机设备和存储介质
CN112235631B (zh) * 2019-07-15 2022-05-03 北京字节跳动网络技术有限公司 视频处理方法、装置、电子设备及存储介质
CN110602550A (zh) * 2019-08-09 2019-12-20 咪咕动漫有限公司 一种视频处理方法、电子设备及存储介质
CN110519638B (zh) * 2019-09-06 2023-05-16 Oppo广东移动通信有限公司 处理方法、处理装置、电子装置和存储介质
CN110677711B (zh) * 2019-10-17 2022-03-01 北京字节跳动网络技术有限公司 视频配乐方法、装置、电子设备及计算机可读介质
CN110797055B (zh) * 2019-10-29 2021-09-03 北京达佳互联信息技术有限公司 多媒体资源合成方法、装置、电子设备及存储介质
CN110855904B (zh) * 2019-11-26 2021-10-01 Oppo广东移动通信有限公司 视频处理方法、电子装置和存储介质
CN111081285B (zh) * 2019-11-30 2021-11-09 咪咕视讯科技有限公司 一种调整特效的方法、电子设备及存储介质
CN111127598B (zh) * 2019-12-04 2023-09-15 网易（杭州）网络有限公司 动画播放速度的调整方法、装置、电子设备和介质
CN113055738B (zh) * 2019-12-26 2022-07-29 北京字节跳动网络技术有限公司 视频特效处理方法及装置
CN113163227A (zh) * 2020-01-22 2021-07-23 浙江大学 一种获得视频数据的方法、装置及电子设备
CN111444384B (zh) * 2020-03-31 2023-10-13 北京字节跳动网络技术有限公司 一种音频关键点确定方法、装置、设备及存储介质
CN111739128B (zh) * 2020-07-29 2021-08-31 广州筷子信息科技有限公司 一种目标视频生成方法和系统
CN111669623B (zh) * 2020-06-28 2023-10-13 腾讯科技（深圳）有限公司 视频特效的处理方法、装置以及电子设备
CN111813970A (zh) * 2020-07-14 2020-10-23 广州酷狗计算机科技有限公司 多媒体内容展示方法、装置、终端及存储介质
CN111757013B (zh) 2020-07-23 2022-04-29 北京字节跳动网络技术有限公司 一种视频处理方法、装置、设备及存储介质
CN112118482A (zh) * 2020-09-17 2020-12-22 广州酷狗计算机科技有限公司 音频文件的播放方法、装置、终端及存储介质
CN112259062B (zh) * 2020-10-20 2022-11-04 北京字节跳动网络技术有限公司 特效展示方法、装置、电子设备及计算机可读介质
CN112380396B (zh) * 2020-11-11 2024-04-26 网易（杭州）网络有限公司 视频处理方法及装置、计算机可读存储介质和电子设备
CN114584803A (zh) * 2020-12-01 2022-06-03 深圳Tcl数字技术有限公司 一种视频的生成方法和计算机设备
CN113099297B (zh) * 2021-03-24 2022-09-30 北京达佳互联信息技术有限公司 卡点视频的生成方法、装置、电子设备及存储介质
CN113473177B (zh) * 2021-05-27 2023-10-31 北京达佳互联信息技术有限公司 音乐推荐方法、装置、电子设备及计算机可读存储介质
CN114173192A (zh) * 2021-12-09 2022-03-11 广州阿凡提电子科技有限公司 一种基于导出视频添加动态特效的方法及系统
CN115802105A (zh) * 2022-11-16 2023-03-14 昆易电子科技(上海)有限公司 视频注入方法及其设备、信息处理系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002023716A (ja) * 2000-07-05 2002-01-25 Pfu Ltd プレゼンテーションシステムおよび記録媒体
WO2006003848A1 (ja) * 2004-06-30 2006-01-12 Matsushita Electric Industrial Co., Ltd. 楽曲情報算出装置及び楽曲再生装置
WO2007010637A1 (ja) * 2005-07-19 2007-01-25 Kabushiki Kaisha Kawai Gakki Seisakusho テンポ検出装置、コード名検出装置及びプログラム
US20110144780A1 (en) * 2007-03-27 2011-06-16 Hiromu Ueshima Timing control device and timing control method
US20090273712A1 (en) * 2008-05-01 2009-11-05 Elliott Landy System and method for real-time synchronization of a video resource and different audio resources
US20090307207A1 (en) * 2008-06-09 2009-12-10 Murray Thomas J Creation of a multi-media presentation
US20100118033A1 (en) * 2008-11-10 2010-05-13 Vistaprint Technologies Limited Synchronizing animation to a repetitive beat source
US8026436B2 (en) * 2009-04-13 2011-09-27 Smartsound Software, Inc. Method and apparatus for producing audio tracks
US20120017150A1 (en) * 2010-07-15 2012-01-19 MySongToYou, Inc. Creating and disseminating of user generated media over a network
US9235765B2 (en) * 2010-08-26 2016-01-12 Blast Motion Inc. Video and motion event integration system
JP2013161205A (ja) * 2012-02-03 2013-08-19 Sony Corp 情報処理装置、情報処理方法、及びプログラム
CN104754394A (zh) * 2015-02-01 2015-07-01 苏州乐聚一堂电子科技有限公司 同步视觉特效系统及同步视觉特效处理方法
CN105142017B (zh) * 2015-08-12 2019-01-22 北京金山安全软件有限公司 一种图片视频播放时的图片切换方法及图片切换装置
US10019415B1 (en) * 2015-08-28 2018-07-10 Animoto Inc. System and method for consistent cross-platform text layout
CN105704542A (zh) * 2016-01-15 2016-06-22 广州酷狗计算机科技有限公司 互动信息显示方法及装置
CN107124624B (zh) * 2017-04-21 2022-09-23 腾讯科技（深圳）有限公司 视频数据生成的方法和装置

Also Published As

Publication number Publication date
WO2018192342A1 (zh) 2018-10-25
US10880598B2 (en) 2020-12-29
US20190335229A1 (en) 2019-10-31
CN107124624A (zh) 2017-09-01

Similar Documents

Publication Publication Date Title
CN107124624B (zh) 视频数据生成的方法和装置
US20100118033A1 (en) Synchronizing animation to a repetitive beat source
US20080055469A1 (en) Method, program and apparatus for generating scenario for music-and-image-synchronized motion picture
CN108769733A (zh) 视频剪辑方法和视频剪辑装置
CN112637670B (zh) 视频生成方法及装置
US11968433B2 (en) Systems and methods for generating synthetic videos based on audio contents
CN107079189A (zh) 灯控制
CN103733249B (zh) 信息系统、信息再现装置、信息生成方法及记录介质
JP2016111386A (ja) 映像編集装置の制御方法、映像編集装置、映像編集方法、コンピュータプログラム、及び記憶媒体
CN110214343A (zh) 信息处理装置、信息处理方法及其程序
WO2010045736A1 (en) Reduced-latency rendering for a text-to-movie system
CN105763923A (zh) 一种影音、影音模板编辑方法及其装置
CN114363691A (zh) 语音字幕合成方法、装置、计算机设备及存储介质
CN112637520B (zh) 一种动态视频编辑方法及其系统
KR20180080642A (ko) 음원과 동기화되는 동영상을 편집하는 방법
CN112687222B (zh) 基于脉冲信号的显示方法、装置、电子设备及介质
KR101850285B1 (ko) 영상 스크립트 생성 장치 및 방법, 영상 스크립트 기반 동영상 제작 시스템 및 방법, 컴퓨터프로그램 저장 매체
CN110322525B (zh) 一种动图处理方法及终端
JP6295381B1 (ja) 表示タイミング決定装置、表示タイミング決定方法、及びプログラム
KR100554374B1 (ko) 영상, 오디오, 자막 및 메시지 등을 포함하는 실물형2차원 동영상 정보물 제작 및 재생 방법, 및 제작된 영상정보물을 재생하기 위한 프로그램이 기록된 매체
EP3876543A1 (en) Video playback method and apparatus
JP2001051579A (ja) 映像表示方法、映像表示装置及び映像表示プログラムを記録した記録媒体
CN114374867B (zh) 多媒体数据的处理方法、装置及介质
KR102538058B1 (ko) 웹 사이트에 대한 아나운싱 광고 배너 제공 시스템
JP7314387B1 (ja) コンテンツ生成装置、コンテンツ生成方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant