CN105828220A - 一种向视频文件中添加音频文件的方法和装置 - Google Patents

一种向视频文件中添加音频文件的方法和装置 Download PDF

Info

Publication number
CN105828220A
CN105828220A CN201610169721.4A CN201610169721A CN105828220A CN 105828220 A CN105828220 A CN 105828220A CN 201610169721 A CN201610169721 A CN 201610169721A CN 105828220 A CN105828220 A CN 105828220A
Authority
CN
China
Prior art keywords
speech data
video file
timestamp
track
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610169721.4A
Other languages
English (en)
Inventor
王若韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LeTV Information Technology Beijing Co Ltd
Original Assignee
LeTV Information Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LeTV Information Technology Beijing Co Ltd filed Critical LeTV Information Technology Beijing Co Ltd
Priority to CN201610169721.4A priority Critical patent/CN105828220A/zh
Publication of CN105828220A publication Critical patent/CN105828220A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs

Abstract

本发明公开了一种向视频文件中添加音频文件的方法和装置，包括：接收由终端发送的音频文件；所述音频文件包括用户在播放第一视频文件的过程中同步输入的语音数据和所述语音数据的输入起始时刻在所述第一视频文件中对应时间点的时间戳；调取所述第一视频文件，根据所述时间戳将所述语音数据添加至所述第一视频文件对应时间点的音轨中，得到第二视频文件并保存。通过将用户在观看视频文件时同步录制的语音数据添加至原视频文件，生成包含用户个性化语音的新的视频文件，简化视频制作过程，给用户带来更加丰富的使用体验。

Description

一种向视频文件中添加音频文件的方法和装置
技术领域
本发明涉及多媒体播放控制领域，特别是指一种向视频文件中添加音频文件的方法和装置。
背景技术
人们在观看在线影视作品时，常常希望能够将自己的评论记录下来；现在也出现了越来越多的“视频影评”：用户通过剪切视频文件的精彩片段，并配上录制的语音评论，“二次创作”得到包含用户语音影评的视频文件。只是这种制作方式并不容易，需要用户掌握基本的视频和音频处理知识，大大限制了普通用户的创作热情。
因此，希望提出一种便于用户向已有的视频文件内添加自己录制的音频文件的方法，在用户观看视频文件的过程中，可以同步录制语音评论，并将语音评论与视频文件整合为新的视频文件，简化视频制作过程，给用户带来更加丰富的使用体验。
发明内容
有鉴于此，本发明的目的在于提出一种向视频文件中添加音频文件的方法和装置。
基于上述目的本发明提供的一种向视频文件中添加音频文件的方法，实施例包括：
接收由终端发送的音频文件；所述音频文件包括用户在播放第一视频文件的过程中同步输入的语音数据和所述语音数据的输入起始时刻在所述第一视频文件中对应时间点的时间戳；
调取所述第一视频文件，根据所述时间戳将所述语音数据添加至所述第一视频文件对应时间点的音轨中，得到第二视频文件并保存。
可选的，所述根据所述时间戳将所述语音数据添加至所述第一视频文件对应时间点的音轨中，得到第二视频文件并保存，包括：
解析所述第一视频文件，提取视频源和第一音轨；
解析所述音频文件，提取语音数据和时间戳；
将所述语音数据按照所述时间戳对应的时间点插入所述第一音轨，得到第二音轨；
将所述视频源和所述第二音轨合成为第二视频文件。
可选的，所述解析所述音频文件，提取语音数据和时间戳后，包括：
根据所述音频文件的时间戳和语音数据的长度，查找所述语音数据在所述第一音轨中对应的声音片段；
根据所述声音片段的声音情况，对所述语音数据进行调整。
可选的，根据所述声音片段的声音情况，对所述语音数据进行调整，包括：
计算所述声音片段的平均音量和所述语音数据的平均音量；
判断所述声音片段的平均音量和所述语音数据的平均音量的差值是否大于预设的调整阈值；若大于或等于预设的调整阈值，对所述语音数据的音量进行调整，直至所述差值小于或等于所述调整阈值。
可选的，将所述语音数据按照所述时间戳对应的时间点插入所述第一音轨，得到第二音轨，包括：
使用所述语音数据替换所述声音片段。
可选的，所述使用所述语音数据替换所述声音片段，包括：
根据所述时间戳和语音数据的长度，获取所述声音片段的开始时间和结束时间；
根据所述开始时间和所述结束时间对所述第一音轨进行裁剪，导出裁剪后所述开始时间处对应的开始接口和所述结束时间处对应的结束接口；
将所述语音数据的始端拼接至所述开始接口，将所述语音数据的末端拼接至所述结束接口。
可选的，所述视频文件预设重要情节时间段；所述解析所述语音文件，提取语音数据和时间戳后，包括：
根据所述音频文件的时间戳和语音数据的长度，判断所述语音数据是否处于所述重要情节时间段内；若处于所述重要情节时间段内，更改所述音频文件的时间戳，使所述语音数据处于所述重要情节时间段外。
可选的，所述根据所述音频文件的时间戳和语音数据的长度，判断所述语音数据是否处于所述重要情节时间段内，包括：
获取所述语音数据的起始时间As和终止时间Ae；
获取所述重要情节时间段的起始时间Bs和终止时间Be；
判断是否满足：As处于区间(Bs，Be)，或Ae处于区间(Bs，Be)，或As小于Bs且Ae大于Be；若是，判定所述语音数据处于所述重要情节时间段内；
所述更改所述音频文件的时间戳，使所述语音数据处于所述重要情节时间段外，包括：
判断(Ae+As)/2的结果与(Be+Bs)/2的结果的大小关系；
若(Ae+As)/2的结果小于(Be+Bs)/2的结果，将所述时间戳前移Ae-Bs；
若(Ae+As)/2的结果大于或等于(Be+Bs)/2的结果，将所述时间戳后移Be-As。
可选的，所述音频文件还包括制作者的用户名，和由所述制作者添加的第二视频名称；所述根据所述时间戳将所述语音数据添加至所述第一视频文件对应时间点的音轨中，得到第二视频文件后，包括：
在所述第一视频文件的播放链接页面添加所述第二视频文件的简介和播放链接；所述简介包括所述制作者的用户名和第二视频名称。
基于上述目的本发明提供一种向视频文件中添加音频文件的装置，实施例包括：
接收单元，用于接收由终端发送的音频文件；所述音频文件包括用户在播放第一视频文件的过程中同步输入的语音数据和所述语音数据的输入起始时刻在所述第一视频文件中对应时间点的时间戳；处理单元，用于调取所述第一视频文件，根据所述时间戳将所述语音数据添加至所述第一视频文件对应时间点的音轨中，得到第二视频文件。
可选的，所述处理单元包括：
解析模块，用于解析所述第一视频文件，提取视频源和第一音轨；解析所述音频文件，提取语音数据和时间戳；
所述处理单元还用于将所述语音数据按照所述时间戳对应的时间点插入所述第一音轨，得到第二音轨；将所述视频源和所述第二音轨合成为第二视频文件。
可选的，所述处理单元包括：
声音处理模块，用于根据所述音频文件的时间戳和语音数据的长度，查找所述语音数据在所述第一音轨中对应的声音片段；根据所述声音片段的声音情况，对所述语音数据进行调整。
可选的，所述声音处理模块用于计算所述声音片段的平均音量和所述语音数据的平均音量；判断所述声音片段的平均音量和所述语音数据的平均音量的差值是否大于预设的调整阈值；若大于预设的调整阈值，对所述语音数据的音量进行调整，直至所述差值小于或等于所述调整阈值。
可选的，所述处理单元包括：
替换模块，用于使用所述语音数据替换所述声音片段。15.根据权利要求14所述的装置，其特征在于，所述替换模块用于根据所述音频文件的时间戳和语音数据的长度，获取所述声音片段的开始时间和结束时间；根据所述开始时间和所述结束时间对所述第一音轨进行裁剪，导出裁剪后所述开始时间处对应的开始接口和所述结束时间处对应的结束接口；将所述语音数据的始端拼接至所述开始接口，将所述语音数据的末端拼接至所述结束接口。
可选的，所述视频文件预设重要情节时间段；所述处理单元包括：
重要情节处理模块，用于根据所述音频文件的时间戳和语音数据的长度，判断所述语音数据是否处于所述重要情节时间段内；若处于所述重要情节时间段内，更改所述音频文件的时间戳，使所述语音数据处于所述重要情节时间段外。
可选的，所述重要情节处理模块还用于获取所述语音数据的起始时间As和终止时间Ae；获取所述重要情节时间段的起始时间Bs和终止时间Be；判断是否满足：As处于区间(Bs，Be)，或Ae处于区间(Bs，Be)，或As小于Bs且Ae大于Be；若是，判定所述语音数据处于所述重要情节时间段内；
所述重要情节处理模块还用于判断(Ae+As)/2的结果与(Be+Bs)/2的结果的大小关系；若(Ae+As)/2的结果小于(Be+Bs)/2的结果，将所述时间戳前移Ae-Bs；若(Ae+As)/2的结果大于或等于(Be+Bs)/2的结果，将所述时间戳后移Be-As。
可选的，所述音频文件还包括制作者的用户名，和由所述制作者添加的第二视频名称；装置还包括：
发布单元，用于在所述第一视频文件的播放链接页面添加所述第二视频文件的简介和播放链接；所述简介包括所述制作者的用户名和第二视频名称。
在所述第一视频文件的播放链接页面添加所述第二视频文件的简介和播放链接；所述简介包括所述制作者的用户名和第二视频名称。
从上面所述可以看出，本发明提供的一种向视频文件中添加音频文件的方法和装置，通过将用户在观看视频文件时同步录制的语音数据添加至原视频文件，生成包含用户个性化语音的新的视频文件。用户只需要在适当的时间点录制语音，即可由服务器自动完成语音和视频文件的合并工作，大大降低了视频编辑的难度，实现了一种向视频文件添加音频文件的简便方法。
附图说明
图1为本发明提供的一种向视频文件中添加音频文件的方法的实施例的流程图；
图2为本发明提供的一种向视频文件中添加音频文件的方法的可选实施例的流程图；
图3为本发明提供的一种向视频文件中添加音频文件的方法的可选实施例的流程图；
图4为本发明提供的一种向视频文件中添加音频文件的方法的可选实施例的流程图；
图5为本发明提供的一种向视频文件中添加音频文件的方法的可选实施例的流程图；
图6为本发明提供的一种向视频文件中添加音频文件的装置的实施例的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
图1为本发明提供的一种向视频文件中添加音频文件的方法的实施例的流程图。如图所示，本发明提供的一种向视频文件中添加音频文件的方法的实施例，可以应用在手机、平板电脑、电视等终端，包括：
S10，接收由终端侧发送的音频文件；所述音频文件包括用户在播放第一视频文件的过程中同步输入的语音数据和所述语音数据的输入起始时刻在所述第一视频文件中对应时间点的时间戳。
上述“同步输入”是指，用户在播放视频文件时，即时录制输入语音数据，例如，用户观看电影时在某一搞笑情节后，希望发表一些评论，则可以触发录制进程(具体触发方法可根据需要另行确定，例如设置专用触发案件，或在视频播放页面输入特定手势等；录制进程与现有的音频数据录制过程相似，不再赘述)，录制一段包含语音评论的语音数据。
所述接收过程可以在单一音频文件制作完成后，在用户继续播放视频文件的过程中执行，也可以在视频文件播放完毕后将用户播放该视频文件的过程中录制的全部音频文件统一上传至服务器接收；前者具备较好地实时性，并且可以利用多余的带宽资源，不会影响用户播放其他视频文件，后者则是针对网络带宽不足以满足视频下行传输和语音上行传输的用户设计，在播放完一个视频文件后，需要等待用户播放该视频文件的过程中录制的全部音频文件上传完毕后，才可以获得足够的网络带宽播放下一视频文件。上述两种具体的实施方式可以根据用户实际的网络带宽和所播放视频文件的清晰度(码率等)综合使用。
S11，调取所述第一视频文件，根据所述时间戳将所述语音数据添加至所述第一视频文件对应时间点的音轨中，得到第二视频文件。
所述第一视频文件保存在网络服务器本地，具体的调取过程可按照现有的文件管理方法实施。上述添加时间戳的方法是指，将语音数据的起始点拼接至时间戳在视频文件的播放进度中指示的位置；对于视频文件与所述语音数据发生重合的部分音轨，可以予以保留，也可以删除，即使用语音数据替换原有的音轨片段。可选的实施例将在后文进一步说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
本实施例中的方法在用户观看视频文件的过程中，可以实时录制语音，插入视频文件中，与视频文件原本的音轨合并或替换视频文件的原有音轨，从而完成用户对视频文件声音的快捷编辑，实现“二次创作”。在这一过程中，用户向服务器发送的仅为录制的音频文件，由网络服务器完成视频文件和音频文件的合成，解放了用户的网络资源。
图2为本发明提供的一种向视频文件中添加音频文件的方法的可选实施例的流程图。如图所示，在可选的实施例中，S11，调取所述第一视频文件，根据所述时间戳将所述语音数据添加至所述第一视频文件对应时间点的音轨中，得到第二视频文件，包括：
S20，解析所述第一视频文件，提取视频源和第一音轨。
S21，解析所述音频文件，提取语音数据和时间戳。需要说明的是，步骤S20、S21并无执行的先后顺序。
S22，将所述语音数据按照所述时间戳对应的时间点插入所述第一音轨，得到第二音轨。
需要说明的是，本实施例中的“插入”仅表示将语音数据加入第一音轨，至于第一音轨原本与音频文件所对应的位置的内容，可以选择保留，也可以事先移除。若选择保留，则通常需要进一步对语音数据或时间戳进行调整，以适应原有的语音片段；若选择移除，则通常也需要对语音数据进行适当调整，使其与原音轨前后的声音匹配。这两种选择在下文中均有可选的实时例予以说明。
S23，将所述视频源和所述第二音轨合成为第二视频文件。
本实施例给出了将语音数据添加至第一视频文件对应时间点的音轨中的一种实现方式。本实施例针对的是可以解析为视频源和音轨的视频文件类型；对于无法解析的视频文件类型，采用类似的处理手段将声音数据加以叠加即可，但移除原有语音片段的方法则不再可行。
在可选的实施例中，S21，解析所述语音文件，提取语音数据和时间戳后，包括：
S30，根据所述音频文件的时间戳和语音数据的长度，查找所述语音数据在所述第一音轨中对应的声音片段。
S31，根据所述声音片段的声音情况，对所述语音数据进行调整。
图3为本发明提供的一种向视频文件中添加音频文件的方法的可选实施例的流程图。如图所示，在可选的实施方式中，S31，根据所述声音片段的声音情况，对所述语音数据进行调整，包括：
S40，计算所述声音片段的平均音量和所述语音数据的平均音量。
S41，判断所述声音片段的平均音量和所述语音数据的平均音量的差值是否大于预设的调整阈值；若大于预设的调整阈值，对所述语音数据的音量进行调整，直至所述差值小于或等于所述调整阈值。所述调整阈值可以是预设的定值，例如取5dB-15dB之间的值，取值过小会导致语音数据的音量调整幅度过大，有可能无法正确反映作者希望表达的情感；取值过大则起不到有效的调整效果。所述调整阈值还可以用根据声音片段的平均音量作为标准确定，例如取平均音量响度的3％-10％之间的值作为调整阈值，可以针对不同音量的声音片段采用不同大小的调整阈值，起到更好的调整效果。
上述步骤S40、S41提供了对语音数据音量大小调整的一种实施方式，即根据语音数据对应的声音片段的声音大小，调整语音数据的音量大小，使语音数据的音量与声音片段的音量大小相近，从而使二者均可以被清晰地听到。
在可选的实施例中，S31，根据所述声音片段的声音情况，对所述语音数据进行调整后，将所述语音数据按照所述时间戳对应的时间点插入所述第一音轨，得到第二音轨包括：
S50，使用所述语音数据替换所述声音片段。
图4为本发明提供的一种向视频文件中添加音频文件的方法的可选实施例的流程图。如图所示，在可选的实施方式中，S50，所述使用所述语音数据替换所述声音片段，包括：
S60，根据所述音频文件的时间戳和语音数据的长度，获取所述声音片段的开始时间和结束时间。
S61，根据所述开始时间和所述结束时间对所述第一音轨进行裁剪，导出裁剪后开始时间对应的开始接口和结束时间对应的结束接口。
S62，将所述语音数据的始端拼接至所述开始接口，将所述语音数据的末端拼接至所述结束接口，得到第二音轨。
步骤S60-S62，并非采用简单的覆盖，而是采用裁剪和拼接的方式将语音数据加入音轨中并替换原有声音片段；这一方式的优点在于，无须担心原有声音片段对于现有语音数据的干扰。
在可选的实施方式中，还可以对开始接口和结束接口处的音轨、语音数据进行渐变处理，包括：
获取所述语音数据的长度，判断所述长度是否大于长度阈值；若大于长度阈值，则使用预设的长度值作为第一长度；若小于或等于长度阈值，则使用所述语音数据的长度乘以预设的系数，得到第一长度。
在对所述音轨进行裁剪时，在所述开始接口和所述结束接口处分别保留第一长度的音轨；对所述开始接口处保留的音轨、所述语音数据末端处第一长度的音轨进行渐弱处理；对所述结束接口处保留的音轨、所述语音数据始端处第一长度的音轨进行渐强处理。
这里的长度阈值采用相对通常视频长度来说较小的值，例如5s-15s；预设的长度值采用与长度阈值匹配的值，例如5s-10s；当语音数据长度较长时，采用固定长度的时间作为渐变时间；当语音数据长度较短时，则采用语音数据长度乘以某一比例值后的长度，作为渐变时间，以免出现仅采用固定长度的时间作为渐变时间后用户在收看时，某些较短的语音数据全程处于渐变状态，影响收视效果。
经过本实施例方法的处理后，在插入语音数据的开始处，视频声音逐渐减弱的同时语音数据的声音逐渐增强，在插入语音数据的终止处，视频声音逐渐增强的同时语音数据的声音逐渐减弱，不至过于突兀，可以使整个视频文件的音轨更加平滑，提升观赏性。
图5为本发明提供的一种向视频文件中添加音频文件的方法的可选实施例的流程图。如图所示，在可选的实施方式中，所述视频文件预设重要情节时间段；S21，解析所述语音文件，提取语音数据和时间戳后，包括：
S70，根据所述音频文件的时间戳和语音数据的长度，判断所述语音数据是否处于所述重要情节时间段内；若处于所述重要情节时间段内，执行步骤S71。
S71，更改所述音频文件的时间戳，使所述语音数据处于所述重要情节时间段外。
在可选的实施方式中，S70，根据所述音频文件的时间戳和语音数据的长度，判断所述语音数据是否处于所述重要情节时间段内，包括：
S80，获取所述语音数据的起始时间As和终止时间Ae。
S81，获取所述重要情节时间段的起始时间Bs和终止时间Be。
S82，判断是否满足：As处于区间(Bs，Be)，或Ae处于区间(Bs，Be)，或As小于Bs且Ae大于Be；若是，判定所述语音数据处于所述重要情节时间段内。即只要判定语音数据的与任一重要情节时间段发生部分重合，则判定所述语音数据处于所述重要情节时间段内。
S71，更改所述音频文件的时间戳，使所述语音数据处于所述重要情节时间段外，包括：
S83，判断(Ae+As)/2的结果与(Be+Bs)/2的结果的大小关系；若(Ae+As)/2的结果小于(Be+Bs)/2的结果，执行步骤S84；若(Ae+As)/2的结果大于或等于(Be+Bs)/2的结果，执行步骤S85。
S84，将所述时间戳前移Ae-Bs。
S85，将所述时间戳后移Be-As。
步骤S83-S85，通过判定发生重合的语音数据与重要情节时间段的前后关系，将语音数据对应的时间戳向语音数据更加靠近的一侧移动，直至语音数据不再与重要情节时间段重合。
上述重要情节时间段是指视频文件中剧情较为精彩的一些片段，在这些片段中，用户希望能够单纯地观看视频，而不希望听到其他声音，因此声音文件应当避免在这些片段内同时播放。所述重要情节时间段的确定方式，可以通过分许视频文件的音轨中音量特殊的区间进行确定(例如以一定宽度的窗作为判断区域，将这一窗沿音轨移动，该窗用于计算窗口内音轨的平均音量；当所述平均音量大于或等于预设的阈值，则标记为一个重要情节时间段的开始点，直到平均音量小于预设的阈值后，则标记为该重要情节时间段的终止点。)，也可以由人工预先设定。
本实施例可以避免用户操作不当导致语音覆盖了重要的视频情节，自动对录制的语音数据的时间戳进行微调，从而使语音数据不再覆盖重要情节。当然，有时用户为了达到一定视频效果，可能有意将语音与重要情节相重合，因此在可选的实施方式中，在终端可以预先设定是否开启自动调节功能；同样，上述对于音量的调节方法的实施例中，也可以由用户预先设定是否由服务器端执行后期调整。
在可选的实施例中，所述音频文件还包括该音频文件制作者的用户名，及由制作者添加的第二视频名称；S22，将所述语音数据按照所述时间戳对应的时间点插入所述第一音轨，得到第二音轨后，包括：
S90，在所述第一视频文件的播放链接页面添加所述第二视频文件的简介和播放链接；所述简介包括所述制作者的用户名和第二视频名称。
本实施例将经用户编辑，添加个性化语音评论的视频文件的播放链接张贴在原视频文件的播放链接页面上，其他用户在观看时，可以选择观看经编辑过的视频文件。可选的，还可以根据播放量，对全部第二视频文件按照播放量由高到低的顺序进行排序，方便其他用户选择观看。
图6为本发明提供的一种向视频文件中添加音频文件的装置的实施例的框图。如图所示，本发明还提供一种向视频文件中添加音频文件的装置，实施例包括：
接收单元100，用于接收由终端发送的音频文件；所述音频文件包括用户在播放第一视频文件的过程中同步输入的语音数据和所述语音数据的输入起始时刻在所述第一视频文件中对应时间点的时间戳。
处理单元101，用于调取所述第一视频文件，根据所述时间戳将所述语音数据添加至所述第一视频文件对应时间点的音轨中，得到第二视频文件。
本实施例中的装置通过接收单元100获取用户观看视频文件的过程中实时录制的语音，并通过处理单元101插入视频文件中，与视频文件原本的音轨合并或替换视频文件的原有音轨，从而完成用户对视频文件声音的快捷编辑，实现“二次创作”。在这一过程中，用户向服务器发送的仅为录制的音频文件，由网络服务器完成视频文件和音频文件的合成，解放了用户的网络资源。
在可选的实施例中，所述处理单元101包括：
解析模块110，用于解析所述第一视频文件，提取视频源和第一音轨；解析所述音频文件，提取语音数据和时间戳。
所述处理单元101还用于将所述语音数据按照所述时间戳对应的时间点插入所述第一音轨，得到第二音轨；将所述视频源和所述第二音轨合成为第二视频文件。
在可选的实施例中，所述处理单元101包括：
声音处理模块120，用于根据所述音频文件的时间戳和语音数据的长度，查找所述语音数据在所述第一音轨中对应的声音片段；根据所述声音片段的声音情况，对所述语音数据进行调整。
在可选的实施例中，所述声音处理模块120用于计算所述声音片段的平均音量和所述语音数据的平均音量；判断所述声音片段的平均音量和所述语音数据的平均音量的差值是否大于预设的调整阈值；若大于预设的调整阈值，对所述语音数据的音量进行调整，直至所述差值小于或等于所述调整阈值。
在可选的实时例中，所述处理单元101包括：
替换模块130，用于使用所述语音数据替换所述声音片段。
在可选的实施例中，所述替换模块130用于根据所述音频文件的时间戳和语音数据的长度，获取所述声音片段的开始时间和结束时间；根据所述开始时间和所述结束时间对所述第一音轨进行裁剪，导出裁剪后开始时间对应的开始接口和结束时间对应的结束接口；将所述语音数据的始端拼接至所述开始接口，将所述语音数据的末端拼接至所述结束接口。
在可选的实施例中，所述视频文件预设重要情节时间段；所述处理单元101包括：
重要情节处理模块140，用于根据所述音频文件的时间戳和语音数据的长度，判断所述语音数据是否处于所述重要情节时间段内；若处于所述重要情节时间段内，更改所述音频文件的时间戳，使所述语音数据处于所述重要情节时间段外。
在可选的实施例中，所述重要情节处理模块140用于获取所述语音数据的起始时间As和终止时间Ae；获取所述重要情节时间段的起始时间Bs和终止时间Be；判断是否满足：As处于区间(Bs，Be)，或Ae处于区间(Bs，Be)，或As小于Bs且Ae大于Be；若是，判定所述语音数据处于所述重要情节时间段内；
所述重要情节处理模块140还用于判断(Ae+As)/2的结果与(Be+Bs)/2的结果的大小关系；若(Ae+As)/2的结果小于(Be+Bs)/2的结果，将所述时间戳前移Ae-Bs；若(Ae+As)/2的结果大于或等于(Be+Bs)/2的结果，将所述时间戳后移Be-As。
在可选的实施例中，所述音频文件还包括该音频文件制作者的用户名，及由制作者添加的第二视频名称；装置还包括：
发布单元150，用于在所述第一视频文件的播放链接页面添加所述第二视频文件的简介和播放链接；所述简介包括所述制作者的用户名和第二视频名称。
从上面所述可以看出，本发明提供的一种向视频文件中添加音频文件的方法和装置，通过将用户在观看视频文件时同步录制的语音数据添加至原视频文件，生成包含用户个性化语音的新的视频文件。用户只需要在适当的时间点录制语音，即可由服务器自动完成语音和视频文件的合并工作，大大降低了视频编辑的难度，实现了一种向视频文件添加音频文件的简便方法。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种向视频文件中添加音频文件的方法，其特征在于，包括：
接收由终端发送的音频文件；所述音频文件包括用户在播放第一视频文件的过程中同步输入的语音数据和所述语音数据的输入起始时刻在所述第一视频文件中对应时间点的时间戳；
调取所述第一视频文件，根据所述时间戳将所述语音数据添加至所述第一视频文件对应时间点的音轨中，得到第二视频文件并保存。
2.根据权利要求1所述的方法，其特征在于，所述根据所述时间戳将所述语音数据添加至所述第一视频文件对应时间点的音轨中，得到第二视频文件并保存，包括：
解析所述第一视频文件，提取视频源和第一音轨；
解析所述音频文件，提取语音数据和时间戳；
将所述语音数据按照所述时间戳对应的时间点插入所述第一音轨，得到第二音轨；
将所述视频源和所述第二音轨合成为第二视频文件。
3.根据权利要求2所述的方法，其特征在于，所述解析所述音频文件，提取语音数据和时间戳后，包括：
根据所述音频文件的时间戳和语音数据的长度，查找所述语音数据在所述第一音轨中对应的声音片段；
根据所述声音片段的声音情况，对所述语音数据进行调整。
4.根据权利要求3所述的方法，其特征在于，根据所述声音片段的声音情况，对所述语音数据进行调整，包括：
计算所述声音片段的平均音量和所述语音数据的平均音量；
判断所述声音片段的平均音量和所述语音数据的平均音量的差值是否大于预设的调整阈值；若大于或等于预设的调整阈值，对所述语音数据的音量进行调整，直至所述差值小于或等于所述调整阈值。
5.根据权利要求3所述的方法，其特征在于，将所述语音数据按照所述时间戳对应的时间点插入所述第一音轨，得到第二音轨，包括：
使用所述语音数据替换所述声音片段。
6.根据权利要求5所述的方法，其特征在于，所述使用所述语音数据替换所述声音片段，包括：
根据所述时间戳和语音数据的长度，获取所述声音片段的开始时间和结束时间；
根据所述开始时间和所述结束时间对所述第一音轨进行裁剪，导出裁剪后所述开始时间处对应的开始接口和所述结束时间处对应的结束接口；
将所述语音数据的始端拼接至所述开始接口，将所述语音数据的末端拼接至所述结束接口。
7.根据权利要求2所述的方法，其特征在于，所述视频文件预设重要情节时间段；所述解析所述语音文件，提取语音数据和时间戳后，包括：
根据所述音频文件的时间戳和语音数据的长度，判断所述语音数据是否处于所述重要情节时间段内；若处于所述重要情节时间段内，更改所述音频文件的时间戳，使所述语音数据处于所述重要情节时间段外。
8.根据权利要求7所述的方法，其特征在于，所述根据所述音频文件的时间戳和语音数据的长度，判断所述语音数据是否处于所述重要情节时间段内，包括：
获取所述语音数据的起始时间As和终止时间Ae；
获取所述重要情节时间段的起始时间Bs和终止时间Be；
判断是否满足：As处于区间(Bs，Be)，或Ae处于区间(Bs，Be)，或As小于Bs且Ae大于Be；若是，判定所述语音数据处于所述重要情节时间段内；
所述更改所述音频文件的时间戳，使所述语音数据处于所述重要情节时间段外，包括：
判断(Ae+As)/2的结果与(Be+Bs)/2的结果的大小关系；
若(Ae+As)/2的结果小于(Be+Bs)/2的结果，将所述时间戳前移Ae-Bs；
若(Ae+As)/2的结果大于或等于(Be+Bs)/2的结果，将所述时间戳后移Be-As。
9.根据权利要求1所述的方法，其特征在于，所述音频文件还包括制作者的用户名，和由所述制作者添加的第二视频名称；所述根据所述时间戳将所述语音数据添加至所述第一视频文件对应时间点的音轨中，得到第二视频文件后，包括：
在所述第一视频文件的播放链接页面添加所述第二视频文件的简介和播放链接；所述简介包括所述制作者的用户名和第二视频名称。
10.一种向视频文件中添加音频文件的装置，其特征在于，包括：
接收单元，用于接收由终端发送的音频文件；所述音频文件包括用户在播放第一视频文件的过程中同步输入的语音数据和所述语音数据的输入起始时刻在所述第一视频文件中对应时间点的时间戳；处理单元，用于调取所述第一视频文件，根据所述时间戳将所述语音数据添加至所述第一视频文件对应时间点的音轨中，得到第二视频文件。
11.根据权利要求10所述的装置，其特征在于，所述处理单元包括：
解析模块，用于解析所述第一视频文件，提取视频源和第一音轨；解析所述音频文件，提取语音数据和时间戳；
所述处理单元还用于将所述语音数据按照所述时间戳对应的时间点插入所述第一音轨，得到第二音轨；将所述视频源和所述第二音轨合成为第二视频文件。
12.根据权利要求11所述的装置，其特征在于，所述处理单元包括：
声音处理模块，用于根据所述音频文件的时间戳和语音数据的长度，查找所述语音数据在所述第一音轨中对应的声音片段；根据所述声音片段的声音情况，对所述语音数据进行调整。
13.根据权利要求12所述的装置，其特征在于，所述声音处理模块用于计算所述声音片段的平均音量和所述语音数据的平均音量；判断所述声音片段的平均音量和所述语音数据的平均音量的差值是否大于预设的调整阈值；若大于预设的调整阈值，对所述语音数据的音量进行调整，直至所述差值小于或等于所述调整阈值。
14.根据权利要求12所述的装置，其特征在于，所述处理单元包括：
替换模块，用于使用所述语音数据替换所述声音片段。
15.根据权利要求14所述的装置，其特征在于，所述替换模块用于根据所述音频文件的时间戳和语音数据的长度，获取所述声音片段的开始时间和结束时间；根据所述开始时间和所述结束时间对所述第一音轨进行裁剪，导出裁剪后所述开始时间处对应的开始接口和所述结束时间处对应的结束接口；将所述语音数据的始端拼接至所述开始接口，将所述语音数据的末端拼接至所述结束接口。
16.根据权利要求11所述的装置，其特征在于，所述视频文件预设重要情节时间段；所述处理单元包括：
重要情节处理模块，用于根据所述音频文件的时间戳和语音数据的长度，判断所述语音数据是否处于所述重要情节时间段内；若处于所述重要情节时间段内，更改所述音频文件的时间戳，使所述语音数据处于所述重要情节时间段外。
17.根据权利要求16所述的装置，其特征在于，所述重要情节处理模块还用于获取所述语音数据的起始时间As和终止时间Ae；获取所述重要情节时间段的起始时间Bs和终止时间Be；判断是否满足：As处于区间(Bs，Be)，或Ae处于区间(Bs，Be)，或As小于Bs且Ae大于Be；若是，判定所述语音数据处于所述重要情节时间段内；
所述重要情节处理模块还用于判断(Ae+As)/2的结果与(Be+Bs)/2的结果的大小关系；若(Ae+As)/2的结果小于(Be+Bs)/2的结果，将所述时间戳前移Ae-Bs；若(Ae+As)/2的结果大于或等于(Be+Bs)/2的结果，将所述时间戳后移Be-As。
18.根据权利要求10所述的装置，其特征在于，所述音频文件还包括制作者的用户名，和由所述制作者添加的第二视频名称；装置还包括：
发布单元，用于在所述第一视频文件的播放链接页面添加所述第二视频文件的简介和播放链接；所述简介包括所述制作者的用户名和第二视频名称。
在所述第一视频文件的播放链接页面添加所述第二视频文件的简介和播放链接；所述简介包括所述制作者的用户名和第二视频名称。
CN201610169721.4A 2016-03-23 2016-03-23 一种向视频文件中添加音频文件的方法和装置 Pending CN105828220A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610169721.4A CN105828220A (zh) 2016-03-23 2016-03-23 一种向视频文件中添加音频文件的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610169721.4A CN105828220A (zh) 2016-03-23 2016-03-23 一种向视频文件中添加音频文件的方法和装置

Publications (1)

Publication Number Publication Date
CN105828220A true CN105828220A (zh) 2016-08-03

Family

ID=56524452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610169721.4A Pending CN105828220A (zh) 2016-03-23 2016-03-23 一种向视频文件中添加音频文件的方法和装置

Country Status (1)

Country Link
CN (1) CN105828220A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106371797A (zh) * 2016-08-31 2017-02-01 腾讯科技（深圳）有限公司 配置音效的方法及装置
CN106604056A (zh) * 2016-11-30 2017-04-26 腾讯科技（深圳）有限公司 视频播放方法和装置
CN107071512A (zh) * 2017-01-16 2017-08-18 腾讯科技（深圳）有限公司 一种配音方法、装置及系统
CN107124622A (zh) * 2017-04-14 2017-09-01 武汉鲨鱼网络直播技术有限公司 一种音视频合流压制系统及方法
CN107197186A (zh) * 2017-04-14 2017-09-22 武汉鲨鱼网络直播技术有限公司 一种音视频压制系统及方法
CN107911740A (zh) * 2017-09-30 2018-04-13 广东南都全媒体网络科技有限公司 一种基于视频播放的声音收集的方法及装置
CN108305636A (zh) * 2017-11-06 2018-07-20 腾讯科技（深圳）有限公司 一种音频文件处理方法及装置
CN108512874A (zh) * 2017-02-27 2018-09-07 上海谦问万答吧云计算科技有限公司 一种在线答疑数据的同步方法及装置
CN109474855A (zh) * 2018-11-08 2019-03-15 北京微播视界科技有限公司 视频编辑方法、装置、计算机设备和可读存储介质
CN110209870A (zh) * 2019-05-10 2019-09-06 杭州网易云音乐科技有限公司 音乐日志生成方法、装置、介质和计算设备
CN110366002A (zh) * 2019-06-14 2019-10-22 北京字节跳动网络技术有限公司 视频文件合成方法、系统、介质和电子设备
CN110868637A (zh) * 2018-08-28 2020-03-06 阿里巴巴集团控股有限公司 视频、数据处理方法、装置、电子设备和存储介质
CN113038258A (zh) * 2021-03-04 2021-06-25 重庆电子工程职业学院 数字多媒体音频转移方法及装置
CN114666516A (zh) * 2022-02-17 2022-06-24 海信视像科技股份有限公司 显示设备及流媒体文件合成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140130087A1 (en) * 2011-07-25 2014-05-08 Iplateiakorea Co., Ltd. Method and system for providing additional information on broadcasting content
CN104125491A (zh) * 2014-07-07 2014-10-29 乐视网信息技术（北京）股份有限公司 音频评论信息生成方法和装置，音频评论播放方法和装置
CN104247440A (zh) * 2012-04-18 2014-12-24 莱福昂秀有限责任公司 产生具有声轨的视频数据
CN104333802A (zh) * 2013-12-13 2015-02-04 乐视网信息技术（北京）股份有限公司 一种视频播放方法及视频播放器
CN104811787A (zh) * 2014-10-27 2015-07-29 深圳市腾讯计算机系统有限公司 游戏视频录制方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140130087A1 (en) * 2011-07-25 2014-05-08 Iplateiakorea Co., Ltd. Method and system for providing additional information on broadcasting content
CN104247440A (zh) * 2012-04-18 2014-12-24 莱福昂秀有限责任公司 产生具有声轨的视频数据
CN104333802A (zh) * 2013-12-13 2015-02-04 乐视网信息技术（北京）股份有限公司 一种视频播放方法及视频播放器
CN104125491A (zh) * 2014-07-07 2014-10-29 乐视网信息技术（北京）股份有限公司 音频评论信息生成方法和装置，音频评论播放方法和装置
CN104811787A (zh) * 2014-10-27 2015-07-29 深圳市腾讯计算机系统有限公司 游戏视频录制方法及装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106371797A (zh) * 2016-08-31 2017-02-01 腾讯科技（深圳）有限公司 配置音效的方法及装置
CN106604056B (zh) * 2016-11-30 2019-05-24 腾讯科技（深圳）有限公司 视频播放方法和装置
CN106604056A (zh) * 2016-11-30 2017-04-26 腾讯科技（深圳）有限公司 视频播放方法和装置
CN107071512A (zh) * 2017-01-16 2017-08-18 腾讯科技（深圳）有限公司 一种配音方法、装置及系统
CN107071512B (zh) * 2017-01-16 2019-06-25 腾讯科技（深圳）有限公司 一种配音方法、装置及系统
CN108512874A (zh) * 2017-02-27 2018-09-07 上海谦问万答吧云计算科技有限公司 一种在线答疑数据的同步方法及装置
CN107124622A (zh) * 2017-04-14 2017-09-01 武汉鲨鱼网络直播技术有限公司 一种音视频合流压制系统及方法
CN107197186A (zh) * 2017-04-14 2017-09-22 武汉鲨鱼网络直播技术有限公司 一种音视频压制系统及方法
CN107911740A (zh) * 2017-09-30 2018-04-13 广东南都全媒体网络科技有限公司 一种基于视频播放的声音收集的方法及装置
CN108305636A (zh) * 2017-11-06 2018-07-20 腾讯科技（深圳）有限公司 一种音频文件处理方法及装置
CN108305636B (zh) * 2017-11-06 2019-11-15 腾讯科技（深圳）有限公司 一种音频文件处理方法及装置
US11538456B2 (en) 2017-11-06 2022-12-27 Tencent Technology (Shenzhen) Company Limited Audio file processing method, electronic device, and storage medium
CN110868637A (zh) * 2018-08-28 2020-03-06 阿里巴巴集团控股有限公司 视频、数据处理方法、装置、电子设备和存储介质
CN109474855A (zh) * 2018-11-08 2019-03-15 北京微播视界科技有限公司 视频编辑方法、装置、计算机设备和可读存储介质
CN110209870A (zh) * 2019-05-10 2019-09-06 杭州网易云音乐科技有限公司 音乐日志生成方法、装置、介质和计算设备
CN110209870B (zh) * 2019-05-10 2021-11-09 杭州网易云音乐科技有限公司 音乐日志生成方法、装置、介质和计算设备
CN110366002A (zh) * 2019-06-14 2019-10-22 北京字节跳动网络技术有限公司 视频文件合成方法、系统、介质和电子设备
CN110366002B (zh) * 2019-06-14 2022-03-11 北京字节跳动网络技术有限公司 视频文件合成方法、系统、介质和电子设备
CN113038258A (zh) * 2021-03-04 2021-06-25 重庆电子工程职业学院 数字多媒体音频转移方法及装置
CN114666516A (zh) * 2022-02-17 2022-06-24 海信视像科技股份有限公司 显示设备及流媒体文件合成方法

Similar Documents

Publication Publication Date Title
CN105828220A (zh) 一种向视频文件中添加音频文件的方法和装置
CN107396177B (zh) 视频播放方法、装置及存储介质
CN105828100A (zh) 一种音视频文件同时播放的方法、装置和系统
WO2021121023A1 (zh) 视频编辑方法、视频编辑装置、终端和可读存储介质
US20070260634A1 (en) Apparatus, system, method, and computer program product for synchronizing the presentation of media content
CN109194887B (zh) 一种云剪视频录制及剪辑方法和插件
CN103414949A (zh) 一种基于智能电视的多媒体编辑系统与方法
KR20150119936A (ko) 에어셰어링 방법, 에어셰어링 기기, 및 단말 장치
CN102802044A (zh) 视频处理方法、终端及字幕服务器
CN101901620A (zh) 视频内容索引文件的自动产生、编辑方法与应用
CN103096184A (zh) 一种视频编辑方法及装置
CN103686352A (zh) 智能电视媒体播放器及其字幕处理方法、智能电视
US10595067B2 (en) Video providing apparatus, video providing method, and computer program
CN102868862A (zh) 应用于移动终端的视频配音方法及该设备
US20200097528A1 (en) Method and Device for Quickly Inserting Text of Speech Carrier
CN103281566B (zh) 一种视频切换的方法及装置
CN112468741A (zh) 视频生成的方法、电子设备及存储介质
CN103096131A (zh) 一种直播流处理方法和装置
CN111064980A (zh) 一种基于云端的音视频播放控制方法及系统
CN104038812A (zh) 一种信息推送方法和设备
US20150271598A1 (en) Radio to Tune Multiple Stations Simultaneously and Select Programming Segments
KR20220156786A (ko) 사용자의 발화를 기반으로 컨텐츠를 제공하는 장치 및 시스템
CA2972051C (en) Use of program-schedule text and closed-captioning text to facilitate selection of a portion of a media-program recording
CN103313124A (zh) 本地录制业务的实现方法和装置
CN113891108A (zh) 字幕优化方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160803

WD01 Invention patent application deemed withdrawn after publication