CN114650266A - 小程序配音作品处理的方法 - Google Patents

小程序配音作品处理的方法 Download PDF

Info

Publication number
CN114650266A
CN114650266A CN202210183058.9A CN202210183058A CN114650266A CN 114650266 A CN114650266 A CN 114650266A CN 202210183058 A CN202210183058 A CN 202210183058A CN 114650266 A CN114650266 A CN 114650266A
Authority
CN
China
Prior art keywords
recording
video
audio
background
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210183058.9A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Yougu Information Technology Co ltd
Original Assignee
Guangzhou Yougu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yougu Information Technology Co ltd filed Critical Guangzhou Yougu Information Technology Co ltd
Priority to CN202210183058.9A priority Critical patent/CN114650266A/zh
Publication of CN114650266A publication Critical patent/CN114650266A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information

Abstract

本发明涉及小程序配音作品技术领域，且公开了小程序配音作品处理的方法，使用后台合成和前端合成中的一种，后台合成时，包括有耳机录制和无耳机录制的两种方式播放背景音乐。该小程序配音作品处理的方法使用时，通过设置后台合成使用有无耳机的两种方式在播放背景音乐的同时，使用微信声音录制RecorderManager对人声进行收录，并将音频上传至后台服务器，后台通过ffmpeg工具命令对音频和原素材进行对比裁剪后合成一个新的视频文件，新的视频文件数据上可以保留用户的原始音频，在无背景音干扰的情况下，可以使用音频分析工具，解析到更贴合实际的用户声音数据，避免配音作品质量低的问题。

Description

小程序配音作品处理的方法
技术领域
本发明涉及小程序配音作品技术领域，具体为小程序配音作品处理的方法。
背景技术
程序是一种不需要下载安装即可使用的应用，它实现了应用“触手可及”的梦想，用户扫一扫或者搜一下即可打开应用。也体现了“用完即走”的理念，用户不用关心是否安装太多应用的问题。应用将无处不在，随时可用，但又无需安装卸载，操作简单快捷，因此现自媒体人通常使用小程序对作品进行配音处理。
常见的配音作品处理的方法在使用时，通过移动终端将文字输入小程序后台服务器中，通过小程序的后台将文字转换生成音频，随后将音频和视频作品进行对比裁剪生成新的视频，但文字转换生成的音频是通过小程序后台模拟合成的，无法贴合实际的用户声音数据、无法体现用户的音色和感情，从而导致了配音作品质量低的问题，不能满足配音作品处理的工作要求，为此提出小程序配音作品处理的方法。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了小程序配音作品处理的方法，解决了上述背景技术提出的技术问题。
(二)技术方案
为实现上述的目的，本发明提供如下技术方案：小程序配音作品处理的方法，包括以下步骤：
S1、使用后台合成和前端合成中的一种；
S2、后台合成时，包括有耳机录制和无耳机录制的两种方式播放背景音乐，使用微信声音录制RecorderManager获取用户的朗读内容进行储存，完成后把本地录制的音频上传到后台服务器；
S3、后台服务器使用线程方法通过ffmpeg工具命令对音频和配音原素材进行裁剪，再使用裁剪后的文件通过ffmpeg命令合成一个新的视频文件，随后将视频文件上传至阿里云的oss，并进行数据保存；
S4、通过前端详情页对视频文件进行播放。
优选的，所述前端合成时，包括戴耳机录制和不带耳机录制两种方式播放背景音乐，且两种方式播放背景音乐时均调用微信声音录制RecorderManager录制纯人声，当戴耳机录制时，只录制人声不会直接收录视频，耳机同步播放视频分类里的音频，录制完成暂停视频，调用微信音频合成wx.createMediaContainer()，做合成操作，调用extractDataSource()分离轨道容器，调用addTrack()添加传入录制完成的人声音频，通过wx.downloadFile下载后台返回的视频，再次调用addTrack()添加下载完成的本地视频，然后调用export()将容器内的轨道合并并导出视频文件，之后再将合成完的视频文件上传到后台服务器。
优选的，所述不带耳机录制时，录制时长不能超过视频本身时长，设置自动超时录制停止，同步停止视频播放，完成后把本地录制的视频上传到后台服务器。
优选的，所述无耳机录制时，通过volume属性控制减小背景音频声音，保证录制的时候背景声不会覆盖人声，录制时长不能超过十分钟，设置自动超时录制停止，同步停止背景音频播放，完成后把本地录制的音频上传到后台服务器。
优选的，所述后台服务器使用时，接口会先将音频文件数据进行保存，然后将当前数据放入队列，等待处理，检查是否已开启处理音视频合成的线程，未开启则开启线程。
优选的，所述ffmpeg工具获取音频文件时长，判断音频时长，和配音的原素材视频时长进行对比，以时长短的为基准，对另一个文件使用ffmpeg命令进行裁剪。
优选的，所述前端详情页播放时逻辑，判断是否有合成后视频文件的链接，是的话直接播放合成后视频，如果还未合成，同时播放素材原视频文件和用户的作品文件。
(三)有益效果
与现有技术相比，本发明提供了小程序配音作品处理的方法，具备以下有益效果：
1、该小程序配音作品处理的方法，通过设置后台合成使用有无耳机的两种方式在播放背景音乐的同时，使用微信声音录制RecorderManager对人声进行收录，并将音频上传至后台服务器，后台通过ffmpeg工具命令对音频和原素材进行对比裁剪后合成一个新的视频文件，新的视频文件数据上可以保留用户的原始音频，在无背景音干扰的情况下，可以使用音频分析工具，解析到更贴合实际的用户声音数据，避免了传统的文字转换生成的音频是通过小程序后台模拟合成的、无法贴合实际的用户声音数据、无法体现用户的音色和感情，从而导致了配音作品质量低的问题。
2、该小程序配音作品处理的方法，通过设置前端合成使用戴耳机和不戴耳机的两种方式播放背景音乐的同时，使用微信声音录制RecorderManager对人声进行收录，通过调用微信音频合成wx.createMediaContainer()，做合成操作，通过调用extractDataSource()分离轨道容器和addTrack()添加人声音频，最终通过wx.downloadFile下载视频后再次调用addTrack()和export()将容器内的轨道合并并导出视频文件，能够节省资源、不需要消耗后台服务器，直接使用微信方的后台服务器进行合成，无需考虑合成需求增多的情况。
附图说明
图1为本发明的简易流程图；
图2为本发明中线程方法的简易流程图；
图3为本发明中前端合成的音频合成与视频导出的简易流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种技术方案，小程序配音作品处理的方法，包括以下步骤：
请参阅图1
S1、使用后台合成和前端合成中的一种，前端合成时，包括戴耳机录制和不带耳机录制两种方式播放背景音乐，且两种方式播放背景音乐时均调用微信声音录制RecorderManager录制纯人声，当戴耳机录制时，只录制人声不会直接收录视频，耳机同步播放视频分类里的音频，录制完成暂停视频，调用微信音频合成wx.createMediaContainer()，做合成操作，调用extractDataSource()分离轨道容器，调用addTrack()添加传入录制完成的人声音频，通过wx.downloadFile下载后台返回的视频，再次调用addTrack()添加下载完成的本地视频，然后调用export()将容器内的轨道合并并导出视频文件，之后再将合成完的视频文件上传到后台服务器，不带耳机录制时，录制时长不能超过视频本身时长，设置自动超时录制停止，同步停止视频播放，完成后把本地录制的视频上传到后台服务器，能够节省资源、不需要消耗后台服务器，直接使用微信方的后台服务器进行合成，无需考虑合成需求增多的情况，请参阅图3；
S2、后台合成时，包括有耳机录制和无耳机录制的两种方式播放背景音乐，使用微信声音录制RecorderManager获取用户的朗读内容进行储存，完成后把本地录制的音频上传到后台服务器，无耳机录制时，通过volume属性控制减小背景音频声音，保证录制的时候背景声不会覆盖人声，录制时长不能超过十分钟，设置自动超时录制停止，同步停止背景音频播放，完成后把本地录制的音频上传到后台服务器；
S3、后台服务器使用线程方法通过ffmpeg工具命令对音频和配音原素材进行裁剪，再使用裁剪后的文件通过ffmpeg命令合成一个新的视频文件，新的视频文件数据上可以保留用户的原始音频，在无背景音干扰的情况下，可以使用音频分析工具，解析到更贴合实际的用户声音数据，避免了传统的文字转换生成的音频是通过小程序后台模拟合成的、无法贴合实际的用户声音数据、无法体现用户的音色和感情，从而导致了配音作品质量低的问题，随后将视频文件上传至阿里云的oss，并进行数据保存，后台服务器使用时，接口会先将音频文件数据进行保存，然后将当前数据放入队列，等待处理，检查是否已开启处理音视频合成的线程，未开启则开启线程，ffmpeg工具获取音频文件时长，判断音频时长，和配音的原素材视频时长进行对比，以时长短的为基准，对另一个文件使用ffmpeg命令进行裁剪，请参阅图2；
S4、通过前端详情页对视频文件进行播放，前端详情页播放时逻辑，判断是否有合成后视频文件的链接，是的话直接播放合成后视频，如果还未合成，同时播放素材原视频文件和用户的作品文件。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.小程序配音作品处理的方法，其特征在于，包括以下步骤：
S1、使用后台合成和前端合成中的一种；
S2、后台合成时，包括有耳机录制和无耳机录制的两种方式播放背景音乐，使用微信声音录制RecorderManager获取用户的朗读内容进行储存，完成后把本地录制的音频上传到后台服务器；
S3、后台服务器使用线程方法通过ffmpeg工具命令对音频和配音原素材进行裁剪，再使用裁剪后的文件通过ffmpeg命令合成一个新的视频文件，随后将视频文件上传至阿里云的oss，并进行数据保存；
S4、通过前端详情页对视频文件进行播放。
2.根据权利要求1所述的小程序配音作品处理的方法，其特征在于：所述前端合成时，包括戴耳机录制和不带耳机录制两种方式播放背景音乐，且两种方式播放背景音乐时均调用微信声音录制RecorderManager录制纯人声，当戴耳机录制时，只录制人声不会直接收录视频，耳机同步播放视频分类里的音频，录制完成暂停视频，调用微信音频合成wx.createMediaContainer()，做合成操作，调用extractDataSource()分离轨道容器，调用addTrack()添加传入录制完成的人声音频，通过wx.downloadFile下载后台返回的视频，再次调用addTrack()添加下载完成的本地视频，然后调用export()将容器内的轨道合并并导出视频文件，之后再将合成完的视频文件上传到后台服务器。
3.根据权利要求2所述的小程序配音作品处理的方法，其特征在于：所述不带耳机录制时，录制时长不能超过视频本身时长，设置自动超时录制停止，同步停止视频播放，完成后把本地录制的视频上传到后台服务器。
4.根据权利要求1所述的小程序配音作品处理的方法，其特征在于：所述无耳机录制时，通过volume属性控制减小背景音频声音，保证录制的时候背景声不会覆盖人声，录制时长不能超过十分钟，设置自动超时录制停止，同步停止背景音频播放，完成后把本地录制的音频上传到后台服务器。
5.根据权利要求1所述的小程序配音作品处理的方法，其特征在于：所述后台服务器使用时，接口会先将音频文件数据进行保存，然后将当前数据放入队列，等待处理，检查是否已开启处理音视频合成的线程，未开启则开启线程。
6.根据权利要求1所述的小程序配音作品处理的方法，其特征在于：所述ffmpeg工具获取音频文件时长，判断音频时长，和配音的原素材视频时长进行对比，以时长短的为基准，对另一个文件使用ffmpeg命令进行裁剪。
7.根据权利要求1所述的小程序配音作品处理的方法，其特征在于：所述前端详情页播放时逻辑，判断是否有合成后视频文件的链接，是的话直接播放合成后视频，如果还未合成，同时播放素材原视频文件和用户的作品文件。
CN202210183058.9A 2022-02-27 2022-02-27 小程序配音作品处理的方法 Pending CN114650266A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210183058.9A CN114650266A (zh) 2022-02-27 2022-02-27 小程序配音作品处理的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210183058.9A CN114650266A (zh) 2022-02-27 2022-02-27 小程序配音作品处理的方法

Publications (1)

Publication Number Publication Date
CN114650266A true CN114650266A (zh) 2022-06-21

Family

ID=81992955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210183058.9A Pending CN114650266A (zh) 2022-02-27 2022-02-27 小程序配音作品处理的方法

Country Status (1)

Country Link
CN (1) CN114650266A (zh)

Similar Documents

Publication Publication Date Title
US8670851B2 (en) Efficient techniques for modifying audio playback rates
CN108259965B (zh) 一种视频剪辑方法和剪辑系统
EP0887788B1 (en) Voice recognition apparatus for converting voice data present on a recording medium into text data
WO2020098115A1 (zh) 字幕添加方法、装置、电子设备及计算机可读存储介质
CN111050201B (zh) 数据处理方法、装置、电子设备及存储介质
JP2007304933A (ja) 情報処理システム、端末装置、情報処理方法、プログラム
KR20070020252A (ko) 메시지를 수정하기 위한 방법 및 시스템
WO2018120819A1 (zh) 一种演示文稿的制作方法和装置
CN108460120A (zh) 数据保存方法、装置、终端设备及存储介质
KR100988257B1 (ko) 정보 처리 장치 및 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체
JP4917920B2 (ja) コンテンツ生成装置及びコンテンツ生成プログラム
CN101488356B (zh) 多重录音装置
CN112584208B (zh) 一种基于人工智能的视频浏览编辑方法和系统
CN114650266A (zh) 小程序配音作品处理的方法
US6839675B2 (en) Real-time monitoring system for codec-effect sampling during digital processing of a sound source
CN105702240A (zh) 智能终端调整歌曲伴奏音乐的方法和装置
JP2005044409A (ja) 情報再生装置、情報再生方法および情報再生プログラム
KR100988256B1 (ko) 정보 처리 장치 및 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체
JP2007221574A (ja) 音声処理装置、音声処理方法及びプログラム
CN104869233B (zh) 一种录音方法
KR100986227B1 (ko) 정보 처리 장치 및 컴퓨터로 읽을 수 있는 매체
WO2005104125A1 (ja) 記録再生装置、同時記録再生制御方法、および同時記録再生制御プログラム
CN112133269B (zh) 一种音频处理方法、装置、设备及介质
CN115695680A (zh) 视频编辑方法、装置、电子设备及计算机可读存储介质
JP4601095B2 (ja) 再生装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication