CN112565923A - 一种音视频流处理方法、装置、电子设备及存储介质 - Google Patents

一种音视频流处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112565923A
CN112565923A CN202011379644.8A CN202011379644A CN112565923A CN 112565923 A CN112565923 A CN 112565923A CN 202011379644 A CN202011379644 A CN 202011379644A CN 112565923 A CN112565923 A CN 112565923A
Authority
CN
China
Prior art keywords
audio
data
original
video
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011379644.8A
Other languages
English (en)
Other versions
CN112565923B (zh
Inventor
昝晓飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202011379644.8A priority Critical patent/CN112565923B/zh
Publication of CN112565923A publication Critical patent/CN112565923A/zh
Application granted granted Critical
Publication of CN112565923B publication Critical patent/CN112565923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Abstract

本公开是关于一种音视频流处理方法、装置、电子设备及存储介质，涉及通信技术领域，用以解决相关技术中生成短视频时，操作繁琐，浪费时间的问题。本公开首先接收用户编辑指令，然后基于用户编辑指令包括音频编辑指令且不包括视频编辑指令，解复用原始音视频流，得到原始音频压缩数据，再基于音频编辑指令编辑该原始音频压缩数据，得到目标音频文件，最后基于原始音视频流和目标音频文件，得到目标音视频流，由于当用户编辑指令包括音频编辑指令，且不包括视频编辑指令时，只对原始音频压缩数据进行处理，最终得到目标音视频流，无需对视频数据进行处理，操作简单，节省时间，从而能够提高生成短视频的效率。

Description

一种音视频流处理方法、装置、电子设备及存储介质
技术领域
本发明涉及通信技术领域，特别涉及一种音视频流处理方法、装置、电子设备及存储介质。
背景技术
在生成短视频时，用户可以对原始短视频进行编辑操作，其中，编辑操作可以包含两大类操作，其一，是对短视频中的视频数据进行编辑，比如，添加滤镜、美颜、加特效等操作；其二，是对短视频中的音频数据进行编辑，比如，对音频进行变音、调整音量、添加音乐等操作。
若要生成最终的短视频，则需要分别对音频数据和视频数据进行解码、编码等一系列操作，最后合成最终的短视频。
上述生成短视频的方法操作繁琐，浪费时间。
发明内容
本公开提供一种音视频流处理方法、装置、电子设备以及存储介质，用以解决相关技术中生成短视频时，操作繁琐，浪费时间的问题。
根据本公开实施例的第一方面，提供一种音视频流处理方法，该方法包括：
接收用户编辑指令；
基于所述用户编辑指令包括音频编辑指令且不包括视频编辑指令，解复用原始音视频流，得到原始音频压缩数据；
基于所述音频编辑指令编辑所述原始音频压缩数据，得到目标音频文件；
基于所述原始音视频流和所述目标音频文件，得到目标音视频流。
在一种可选的实施方式中，所述基于所述音频编辑指令编辑所述原始音频压缩数据，得到目标音频文件，包括：
对所述原始音频压缩数据进行解码操作，得到原始音频数据；
基于所述音频编辑指令，编辑所述原始音频数据，确定目标音频数据；
将所述目标音频数据进行编码操作，得到目标音频压缩数据；
复用所述目标音频压缩数据，确定所述目标音频文件。
在一种可选的实施方式中，所述编辑所述原始音频数据，包括下列中的部分或全部：
变声处理；
音量调整处理；
混音处理。
在一种可选的实施方式中，所述基于所述原始音视频流和所述目标音频文件，得到目标音视频流，包括：
同时解复用所述原始音视频流和所述目标音频文件，得到原始视频压缩数据和目标音频压缩数据；
复用所述原始视频压缩数据和所述目标音频压缩数据，得到所述目标音视频流。
根据本公开实施例的第二方面，提供一种音视频流处理装置，包括：
接收单元，被配置为接收用户编辑指令；
解复用单元，被配置为执行基于所述用户编辑指令包括音频编辑指令且不包括视频编辑指令，解复用原始音视频流，得到原始音频压缩数据；
编辑单元，被配置为执行基于所述音频编辑指令编辑所述原始音频压缩数据，得到目标音频文件；
处理单元，被配置为执行基于所述原始音视频流和所述目标音频文件，得到目标音视频流。
在一种可选的实施方式中，所述编辑单元具体被配置为执行：
对所述原始音频压缩数据进行解码操作，得到原始音频数据；
基于所述音频编辑指令，编辑所述原始音频数据，确定目标音频数据；
将所述目标音频数据进行编码操作，得到目标音频压缩数据；
复用所述目标音频压缩数据，确定所述目标音频文件。
在一种可选的实施方式中，所述编辑所述原始音频数据，包括下列中的部分或全部：
变声处理；
音量调整处理；
混音处理。
在一种可选的实施方式中，所述处理单元具体被配置为执行：
同时解复用所述原始音视频流和所述目标音频文件，得到原始视频压缩数据和目标音频压缩数据；
复用所述原始视频压缩数据和所述目标音频压缩数据，得到所述目标音视频流。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现第一方面中任一项所述的音视频流处理方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面中任一项所述的音视频流处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
由于用户编辑指令包括音频编辑指令，且不包括视频编辑指令，则只对原始音频压缩数据进行处理，得到目标音频文件，最后基于原始视频流和目标音频文件，得到目标音视频流，从而无需既对音频数据进行处理，又对视频数据进行处理，操作简单，节省时间，进而能够提高生成短视频的效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种生成短视频的流程示意图；
图2是根据一示例性实施例示出的一种音视频流处理方法的流程图；
图3是根据一示例性实施例示出的一种音视频流处理方法的完整流程图；
图4是根据一示例性实施例示出的一种音视频流处理装置的框图；
图5是根据一示例性实施例示出的一种电子设备的框图；
图6是根据一示例性实施例示出的一种终端设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
下面对文中出现的一些词语进行解释：
1、本公开实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
2、本公开实施例中术语“电子设备”可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
3、decode：解码，将视频/音频压缩编码数据，解码成为非压缩的视频/音频原始数据。
4、encode：编码，decode的逆过程，将非压缩的视频/音频原始数据压缩成编码数据，从而降低数据量。视频编码是将像素数据(RGB，YUV等)压缩成为视频码流，从而降低视频的数据量；音频编码音频采样数据(PCM(Pulse Code Modulation，脉冲编码调制)等)压缩成为音频码流，从而降低音频的数据量。
5、muxer：复用，也即视音频复用器。将视频压缩数据(例如H.264)和音频压缩数据(例如AAC(Advanced Audio Coding，高级音频编码))合并到一个封装格式数据(例如MKV)中去，在这个过程中并不涉及到编码和解码。
6、remuxer：不进行视音频的编码和解码工作，直接将视音频压缩码流从一种封装格式文件中获取出来然后打包成另外一种封装格式的文件，当然可以把两个或者多个视频流和音频流文件打包成一个文件。
7、demuxer：解复用，也即视音频分离器。将封装格式数据(例如mp4)中的视频压缩数据(例如H.264)和音频压缩数据(例如AAC)分离开，在这个过程中并不涉及到编码和解码。
本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本公开的描述中，除非另有说明，“多个”的含义。
在上传短视频之前，通常需要生成短视频，在生成短视频的过程中，如果用户未对原始短视频做任何编辑，比如对视频数据的编辑和/或对音频数据的编辑，则可以将原始短视频直接上传，也就是通常所说的原画上传。
但是，如果用户对原始短视频进行了编辑，比如，将原始短视频中的声音进行了音量调整，则需要对原始短视频中的音频部分和视频部分进行解复用demuxer、解码decode、编码encode、复用muxer，最后才能生成最终的短视频。在上述生成短视频的过程中，最耗时的阶段是对视频部分的解码decode和编码encode部分。
图1是一种生成短视频的流程示意图，如图1所示，包括如下步骤。
S101、输入原始音视频流；
S102、接收用户编辑指令，其中所述用户编辑指令包括视频编辑指令或者音频编辑指令；
S103、对原始音视频流进行解复用demuxer操作，得到音频压缩数据和视频压缩数据；
S104、对音频压缩数据进行解码decode操作，得到音频pcm原始数据，对视频数据进行解码decode操作，得到视频原始数据；
S105、根据用户编辑指令，对音频pcm原始数据和视频原始数据进行预处理操作；
S106、将预处理后的视频数据进行编码encode操作，得到处理后的视频压缩数据，以及将音频数据进行编码encode操作，得到音频压缩数据；
S107、将处理后的视频压缩数据和音频压缩数据进行复用muxer操作，得到目标音视频流；
S108、上传目标音视频流。
在如图1所描述的音视频流处理方法的基础上，图2是根据一示例性实施例示出的另一种音视频流处理方法的流程图，在一些实施例中，所述音视频流处理方法可以在服务器上实施，还可以在终端上实施。其中，所述音视频流处理方法包括以下步骤。
在S21中，接收用户编辑指令。
在S22中，基于所述用户编辑指令包括音频编辑指令且不包括视频编辑指令，解复用原始音视频流，得到原始音视频压缩数据。
在一些实施例中，所述用户编辑指令可以包括：仅包括音频编辑指令，仅包括视频编辑指令，同时包括音频编辑指令和视频编辑指令。根据本公开实施例所描述的音视频流处理方法应用于当用户编辑指令仅包括音频编辑指令而不包括视频编辑指令时。其中，所述音频编辑指令和所述视频编辑指令是根据用户编辑指令确定的。
在一些实施例中，音频编辑指令是指用于对所述音视频流中的音频流执行编辑操作的指令。所述音频编辑指令可以包括调整音量指令，添加音乐指令或者保留所述音频流指令。在一些实施例中，所述音频指令可以达到如下的效果，例如调整音量指令可以用于只调整原始音频的音量，但是不消音(mute)；添加音乐指令可以基于添加音乐指令的指令信息实现保留原始音频且添加一个或多个音乐，或者不保留原始音频且添加多个音乐。保留所述音视频指令可以用于实现保留原始音频且不消音。
在一些实施例中，所述原始音视频流，可以为输入到终端的，且未经过任何处理的音视频流，比如终端通过摄像头采集到的音视频流，可以为终端中保存的音视频流，还可以为服务器中保存的音视频流。
在S23中，基于所述音频编辑指令编辑所述原始音频压缩数据，得到目标音频文件。
在一些实施例中，基于所述音频编辑指令编辑所述原始音频压缩数据，可以先对原始音频压缩数据进行解码操作，得到原始音频数据，然后基于音频编辑指令，编辑原始音频数据，确定目标音频数据，再将目标音频数据进行编码操作，得到目标音频压缩数据，最后复用该目标音频压缩数据，确定目标音频文件。
在一些实施例中，所述基于音频编辑指令编辑原始音频数据包括：基于音频编辑指令对原始音频数据进行变声处理、音量调整处理或混音处理。例如，当音频编辑指令中包括只调整原始音频的音量，但是不消音时，对所述原始音频数据进行音量调整处理。
在S24中，基于所述原始音视频流和所述目标音频文件，得到目标音视频流。
在具体实施中，可以同时解复用原始音视频流和目标音频文件，得到原始视频压缩数据和目标音频压缩数据，然后复用原始视频压缩数据和目标音频压缩数据，得到目标音视频流。
为了便于理解，下面以两个具体实施例进行说明。
比如，终端通过摄像头采集原始音视频流，终端获取用户编辑指令，确定用户编辑指令中只包括调音指令，则终端将原始音视频流进行解复用操作，得到原始音频压缩数据和原始视频压缩数据，终端对原始音频压缩数据进行解码操作，得到原始音频数据，终端对原始音频数据进行调音，将调音后的音频数据进行编码操作，得到调音后的音频压缩数据，将调音后的音频压缩数据进行复用操作，得到处理后的音频文件，解复用原始音视频流和处理后的音频文件，得到原始视频压缩数据和目标音频压缩数据，将目标音频压缩数据和原始视频压缩数据进行复用操作，得到目标音视频流，终端上传目标音视频流(音视频流可以称为短视频)。比如，终端将编辑后的短视频上传至快手平台。
再比如，服务器中存储原始音视频流，服务器通过终端，获取用户编辑指令，服务器确定用户编辑指令中只包括调音指令，服务器将原始音视频流进行解复用操作，得到原始音频压缩数据和原始视频压缩数据，服务器对原始音频压缩数据进行解码操作，得到原始音频数据，服务器对原始音频数据进行调音，将调音后的音频数据进行编码操作，得到调音后的音频压缩数据，将调音后的音频压缩数据进行复用操作，得到处理后的音频文件，解复用原始音视频流和处理后的音频文件，得到原始视频压缩数据和目标音频压缩数据，将目标音频压缩数据和原始视频压缩数据进行复用操作，得到目标音视频流，服务器使用目标音视频流覆盖本地存储的原始音视频流。比如，在快手平台显示的音视频流(音视频流可以称为短视频)，将快手平台中的短视频进行编辑后，使用编辑后的短视频覆盖编辑前的短视频。
采用上述生成目标音视频流的方法，由于只对音频数据进行了处理，不需要对视频数据进行解码和编码，从而可以节省时间，同时，由于未对视频数据进行解码和编码，从而相比于现有技术可以提高视频质量。
图3是根据一示例性实施例示出的一种音视频流处理方法的完整流程图，如图3所示，包括以下步骤。
S301、输入原始音视频流；
S302、接收只包括音频编辑指令，且不包括视频编辑指令的用户编辑指令；
S303、对原始音视频流进行解复用demuxer操作，得到原始音频压缩数据和原始视频压缩数据；
S304、对原始音频压缩数据进行解码decode操作，得到原始音频pcm数据；
S305、根据用户编辑指令，对原始音频pcm数据进行编辑(预处理)操作；
S306、将编辑后的音频数据进行编码encode操作，得到处理后的音频压缩数据；
S307、对处理后的音频压缩数据进行复用muxer操作，得到处理后的音频MP4文件；
S308、将处理后的音频MP4文件和原始音视频流进行解复用demuxer操作，得到目标音频压缩数据和原始视频压缩数据；
S309、将目标音频压缩数据和原始视频压缩数据进行复用muxer操作，得到目标音视频流；
S310、上传目标音视频流。
图4是根据一示例性实施例示出的一种音视频流处理装置400的框图。参照图4，该装置包括接收单元401、解复用单元402、编辑单元403以及处理单元404。
接收单元401，被配置为接收用户编辑指令；
解复用单元402，被配置为执行基于所述用户编辑指令包括音频编辑指令且不包括视频编辑指令，解复用原始音视频流，得到原始音频压缩数据；
编辑单元403，被配置为执行基于所述音频编辑指令编辑所述原始音频压缩数据，得到目标音频文件；
处理单元404，被配置为执行基于所述原始音视频流和所述目标音频文件，得到目标音视频流。
在一种可选的实施方式中，编辑单元403具体被配置为执行：
对所述原始音频压缩数据进行解码操作，得到原始音频数据；
基于所述音频编辑指令，编辑所述原始音频数据，确定目标音频数据；
将所述目标音频数据进行编码操作，得到目标音频压缩数据；
复用所述目标音频压缩数据，确定所述目标音频文件。
在一种可选的实施方式中，所述编辑所述原始音频数据，包括下列中的部分或全部：
变声处理；
音量调整处理；
混音处理。
在一种可选的实施方式中，处理单元404具体被配置为执行：
同时解复用所述原始音视频流和所述目标音频文件，得到原始视频压缩数据和目标音频压缩数据；
复用所述原始视频压缩数据和所述目标音频压缩数据，得到所述目标音视频流。
图5是根据一示例性实施例示出的一种电子设备500的框图，该装置包括：
处理器501；
用于存储处理器501可执行指令的存储器502；
其中，处理器501被配置为执行指令，以实现本公开实施例中任意一种资源处理进度的显示方法。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器502，上述指令可由电子设备500的处理器501执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在本公开实施例中还提供一种终端设备，其结构如图6所示，本公开实施例给出一种用于资源处理进度的显示终端600，包括：射频(Radio Frequency，RF)电路610、电源620、处理器630、存储器640、输入单元650、显示单元660、摄像头670、通信接口680、以及无线保真(Wireless Fidelity，Wi-Fi)模块690等部件。本领域技术人员可以理解，图6中示出的终端的结构并不构成对终端的限定，本公开实施例提供的终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图6对终端600的各个构成部件进行具体的介绍：
RF电路610可用于通信或通话过程中，数据的接收和发送。特别地，RF电路610在接收到基站的下行数据后，发送给处理器630处理；另外，将待发送的上行数据发送给基站。通常，RF电路610包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(LowNoise Amplifier，LNA)、双工器等。
此外，RF电路610还可以通过无线通信与网络和其他终端通信。无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobilecommunication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
Wi-Fi技术属于短距离无线传输技术，终端600通过Wi-Fi模块690可以连接接入点(Access Point，AP)，从而实现数据网络的访问。Wi-Fi模块690可用于通信过程中，数据的接收和发送。
终端600可以通过通信接口680与其他终端实现物理连接。可选的，通信接口680与其他终端的通信接口通过电缆连接，实现终端600和其他终端之间的数据传输。
由于在本公开实施例中，终端600能够实现通信业务，向其他联系人发送信息，因此终端600需要具有数据传输功能，即终端600内部需要包含通信模块。虽然图6示出了RF电路610、Wi-Fi模块690、和通信接口680等通信模块，但是可以理解的是，终端600中存在上述部件中的至少一个或者其他用于实现通信的通信模块(如蓝牙模块)，以进行数据传输。
例如，当终端600为手机时，终端600可以包含RF电路610，还可以包含Wi-Fi模块690；当终端600为计算机时，终端600可以包含通信接口680，还可以包含Wi-Fi模块690；当终端600为平板电脑时，终端600可以包含Wi-Fi模块。
存储器640可用于存储软件程序以及模块。处理器630通过运行存储在存储器640的软件程序以及模块，从而执行终端600的各种功能应用以及数据处理，并且当处理器630执行存储器640中的程序代码后，可以实现本公开实施例图2或图3中的部分或全部过程。
可选的，存储器640可以主要包括存储程序区和存储数据区。其中，存储程序区可存储操作系统、各种应用程序(比如通信应用)以及人脸识别模块等；存储数据区可存储根据终端的使用所创建的数据(比如各种图片、视频文件等多媒体文件，以及人脸信息模板)等。
此外，存储器640可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元650可用于接收用户输入的数字或字符信息，以及产生与终端1300的用户设置以及功能控制有关的键信号输入。
可选的，输入单元650可包括触控面板651以及其他输入终端652。
其中，触控面板651，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板651上或在触控面板651附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板651可以包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器630，并能接收处理器630发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板651。
可选的，其他输入终端652可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一个或多个。
显示单元660可用于显示由用户输入的信息或提供给用户的信息以及终端600的各种菜单。显示单元660即为终端600的显示系统，用于呈现界面，实现人机交互。
显示单元660可以包括显示面板661。可选的，显示面板661可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置。
进一步的，触控面板651可覆盖显示面板661，当触控面板651检测到在其上或附近的触摸操作后，传送给处理器630以确定触摸事件的类型，随后处理器630根据触摸事件的类型在显示面板661上提供相应的视觉输出。
虽然在图6中，触控面板651与显示面板661是作为两个独立的部件来实现终端600的输入和输入功能，但是在某些实施例中，可以将触控面板651与显示面板661集成而实现终端600的输入和输出功能。
处理器630是终端600的控制中心，利用各种接口和线路连接各个部件，通过运行或执行存储在存储器640内的软件程序和/或模块，以及调用存储在存储器640内的数据，执行终端600的各种功能和处理数据，从而实现基于终端的多种业务。
以上参照示出根据本申请实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本申请。应理解，可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置，以产生机器，使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。
相应地，还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地，本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式，其具有在介质中实现的计算机可使用或计算机可读程序代码，以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中，计算机可使用或计算机可读介质可以是任意介质，其可以包含、存储、通信、传输、或传送程序，以由指令执行系统、装置或设备使用，或结合指令执行系统、装置或设备使用。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种音视频流处理方法，其特征在于，该方法包括：
接收用户编辑指令；
基于所述用户编辑指令包括音频编辑指令且不包括视频编辑指令，解复用原始音视频流，得到原始音频压缩数据；
基于所述音频编辑指令编辑所述原始音频压缩数据，得到目标音频文件；
基于所述原始音视频流和所述目标音频文件，得到目标音视频流。
2.如权利要求1所述的方法，其特征在于，所述基于所述音频编辑指令编辑所述原始音频压缩数据，得到目标音频文件，包括：
对所述原始音频压缩数据进行解码操作，得到原始音频数据；
基于所述音频编辑指令，编辑所述原始音频数据，确定目标音频数据；
将所述目标音频数据进行编码操作，得到目标音频压缩数据；
复用所述目标音频压缩数据，确定所述目标音频文件。
3.如权利要求2所述的方法，其特征在于，所述编辑所述原始音频数据，包括对所述原始音频数据进行变声处理、音量调整处理或混音处理。
4.如权利要求1所述的方法，其特征在于，所述基于所述原始音视频流和所述目标音频文件，得到目标音视频流，包括：
同时解复用所述原始音视频流和所述目标音频文件，得到原始视频压缩数据和目标音频压缩数据；
复用所述原始视频压缩数据和所述目标音频压缩数据，得到所述目标音视频流。
5.一种音视频流处理装置，其特征在于，包括：
接收单元，被配置为接收用户编辑指令；
解复用单元，被配置为执行基于所述用户编辑指令包括音频编辑指令且不包括视频编辑指令，解复用原始音视频流，得到原始音频压缩数据；
编辑单元，被配置为执行基于所述音频编辑指令编辑所述原始音频压缩数据，得到目标音频文件；
处理单元，被配置为执行基于所述原始音视频流和所述目标音频文件，得到目标音视频流。
6.如权利要求5所述的装置，其特征在于，所述编辑单元被配置为执行：
对所述原始音频压缩数据进行解码操作，得到原始音频数据；
基于所述音频编辑指令，编辑所述原始音频数据，确定目标音频数据；
将所述目标音频数据进行编码操作，得到目标音频压缩数据；
复用所述目标音频压缩数据，确定所述目标音频文件。
7.如权利要求6所述的装置，其特征在于，所述编辑所述原始音频数据，包括下列中的部分或全部：
变声处理；
音量调整处理；
混音处理。
8.如权利要求5所述的装置，其特征在于，所述处理单元被配置为执行：
同时解复用所述原始音视频流和所述目标音频文件，得到原始视频压缩数据和目标音频压缩数据；
复用所述原始视频压缩数据和所述目标音频压缩数据，得到所述目标音视频流。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1～4中任一项所述的音视频流处理方法。
10.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1～4中任一项所述的音视频流处理方法。
CN202011379644.8A 2020-11-30 2020-11-30 一种音视频流处理方法、装置、电子设备及存储介质 Active CN112565923B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011379644.8A CN112565923B (zh) 2020-11-30 2020-11-30 一种音视频流处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011379644.8A CN112565923B (zh) 2020-11-30 2020-11-30 一种音视频流处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112565923A true CN112565923A (zh) 2021-03-26
CN112565923B CN112565923B (zh) 2023-06-20

Family

ID=75045581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011379644.8A Active CN112565923B (zh) 2020-11-30 2020-11-30 一种音视频流处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112565923B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113691860A (zh) * 2021-07-19 2021-11-23 北京全景声信息科技有限公司 一种ugc媒体内容的生成方法、装置、设备和存储介质
CN114173150A (zh) * 2021-12-22 2022-03-11 Oppo广东移动通信有限公司 一种直播视频录制方法、装置、系统和终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1168527A (zh) * 1996-04-08 1997-12-24 索尼株式会社 音频和/或视频数据记录和重放装置及其方法
US20010012436A1 (en) * 2000-02-08 2001-08-09 Funai Electric Co., Ltd. Video tape recorder
CN1753472A (zh) * 2004-09-25 2006-03-29 Lg电子株式会社 移动终端的广播编辑装置及其方法
CN201018611Y (zh) * 2007-02-28 2008-02-06 上海东方明珠传输有限公司 基于avs-m的视音频信号前端处理系统
CN102326400A (zh) * 2008-12-19 2012-01-18 汤姆森特许公司 在包括外部协处理器的多路复用器中同步传输流的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1168527A (zh) * 1996-04-08 1997-12-24 索尼株式会社 音频和/或视频数据记录和重放装置及其方法
US20010012436A1 (en) * 2000-02-08 2001-08-09 Funai Electric Co., Ltd. Video tape recorder
CN1753472A (zh) * 2004-09-25 2006-03-29 Lg电子株式会社 移动终端的广播编辑装置及其方法
CN201018611Y (zh) * 2007-02-28 2008-02-06 上海东方明珠传输有限公司 基于avs-m的视音频信号前端处理系统
CN102326400A (zh) * 2008-12-19 2012-01-18 汤姆森特许公司 在包括外部协处理器的多路复用器中同步传输流的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113691860A (zh) * 2021-07-19 2021-11-23 北京全景声信息科技有限公司 一种ugc媒体内容的生成方法、装置、设备和存储介质
CN113691860B (zh) * 2021-07-19 2023-12-08 北京全景声信息科技有限公司 一种ugc媒体内容的生成方法、装置、设备和存储介质
CN114173150A (zh) * 2021-12-22 2022-03-11 Oppo广东移动通信有限公司 一种直播视频录制方法、装置、系统和终端设备
WO2023116254A1 (zh) * 2021-12-22 2023-06-29 Oppo广东移动通信有限公司 一种直播视频录制方法、装置、系统和终端设备

Also Published As

Publication number Publication date
CN112565923B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN106531177B (zh) 一种音频处理的方法、移动终端以及系统
US9479728B2 (en) Video SMS message sending and receiving methods and apparatuses thereof, and handheld electronic device
CN102484546B (zh) 使用频谱的可用信道的数据无线传输
EP3686885A1 (en) Audio encoding and decoding method and device, and audio encoding and decoding system
CN106412687B (zh) 一种音视频片段的截取方法和装置
CN112565923B (zh) 一种音视频流处理方法、装置、电子设备及存储介质
CN105940448A (zh) 用于回避控制的元数据
CN1578503A (zh) 处理用于语音呼叫的多媒体音频信号的装置和方法
AU2018344830A8 (en) Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to DirAC based spatial audio coding
CN109819303B (zh) 数据输出方法及相关设备
CN102611938A (zh) 一种多模移屏方法及其系统
CN110602122A (zh) 视频处理方法、装置、电子设备及存储介质
CN112165648B (zh) 一种音频播放的方法、相关装置、设备及存储介质
US9521467B2 (en) Method and apparatus for program information exchange and communications system using a program comment instruction
CN112165623A (zh) 软硬结合的音视频编解码装置
KR100557131B1 (ko) 디지털 멀티미디어 방송 수신용 이동통신 단말기의 오디오송출 장치 및 방법
CN112995730A (zh) 音画同步调整方法、装置、电子设备及介质
KR102235082B1 (ko) Mec 서버를 활용한 단말의 전력 절감 방법
WO2014082553A1 (zh) 多媒体播放方法、装置及终端
CN102883188A (zh) 实时下载播放mp4文件的方法和系统
CN100563334C (zh) 在无线终端的视频电话模式中发送图像数据的方法
CN109286922B (zh) 蓝牙提示音处理方法、系统、可读存储介质和蓝牙设备
KR20150086609A (ko) 컨텐츠 리스트를 정렬하는 디스플레이 장치 및 그 제어방법
US20080120114A1 (en) Method, Apparatus and Computer Program Product for Performing Stereo Adaptation for Audio Editing
KR20080047683A (ko) 휴대용 단말기에서 스트리밍 서비스 전송 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant