CN102469292B - 一种视音频协同编辑方法、装置及系统 - Google Patents

Abstract

本发明公开了一种视音频协同编辑方法、装置及系统。其中视音频协同编辑方法包括：发送端与接收端建立可视电话通信；所述发送端选择视音频文件，根据编辑操作生成编辑信息发送到接收端；所述发送端执行编辑操作，对所述视音频文件进行编辑，并将编辑后的视音频文件传输到所述接收端。本发明实现了终端之间的视音频传输和共享以及远程视音频节目协同编辑，进一步满足节目制作的突发性与实时性，避免了由于发送端节目制作过程中出现问题而造成的需要重新沟通、制作并传输，从而节约了通信的带宽及时间，进一步降低了远程视音频传输所需的费用。

Description

一种视音频协同编辑方法、装置及系统

技术领域

本发明涉及一种数据业务技术，尤其涉及一种视音频协同编辑方法、装置及系统。

背景技术

可视电话是3G时代移动终端中的重要业务应用，其特点是终端双方可以实时通过视频和语音来与对端进行通信交流，可视电话底层通信协议符合3GPP3G-324M标准定义。

普通的视频节目采编主要包括两个步骤：1)采集，通过摄像录制和存储设备录制视频节目；2)编辑，对采集的视频素材使用编辑设备来浏览，剪辑视频节目。其中目前编辑技术基于数字化视音频素材，采用非线性方式进行编辑。所谓非线性的主要特征是，能够随即访问素材的任意一个位置(即Seek操作)，进行预览，然后标记编辑点，最终经过剪切或者合并完成编辑动作。

可视电话是移动终端和移动网络的发展的结果，可视电话使通信双方使用移动通信网络进行实时的视音频以及数据的通信。基于这种特性来进行视频节目的采编制作，可以有效改进上述传统采编的缺陷，具体如下：

对于突发的实时视频节目制作，摄制终端(A)和节目需求方终端(B)建立视频通话，A可以直接传回终端摄像头实时摄制内容，B接收并存储；对于A已经存储的录制内容，B可以与A进行控制协商，浏览A的存储内容，选择传输内容。这种方法完全能够满足节目制作的突发性与实时性。

但是，远程视频节目制作，比如世界杯节目制作，制作单位通常租用巨大的通信带宽来传回节目信息，如果前端节目制作有问题，就可能重新沟通，重新制作，再重传节目，浪费人力、带宽(金钱)与时间。

发明内容

本发明的目的在于，提供一种视音频协同编辑方法、装置及系统，终端之间可以通过可视电话进行远程、实时的视音频协同采集、共享及编辑。

为实现上述目的，根据本发明的一个方面，提供一种视音频协同编辑方法，包括：

发送端与接收端建立可视电话通信；

所述发送端选择视音频文件，根据编辑操作生成编辑信息发送到接收端；

所述发送端执行编辑操作，对所述视音频文件进行编辑，并将编辑后的视音频文件传输到所述接收端。

为实现上述目的，根据本发明的另一个方面，提供一种终端，包括：

可视电话通信单元，用于建立终端与终端之间的可视电话通信；

视音频管理单元，用于选择需要发送的视音频文件，执行编辑操作，对所述视音频文件进行编辑，并将编辑后的视音频文件传输到所述接收端；

编辑控制单元，根据编辑操作生成编辑信息发送到接收端。

为实现上述目的，根据本发明的另一个方面，提供一种终端，包括：视音频输出管理单元，所述视音频输出管理单元包括：

视音频数据获取模块，用于接收可视电话的通信数据，从中分离出所述视音频数据；

文件存储模块，用于存储所述视音频数据。

为实现上述目的，根据本发明的另一个方面，提供一种视音频协同编辑系统，包括：建立可视电话通信的第一终端和第二终端，

所述第一终端，用于选择视音频文件，根据编辑操作生成编辑信息发送到第二终端；执行编辑操作，对所述视音频文件进行编辑，并将编辑后的视音频文件传输到所述第二终端；

所述第二终端，用于输出或存储所述编辑后的视音频文件。

本发明的视音频协同编辑方法、装置及系统，在终端之间的可视电话通信过程中，发送端将编辑操作的信息发送到接收端，并将经过编辑处理后的视音频文件发送到接收端，接收端在播放视音频的同时，能够看到发送端对该视音频编辑的过程。这样，实现了终端之间对视音频文件远程、实时的采集和编辑共享。另外，接收端也可以将对该视音频文件的编辑操作生成编辑控制指令发送到发送端，发送端根据该编辑控制指令对该视音频文件进行编辑处理，并根据该编辑控制指令生成编辑信息发送到接收端，将编辑后的视音频也发送到接收端，从而实现接收端对视音频文件的协同编辑。

本发明实现了终端之间的视音频传输和共享以及远程视音频节目协同编辑，进一步满足节目制作的突发性与实时性，避免了由于发送端节目制作过程中出现问题而造成的需要重新沟通、制作并传输，从而节约了通信的带宽及时间，进一步降低了远程视音频传输所需的费用。

附图说明

图1是本发明视音频协同编辑方法实施例的流程图；

图2是本发明终端实施例的结构图；

图3是本发明视音频管理单元实施例的结构图；

图4是本发明视音频输出管理单元实施例的结构图；

图5是本发明视音频输出管理单元另一实施例的结构图。

具体实施方式

以下结合附图对本发明进行详细说明。

方法实施例

如图1所示，本发明视音频协同编辑方法实施例包括以下步骤：

步骤101、终端A与终端B之间建立可视电话通信，开始视音频通信过程；

步骤102、用户A通过操作界面在终端A上选择需要共享的视音频文件，如摄像录音装置的实录内容或者视音频文件素材；

步骤103、用户A通过操作界面在终端A上进行需要对该视音频文件的编辑操作，将该编辑操作的编辑信息发送至终端B；

该编辑操作包括：Seek，指定素材解码开始位置；Play，开始播放；Pause，暂停播放；Notify，信息通知，信息包括素材长度(如总长1小时)、编辑点标记、显示位置变化等、简单备注等；其他，如forward，backward，step等；

编辑信息主要指各种编辑指令以及对应的参数信息，发送端对于相关编辑信息进行编码和解码，然后利用可视电话中的控制和数据的空闲通道，具体而言可以在通信过程中基于H.245中UserData，实现相关指令的双向传送；

编辑信息主要使用XML格式进行结构化编码，但不仅限如此，其他的编码方法，能够正确处理这些信息，当然也可以采用，如：

Seek，到100秒的位置<seektype＝beginunit＝second>100</seek>，例子中Seek指令包含属性：1)类型，从头、当前位置、或者结尾处；2)单位：帧、秒等；指令携带的值为100；

又Notify指令如，<notifytype＝mat_durationunit＝frames>5000</>，<notifytype＝mark_beginunit＝frames>2000</>；

步骤104、终端B保存该编辑信息，更新其用户操作界面；

步骤105、终端A对于编辑后的视音频文件进行解码，得到视音频数据；终端A可以对输入的视音频文件整体进行解码，也可以针对相应的编辑操作，如Seek，从指定位置进行解码或区间解码等；

步骤106、终端A根据可视电话通信的视音频参数，如图像尺寸、视音频输出帧率等等，对视音频数据进行处理，这些处理包括：图像尺寸调整，图像色彩空间变换、音频采样率/精度调整等，得到符合视音频参数的视音频数据；

步骤107、终端A对视音频数据进行缓冲，通过对传输的帧率进行控制，根据可视电话的视音频参数，设置固定的传输帧率，并以该帧率将视音频数据传输到终端B；持续输出视音频数据，从而保证通信信号的连续；

步骤108，终端A将视音频数据送入协议栈编码器进行编码，生成符合可视电话通信格式的视音频数据；

步骤109、终端A将编码后的视音频数据发送到终端B；

步骤110、终端B接收到可视电话的通信数据后，从中分离出视音频数据；输出当前的视音频数据或记录存储为相应的视音频文件；

步骤111、用户A在终端A上标记编辑点；

步骤112、终端A将编辑点信息发送至终端B；

步骤113、终端B保存该编辑点信息，更新用户操作界面；

步骤114、当用户B通过操作界面在终端B上进行需要对该视音频文件的编辑操作时，终端B发送编辑控制指令至终端A，编辑控制指令的类型与上述步骤103中编辑操作的类型相同；

步骤115、终端A对编辑控制指令进行解码，并根据该编辑控制指令对视音频文件进行编辑，依次执行上述步骤103至110。

其中，步骤115之后，终端A根据终端B的编辑控制指令对视音频文件进行编辑时，需要和终端A本身的操作指令进行同步，以便终端A能够根据该编辑控制指令进行编辑操作。

由于可视电话通信是双向进行的，显然，上面的流程也可以适用于终端B实时为终端A提供视音频文件共享并与A进行协同编辑。

本实施例的视音频协同编辑方法，在终端之间的可视电话通信过程中，发送端将编辑操作的信息发送到接收端，并将经过编辑处理后的视音频文件发送到接收端，接收端在播放视音频的同时，能够看到发送端对该视音频编辑的过程。这样，实现了终端之间对视音频文件远程、实时的采集和编辑共享。另外，接收端也可以将对该视音频文件的编辑操作生成编辑控制指令发送到发送端，发送端根据该编辑控制指令对该视音频文件进行编辑处理，并根据该编辑控制指令生成编辑信息发送到接收端，将编辑后的视音频也发送到接收端，从而实现接收端对视音频文件的协同编辑。

本实施例实现了终端之间的视音频传输和共享以及远程视音频节目协同编辑，进一步满足节目制作的突发性与实时性，避免了由于发送端节目制作过程中出现问题而造成的需要重新沟通、制作并传输，从而节约了通信的带宽及时间，进一步降低了远程视音频传输所需的费用。

装置实施例

如图2所示，本发明终端A实施例具体包括：

可视电话通信单元21，用于建立终端A与终端B之间的可视电话通信；

视音频管理单元22，用于选择需要发送的视音频文件，执行编辑操作，对所述视音频文件进行编辑，并将编辑后的视音频文件通过可视电话通信单元21传输到接收端；

编辑控制单元23，根据编辑操作生成编辑信息通过可视电话通信单元21发送到接收端。

其中，编辑控制单元23还用于接收终端B发送的编辑控制指令，并将该编辑控制指令发送到视音频管理单元22；视音频管理单元22根据编辑控制指令对选择的视音频文件进行编辑，并将编辑后的视音频文件传输到终端B。

本实施例中，如图3所示，视音频管理单元22具体包括以下模块：

视音频选择模块221，用于选择需要传输的视音频文件，如摄像录音装置的实录内容或者视音频文件素材；

解码模块222，用于对视音频文件进行解码，获得视音频数据，可以对输入的视音频文件整体进行解码，也可以针对相应的编辑操作，如Seek，从指定位置进行解码或区间解码等；

参数提取模块223，用于从可视电话通信单元21中提取所述可视电话的视音频参数，如图像尺寸、视音频输出帧率等等，然后将这些参数设置到视音频处理模块224；

视音频处理模块224，用于根据可视电话通信的视音频参数，如图像尺寸、视音频输出帧率等等，对视音频数据进行处理，这些处理包括：图像尺寸调整，图像色彩空间变换、音频采样率/精度调整等，得到符合视音频参数的视音频数据。

另外，视音频管理单元22还包括：

帧率控制模块225，用于控制视音频数据的帧率，可以根据参数提取模块223提取到的可视电话的视音频参数设定视音频数据传输的帧率，例如，可视电话通信对帧率的要求为15帧/秒；

缓冲模块226，用于对视音频数据进行缓冲，以固定帧率传输到所述接收端，当解码速度过快，缓冲模块被填满，缓冲模块会自动阻塞前面的数据注入；当正在进行Seek、暂停操作时，缓冲模块内数据变空，缓冲模块会自动保留最后数据帧，持续输出，从而保证通信信号的连续。

本实施例中，编辑控制单元23对相关编辑信息或编辑控制指令进行编码和解码，然后利用可视电话中的控制和数据的空闲通道进行传输，具体而言可以在通信过程中基于H.245中UserData信令，实现相关指令的双向传送。

当通信链路建立后，终端B用户可以通过用户操作界面触发操作，然后终端B发送编辑控制指令；同时，当终端A的编辑控制单元接收到编辑控制指令后，开始进行解码，基于解码信息，指示视音频管理单元完成相关动作，完成编辑动作的控制。例如：从当前视音频文件的起始位置偏移100秒处开始浏览，对应的控制指令编码为“<seektype＝beginunit＝second>100</seek>”XML化字符串。

本实施例中，编辑控制单元23除接收编辑控制指令外，也可以传输管理协议信息，提供给可视电话应用使用，如编辑点标记信息，视音频文件当前位置等。

本实施例还包括视音频输出管理单元24，视音频输出管理单元24的结构可以有以下两种情形。

如图4所示，视音频输出管理单元24的一种结构包括：

视音频数据获取模块241，用于接收可视电话的通信数据，从中分离出所述视音频数据；文件存储模块242，用于存储视音频数据。

如图5所示，视音频输出管理单元24的另一种结构包括：

视音频数据获取模块241，用于接收解码后的视音频数据，得到视音频帧；视音频编码模块243，用于对视音频帧进行编码得到指定格式的视音频数据；文件存储模块242，存储该指定格式的视音频数据。

本实施例中，视音频输出管理单元24还可以将将处理后的视音频数据传输到实际的终端视音频设备上进行播放。

另外，本实施例还包括同步控制单元25，用于将终端B发送的编辑控制指令与终端A本身的操作指令进行同步，以便终端A能够根据该编辑控制指令进行编辑操作。

另外，本实施例还包括编辑控制指令生成单元26，在该终端作为接收端时，用于生成编辑控制指令并发送到可视电话的其他发送端。

本实施例的终端，在可视电话通信过程中，将编辑操作的信息发送到接收端，并将经过编辑处理后的视音频文件也发送到接收端。这样接收端在播放视音频的同时，能够看到发送端对该视音频编辑的过程。实现了终端之间对视音频文件远程、实时的采集和编辑共享。另外，接收端也可以将对该视音频文件的编辑操作生成编辑控制指令发送到发送端，发送端根据该编辑控制指令对该视音频文件进行编辑处理，并根据该编辑控制指令生成编辑信息发送到接收端，将编辑后的视音频也发送到接收端，从而实现接收端对视音频文件的协同编辑。

本实施例实现了终端之间的视音频传输和共享以及远程视音频节目协同编辑，进一步满足节目制作的突发性与实时性，避免了由于发送端节目制作过程中出现问题而造成的需要重新沟通、制作并传输，从而节约了通信的带宽及时间，进一步降低了远程视音频传输所需的费用。

本实施例中，对于接收视音频数据的终端来说，可以仅包括音频输出管理单元24，即仅接收经过编辑后的视音频文件，本身不对视音频文件进行编辑；还可以包括编辑控制指令生成单元26，用于生成编辑控制指令发送到可视电话的发送端。以实现发送端和接收端之间对视音频文件的协同编辑。

当然，作为接收端的终端可以和作为发送端的终端具有相同的结构。

系统实施例

如图1所示，本发明视音频协同编辑系统实施例包括：建立可视电话通信的终端A和终端B，

终端A，用于选择视音频文件，根据编辑操作生成编辑信息发送到终端B；执行编辑操作，对所述视音频文件进行编辑，并将编辑后的视音频文件传输到终端B；

终端B，用于输出或存储所述编辑后的视音频文件。

另外，本实施例中，终端B还发送编辑控制指令到终端A；终端A根据所述编辑控制指令生成相应的编辑信息发送到终端B；根据所述编辑控制指令对选择的所述视音频文件进行编辑，并将编辑后的视音频文件传输到终端B。

对于终端A与终端B之间的视音频传输与共享，终端A与终端B建立可视通话，双方能正常进行视音频通信后，终端A通过视音频管理单元选择对终端B通信的内容；终端A通过编辑控制单元发送传输开始指令；当终端B通过编辑控制单元接收到传输开始指令，则启动视音频输出管理单元，将当前通信过程中的视音频内容存储至本地，从而完成终端A向终端B传送、共享视音频内容过程。

在协同编辑的过程中，对于视频节目素材的基本控制动作包括：播放、暂停、快速预览、帧进帧退等。这些编辑动作，终端A和终端B可以双向完成，并且实时共享效果，具体流程如下：

对于终端A，用户通过应用界面操作，这些操作指令再通过“视音频管理单元”完成具体动作。如“播放”操作，视音频管理单元开始选择播放视音频文件，并转化为适合当前可视电话的视音频数据，送入可视电话通信单元发送到终端B，终端B即可看到当前播放内容；又如“快速浏览”操作，视音频管理单元控制内部解码相关组件，解出浏览位置的有效的视音频数据，然后转化为适合当前可视电话的视音频数据，送入可视电话通信单元，终端B也就可以看到当前浏览位置视音频；其他各种编辑动作操作流程与上述类似；

对于终端B，用户通过应用界面操作，这些操作指令通过编辑控制单元编码后送到终端A，终端A中编辑控制单元再对这些打包后的操作指令解码，传入终端A中视音频管理单元完成具体动作，视音频管理单元控制视频节目的详细流程参考上面关于终端A直接进行编辑动作时“视频源管理单元”的流程，完全一致。

当终端A和终端B就编辑内容达成一致(即对于节目中的素材取舍)后，剪辑出的关键帧位置被打上标记，简称为标记，标记之间的区域为有效区域，之外的区域可以被舍弃掉。最终的编辑结果可以以两种方式来完成：

a)终端A直接传送有效内容给终端B，基本流程为终端A执行“预览”、“播放”以及“暂停”等动作，同时终端A向终端B传输这些内容；

b)终端A和终端B均记录这些标记位置，为高质量、高码率、相同内容的视音频文件(对比手机终端上的视音频文件)的共享提供粗编信息。

对比传统的视音频节目的采编方法，本发明提供了一种远程的、实时的协同视频采集、共享以及编辑的方法、装置及系统。在终端之间的可视电话通信过程中，发送端将编辑操作的信息发送到接收端，并将经过编辑处理后的视音频文件发送到接收端，接收端在播放视音频的同时，能够看到发送端对该视音频编辑的过程。这样，实现了终端之间对视音频文件远程、实时的采集和编辑共享。另外，接收端也可以将对该视音频文件的编辑操作生成编辑控制指令发送到发送端，发送端根据该编辑控制指令对该视音频文件进行编辑处理，并根据该编辑控制指令生成编辑信息发送到接收端，将编辑后的视音频也发送到接收端，从而实现接收端对视音频文件的协同编辑。

本发明在满足节目制作的突发性与实时性的同时，避免了由于发送端节目制作过程中出现问题而造成的需要重新沟通、制作并传输，从而节约了通信的带宽及时间，进一步降低了远程视音频传输所需的费用。

应说明的是：以上实施例仅用以说明本发明而非限制，本发明也并不仅限于上述举例，一切不脱离本发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围中。

Claims (7)

1.一种视音频协同编辑方法，其特征在于，包括：

发送端与接收端建立可视电话通信；

所述发送端选择视音频文件，根据编辑操作生成编辑信息发送到接收端，所述编辑信息包括编辑指令以及对应的参数信息；所述编辑操作包括：Seek、Play、Pause、Notify、forward、backward或step；

所述发送端执行编辑操作，对所述视音频文件进行编辑，并将编辑后的视音频文件传输到所述接收端；

所述接收端发送编辑控制指令到所述发送端；

所述发送端根据所述编辑控制指令生成相应的编辑信息发送到接收端；

所述发送端根据所述编辑控制指令对选择的所述视音频文件进行编辑，并将编辑后的视音频文件传输到所述接收端。

2.根据权利要求1所述的视音频协同编辑方法，其特征在于，将编辑后的视音频内容传输到所述接收端的操作之前还包括：

所述发送端对所述视音频文件进行解码，获得视音频数据；

所述发送端根据所述可视电话的视音频参数，调整所述视音频数据为符合所述视音频参数的视音频数据。

3.根据权利要求2所述的视音频协同编辑方法，其特征在于，所述将编辑后的视音频内容传输到所述接收端的操作具体包括：

所述发送端对所述视音频数据进行缓冲，根据所述视音频参数设定固定的帧率将所述视音频数据传输到所述接收端。

4.一种终端，用于可视电话通信，其特征在于，包括：

可视电话通信单元，用于建立终端与终端之间的可视电话通信；

视音频管理单元，用于选择需要发送的视音频文件，执行编辑操作，对所述视音频文件进行编辑，并将编辑后的视音频文件传输到接收端；所述编辑操作包括：Seek、Play、Pause、Notify、forward、backward或step；

编辑控制单元，根据编辑操作生成编辑信息发送到接收端，所述编辑信息包括编辑指令以及对应的参数信息；

所述编辑控制单元，还用于接收所述接收端发送的编辑控制指令，并将该编辑控制指令发送到所述视音频管理单元；

所述视音频管理单元，进一步根据所述编辑控制指令对选择的所述视音频文件进行编辑，并将编辑后的视音频文件传输到所述接收端。

5.根据权利要求4所述的终端，其特征在于，所述视音频管理单元包括：

视音频选择模块，用于选择需要传输的视音频文件；

解码模块，用于对所述视音频文件进行解码，获得视音频数据；

参数提取模块，用于从可视电话通信单元中提取所述可视电话的视音频参数；

视音频处理模块，用于根据所述视音频参数调整所述视音频数据为符合所述视音频参数的视音频数据。

6.根据权利要求5所述的终端，其特征在于，所述视音频管理单元还包括：

帧率控制模块，用于根据所述视音频参数控制所述视音频数据的帧率；

缓冲模块，用于对所述视音频数据进行缓冲，以所述帧率传输到所述接收端。

7.一种视音频协同编辑系统，其特征在于，包括：建立可视电话通信的第一终端和第二终端，

所述第一终端，用于选择视音频文件，根据编辑操作生成编辑信息发送到第二终端，所述编辑信息包括编辑指令以及对应的参数信息；执行编辑操作，对所述视音频文件进行编辑，并将编辑后的视音频文件传输到所述第二终端；所述编辑操作包括：Seek、Play、Pause、Notify、forward、backward或step；

所述第二终端，用于输出或存储所述编辑后的视音频文件；

所述第二终端，还发送编辑控制指令到所述第一终端；

所述第一终端，根据所述编辑控制指令生成相应的编辑信息发送到所述第二终端；根据所述编辑控制指令对选择的所述视音频文件进行编辑，并将编辑后的视音频文件传输到所述第二终端。