CN101087399A - 一种多媒体终端及其用于会议录制、播放的方法 - Google Patents

Abstract

一种多媒体终端及其用于会议录制、播放的方法，终端，包括会议记录组件、会议回放组件、多媒体通信组件、与多媒体通信网的接口和存储器。录制的方法是，采集本方的声音、视频数据，并进行压缩编码，进行媒体数据的打包，并发送到网络上；同时复制一份数据记录到存储器；对接收的数据包，进行前端处理后复制为两份，一份记录到存储器中；另一份进行解码处理后进行媒体的呈现。播放的方法是，从存储器读取出各路媒体流，分别进行解包后再送给解码器解码，解码后声音混合处理后呈现，视频媒体流分别呈现。本发明能够对点对点的会议以及多点会议进行录制和重放，不需要额外的装置，使用简单方便，费用低。

Description

一种多媒体终端及其用于会议录制、播放的方法

技术领域

本发明涉及多媒体通信领域，具体涉及一种会议多媒体终端及其用于会议录播的方法。

背景技术

多媒体通信是一种不同于传统的电话通信的新的通信方式，多媒体通信在声音交互的基础上，增加了视频和计算机数据的交互。多媒体通信的一个最重要的特征是通信双方可以相互看到对方的活动视像以及所处环境视像。大量的信息使用视觉方式传递更为直接，视频的交互可以大大提升交流的质量。

多媒体终端是用户进行多媒体通信的工具。多媒体终端内部完成了声音、图像的输入/输出，声音、图像的压缩编码、解码处理，以及网络传送、接收等功能。

如果进行多方通话，通常需要使用多方会议设备。多个终端呼叫到多方会议设备，通过多方设备实现多点的信息交换。

会议录播功能指把一个实时发生的多媒体通信的整个过程录制下来，供以后回放。如记录远程培训的现场过程供后续的培训观看；现场会议中的部分内容未完全理解或被忽视，通过回放录像，来加深理解；作为双方沟通的备忘，等需要。

当前，会议录播采用专用的录播服务器设备实现。专利US2006047750给出了这样一种装置和方法，其原理是，录播服务器按终端的方式连接到多方会议设备，多方设备给录播服务器送出发言会场的声音、视频等媒体数据，录播服务器进行媒体的保存。以后，用户可以通过PC中的媒体播放工具点播记录的会议录像。

该方法存在以下缺点：需要配置额外的录播服务器，成本高，使用不方便；因为录播服务器需要占用一个通信端口，对于未使用多方会议设备的点对点通信，无非进行记录。

发明内容

本发明要解决的技术问题是，克服现有技术中存在的两个缺点，提出了一种内置会议录播功能的可视终端设备，并提出有此设备进行会议录制和播放的方法，能够对会议进行录制，并对已录制内容进行重播。

本发明中的多媒体终端，包括会议记录组件、会议回放组件、多媒体通信组件、与多媒体通信网的接口和存储器；其中：会议记录组件完成会议的保存功能；会议回放组件用来播放保存下来的会议内容；存储器用于保存会议媒体流；多媒体通信组件用于采集声音、视频数据，并进行压缩编码，然后采用适合网络传输的格式进行媒体数据的打包，并发送到网络上。

上述方案中还可以包括格式转换组件，用来把原始保存的会议内容转换为其它互连网中通用的媒体格式。

本发明中的通过多媒体终端进行会议录制的方法是，在一个多媒体终端和另一个多媒体终端或多方会议设备通话过程中，

1)多媒体通信组件负责采集本方的声音、视频数据，并进行压缩编码，然后根据H323格式进行媒体数据的打包，并发送到网络上；在发送到网络时，多媒体通信组件复制一份数据到会议记录组件，会议记录组件负责把数据记录到存储器；

2)多媒体通信组件负责从网络接收远程设备发送来的数据包，根据H323格式进行前端处理，数据包复制为两份，一份数据包样本送给会议记录组件，会议记录组件将数据记录到存储器中；另一份数据包样本进行解码处理，最后进行媒体的呈现。

在上述方案中，将每一种媒体流保存为一个文件。

在上述方案中，在媒体流中还包含在回放时用于时间同步的时戳信息，在保存的数据中包括一个用来描述媒体流之间同步关系的文件。

本发明的通过多媒体终端进行会议录制的方法，还有另一种方案：在一个多媒体终端和另一个多媒体终端或多方会议设备通话过程中，

1)多媒体通信组件负责采集本方的声音、视频数据，并进行压缩编码，压缩后码流复制为两个样本，一份进行RTP打包，送给会议记录组件进行保存，另一份按照H.320正常的流程进行后续处理后发送到网络上；

2)多媒体通信组件负责从网络接收远程设备发送来的数据包，经过H320前端处理后，码流复制为两个样本，一份送给媒体解码器后进行呈现，另一份进行RTP打包，然后送给会议记录组件进行保存。

本发明中的通过多媒体终端对会议录制进行播放的方法是，会议回放组件根据媒体同步描述文件记录的媒体参数，从存储器读取出各路媒体流，媒体流先分别进行RTP解包，然后再送给解码器解码，解码后的本地和远端的声音媒体进行混合处理后进行呈现，视频媒体流分别进行呈现。

上述方案中，还包括使用格式转换组件将原始的会议记录转换为用户选择的目标格式。

采用本发明中的多媒体终端和录制、播放方法，能够对点对点的会议以及多点会议进行录制和重放，不需要额外的装置，使用简单方便，费用低。

附图说明

图1是本发明的多媒体终端结构图；

图2是用本发明的方法录制采用H.323协议会议的流程图；

图3是采用H.323协议会议录制的实际操作流程图；

图4是用本发明的方法录制采用H.320协议会议的流程图；

图5是用本发明的方法对录制的会议进行播放回放的流程图；

图6是对单点会议进行录制的流程图。

具体实施方式

如图1所示为本发明的多媒体终端结构图。终端可以是硬件终端，也可以是运行在个人电脑中的软件终端。

本发明的多媒体终端，至少包括会议记录组件、会议回放组件、多媒体通信组件，与多媒体通信网的接口和存储器。其中：

会议记录组件完成会议的保存功能。

会议回放组件用来播放保存下来的会议内容。

多媒体通信组件完成基本的会议通信功能。符合一种或多种多媒体通信协议标准，例如ITU-T H.320、ITU-T H.323和SIP协议，不排除其它类似的协议。

至于存储器，可以是本地存储子系统(如硬盘，闪存等)，也可以是连接网络存储服务器或可移动存储设备，若是后者则需要相应的接口，例如usb口。

多媒体终端还可以包括格式转换组件。格式转换组件用来把原始保存的会议内容转换为其它互连网中通用的媒体格式，如微软的windows media，RealNetworks的Realmedia格式，以及Apple公司的Quicktime格式等。

图2描述了保存一个采用H.323协议的会议的录制处理过程，实例描述了一路声音和一路视频的情况。

本地的声音、视频输入首先进行压缩编码，压缩后码流再进行RTP打包，RTP打包后的媒体流复制为两个份，一份通过会议记录组件被保存到存储子系统，另一份按照H.323正常的流程进行后续处理后发送到网络。

从网络接收到的声音、视频RTP包，经过H.323的前端处理步骤后，被复制为两份，一份通过会议记录组件被保存到存储子系统，一份按照H.323正常的流程进行RTP拆包，媒体解码等处理。这里，H.323的前端处理为公知常识，不做赘述。

为了减少保存到存储子系统中的数据，保持媒体流时，可以去掉一些无用的RTP头字段或者采用其它相似的封装方式。

通话过程中，允许某个媒体通道关闭以及重新打开，重新打开的通道用一个新的文件来保存。

在通话过程中，如果通信参数有变化，例如视频信号关闭，则多媒体通信组件负责通知会议记录组件，会议记录组件会修改媒体同步描述文件，以反映这一改变。

当通话结束后，存储子系统保存有一个媒体同步描述文件，以及本地和远程的媒体数据文件。一般地，被记录的会议数据包括但不限于：本端发送的声音媒体流、主视频媒体流、第二视频媒体流等；本端收到的声音媒体流、主视频媒体流、第二视频媒体流等。

每一种媒体流保存为一个文件，文件的扩展名指示该媒体的类型，例如g711a表示按G.711A率编码的声音媒体流，又如h263表示由H.263编码的视频媒体流。更复杂的应用情况下，也可以在媒体流文件中增加一个头区域，用来描述媒体流的更详细的信息，例如压缩格式、总长度等信息。

媒体流中可以包含时戳信息，时戳信息在会议回放时用于时间同步用，推荐用RTP帧来表示时戳，但不限于这种方式。

另外，会议记录组件在会议结束后还会产生一个用来描述这些媒体流之间的同步关系的描述文件。这里推荐使用SMIL协议来描述同步关系，但不限于这种方式。

图3是图2对应的操作流程：

用户在开会前，在终端中输入用来保存媒体流文件的路径和会议名，这个路径可以为本地路径，也可以是网络存储服务器的路径。

用户通过本地终端呼叫远程终端。

两个终端处理呼叫信令过程，并建立呼叫。

两个终端进行能力协商。

两个终端各自打开媒体通道。打开通道参数被记录到媒体同步描述文件中，同时会议记录过程开始。

用户进行正常的通话，整个通话的媒体流被保存。

用户请求结束呼叫。

两个终端关闭媒体通道并挂断呼叫。这时候媒体保存过程结束。

终端根据整个通话过程收集的信息，输出一个同步描述文件。

图4描述了录制采用H.320协议会议的媒体处理过程，实例描述了一路声音和一路视频的情况。

本地的声音、视频输入首先进行压缩编码，压缩后码流复制为两个样本，一份进行RTP打包，送给会议记录组件进行保存，另一份按照H.320正常的流程进行后续处理。

从网络接收到的声音、视频包，经过H.320协议的前端处理后，码流复制为两个样本，一份送给媒体解码器后进行呈现，另一份进行RTP打包，然后送给会议记录组件进行保存。这里，H.320的前端处理为公知常识，不做赘述。

图5描述了对已录制的会议进行重播的处理流程。该实例假设有本地声音、视频、远程声音、视频共四路媒体流被记录。

会议回放组件根据媒体同步描述文件记录的媒体参数，从存储读取出各路媒体流，媒体流先进行RTP解包，然后再送给解码器解码，解码后的本地和远端的声音媒体进行混合处理，最后进行呈现。对已经录制的本地的图像和收到的对方的图像则显示在两个窗口中。

用户还可以使用格式转换组件打开媒体同步描述文件，并选择需要转换得目标格式，格式转换组件把原始的会议录像转换为用户选择的目标格式。

对被记录的会议数据重放，不局限在录制该会议的终端，也可以在支持录播功能的所有终端中完成。

图6描述了单点会议的媒体流处理步骤。在该情况下，只有本地的声音、视频数据被保存。

另外，作为一个附加能力，本发明的方法可以完成通话录音/像功能。当用户不在家或办公室时，可以把可视终端设置为自动录音/像应答方式。当对方呼叫本端时，本端自动送出提示语音，指示用户暂不在，并提示对方留言。对方的留言和视频流被记录到储存系统中。用户回来后，可以调出录制的媒体流进行回放。

作为一个附加能力，本终端可以当数字录像机，在该模式，终端不建立呼叫，只是记录本方会场的声音和视频信息。

Claims (9)

1、一种多媒体终端，包括会议记录组件、会议回放组件、多媒体通信组件、与多媒体通信网的接口和存储器；其中：

会议记录组件完成会议的保存功能；

会议回放组件用来播放保存下来的会议内容；

存储器用于保存会议媒体流；

多媒体通信组件用于采集声音、视频数据，并进行压缩编码，然后采用适合网络传输的格式进行媒体数据的打包，并发送到网络上。

2、权利要求1所述的多媒体终端，其特征在于，还包括格式转换组件，用来把原始保存的会议内容转换为其它互连网中通用的媒体格式。

3、权利要求1所述的多媒体终端，其特征在于，存储器是本地存储子系统、可移动存储设备或网络存储器。

4、一种通过多媒体终端进行会议录制的方法，在一个多媒体终端和另一个多媒体终端或多方会议设备通话过程中，

1)多媒体通信组件负责采集本方的声音、视频数据，并进行压缩编码，然后根据H323格式进行媒体数据的打包，并发送到网络上；在发送到网络时，多媒体通信组件复制一份数据到会议记录组件，会议记录组件负责把数据记录到存储器；

2)多媒体通信组件负责从网络接收远程设备发送来的数据包，根据H323格式进行前端处理，数据包复制为两份，一份数据包样本送给会议记录组件，会议记录组件将数据记录到存储器中；另一份数据包样本进行解码处理，最后进行媒体的呈现。

5、权利要求4所述的通过多媒体终端进行会议录制的方法，其特征在于，每一种媒体流保存为一个文件。

6、权利要求4所述的通过多媒体终端进行会议录制的方法，其特征在于，在媒体流中包含在回放时用于时间同步的时戳信息，在保存的数据中包括一个用来描述媒体流之间同步关系的文件。

7、一种通过多媒体终端进行会议录制的方法，在一个多媒体终端和另一个多媒体终端或多方会议设备通话过程中，

1)多媒体通信组件负责采集本方的声音、视频数据，并进行压缩编码，压缩后码流复制为两个样本，一份进行RTP打包，送给会议记录组件进行保存，另一份按照H.320正常的流程进行后续处理后发送到网络上；

2)多媒体通信组件负责从网络接收远程设备发送来的数据包，经过H320前端处理后，码流复制为两个样本，一份送给媒体解码器后进行呈现，另一份进行RTP打包，然后送给会议记录组件进行保存。

8、一种通过多媒体终端对会议录制进行播放的方法，会议回放组件根据媒体同步描述文件记录的媒体参数，从存储器读取出各路媒体流，媒体流先分别进行RTP解包，然后再送给解码器解码，解码后的本地和远端的声音媒体进行混合处理后进行呈现，视频媒体流则分别进行呈现。

9、权利要求8所述的通过多媒体终端对会议录制进行播放的方法，其特征在于，还包括使用格式转换组件将原始的会议记录转换为用户选择的目标格式。

Images