CN113132539B - 多媒体获取方法、多媒体播放方法、电子设备及存储介质 - Google Patents

Abstract

本发明实施例提供一种多媒体获取方法、多媒体播放方法、电子设备及存储介质，涉及音频处理技术领域，以解决在已有视频上添加叠加信息的方式播放效率低下的问题。该方法包括：在监测到主叫终端发起呼叫的情况下，确定第一媒体流和第一交互信息流，第一媒体流对应的第一视频彩铃用于在主叫终端进行播放，第一交互信息流对应的第一交互信息用于在主叫终端播放第一视频彩铃时同步播放，第一交互信息包括与第一视频彩铃不同的显示内容；分别将所述第一媒体流和所述第一交互信息流发送给所述主叫终端。第一媒体流和第一交互信息流并行发送，可提高终端获取到第一媒体流和第一交互信息流的效率，从而提高视频彩铃的播放效率。

Description

多媒体获取方法、多媒体播放方法、电子设备及存储介质

技术领域

本发明涉及音频处理领域，尤其涉及一种多媒体获取方法、多媒体播放方法、电子设备及存储介质。

背景技术

在视频彩铃业务场景中，可在已有视频上添加叠加信息，例如，信息类型、信息内容、展示位置、显示时长等相关参数。但是现有的叠加信息添加方式中由视频彩铃平台对已有视频进行编码和解码处理，将叠加信息添加到视频中，使得视频的播放效率低下。

发明内容

本发明实施例提供一种多媒体获取方法、多媒体播放方法、电子设备及存储介质，以解决现有技术中在已有视频上添加叠加信息的方式，导致终端视频播放的效率低下的问题。

本发明实施例是这样实现的：

第一方面，本发明实施例提供了一种多媒体获取方法，应用于视频彩铃系统，包括：

在监测到主叫终端发起呼叫的情况下，确定第一媒体流和第一交互信息流，所述第一媒体流对应的第一视频彩铃用于在所述主叫终端进行播放，所述第一交互信息流对应的第一交互信息用于在所述主叫终端播放所述第一视频彩铃时同步播放，所述第一交互信息包括与所述第一视频彩铃不同的显示内容；

将所述第一媒体流和所述第一交互信息流发送给所述主叫终端。

第二方面，本发明实施例提供了一种多媒体播放方法，应用于主叫终端，包括：

在所述主叫终端发起呼叫的情况下，接收视频彩铃系统发送的第一媒体流和第一交互信息流，所述第一媒体流对应的第一视频彩铃用于在所述主叫终端进行播放，所述第一交互信息流对应的第一交互信息用于在所述主叫终端播放所述第一视频彩铃时同步播放，所述第一交互信息包括与所述第一视频彩铃不同的显示内容；

分别对所述第一媒体流和所述第一交互信息流进行解码，获得第一视频彩铃和第一交互信息；

播放所述第一视频彩铃和所述第一交互信息。

第三方面，本发明实施例提供了一种多媒体播放方法，应用于被叫终端，包括：

在所述被叫终端接通呼叫的情况下，接收视频彩铃系统发送的第二媒体流和第二交互信息流，所述第二媒体流对应的第二视频彩铃用于在所述被叫终端进行播放，所述第二交互信息流对应的第二交互信息用于在所述被叫终端播放所述第二视频彩铃时同步播放，所述第二交互信息包括与所述第二视频彩铃不同的显示内容；

分别对所述第二媒体流和所述第二交互信息流进行解码，获得第二视频彩铃和第二交互信息；

播放所述第二视频彩铃和所述第二交互信息。

第四方面，本发明实施例还提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的多媒体获取方法的步骤，或者，所述计算机程序被所述处理器执行时实现如第二方面或第三方面所述的多媒体播放方法的步骤。

第五方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的多媒体获取方法的步骤，或者，所述计算机程序被所述处理器执行时实现如第二方面或第三方面所述的多媒体播放方法的步骤。

在本发明实施例中，视频彩铃系统对第一媒体流和第一交互信息流并行发送，在发送之前，无需对第一媒体流和第一交互信息流进行解码处理，从而可提高终端获取到第一媒体流和第一交互信息流的效率，最终提高视频彩铃的播放效率。

附图说明

图1是本发明实施例提供的多媒体获取方法的流程图；

图2是本发明实施例提供的多媒体播放方法的一流程图；

图3是本发明实施例提供的多媒体播放方法的另一流程图；

图4是本发明实施例提供的视频彩铃系统与主机终端之间的交互流程示意图；

图5是本发明实施例提供的主叫终端，被叫终端与视频平台之间的交互示意图；

图6是本发明实施例提供的多媒体获取装置的结构图；

图7是本发明实施例提供的第一多媒体播放装置的结构图；

图8是本发明实施例提供的第二多媒体播放装置的结构图；

图9是本发明实施例提供的终端的结构图；

图10是本发明实施例提供的电子设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，图1是本发明实施例提供的多媒体获取方法的流程图，如图1所示，本实施例提供一种多媒体获取方法，应用于视频彩铃系统，包括以下步骤：

步骤101、在监测到主叫终端发起呼叫的情况下，确定第一媒体流和第一交互信息流，所述第一媒体流对应的第一视频彩铃用于在所述主叫终端进行播放，所述第一交互信息流对应的第一交互信息用于在所述主叫终端播放所述第一视频彩铃时同步播放，所述第一交互信息包括与所述第一视频彩铃不同的显示内容。

主叫终端可理解为发起呼叫的终端。第一媒体流可为主叫终端的用户在购买视频彩铃服务时选择的视频彩铃对应的数据流。第一交互信息流可为需要叠加在第一媒体流上显示的多媒体对应的数据流，所述第一交互信息流可包括动态图像、静态图像、静态文字、动态文字、超链接和Emoji表情中的至少一项对应的数据流。

步骤102、分别将所述第一媒体流和所述第一交互信息流发送给所述主叫终端。

视频彩铃系统可将第一媒体流和第一交互信息流分开进行发送，如并行发送，例如，视频彩铃系统可通过实时传输协议(Real-time Transport Protocol，RTP)传输第一媒体流，通过会话初始协议(Session Initiation Protocol，SIP)传输第一交互信息流。主叫终端在接收到第一媒体流和第一交互信息流之后，可对第一媒体流进行解码，并在主叫终端的显示屏上播放，同时在显示屏上展示第一交互信息流对应的第一交互信息，第一交互信息可包括动态图像、静态图像、静态文字、动态文字、超链接和Emoji表情中的至少一项。

上述中，第一媒体流和第一交互信息流并行发送，可提高终端获取到第一媒体流和第一交互信息流的效率，从而提高视频彩铃的播放效率，同时，视频彩铃系统在确定第一媒体流和第一交互信息流后，将第一媒体流和第一交互信息流发送给终端即可，并不需要将第一交互信息流对应的第一交互信息叠加在第一媒体流中，即视频彩铃系统不需要进行叠加码流处理，可减轻视频彩铃系统的压力。

上述中，第一媒体流可包括一个或多个媒体流，若第一媒体流包括多个媒体流，则这多个媒体流的分辨率(可理解为媒体流对应的图像的分辨率)可相同也可不相同，多个媒体流中分辨率相同的媒体流采用相同的传输通道进行发送，分辨率不相同的媒体流采用不同的传输通道进行发送。多个媒体流中不同分辨率的媒体流可并行发送，也可按照先后顺序进行发送。

所述第一媒体流包括至少一个子媒体流，所述第一交互信息包括至少一个子交互信息流，所述至少一个子媒体流和所述至少一个子交互信息流为一一对应关系，或者，所述至少一个子媒体流与所述至少一个子交互信息流为一对多的对应关系，例如，每个子媒体流对应至少一个子交互信息流，或者，多个子媒体流对应同一个子交互信息流。

第一交互信息流可包括一个或多个子交互信息流，若第一交互信息流包括多个子交互信息流，则这多个子交互信息流的分辨率(可理解为子交互信息流对应的图像的分辨率)可相同也可不相同，多个子交互信息流中分辨率相同的子交互信息流采用相同的传输通道进行发送，分辨率不相同的子交互信息流采用不同的传输通道进行发送。多个子交互信息流中不同分辨率的子交互信息流可并行发送，也可按照先后顺序进行发送。在一个子媒体流与至少两个子交互信息流为一对多的对应关系的情况下，所述至少两个子交互信息流可以并行传输的方式发送给所述主叫终端。

一个媒体流可对应一个或多个子交互信息流，该媒体流和其对应的一个或多个子交互信息流同步发送，优选的，媒体流的分辨率与媒体流对应的子交互信息流的分辨率相同。媒体流可通过RTP协议发送，子交互信息流可通过SIP协议中的INFO消息发送。

子交互信息流对应的叠加信息可包括信息类型，信息内容、显示位置以及显示时长等相关参数。

上述中，所述第一媒体流包括第一子媒体流和第二子媒体流，所述第一交互信息流包括第一子交互信息流和第二子交互信息流；其中，将所述第一媒体流和所述第一交互信息流包括发送给所述主叫终端，包括：

将所述第一子媒体流发送给所述主叫终端，且将所述第一子交互信息流发送给所述主叫终端；

在接收到所述主叫终端发送的响应消息的情况下，将所述第二子媒体流发送给所述主叫终端，且将所述第二子交互信息流发送给所述主叫终端。

第一子媒体流对应第一子交互信息流，第二子媒体流对应第二子交互信息流，主叫终端可对第一子媒体流对应的视频和第一子交互信息流对应的交互信息进行同屏显示，对第二子媒体流对应的视频和第二子交互信息流对应的交互信息进行同屏显示，例如，在第一子媒体流对应的视频上显示第一子交互信息流对应的交互信息，在第二子媒体流对应的视频上显示第二子交互信息流对应的交互信息。由此实现在视频上显示叠加信息的目的，整个信息叠加显示的过程由主叫终端执行，视频彩铃系统将第一媒体流和第一交互信息流发送给主动终端即可，无需增加其他处理开销，可降低视频彩铃系统的处理压力。

所述第一子交互信息流和所述第二子交互信息流分别携带在不同时刻发送的INFO消息中。

第一子交互信息流可携带在媒体视频彩铃系统标记语言(Media Server MarkupLanguage，MSML)协议的INFO消息中，主叫终端在接收到第一子交互信息流后，向视频彩铃系统发送响应消息，响应消息可为200OK消息；视频彩铃系统在接收到响应消息后，可将第二子媒体流发送给主叫终端，并将第二子交互信息流携带在INFO消息中发送给主叫终端，上述过程可在主叫终端发起的呼叫未接通的情况下执行，也可以是在呼叫未接通的情况下，视频彩铃系统将第一子媒体流发送给主叫终端，且将第一子交互信息流发送给主叫终端，在呼叫接通的情况下，将第二子媒体流发送给主叫终端，且将第二子交互信息流发送给主叫终端。

在本申请一个实施例中，所述第一媒体流包括第三子媒体流，所述第一交互信息流包括至少一个子交互信息流；

所述分别将所述第一媒体流和所述第一交互信息流发送给所述主叫终端，包括：

将所述第三子媒体流发送给所述主叫终端，且将所述至少一个子交互信息流以并行传输的方式发送给所述主叫终端。

本申请实施例中，一个媒体流对应至少一个子交互信息流，视频彩铃系统将第三子媒体流发送给主叫终端时，也同步将所述至少一个子交互信息流发送给主叫终端，至少一个子交互信息流可通过SIP协议中的同一INFO消息发送给主叫终端；或者，至少一个子交互信息流以并行传输的方式发送给主叫终端，此种情况下，至少一个子交互信息流的分辨率可不同。

进一步的，在所述将所述第一媒体流和所述第一交互信息流包括发送给所述主叫终端之后，还包括：

若监测到所述呼叫被接通，则确定第二媒体流和第二交互信息流；所述第二媒体流对应的第二视频彩铃用于在所述被叫终端进行播放，所述第二交互信息流对应的第二交互信息用于在所述被叫终端播放所述第二视频彩铃时同步播放，所述第二交互信息包括与所述第二视频彩铃不同的显示内容；

将所述第二媒体流和所述第二交互信息流发送给所述被叫终端。

具体的，被叫终端可理解为被呼叫的终端。第二媒体流可为被叫终端的用户在购买视频彩铃服务时选择的视频彩铃对应的数据流。第二交互信息流可为需要叠加在第二媒体流上显示的多媒体对应的数据流，所述第二交互信息流可包括动态图像、静态图像、静态文字、动态文字、超链接和Emoji表情中的至少一项对应的数据流。

被叫终端在接收到第二媒体流和第二交互信息流之后，可对第二媒体流进行解码，并在被叫终端的显示屏上播放，同时在显示屏上展示第二交互信息流对应的第二交互信息，第二交互信息可包括动态图像、静态图像、静态文字、动态文字、超链接和Emoji表情中的至少一项。

进一步的，被叫终端在接收到第二媒体流和第二交互信息流之后，也可以发送响应信息给视频彩铃系统。视频彩铃系统在接收到被叫终端发送的响应消息之后，可继续向被叫终端发送新的媒体流和子交互信息流，处理过程可参与主叫终端相应的处理过程(即主叫终端与视频彩铃系统之间信息交换的过程)，在此不做赘述。

参见图2，图2是本发明实施例提供的多媒体播放方法的流程图，如图2所示，本实施例提供一种多媒体播放方法，应用于主叫终端，包括以下步骤：

步骤201、在所述主叫终端发起呼叫的情况下，接收视频彩铃系统发送的第一媒体流和第一交互信息流，所述第一媒体流对应的第一视频彩铃用于在所述主叫终端进行播放，所述第一交互信息流对应的第一交互信息用于在所述主叫终端播放所述第一视频彩铃时同步播放，所述第一交互信息包括与所述第一视频彩铃不同的显示内容。

主叫终端可理解为发起呼叫的终端。第一媒体流可为主叫终端的用户在购买视频彩铃服务时选择的视频彩铃对应的数据流。第一交互信息流可为需要叠加在第一媒体流上显示的多媒体对应的数据流，所述第一交互信息流可包括动态图像、静态图像、静态文字、动态文字、超链接和Emoji表情中的至少一项对应的数据流。

步骤202、分别对所述第一媒体流和所述第一交互信息流进行解码，获得第一视频彩铃和第一交互信息。

主叫终端在接收到第一媒体流和第一交互信息流之后，可对第一媒体流进行解码，获得第一视频彩铃，并对第一交互信息流进行解码，获得第一交互信息。

步骤203、播放所述第一视频彩铃和所述第一交互信息。

在获得第一视频彩铃和第一交互信息之后，在主叫终端的显示屏上播放第一视频彩铃和第一交互信息，第一交互信息可包括动态图像、静态图像、静态文字、动态文字、超链接和Emoji表情中的至少一项。

本实施例中，在主叫终端发起呼叫的情况下，接收视频彩铃系统发送的第一媒体流和第一交互信息流；分别对所述第一媒体流和所述第一交互信息流进行解码，获得第一视频彩铃和第一交互信息；播放所述第一视频彩铃和所述第一交互信息。视频彩铃系统通过对第一媒体流和第一交互信息流进行并行发送，可提高终端获取到第一媒体流和第一交互信息流的效率，从而提高视频彩铃的播放效率。

所述第一媒体流包括至少一个子媒体流，所述第一交互信息包括至少一个子交互信息流，所述至少一个子媒体流和所述至少一个子交互信息流为一一对应关系，或者，所述至少一个子媒体流与所述至少一个子交互信息流为一对多的对应关系。

在一个子媒体流与至少两个子交互信息流为一对多的对应关系的情况下，所述至少两个子交互信息流以并行传输的方式发送给所述主叫终端。

所述第一媒体流包括至少两个子媒体流，所述至少两个子媒体流中分辨率相同的子媒体流采用相同的传输通道发送；

所述第一交互信息流包括至少两个子交互信息流，所述至少两个子交互信息流中分辨率相同的子交互信息流采用相同的传输通道进行发送。所述子交互信息流携带在INFO消息中。

进一步的，所述第一媒体流包括第一子媒体流和第二子媒体流，所述第一交互信息流包括第一子交互信息流和第二子交互信息流；

相应的，在所述主叫终端发起呼叫的情况下，接收视频彩铃系统发送的第一媒体流和第一交互信息流，包括：

在所述主叫终端发起呼叫的情况下，接收视频彩铃系统发送的第一子媒体流和第一子交互信息流；

向视频彩铃系统发送响应信息；

接收视频彩铃系统发送的第二子媒体流和第二子交互信息流。

第一子媒体流对应第一子交互信息流，第二子媒体流对应第二子交互信息流，主叫终端可对第一子媒体流对应的视频和第一子交互信息流对应的交互信息进行同屏显示，对第二子媒体流对应的视频和第二子交互信息流对应的交互信息进行同屏显示，例如，在第一子媒体流对应的视频上显示第一子交互信息流对应的交互信息，在第二子媒体流对应的视频上显示第二子交互信息流对应的交互信息。由此实现在视频上显示叠加信息的目的，整个信息叠加显示的过程由主叫终端执行，视频彩铃系统将第一媒体流和第一交互信息流发送给主动终端即可，无需增加其他处理开销，可降低视频彩铃系统的处理压力。

所述第一子交互信息流和所述第二子交互信息流分别携带在不同时刻发送的INFO消息中。

第一子交互信息流可携带在媒体服务器标记语言(Media Server MarkupLanguage)协议的INFO消息中，主叫终端在接收到第一子交互信息流后，向视频彩铃系统发送响应消息，响应消息可为200OK消息；视频彩铃系统在接收到响应消息后，可将第二子媒体流发送给主叫终端，并将第二子交互信息流携带在INFO消息中发送给主叫终端，上述过程可在主叫终端发起的呼叫未接通的情况下执行，也可以是在呼叫未接通的情况下，视频彩铃系统将第一子媒体流发送给主叫终端，且将第一子交互信息流发送给主叫终端，在呼叫接通的情况下，将第二子媒体流发送给主叫终端，且将第二子交互信息流发送给主叫终端。

参见图3，图3是本发明实施例提供的多媒体播放方法的流程图，如图3所示，本实施例提供一种多媒体播放方法，应用于被叫终端，包括以下步骤：

步骤301、若监测到所述呼叫被接通，则确定第二媒体流和第二交互信息流；所述第二媒体流对应的第二视频彩铃用于在所述被叫终端进行播放，所述第二交互信息流对应的第二交互信息用于在所述被叫终端播放所述第二视频彩铃时同步播放，所述第二交互信息包括与所述第二视频彩铃不同的显示内容。

被叫终端可理解为被呼叫的终端。第二媒体流可为被叫终端的用户在购买视频彩铃服务时选择的视频彩铃对应的数据流。第二交互信息流可为需要叠加在第二媒体流上显示的多媒体对应的数据流，所述第二交互信息流可包括动态图像、静态图像、静态文字、动态文字、超链接和Emoji表情中的至少一项对应的数据流。

步骤302、分别对所述第二媒体流和所述第二交互信息流进行解码，获得第二视频彩铃和第二交互信息。

被叫终端在接收到第二媒体流和第二交互信息流之后，可对第二媒体流进行解码，获得第二视频彩铃，并对第二交互信息流进行解码，获得第二交互信息。

步骤303、播放所述第二视频彩铃和所述第二交互信息。

在获得第二视频彩铃和第二交互信息之后，在被叫终端的显示屏上播放第二视频彩铃和第二交互信息，第二交互信息可包括动态图像、静态图像、静态文字、动态文字、超链接和Emoji表情中的至少一项。

本实施例中，在所述被叫终端接通呼叫的情况下，接收视频彩铃系统发送的第二媒体流和第二交互信息流；分别对所述第二媒体流和所述第二交互信息流进行解码，获得第二视频彩铃和第二交互信息；播放所述第二视频彩铃和所述第二交互信息。视频彩铃系统通过对第二媒体流和第二交互信息流进行并行发送，可提高终端获取到第二媒体流和第二交互信息流的效率，从而提高视频彩铃的播放效率。

以下以举例的方式对上述过程进行详细描述。

图4所示为视频彩铃系统与主机终端之间的交互流程示意图，其中，视频彩铃系统(即视频平台)包括控制系统和媒体系统两部分。

长期演进语音承载(Voice over Long-Term Evolution，VoLTE)用户终端利用SIP信令消息发起呼叫，与视频平台中的控制系统完成信令协商。

控制系统和媒体系统进行内部协商，确定需要几路信令流(每路信令发送一个子交互信息流)和几路媒体流(即几路子媒体流，一个子媒体流可对应一个视频流)，并确定每种分辨率的视频流通过何种RTP媒体流通道进行传输，互不干扰，需要叠加的信息与每路媒体流对应。具体终端能展示的媒体流路数以用户设置的视频数量为准，但不能超过系统规定上限，需要叠加的信息内容和每路媒体流进行一一对应。

媒体系统对用户设置的视频彩铃进行分辨率读取，同种分辨率视频通过相同通道发送，如果视频彩铃包括多种分辨率，则通道数量相应增加，多路并发下发至下游IMS域网元，例如，信令流发送给I/S-CSCF网元，媒体流发送给SBC/P-CSCF网元，此时控制系统的信令流同时多路传输不同分辨率通道的相应叠加信息，叠加信息与媒体流对应。其中，叠加信息包含信息类型、信息内容、展示位置、显示时长等相关参数；

IMS域各网元对媒体流和信令流进行透传，不做任何处理。

VoLTE用户终端将收到的多路RTP媒体流进行解码，并在终端对多路视频流进行多画面同屏播放，终端在收到信令流后对叠加信息进行展示，即可看到包含叠加信息的视频图像。由于视频彩铃为运营商VoLTE的专项承载业务，区别于普通的用户上网流量，无线基站会优先保证用户视频彩铃的使用需求，带宽优先级更大，多路视频会得到优先保证。

图5所示为主叫终端，被叫终端与视频平台之间的交互示意图。假设主叫终端、被叫终端之间的通话应用均已内置交互显示框架，视频彩铃播放过程中所使用的交互类型和交互操作处理流程已经在终端通话应用中预先完成适配。

步骤21、主叫终端向被叫终端发起视频呼叫。

主叫终端与被叫终端之间完成视频彩铃媒体协商并完成资源预留，被叫终端开始振铃；

步骤22、视频平台向主叫核心网发送携带了叠加信息MSML1的INFO消息；主叫核心网并将此消息依次经过SBC和无线基站透传至主叫终端；

步骤23、主叫终端利用自身的MSML服务对INFO消息中的叠加信息进行提取，并对叠加信息进行相关处理；

步骤24、主叫终端发送200OK消息给无线基站，无线基站将此消息依次经过SBC和核心网透传给视频平台；

步骤25、视频平台在被叫终端振铃阶段再次发送新的叠加信息给主叫终端，即发送叠加信息MSML2的INFO消息；

步骤26、主叫终端根据新的下发叠加信息进行处理后展现；

步骤27、主叫终端发送200OK消息给无线基站，无线基站将此消息依次经过SBC和核心网透传给视频平台。

被叫终端摘机后进入视频通话状态，视频平台再次发送新的叠加信息给主叫终端，以下步骤28-步骤210的过程与步骤22-步骤24相同，主叫终端根据新的下发叠加信息进行处理后展现；

步骤28、视频平台在被叫终端振铃阶段再次发送新的叠加信息给主叫终端，即发送叠加信息MSML3的INFO消息；

步骤29、主叫终端根据新的下发叠加信息进行处理后展现；

步骤210、主叫终端发送200OK消息给无线基站，无线基站将此消息依次经过SBC和核心网透传给视频平台；

步骤211、视频平台发送叠加信息MSML4的INFO消息给被叫终端；

步骤212、被叫终端根据叠加信息进行处理后展现；

步骤213、被叫终端发送200OK消息给无线基站，无线基站将此消息依次经过SBC和核心网透传给视频平台。

叠加信息(即第一交互信息或第二交互信息)可分为6种叠加信息类型：静态图片、动态图片、静态文字、动态文字、超链接、Emoji表情。相关参数可在SIP信令INFO消息MSML协议中定义，具体如下：

静态图片叠加信息相关属性说明如下：

coordinate：显示图片的坐标；

size：图片的大小；

time：显示时间长度；

source：静态图片来源，可以通过SIP信令INFO消息传输或通过url方式获取；

url：图片的url路径；

contents：图片内容；

以上相关参数均可以通过协议约定取值。

静态图片格式有jpg、png、bmp等，而对于压缩率高的低质量图片内容可以通过信令传输，对于图片质量较大的需要通过url获取。

终端可以从信令消息或者url中读取图片内容，判断图片格式，并将之转换为YUV格式，在用户终端对视频图像解码后，叠加在视频图像上展示。

动态图片叠加信息相关属性说明如下：

GIF格式为常用的动态图片，故本方案以GIF图片为例。

coordinate：显示图片的坐标；

source：动态图片来源，1表示来源contents中的数据，2表示来源于contents中指示的超链接；

time：显示时间的长度；

url：动态图片的url路径；

contents：图片内容，当source配置为2时，设置为超链接；

以上相关参数均可以通过协议约定取值。

终端实现方案：和静态图片方案相同。

静态文字叠加信息相关属性说明如下：

color：字体颜色；

backgroundcolor：背景颜色；

coordinate：显示坐标；

length：字段长度；

fonttype：字体类型；

time：显示时长；

contents：文字内容；

以上相关参数均可以通过协议约定取值。

终端实现方案：在视频播放的视图上，叠加一个新的视图，使用矢量字库显示文字。

动态文字叠加信息相关属性说明如下：

color：字体颜色；

backgroundcolor：背景颜色；

length：字段长度；

fonttype：字体类型；

time：显示时长；

rolltype：文字滚动类型，如从左到右、从右到左、从上到下、从下到上等；

speed：滚动速度；

contents：文字内容；

以上相关参数均可以通过协议约定取值。

终端实现方案：和静态文字方案相同。

超链接叠加信息相关属性说明如下：

color：字体颜色；

backgroundcolor：背景颜色；

coordinate：显示坐标；

length：超链接长度；

fonttype：字体类型；

time：显示时长；

contents：超链接的内容；

hide：超链接是否隐藏，1表示隐藏，2表示展示。隐藏时可以只显示“超链接”，不显示具体的url。

以上相关参数均可以通过协议约定取值。

终端实现方案：在显示的视频图像上创建一个新的视图，在视图上显示超链接的内容。

emoji表情叠加信息相关属性说明如下(主要在视频通话阶段)：

emojinumber：表情数量；

space:表情之间间距，以空格数量为单位；

coordinate：表情的显示坐标；

emojitype：表情的类型；

以上相关参数均可以通过协议约定取值。

终端实现方案：终端直接从信令消息中读消息字段取值，判断是否是emoji表情，若是则直接在终端上和内置通话应用进行匹配展示。

本申请的有益效果包括：

将交互信息的编解码处理从视频彩铃媒体系统移至用户终端，大幅提升视频交互场景下媒体系统的处理能力,减小系统压力。同时多路视频并发时视频系统只需扩容网络带宽即可，无额外性能开销。

只针对视频彩铃系统(即彩铃平台)和终端进行改造，而信令和媒体流(即第一媒体流和第一交互信息流)途中经过的网元不需要做改造，减少该功能实现的改造费用，节约成本。

通过SIP信令中的INFO消息携带叠加信息及相关参数，大幅提升视频彩铃在用户实际体验中的多样性，并且用户可在单次通话的视频彩铃和视频通话场景中重复更新交互信息，对呼叫通话体验无影响。

用户直接使用手机终端内置的通话应用，无需下载第三方应用程序即可实现该功能。

视频彩铃为运营商VoLTE的专项承载业务，区别于普通的用户上网流量，会优先保证用户的使用需求，带宽优先级更大，这样对用户使用卡顿感知影响小，4G网络下此优势会更加明显。

参见图6，图6是本发明实施例提供的多媒体获取装置的结构图，如图6所示，多媒体获取装置600，包括：

第一确定模块601，用于在监测到主叫终端发起呼叫的情况下，确定第一媒体流和第一交互信息流，所述第一媒体流对应的第一视频彩铃用于在所述主叫终端进行播放，所述第一交互信息流对应的第一交互信息用于在所述主叫终端播放所述第一视频彩铃时同步播放，所述第一交互信息包括与所述第一视频彩铃不同的显示内容；

第一发送模块602，用于分别将所述第一媒体流和所述第一交互信息流发送给所述主叫终端。

进一步的，所述第一媒体流包括至少一个子媒体流，所述第一交互信息包括至少一个子交互信息流，所述至少一个子媒体流和所述至少一个子交互信息流为一一对应关系，或者，所述至少一个子媒体流与所述至少一个子交互信息流为一对多的对应关系。

进一步的，在一个子媒体流与至少两个子交互信息流为一对多的对应关系的情况下，所述至少两个子交互信息流以并行传输的方式发送给所述主叫终端。

进一步的，所述第一媒体流包括至少两个子媒体流，所述至少两个子媒体流中分辨率相同的子媒体流采用相同的传输通道发送；

所述第一交互信息流包括至少两个子交互信息流，所述至少两个子交互信息流中分辨率相同的子交互信息流采用相同的传输通道进行发送。

进一步的，所述子交互信息流携带在INFO消息中。

进一步的，所述第一媒体流包括第一子媒体流和第二子媒体流，所述第一交互信息流包括第一子交互信息流和第二子交互信息流；

所述第一发送模块602，包括：

第一发送子模块，用于将所述第一子媒体流发送给所述主叫终端，且将所述第一子交互信息流发送给所述主叫终端；

第二发送子模块，用于在接收到所述主叫终端发送的响应消息的情况下，将所述第二子媒体流发送给所述主叫终端，且将所述第二子交互信息流发送给所述主叫终端。

进一步的，所述第一媒体流包括第三子媒体流，所述第一交互信息流包括至少一个子交互信息流；

所述第一发送模块602，用于：

将所述第三子媒体流发送给所述主叫终端，且将所述至少一个子交互信息流以并行传输的方式发送给所述主叫终端。

进一步的，多媒体获取装置600还包括：

第二确定模块，用于若监测到所述呼叫被接通，则确定第二媒体流和第二交互信息流，所述第二媒体流对应的第二视频彩铃用于在所述被叫终端进行播放，所述第二交互信息流对应的第二交互信息用于在所述被叫终端播放所述第二视频彩铃时同步播放，所述第二交互信息包括与所述第二视频彩铃不同的显示内容；

第二发送模块，用于将所述第二媒体流和所述第二交互信息流发送给被叫终端。

进一步的，所述第一子交互信息流和所述第二子交互信息流分别携带在不同时刻发送的INFO消息中。

进一步的，所述第一媒体流包括多个媒体流，所述多个媒体流中分辨率相同的媒体流采用相同的传输通道进行发送；

所述第一交互信息流包括多个子交互信息流，所述多个子交互信息流中分辨率相同的子交互信息流采用相同的传输通道进行发送。

多媒体获取装置600能够实现图1所示方法实施例中视频彩铃系统实现的各个过程并达到相同的有益效果，为避免重复，这里不再赘述。

参见图7，图7是本发明实施例提供的第一多媒体获取装置的结构图，如图7所示，第一多媒体播放装置700，包括：

第一接收模块701，用于在所述主叫终端发起呼叫的情况下，接收视频彩铃系统发送的第一媒体流和第一交互信息流，所述第一媒体流对应的第一视频彩铃用于在所述主叫终端进行播放，所述第一交互信息流对应的第一交互信息用于在所述主叫终端播放所述第一视频彩铃时同步播放，所述第一交互信息包括与所述第一视频彩铃不同的显示内容；

第一解码模块702，用于分别对所述第一媒体流和所述第一交互信息流进行解码，获得第一视频彩铃和第一交互信息；

第一播放模块703，用于播放所述第一视频彩铃和所述第一交互信息。

第一多媒体获取装置700能够实现图2所示方法实施例中主叫终端实现的各个过程并达到相同的有益效果，为避免重复，这里不再赘述。

参见图8，图8是本发明实施例提供的第二多媒体获取装置的结构图，如图8所示，第二多媒体获取装置800，包括：

第二接收模块801，用于在所述被叫终端接通呼叫的情况下，接收视频彩铃系统发送的第二媒体流和第二交互信息流，所述第二媒体流对应的第二视频彩铃用于在所述被叫终端进行播放，所述第二交互信息流对应的第二交互信息用于在所述被叫终端播放所述第二视频彩铃时同步播放，所述第二交互信息包括与所述第二视频彩铃不同的显示内容；

第二解码模块802，用于分别对所述第二媒体流和所述第二交互信息流进行解码，获得第二视频彩铃和第二交互信息；

第二播放模块803，用于播放所述第二视频彩铃和所述第二交互信息。

第二多媒体获取装置800能够实现图3所示方法实施例中被叫终端实现的各个过程并达到相同的有益效果，为避免重复，这里不再赘述。

图9为实现本发明实施例提供的一种终端的硬件结构示意图，如图9所示，该电子设备900包括但不限于：射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、处理器910、以及电源911等部件。本领域技术人员可以理解，图9中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、以及计步器等。

在终端为主叫终端的情况下，射频单元901，用于在所述主叫终端发起呼叫的情况下，接收视频彩铃系统发送的第一媒体流和第一交互信息流，所述第一媒体流对应的第一视频彩铃用于在所述主叫终端进行播放，所述第一交互信息流对应的第一交互信息用于在所述主叫终端播放所述第一视频彩铃时同步播放，所述第一交互信息包括与所述第一视频彩铃不同的显示内容；

处理器910，用于分别对所述第一媒体流和所述第一交互信息流进行解码，获得第一视频彩铃和第一交互信息；播放所述第一视频彩铃和所述第一交互信息。

在终端为被叫终端的情况下，射频单元901，用于在所述被叫终端接通呼叫的情况下，接收视频彩铃系统发送的第二媒体流和第二交互信息流，所述第二媒体流对应的第二视频彩铃用于在所述被叫终端进行播放，所述第二交互信息流对应的第二交互信息用于在所述被叫终端播放所述第二视频彩铃时同步播放，所述第二交互信息包括与所述第二视频彩铃不同的显示内容；

处理器910，用于分别对所述第二媒体流和所述第二交互信息流进行解码，获得第二视频彩铃和第二交互信息；播放所述第二视频彩铃和所述第二交互信息。

电子设备900能够实现前述实施例中电子设备实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。

应理解的是，本发明实施例中，射频单元901可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器910处理；另外，将上行的数据发送给基站。通常，射频单元901包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元901还可以通过无线通信系统与网络和其他设备通信。

电子设备通过网络模块902为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元903可以将射频单元901或网络模块902接收的或者在存储器909中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元903还可以提供与电子设备900执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元903包括扬声器、蜂鸣器以及受话器等。

输入单元904用于接收音频或视频信号。输入单元904可以包括图形处理器(Graphics Processing Unit，GPU)9041和麦克风9042，图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元906上。经图形处理器9041处理后的图像帧可以存储在存储器909(或其它存储介质)中或者经由射频单元901或网络模块902进行发送。麦克风9042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元901发送到移动通信基站的格式输出。

电子设备900还包括至少一种传感器909，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板9061的亮度，接近传感器可在电子设备900移动到耳边时，关闭显示面板9061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器909还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元906用于显示由用户输入的信息或提供给用户的信息。显示单元906可包括显示面板9061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板9061。

用户输入单元907可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元907包括触控面板9071以及其他输入设备9072。触控面板9071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板9071上或在触控面板9071附近的操作)。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器910，接收处理器910发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板9071。除了触控面板9071，用户输入单元907还可以包括其他输入设备9072。具体地，其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板9071可覆盖在显示面板9061上，当触控面板9071检测到在其上或附近的触摸操作后，传送给处理器910以确定触摸事件的类型，随后处理器910根据触摸事件的类型在显示面板9061上提供相应的视觉输出。虽然在图9中，触控面板9071与显示面板9061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板9071与显示面板9061集成而实现电子设备的输入和输出功能，具体此处不做限定。

接口单元908为外部装置与电子设备900连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元908可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备900内的一个或多个元件或者可以用于在电子设备900和外部装置之间传输数据。

存储器909可用于存储软件程序以及各种数据。存储器909可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器909可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器910是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器909内的软件程序和/或模块，以及调用存储在存储器909内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器910可包括一个或多个处理单元；优选的，处理器910可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器910中。

电子设备900还可以包括给各个部件供电的电源911(比如电池)，优选的，电源911可以通过电源管理系统与处理器910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，电子设备900包括一些未示出的功能模块，在此不再赘述。

如图10所示，本发明实施例还提供一种电子设备，包括处理器1010，存储器1009，存储在存储器1009上并可在所述处理器1010上运行的计算机程序，该计算机程序被处理器1010执行时实现上述图1、图2或图3所示实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图1所示的多媒体获取方法实施例的各个过程，或者，该计算机程序被处理器执行时实现上述图2或图3所示多媒体播放方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(RandomAccess Memory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (10)

1.一种多媒体获取方法，应用于视频彩铃系统，其特征在于，包括：

在监测到主叫终端发起呼叫的情况下，确定第一媒体流和第一交互信息流，所述第一媒体流对应的第一视频彩铃用于在所述主叫终端进行播放，所述第一交互信息流对应的第一交互信息用于在所述主叫终端播放所述第一视频彩铃时同步播放，所述第一交互信息包括与所述第一视频彩铃不同的显示内容；

分别将所述第一媒体流和所述第一交互信息流发送给所述主叫终端；第一交互信息流包括一个或多个子交互信息流，多个子交互信息流中分辨率相同的子交互信息流采用相同的传输通道进行发送，分辨率不相同的子交互信息流采用不同的传输通道进行发送；

其中，第一媒体流和第一交互信息流并行发送，且不将第一交互信息流对应的第一交互信息叠加在所述第一媒体流中；一个媒体流对应一个或多个子交互信息流，该媒体流和对应的一个或多个子交互信息流同步发送；媒体流的分辨率与媒体流对应的子交互信息流的分辨率相同，媒体流通过RTP协议发送，子交互信息流通过SIP协议中的INFO消息发送。

2.根据权利要求1所述的方法，其特征在于，所述第一媒体流包括至少一个子媒体流，所述第一交互信息包括至少一个子交互信息流，所述至少一个子媒体流和所述至少一个子交互信息流为一一对应关系，或者，所述至少一个子媒体流与所述至少一个子交互信息流为一对多的对应关系。

3.根据权利要求2所述的方法，其特征在于，在一个子媒体流与至少两个子交互信息流为一对多的对应关系的情况下，所述至少两个子交互信息流以并行传输的方式发送给所述主叫终端。

4.根据权利要求2所述的方法，其特征在于，所述第一媒体流包括至少两个子媒体流，所述至少两个子媒体流中分辨率相同的子媒体流采用相同的传输通道发送；

所述第一交互信息流包括至少两个子交互信息流，所述至少两个子交互信息流中分辨率相同的子交互信息流采用相同的传输通道进行发送。

5.根据权利要求2所述的方法，其特征在于，所述子交互信息流携带在INFO消息中。

6.根据权利要求1所述的方法，其特征在于，在所述分别将所述第一媒体流和所述第一交互信息流发送给所述主叫终端之后，还包括：

若监测到所述呼叫被接通，则确定第二媒体流和第二交互信息流；所述第二媒体流对应的第二视频彩铃用于在被叫终端进行播放，所述第二交互信息流对应的第二交互信息用于在所述被叫终端播放所述第二视频彩铃时同步播放，所述第二交互信息包括与所述第二视频彩铃不同的显示内容；

将所述第二媒体流和所述第二交互信息流发送给所述被叫终端。

7.一种多媒体播放方法，应用于主叫终端，其特征在于，包括：

在所述主叫终端发起呼叫的情况下，接收视频彩铃系统发送的第一媒体流和第一交互信息流，所述第一媒体流对应的第一视频彩铃用于在所述主叫终端进行播放，所述第一交互信息流对应的第一交互信息用于在所述主叫终端播放所述第一视频彩铃时同步播放，所述第一交互信息包括与所述第一视频彩铃不同的显示内容；其中，第一交互信息流包括一个或多个子交互信息流，多个子交互信息流中分辨率相同的子交互信息流由所述视频彩铃系统采用相同的传输通道进行发送，分辨率不相同的子交互信息流由视频彩铃系统采用不同的传输通道进行发送；

分别对所述第一媒体流和所述第一交互信息流进行解码，获得所述第一视频彩铃和所述第一交互信息；

播放所述第一视频彩铃和所述第一交互信息；

其中，第一媒体流和第一交互信息流并行发送，且不将第一交互信息流对应的第一交互信息叠加在所述第一媒体流中；一个媒体流对应一个或多个子交互信息流，该媒体流和其对应的一个或多个子交互信息流同步发送；媒体流的分辨率与媒体流对应的子交互信息流的分辨率相同，媒体流通过RTP协议发送，子交互信息流通过SIP协议中的INFO消息发送。

8.一种多媒体播放方法，应用于被叫终端，其特征在于，包括：

在所述被叫终端接通呼叫的情况下，接收视频彩铃系统发送的第二媒体流和第二交互信息流，所述第二媒体流对应的第二视频彩铃用于在所述被叫终端进行播放，所述第二交互信息流对应的第二交互信息用于在所述被叫终端播放所述第二视频彩铃时同步播放，所述第二交互信息包括与所述第二视频彩铃不同的显示内容；其中，第二交互信息流包括一个或多个子交互信息流，多个子交互信息流中分辨率相同的子交互信息流由所述视频彩铃系统采用相同的传输通道进行发送，分辨率不相同的子交互信息流由视频彩铃系统采用不同的传输通道进行发送；

分别对所述第二媒体流和所述第二交互信息流进行解码，获得所述第二视频彩铃和所述第二交互信息；

播放所述第二视频彩铃和所述第二交互信息；

其中，第一媒体流和第一交互信息流并行发送，且不将第一交互信息流对应的第一交互信息叠加在所述第一媒体流中；一个媒体流对应一个或多个子交互信息流，该媒体流和其对应的一个或多个子交互信息流同步发送；媒体流的分辨率与媒体流对应的子交互信息流的分辨率相同，媒体流通过RTP协议发送，子交互信息流通过SIP协议中的INFO消息发送。

9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的多媒体获取方法的步骤，或者，所述计算机程序被所述处理器执行时实现如权利要求7或8所述的多媒体播放方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的多媒体获取方法的步骤，或者，述计算机程序被所述处理器执行时实现如权利要求7或8所述的多媒体播放方法的步骤。

Images