CN110943977A

CN110943977A - 多媒体业务数据传输方法、服务端、设备及存储介质

Info

Publication number: CN110943977A
Application number: CN201911098787.9A
Authority: CN
Inventors: 欧阳昌葵
Original assignee: TP Link Technologies Co Ltd
Current assignee: TP Link Technologies Co Ltd
Priority date: 2019-11-11
Filing date: 2019-11-11
Publication date: 2020-03-31
Anticipated expiration: 2039-11-11
Also published as: CN110943977B

Abstract

本发明公开了一种多媒体业务数据传输的方法、服务端、设备及存储介质，通过在与客户端建立会话之后，响应于所述客户端发送的业务请求，将待传输的各种业务信令聚合在一个会话连接中；对待传输的各种业务数据分别建立传输轨道；其中，属于同一业务类型的业务数据分配到同一传输轨道中；将各个所述传输轨道上的业务数据混合在所述会话连接中，以将所述业务信令和所述业务数据通过同一会话连接传输给所述客户端。本发明通过在同一个会话连接中同时传输多路业务数据及业务信令，业务内聚度高，减少时延，提高传输效率，从而提高用户的体验。

Description

多媒体业务数据传输方法、服务端、设备及存储介质

技术领域

本发明涉及业务数据传输技术领域，尤其涉及一种多媒体业务数据传输方法、服务端、设备及存储介质。

背景技术

目前，对于多业务的场景，例如在安防系统中，业务可以包含预览、回放、图片上传、语音对讲等多种类型，而不同的业务数据需要使用不同的协议进行控制信令和数据的传输，例如，实时流预览使用RTSP+RTP协议，而语音对讲等业务使用HTTP协议。

现有的业务数据传输技术在多业务的场景的实际应用过程中，对于一个启用多业务的客户端，往往需要为每个业务单独创建一个连接，在传输链路数量受限或建立成本较高的情况下，这种做法容易增加时延，传输效率低，影响体验。

发明内容

针对上述问题，本发明的目的在于提供一种多媒体业务数据传输方法、服务端、设备及存储介质，其能实现在同一个会话连接中同时传输多路业务，减少时延，提高传输效率，从而提高用户的体验。

第一方面，本发明实施例提供了一种多媒体业务数据传输的方法，其特征在于，包括以下步骤：

在与客户端建立会话之后，响应于所述客户端发送的业务请求，将待传输的各种业务信令聚合在一个会话连接中；

对待传输的各种业务数据分别建立传输轨道；其中，属于同一业务类型的业务数据分配到同一传输轨道中；

将各个所述传输轨道上的业务数据混合在所述会话连接中，以将所述业务信令和所述业务数据通过同一会话连接传输给所述客户端。

相对于现有技术，本发明的有益效果在于：

通过在同一个会话中同时传输多路业务数据及业务信令，相对有现有技术需要为每一路业务数据创建会话连接进行传输，业务内聚度高，减少时延，提高传输效率，从而提高用户的体验，同时通过将多种业务信令统一到同一个协议(RTSP)的同一个会话连接中，避免业务分散到多种协议，降低实现和维护难度，同时可以将多种业务的控制聚合到同一个会话连接中进行传输。

作为上述方案的改进，所述方法还包括：

将各个通道的业务数据进行打包，得到各个通道的RTP数据包；其中，所述RTP数据包的RTP扩展头中包括相应的业务数据的通道ID和所述RTP数据包的长度信息；

将属于同一业务类型的业务数据对应的RTP数据包按照时间顺序混合在相应的传输轨道中。

相对于现有技术，本发明的有益效果在于：

通过将各个通道的业务数据进行打包，得到各个通道的RTP数据包，然后将属于同一业务类型的业务数据对应的RTP数据包按照时间顺序混合在相应的传输轨道中，从而将各个传输轨道上的业务数据混合在同一会话连接中进行传输，此时，客户端在接收到会话连接上传输的数据包时，仅需要根据RTP扩展头对载荷部分进行解复用，即可以将数据拆分到不同通道的播放列表，按时间戳顺序播放，相对有现有技术中由于每个通道的数据由独立的连接进行传输导致客户端多通道同步难度大的问题，可以有效降低多通道同步难度。

作为上述方案的改进，所述方法还包括：

对RTSP协议进行扩展，以使得扩展后的RTSP协议支持预设的私有数据格式；

与所述客户端建立在扩展后的RTSP协议下的会话。

相对于现有技术，本发明的有益效果在于：

通过对RTSP协议进行扩展，以使得扩展后的RTSP协议支持预设的私有数据格式，从而使得扩展后的RTSP协议可以支持客户端和服务端的双向信令，相比RTSP标准协议，具有更大的灵活性。

作为上述方案的改进，所述方法还包括：

将所述业务信令按照所述私有数据格式进行编码。

作为上述方案的改进，所述方法还包括：

在传输所述业务信令和所述业务数据之前，向所述客户端通知各种业务数据的传输轨道ID。

第二方面，本发明实施例提供了一种多媒体业务数据传输的服务端，包括：

业务信令聚合模块，用于在与客户端建立会话之后，响应于所述客户端发送的业务请求，将待传输的各种业务信令聚合在一个会话连接中；

轨道建立模块，用于对待传输的各种业务数据分别建立传输轨道；其中，属于同一业务类型的业务数据分配到同一传输轨道中；

业务数据混合模块，用于将各个所述传输轨道上的业务数据混合在所述会话连接中，以将所述业务信令和所述业务数据通过同一会话连接传输给所述客户端。

相对于现有技术，本发明的有益效果在于：

服务端与客户端建立RTSP会话后，通过在同一个会话中同时传输多路业务数据及业务信令，相对有现有技术需要为每一路业务数据创建会话连接进行传输，业务内聚度高，减少时延，提高传输效率，从而提高用户的体验，同时通过将多种业务信令统一到同一个协议(RTSP)的同一个会话连接中，避免业务分散到多种协议，降低实现和维护难度，同时可以将多种业务的控制聚合到同一个会话连接中进行传输。

作为上述方案的改进，所服务端还包括：

数据打包模块，用于将各个通道的业务数据进行打包，得到各个通道的RTP数据包；其中，所述RTP数据包的RTP扩展头中包括相应的业务数据通道标识；

数据包混合模块，用于将属于同一业务类型的业务数据对应的RTP数据包按照时间顺序混合在相应的传输轨道中。

相对于现有技术，本发明的有益效果在于：

作为上述方案的改进，所服务端还包括：

协议扩展模块，用于对所述RTSP协议进行扩展，以使得扩展后的RTSP协议支持预设的私有数据格式；

会话连接建立模块，用于与所述客户端建立在扩展后的RTSP协议下的会话。

相对于现有技术，本发明的有益效果在于：

第三方面，本发明实施例提供了一种多媒体业务数据传输的设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面中任意一项所述的多媒体业务数据传输的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一方面中任意一项所述的多媒体业务数据传输的方法。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一实施例提供的多媒体业务数据传输的方法的流程示意图。

图2是本发明实施例提供的数据传输框架的示意图；

图3是本发明实施例提供的多通道RTP数据包混合的示意图；

图4是传输视频数据时的数据组织格式示意图；

图5是本发明第二实施例提供的多媒体业务数据传输的服务端的示意框图；

图6是本发明第三实施例提供的多媒体业务数据传输的设备的示意框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参照图1，本发明第一实施例提供了一种多媒体业务数据传输的方法，由服务端执行，包括以下步骤：

S11：在与客户端建立会话之后，响应于所述客户端发送的业务请求，将待传输的各种业务信令聚合在一个会话连接中；

在本发明实施例中，服务端与客户端在RTSP协议下建立会话，所述会话连接可以是UDP连接或TCP连接。实时流协议(RTSP)是应用级协议，控制实时数据的发送。RTSP协议目的在于控制多个数据发送连接，为选择发送通道，如UDP或TCP连接。在服务端与客户端在RTSP协议下建立会话后，服务器可选择一条UDP或TCP连接进行数据传输。

S12：对待传输的各种业务数据分别建立传输轨道；其中，属于同一业务类型的业务数据分配到同一传输轨道中；

S13：将各个所述传输轨道上的业务数据混合在所述会话连接中，以将所述业务信令和所述业务数据通过同一会话连接传输给所述客户端。

在本发明实施例中，所述服务端可为电脑、手机、平板电脑、笔记本电脑或者服务器等计算设备，以安防领域为例，所述服务端具体可以是网络录像机NVR(Network VideoRecorder)；所述多媒体业务数据传输的方法可作为其中一个功能模块集成与所述服务端上，由所述服务端来执行。

在本发明实施例中，所述业务信令包括业务问答信令、业务通知信令等控制信令；控制信令所涉及的业务包括但不限于预览、回放、对讲、图片上传等，即业务数据包括视频、音频、图片等数据中的一种或多种。具体的，如图2所示，在服务端与客户端建立RSTP会话后，响应于所述客户端发送的业务请求，将多种业务信令汇聚在同一会话连接中，并对多个业务数据分别建立一个传输轨道track，并将多个传输轨道track的业务数据混合在一个连接中并通过设定的数据组织格式进行区隔，通过在同一个会话连接中同时传输多路业务数据及业务信令，业务内聚度高，有效避免多个连接的建立，减少时延，提高传输效率，同时减少数据链路消耗，在传输链路受限的环境下具有较好的传输效果，提高用户的体验；通过将多种业务信令统一到同一个协议(RTSP)的同一个会话连接中，避免业务分散到多种协议，降低实现和维护难度，同时可以将多种业务的控制聚合到同一个会话连接中进行传输。

在一种可选的实施例中，所述方法还包括：

与所述客户端建立在扩展后的RTSP协议下的会话。

RTSP协议本身支持一系列标准的方法(METHOD)，例如DESCRIBE、SETUP等。在本发明实施例对RTSP协议进行扩展，增加一种新方法，并命名为MULTITRANS，扩展的MULTITRANS方法支持私有数据格式，从而支持客户端和服务端的双向信令，相比RTSP标准协议，具有更大的灵活性。MULTITRANS方法可认为是一个开关标记，当服务端接收到MULTITRANS方法标记的请求，，完成MULTITRANS方法的协商并建立会话后，则服务端与客户端之间的后续的业务信令交互可以按照定制的私有数据格式进行协商交互。

服务端与客户端建立会话的流程如下：

客户端向服务端发送OPTIONS方法查询Server支持的METHODS；

服务端向客户端回复Server所支持的METHODS，除了标准RTSP Methods之外，还回复MULTITRANS；

客户端向服务端发送MULTITRANS请求；

服务端向客户端完成MULTITRANS会话建立。

后续服务端和客户端可使用私有数据格式进行交互；

或者：

客户端向服务端发送MULTITRANS请求；

服务端支持MULTITRANS，则回复OK，完成会话。后续服务端和客户端可使用私有数据格式进行交互；服务端不支持MULTITRANS，则回复方法不支持，客户端进行标准RTSP的请求，以完成会话。

通过对RTSP协议进行扩展，以使得扩展后的RTSP协议支持预设的私有数据格式，同时，基于服务端在RTSP协议下可以选择采TCP或UDP连接进行数据的传输，从而使得扩展后的RTSP协议可以支持客户端和服务端的双向信令，相比RTSP标准协议，具有更大的灵活性。

例如语音对讲，语音数据既要从客户端发往服务端，也需要由服务器端发往客户端，标准RTSP的数据传输方向是从服务器端发往客户端，本发明实施例通过对RSTP协议进行扩展和复用连接，利用TCP或可靠UDP连接的双向特性，可以实现数据的双向传输。

在一种可选的实施例中，所述方法还包括：

需要说明的是，根据RFC 4571，RTP数据传输可以和RTSP复用传输链路，即RTP和RTSP共用一条TCP或UDP连接进行数据的传输。在本实施例中，如图3所示，通过将各个通道的业务数据进行打包，得到各个通道的RTP数据包，然后将属于同一业务类型的业务数据对应的RTP数据包按照时间顺序混合在相应的传输轨道中，并以码流结束通知信令作为结束；如图2所示，将各个传输轨道上的业务数据混合在同一会话连接中进行传输，此时，客户端在接收到会话连接上传输的数据包时，仅需要根据RTP扩展头对载荷部分进行解复用，即可以将数据拆分到不同通道的播放列表，按时间戳顺序播放，可以有效降低多通道同步难度。

以预览业务和回放业务为例，为预览业务建立一个传输轨道track，分配通道ID(channel ID)为0-1(channel ID 0传视频，1传音频)；为回放业务建立一个传输轨道track，分配channel ID为2-3(channel ID 2传视频，3传音频)；假设只传输视频，则数据组织格式如图4所示。

在一种可选的实施例中，所述方法还包括：

为了方便理解，客户端向服务端建立会话之后，以回放业务为例对传输流程进行说明：

客户端向服务端发送回放业务请求；

服务端向客户端通知所分配回放轨道ID；轨道ID用于指示数据属于哪个传输轨道track；

服务端将多通道的RTP数据包按时间顺序排列，在RTP扩展头中标记当前RTP数据包属于哪个通道，载荷长度等信息，然后将RTP数据包按时间顺序发送给客户端；

客户端根据Channel ID判断是否回放相应传输轨道track的RTP数据包。并在接收RTP数据包后根据RTP扩展头对载荷部分进行解复用，将RTP数据包内的业务数据拆分到不同通道的播放列表，按时间戳顺序进行播放。

在一种可选的实施例中，所述方法还包括：

将所述业务信令按照所述私有数据格式进行编码。

在本发明实施例中，对私有数据格式不做具体限定，可根据实际需要定制客户端与服务端之间的私有数据格式，例如该私有数据格式可以是JSON格式组织，或者TLV格式组织。例如，JSON格式：

{"type":"request","seq":"1","params":{"method":"xx"}}。

请参见图5，本发明第二实施例提供了一种多媒体业务数据传输的服务端，包括：

业务信令聚合模块1，用于在与客户端建立会话之后，响应于所述客户端发送的业务请求，将待传输的各种业务信令聚合在一个会话连接中；

轨道建立模块2，用于对待传输的各种业务数据分别建立传输轨道；其中，属于同一业务类型的业务数据分配到同一传输轨道中；

业务数据混合模块3，用于将各个所述传输轨道上的业务数据混合在所述会话连接中，以将所述业务信令和所述业务数据通过同一会话连接传输给所述客户端。

服务端与客户端建立RTSP会话后，通过在同一个会话中同时传输多路业务数据及业务信令，相对有现有技术需要为每一路业务数据创建会话连接进行传输，业务内聚度高，提高传输效率，从而提高用户的体验，同时通过将多种业务信令统一到同一个协议(RTSP)的同一个会话连接中，避免业务分散到多种协议，降低实现和维护难度，同时可以将多种业务的控制聚合到同一个会话连接中进行传输。

在一种可选的实施中，所服务端还包括：

数据编码模块，用于将所述业务信令按照所述私有数据格式进行编码。

在一种可选的实施中，所服务端还包括：

通知模块，用于在传输所述业务信令和所述业务数据之前，向所述客户端通知各种业务数据的传输轨道ID。

本发明实施例提供的多媒体业务数据传输的服务端与第一实施例提供的多媒体业务数据传输的方法的原理相同，在此不在重复说明。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

参见图6，是本发明第三实施例提供的多媒体业务数据传输的设备的示意图。如图6所示，该多媒体业务数据传输的设备包括：至少一个处理器11，例如CPU，至少一个网络接口14或者其他用户接口13，存储器15，至少一个通信总线12，通信总线12用于实现这些组件之间的连接通信。其中，用户接口13可选的可以包括USB接口以及其他标准接口、有线接口。网络接口14可选的可以包括Wi-Fi接口以及其他无线接口。存储器15可能包含高速RAM存储器，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器15可选的可以包含至少一个位于远离前述处理器11的存储装置。

在一些实施方式中，存储器15存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:

操作系统151，包含各种系统程序，用于实现各种基础业务以及处理基于硬件的任务；

程序152。

具体地，处理器11用于调用存储器15中存储的程序152，执行上述实施例所述的多媒体业务数据传输的方法，例如图1所示的步骤S11。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如业务信令聚合模块。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述多媒体业务数据传输的设备中的执行过程。

所述多媒体业务数据传输的设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述多媒体业务数据传输的设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是多媒体业务数据传输的设备的示例，并不构成对多媒体业务数据传输的设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

所称处理器11可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器11是所述多媒体业务数据传输的设备的控制中心，利用各种接口和线路连接整个多媒体业务数据传输的设备的各个部分。

所述存储器15可用于存储所述计算机程序和/或模块，所述处理器11通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述多媒体业务数据传输的设备的各种功能。所述存储器15可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器15可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述多媒体业务数据传输的设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims

1.一种多媒体业务数据传输的方法，其特征在于，包括以下步骤：

2.如权利要求1所述多媒体业务数据传输的方法，其特征在于，所述方法还包括：

3.如权利要求1所述多媒体业务数据传输的方法，其特征在于，所述方法还包括：

与所述客户端建立在扩展后的RTSP协议下的会话。

4.如权利要求3所述多媒体业务数据传输的方法，其特征在于，所述方法还包括：

将所述业务信令按照所述私有数据格式进行编码。

5.如权利要求1所述多媒体业务数据传输的方法，其特征在于，所述方法还包括：

6.一种多媒体业务数据传输的服务端，其特征在于，包括：

7.如权利要求6所述多媒体业务数据传输的服务端，其特征在于，所服务端还包括：

8.如权利要求6所述多媒体业务数据传输的服务端，其特征在于，所服务端还包括

9.一种多媒体业务数据传输的设备，其特征在于：包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任意一项所述的多媒体业务数据传输的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至5中任意一项所述的多媒体业务数据传输的方法。