CN111385081A

CN111385081A - 一种端到端的通信方法、装置、电子设备及介质

Info

Publication number: CN111385081A
Application number: CN202010105389.1A
Authority: CN
Inventors: 岳晓峰; 吴魁; 周新海; 杨春晖
Original assignee: Visionvera Information Technology Co Ltd
Current assignee: Visionvera Information Technology Co Ltd
Priority date: 2020-02-20
Filing date: 2020-02-20
Publication date: 2020-07-07
Anticipated expiration: 2040-02-20
Also published as: CN111385081B

Abstract

本发明实施例提供了一种端对端的通信方法、装置、电子设备及介质，所述方法应用于第一终端，所述方法包括：第一终端对私有控制信令进行编码，获得第一控制信令，所述私有控制信令用于对音视频数据的质量信息进行控制；生成包含所述第一控制信令的第一音频数据包；对所述第一音频数据包添加第一标记，生成第二音频数据包，所述第一标记用于确定所述第二音频数据包是否为信令包；将所述第二音频数据包发送至第二终端，从而解决了音视频卡顿的问题。

Description

一种端到端的通信方法、装置、电子设备及介质

技术领域

本发明涉及通信技术领域，特别是涉及一种端对端的通信方法、装置、电子设备及介质。

背景技术

现有技术中视频通话、视频会议系统都是通过终端设备采集音视频数据，并将采集后的音视频数据编码后发送至专用服务器或者流媒体服务器，由专用服务器或者流媒体服务器发送至其他终端。

例如：视联网移动会议终端A向视联网移动会议终端B发送通话，视联网移动会议终端A和B需要通过流媒体服务器协调视联网移动会议终端A和B两端信令，并互相转发音视频数据，在上述过程中，视联网移动会议终端A和B不能直接通讯，需要流媒体服务器中转，但是流媒体服务器一般只对视联网移动会议终端A和B的音视频数据进行透传转发，并且流媒体服务器或视频服务器不会对视联网移动会议终端A和B的信令数据进行转发，因此视联网移动会议终端A和B无法直接进行控制信令的通讯，而是需要流媒体服务器或视频服务器对信令数据进行处理。

例如：视联网移动会议终端A在网络状况好的时候，向视联网移动会议终端B发送质量较高、带宽消耗较大的音视频数据，由于环境等各种因素的改变，容易导致网络动态发生变化，即会出现网络信号质量变差，通讯带宽降低，这样容易出现音视频卡顿的问题，严重时甚至无法播放音视频。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种端对端的通信方法、装置、电子设备及介质。

为了解决上述问题，本发明实施例公开了一种端对端的通信方法，所述方法应用于第一终端，所述方法包括：

第一终端对私有控制信令进行编码，获得第一控制信令，所述私有控制信令用于对音视频数据的质量信息进行控制；

生成包含所述第一控制信令的第一音频数据包；

对所述第一音频数据包添加第一标记，生成第二音频数据包，所述第一标记用于确定所述第二音频数据包是否为信令包；

将所述第二音频数据包发送至第二终端。

可选的，所述对所述第一音频数据包添加第一标记，生成第二音频数据包的步骤包括：

所述第一终端将所述第一音频数据包的时间戳信息修改为第一标记，生成第二音频数据包。

可选的，所述生成包含所述第一控制信令的第一音频数据包的步骤包括：

对所述第一控制信令按照音频数据包的格式生成包含所述第一控制信令的第一音频数据包。

为了解决上述问题，本发明实施例还公开了一种端对端的通信方法，所述方法应用于第二终端，所述方法包括：

第二终端接收第一终端发送的第二音频数据包；

判断所述第二音频数据包中是否存在第一标记，所述第一标记用于确定所述第二音频数据包是否为信令包；

若所述第二音频数据包存在第一标记，则确认所述第二音频数据包为信令包，根据所述第二音频数据包中包含的第一控制信令执行相应的操作。

可选的，所述判断所述第二音频数据包中是否存在第一标记的步骤包括：

获取所述第二音频数据包中的时间戳信息；

判断所述第二音频数据包中的时间戳信息中是否存在第一标记。

可选的，所述根据所述第二音频数据包中包含的第一控制信令执行相应的操作的步骤包括：

解析所述第二音频数据包，获得第一音频数据包；

从所述第一音频数据包中获得第一控制指令，根据所述第一控制指令执行相应的操作。

为了解决上述问题，本发明实施例还公开了一种端对端的通信装置，所述装置应用于第一终端，所述装置包括：

编码模块，用于对私有控制信令进行编码，获得第一控制信令，所述私有控制信令用于对音视频数据的质量信息进行控制；

第一生成模块，用于生成包含所述第一控制信令的第一音频数据包；

添加模块，用于对所述第一音频数据包添加第一标记，生成第二音频数据包，所述第一标记用于确定所述第二音频数据包是否为信令包；

发送模块，用于将所述第二音频数据包发送至第二终端。

为了解决上述问题，本发明实施例还公开了一种端对端的通信装置，所述装置应用于第二终端，所述装置包括：

接收模块，用于接收第一终端发送的第二音频数据包；

判断模块，用于判断所述第二音频数据包中是否存在第一标记，所述第一标记用于确定所述第二音频数据包是否为信令包；

确认模块，用于若所述判断模块的判断结果为所述第二音频数据包中存在第一标记时，确认所述第二音频数据包为信令包，根据所述第二音频数据包中包含的第一控制信令执行相应的操作。

为了解决上述问题，本发明实施例还公开了一种电子设备，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行上述所述的端对端的通信方法。

为了解决上述问题，本发明实施例还公开了一种计算机可读存储介质，其存储的计算机程序使得处理器执行上述所述的端对端的通信方法。

一个或多个处理器；和

为了解决上述问题，本发明实施例还公开了一种计算机可读存储介质，其特征在于，其存储的计算机程序使得处理器执行如上述所述的端对端的通信方法。

本发明实施例包括以下优点：

本发明实施例，第一终端和第二终端之间增加私有控制信令，并将私有控制信令伪装成音频数据包的方式在第一终端和第二终端之间传输，这样流媒体服务器就会认为该私有控制信令为音频数据包，直接对伪装成的音频数据包进行透传，从而避免了流媒体服务器对信令的处理过程，因此在不需要修改流媒体服务器的情况下，可以实现对端对端的音视频数据的质量信息的控制，提升了音视频播放的流畅度。

附图说明

图1是本发明的一种端对端通信方法的框架结构示意图；

图2是本发明的一种端对端通信方法的步骤流程图；

图3是本发明的一种端对端通信方法的步骤流程图；

图4是本发明的一种端对端通信装置的结构示意图；

图5是本发明的一种端对端通信装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参见图1，其示出了本发明实施例一种端对端通信方法的框架结构示意图，具体包括：

视联网移动会议终端A(视频通话A端)、视联网移动会议终端B(视频通话B)、流媒体服务器。视频通话A端通过流媒体服务器与视频通话B端通信，实现控制信令的传输以及音视频数据的传输。

其中，C为公有信令控制流程，黑色箭头为数据流，D私有控制信令流程，为本发明的关键点，以音频数据包的方式来透传私有控制信令。

公有信令是指对音视频数据的控制过程，一般采用标准信令协议，可以包括：启动、播放、暂停、快进、倒退、停止、结束等信令。

视频通话A端和B端通过公有信令与流媒体服务器通讯，流媒体服务器对公有信令处理，协调建立A、B两端的音视频通讯流程，通过公有信令实现了视频通话A端与视频通话B端之间的对音视频数据通讯的过程控制。

视频通话A端通过私有控制信令实现了视频通话A端与视频通话B端之间的对音视频数据的质量信息的控制，即视频通话A端对私有控制信令进行编码，获得第一控制信令，视频通话A端生成包含第一控制信令的第一音频数据包，对第一音频数据包添加第一标记，生成第二音频数据包，将第二音频数据包发送至视频通话B端。视频通话B端通过收包线程接收视频通话A端发送的第二音频数据包，视频通话B端判断第二音频数据包是否存在第一标记，若第二音频数据包存在第一标记，则确认该第二音频数据包为信令包，根据第二音频数据包执行相应的操作，如果第二音频数据包不存在第一标记，则确认第二音频数据包为音频数据包，视频通话B端对第二音频数据包进行接收，然后对第二音频数据包进行解码输出，并进行播放。

例如：视频通话A端、B端开始通讯的时候，两端网络状况较好，所以会选择高清、高码率方式进行通讯，以便获得最好的音视频质量，但是有些网络波动，导致可用带宽下降，这时候在采用高清、高码率方式进行通讯就会产生卡顿。，若视频通话A端通知视频通话B端，说明带宽不够用了，告知视频通话B端可以适当地降低音视频的分辨率，这样就可以解决音视频卡顿的问题了，但是目前现有技术中并没有这样机制，因此本发明提出了通过私有控制信令伪装成音频数据包解决这一问题，即视频通话A端到B端通过私有控制信令，告诉B端“A这边网路卡了，请降低发送的音视频质量来节省带宽，保持流畅优先”，然后B端执行相应的动作，降低分辨率、码率，这样所需的带宽就降低了。

另外，在网络状况不好的情况下，比如正常高清音视频需要200k左右的带宽，但如果网络抖动，实际带宽可能已经降低到10k以下，那么这时候，A可能会要求B只传输音频，而关闭视频的发送，以上这些动作都是根据网络情况可选的，并通过私有控制信令的传输来实现的。

需要说明的是，图1为了简化描述，是以视频通话A端和视频通话B一个单向发送、单向控制的过程说明音视频数据的控制过程，实际应用中也可以进行双向发送和控制，具体的双向发送控制过程参见单向处理过程即可，上述示例是为了更好的理解本发明的方案，其他私有控制信令可以参照上述方法。

基于上述架构，参照图2，示出了本发明实施例的一种端对端的通信方法的流程图，该方法应用于第一终端，所述方法具体包括如下步骤：

步骤201：第一终端对私有控制信令进行编码，获得第一控制信令。

私有控制信令用于对音视频数据的质量信息进行控制，私有控制信令可以包括：视频分辨率信息、帧率、码率、带宽、音频传输视频传输关闭等信息。

在具体应用中，第一终端可以根据第一终端的运行情况，采用不同的编码方式对所述私有控制信令进行编码，获得第一控制信令。

第一终端的运行情况一般是指终端对音视频数据的处理能力等等。

步骤202：生成包含第一控制信令的第一音频数据包。

在实际应用中，对所述第一控制信令按照音频数据包的格式生成包含所述第一控制信令的第一音频数据包。

步骤203：对所述第一音频数据包添加第一标记，生成第二音频数据包，将所述第二音频数据包发送至第二终端。

在具体应用中，第一终端可以将第一音频数据包的时间戳信息修改为第一标记，生成第二音频数据包，并将第二音频数据包发送至第二终端。

所述第一标记用于确定所述第二音频数据包是否为信令包。

第一标记的可以使用特定值进行标记，该特征值与时间戳信息的位数相同，但是内容不同，例如：第一标记可以为全零或者全1，也可以为其他，例如：123456789，对此本发明不做具体限制。

音频数据包在视频通话、视频会议等中具有如下优点：

1、音频数据包具有时间连续性，封装较小，每个包大约只有100个字节左右，包率稳定，每秒钟有相对固定数量的包传输，传输速度更快。

2、音频数据包无论经过多少层服务器转发，基本上都是原包转发，内容是不变的，完全透传，相对而言，公有信令则是被中间转发的服务器截取，处理后重新封包进行应答处理，内容会变化，不能透传。

步骤204：将第二音频数据包发送至第二终端。

第二音频数据包通过流媒体服务器发送至第二终端，第二终端对第二音频数据包进行音频接收。

本发明实施例，第一终端和第二终端之间增加私有控制信令，并将私有控制信令成音频数据包的方式在第一终端和第二终端之间传输，这样流媒体服务器就会认为该私有控制信令为音频数据包，直接对伪装成的音频数据包进行透传，从而避免了流媒体服务器对信令的处理过程，因此在不需要修改流媒体服务器的情况下，可以实现对端对端的音视频数据的质量信息的控制，提升了音视频播放的流畅度。

参照图3，示出了本发明实施例的一种端对端的通信方法的流程图，该方法应用于第二终端，所述方法具体包括如下步骤：

步骤301：第二终端接收第一终端发送的第二音频数据包。

步骤302：判断所述第二音频数据包中是否存在第一标记，若所述第二音频数据包存在第一标记，则执行步骤303，否则，执行步骤304。

第一标记用于确定所述第二音频数据包是否为信令包。

在具体实现时，第二终端可以通过设置的信令过滤模块分析第二音频数据包中是否存在第一标记，若不存在，则确定第二音频数据包为音频包，若存在，则确定第二音频数据包为信令包，并将该信令包发送至第二终端的私有信令处理模块进行解析，根据解析获取的第一控制指令执行相应的动作。

步骤302包括如下子步骤：

子步骤3021：获取所述第二音频数据包中的时间戳信息；

子步骤3022：判断所述第二音频数据包中的时间戳信息中是否存在第一标记。

步骤303：确认所述第二音频数据包为信令包，根据所述第二音频数据包中包含的第一控制信令执行相应的操作。

具体的，第二终端解析所述第二音频数据包，获得第一音频数据包；根据所述第一音频数据包中的第一控制指令执行相应的操作，具体的，可以将第一控制指令发送至第二终端的视频质量控制模块对音视频数据的质量信息进行控制。

步骤304：确认第二音频数据包为音频数据包，对第二音频数据包进行接收，并进行播放。

具体应用中，第二终端对第二音视频数据包进行解码输出，从而在第二终端播放。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

基于上述方法实施例的说明，本申请还提供了相应的装置实施例，来实现上述方法实施例所述的内容。

参照图4，示出了本发明的一种端对端的通信装置的结构框图，所述装置应用于第一终端，所述装置具体包括：

编码模块401，用于对私有控制信令进行编码，获得第一控制信令，所述私有控制信令用于对音视频数据的质量信息进行控制。

第一生成模块402，用于生成包含所述第一控制信令的第一音频数据包。

添加模块403，用于对所述第一音频数据包添加第一标记，生成第二音频数据包，所述第一标记用于确定所述第二音频数据包是否为信令包。

发送模块404，用于将所述第二音频数据包发送至第二终端。

可选的，所述添加模块包括：修改模块。

所述修改模块，用于将所述第一音频数据包的时间戳信息修改为第一标记，生成第二音频数据包。

可选的，所述编码模块具体用于根据第一终端的运行情况，对所述私有控制信令进行编码，获得第一控制信令。

可选的，第一生成模块具体用于对所述第一控制信令按照音频数据包的格式生成包含所述第一控制信令的第一音频数据包。

参照图5，示出了本发明的一种端对端的通信装置的结构框图，所述装置应用于第二终端，所述装置具体包括：

接收模块501，用于接收第一终端发送的第二音频数据包。

判断模块502，用于判断所述第二音频数据包中是否存在第一标记，所述第一标记用于确定所述第二音频数据包是否为信令包。

确认模块503，用于若所述判断模块的判断结果为第二音频数据包中存在第一标记时，确认所述第二音频数据包为信令包，根据所述第二音频数据包中包含的第一控制信令执行相应的操作。

可选的，所述判断模块包括：

时间戳模块，用于获取所述第二音频数据包中的时间戳信息；

第一判断模块，用于判断所述第二音频数据包中的时间戳信息中是否存在第一标记。

可选的，所述确认模块用于根据所述第二音频数据包中包含的第一控制信令执行相应的操作的包括：

解析模块，用于解析所述第二音频数据包，获得第一音频数据包。

执行模块，用于从所述第一音频数据包中获得第一控制指令，根据所述第一控制指令执行相应的操作。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明实施例还提供了一种电子设备，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述电子设备执行所述的一种端对端的通信方法。

本发明实施例还提供了一种计算机可读存储介质，其存储的计算机程序使得处理器执行所述的一种端对端的通信方法。

可选地，计算机可读存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种端对端的通信方法、装置，电子设备以及介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种端对端的通信方法，其特征在于，所述方法应用于第一终端，所述方法包括：

生成包含所述第一控制信令的第一音频数据包；

将所述第二音频数据包发送至第二终端。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一音频数据包添加第一标记，生成第二音频数据包的步骤包括：

3.根据权利要求1所述的方法，其特征在于，所述生成包含所述第一控制信令的第一音频数据包的步骤包括：

4.一种端对端的通信方法，其特征在于，所述方法应用于第二终端，所述方法包括：

第二终端接收第一终端发送的第二音频数据包；

5.根据权利要求4所述的方法，其特征在于，所述判断所述第二音频数据包中是否存在第一标记的步骤包括：

获取所述第二音频数据包中的时间戳信息；

6.根据权利要求4所述的方法，其特征在于，所述根据所述第二音频数据包中包含的第一控制信令执行相应的操作的步骤包括：

解析所述第二音频数据包，获得第一音频数据包；

7.一种端对端的通信装置，其特征在于，所述装置应用于第一终端，所述装置包括：

发送模块，用于将所述第二音频数据包发送至第二终端。

8.一种端对端的通信装置，其特征在于，所述装置应用于第二终端，所述装置包括：

接收模块，用于接收第一终端发送的第二音频数据包；

9.一种电子设备，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如权利要求1至3任一项所述的端对端的通信方法。

10.一种计算机可读存储介质，其特征在于，其存储的计算机程序使得处理器执行如权利要求1至3任一项所述的端对端的通信方法。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如权利要求4至6任一项所述的端对端的通信方法。

12.一种计算机可读存储介质，其特征在于，其存储的计算机程序使得处理器执行如权利要求4至6任一项所述的端对端的通信方法。