CN114710568A - 音视频数据通信方法、设备及存储介质 - Google Patents

音视频数据通信方法、设备及存储介质 Download PDF

Info

Publication number
CN114710568A
CN114710568A CN202210480330.XA CN202210480330A CN114710568A CN 114710568 A CN114710568 A CN 114710568A CN 202210480330 A CN202210480330 A CN 202210480330A CN 114710568 A CN114710568 A CN 114710568A
Authority
CN
China
Prior art keywords
data packet
audio
video data
frame type
media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210480330.XA
Other languages
English (en)
Other versions
CN114710568B (zh
Inventor
陈志飞
陈民
汪铎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Hangzhou Information Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202210480330.XA priority Critical patent/CN114710568B/zh
Publication of CN114710568A publication Critical patent/CN114710568A/zh
Application granted granted Critical
Publication of CN114710568B publication Critical patent/CN114710568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种音视频数据通信方法、设备及存储介质，所述音视频数据通信方法应用于第一终端，所述音视频数据通信方法包括：获取音视频数据，并对所述音视频数据进行编码封装形成所述音视频数据包，其中，所述音视频数据包括信令数据包和/或媒体数据包，所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成，且共用同一个预设传输层协议的通信链接，基于所述通信链接，将所述音视频数据包中的信令数据包和/或媒体数据包发送至第二终端，以供所述第二终端解析所述音视频数据包，得到所述音视频数据。本申请解决了音视频数据传输的效率较低的技术问题。

Description

音视频数据通信方法、设备及存储介质
技术领域
本申请涉及通信技术领域，尤其涉及一种音视频数据通信方法、设备及存储介质。
背景技术
在现有的实时音视频数据通讯方案中，通常分成信令与媒体两部分进行传输，其中，信令部分一般基于可靠传输，而媒体部分则由于实时性额要求，采用不可靠的快速传输方案，也即，信令和媒体采用不同的方式传输，甚至是基于不同的传输层协议，在数据传输上彼此独立，例如，信令采用TCP协议传输，媒体采用UDP协议传输，在媒体互通上需要重新探测数据传输链路，而通过多协议多链路的方式建立安全连接的过程复杂重复，浪费网络资源，也导致音视频数据传输的效率较低。
发明内容
本申请的主要目的在于提供一种音视频数据通信方法、设备及存储介质，旨在解决现有技术中的音视频数据传输的效率较低的技术问题。
为实现上述目的，本申请提供一种音视频数据通信方法，所述音视频数据通信方法应用于第一终端，所述音视频数据通信方法包括：
获取音视频数据，并对所述音视频数据进行编码封装形成所述音视频数据包，其中，所述音视频数据包括信令数据包和/或媒体数据包，所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成，且共用同一个预设传输层协议的通信链接；
基于所述通信链接，将所述音视频数据包中的信令数据包和/或媒体数据包发送至第二终端，以供所述第二终端解析所述音视频数据包，得到所述音视频数据。
为实现上述目的，本申请还提供一种音视频数据通信方法，所述音视频数据通信方法应用于第二终端，所述音视频数据通信方法包括：
接收第一终端基于预设传输层协议的通信链接发送的音视频数据包，其中，所述音视频数据包括信令数据包和/或媒体数据包，所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成，且共用同一个预设传输层协议的通信链接；
基于所述音视频数据包的帧类型信息，对所述音视频数据包进行解码，得到媒体数据包或信令数据。
本申请还提供一种音视频数据通信系统，所述音视频数据通信系统为虚拟系统，所述音视频数据通信系统应用于第一终端，包括：
封装模块，获取音视频数据，并对所述音视频数据进行编码封装形成所述音视频数据包，其中，所述音视频数据包括信令数据包和/或媒体数据包，所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成，且共用同一个预设传输层协议的通信链接；
发送模块，用于基于所述通信链接，将所述音视频数据包中的信令数据包和/或媒体数据包发送至第二终端，以供所述第二终端解析所述音视频数据包，得到所述音视频数据。
本申请还提供一种音视频数据通信系统，所述音视频数据通信系统为虚拟系统，所述音视频数据通信系统应用于第二终端，包括：
接收模块，用于接收第一终端基于预设传输层协议的通信链接发送的音视频数据包，其中，所述音视频数据包括信令数据包和/或媒体数据包，所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成，且共用同一个预设传输层协议的通信链接；
解码模块，用于基于所述音视频数据包的帧类型信息，对所述音视频数据包进行解码，得到媒体数据包或信令数据。
本申请还提供一种音视频数据通信设备，所述音视频数据通信设备为实体设备，所述音视频数据通信设备包括：存储器、处理器以及存储在所述存储器上的音视频数据通信程序，所述音视频数据通信程序被所述处理器执行实现如上述的音视频数据通信方法的步骤。
本申请还提供一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储音视频数据通信程序，所述音视频数据通信程序被处理器执行实现如上述的音视频数据通信方法的步骤。
本申请提供了一种音视频数据通信方法、设备及存储介质，本申请首先获取音视频数据，并对所述音视频数据进行编码封装形成所述音视频数据包，其中，所述音视频数据包括信令数据包和/或媒体数据包，所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成，且共用同一个预设传输层协议的通信链接，进而基于所述通信链接，将所述音视频数据包中的信令数据包和/或媒体数据包发送至第二终端，以供所述第二终端解析所述音视频数据包，得到所述音视频数据，实现了在同一个预设传输层协议的通信链接上传输全部信令数据包和媒体数据包，从而使得信令数据包和媒体数据包共享单个握手操作和通信密钥，减少终端与服务器之间握手操作所需的等待时间，并且传输不可靠数据(媒体数据包)是在已经建立的预设传输层协议的通信链接上进行传输，可快速的打开关闭不可靠流，减少媒体数据包初次到达的等待时间，从而有效提高数据传输的效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域默认技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请音视频数据通信方法第一实施例的流程示意图；
图2为本申请音视频数据通信方法第二实施例的流程示意图；
图3为本申请音视频数据通信方法第三实施例的流程示意图；
图4为本申请实施例方案涉及的硬件运行环境的音视频数据通信设备结构示意图；
图5是本申请应用于第一终端的音视频数据通信装置的功能模块示意图；
图6是本申请应用于第二终端的音视频数据通信装置的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种音视频数据通信方法，在本申请音视频数据通信方法的第一实施例中，参照图1，所述音视频数据通信方法应用于第一终端，所述音视频数据通信方法包括：
步骤S10，获取音视频数据，并对所述音视频数据进行编码封装形成所述音视频数据包，其中，所述音视频数据包括信令数据包和/或媒体数据包，所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成，且共用同一个预设传输层协议的通信链接；
在本实施例中，需要说明的是，由于一般情况下信令数据采用TCP可靠协议传输，媒体数据采用UDP不可靠协议传输，由于TCP本身的协议限制，若媒体数据采用信令数据对应的TCP协议进行传输，在网络信号不佳时可能会出现音视频数据延迟大、卡顿、甚至直接断开连接的情况。而在本申请实施例中，在进行音视频数据传输前，将终端与预设服务器建立预设传输层协议的通信链接，其中，所述预设传输层协议为QUIC(Quick UDP InternetConnection)协议，QUIC协议是一种基于UDP(User Datagram Protocol，用户数据报协议)的可靠传输层网络协议，不需要TCP(Transmission Control Protocol，面向连接的、可靠的、基于字节流的传输层通信协议)的三次握手RTT阶段，只需要1个RTT就可以完成握手，具体地，终端和服务器建立握手连接的过程为：1、终端发送Client Hello给服务器，请求通信密钥的参数；2、服务器返回对应的参数和公钥给终端；3、终端收到参数以及服务器的公钥，生成通信密钥，然后将自己公钥发给服务器，此时，终端可利用通信密钥加密数据进行传输；4、服务器收到终端的公钥后，得出对应的通信密钥，可解密终端发来的数据。因此，仅仅1个RTT，终端和服务器就可以生成对称密钥，从而实现安全可靠连接。
进一步需要说明的是，在音视频数据通信过程中，会存在至少两个终端进行通信(本申请中的第一终端和第二终端)，其中，第一终端和第二终端均预先与预设服务器建立QUIC链接，第一终端可通过所述预设服务器与所述第二终端进行音视频会话连接通道，第一终端和第二终端为相同的终端，所述终端可以为电脑、也可以为智能手机、PAD等终端通信装置，所述音视频数据通信方法应用于不同音视频通信场景，例如，在线远程医疗业务场景中的医生用户和患者用户、在线教育业务场景的教师用户和学生用户、视频会议业务场景中的主持人用户、发言人用户和参会用户等，均使用终端通过服务器实现实时在线高清音视频通信。
具体地，第一终端获取终端应用中的音视频数据，进而若所述音视频数据为所述信令数据，则基于QUIC协议标准的数据封装方法，将所述信令数据包进行编码形成可靠数据包，进一步地，基于在建立链接阶段协商好的通信密钥，对所述可靠数据包进行加密封装，得到所述信令数据包，从而将所述信令数据包通过所述预设服务器发送至第二终端，进而若所述音视频数据为所述媒体数据，需检测当前是否需要发送媒体数据，例如，A用户和B用户在进行视频通话时，服务器会将A用户的通话请求给B用户，当B用户接收通话请求后，则需要将A用户的媒体数据发送至B用户，如果B用户拒绝通话请求或者该通话请求在预设时间内无人响应，则无需发送媒体数据，其中，视频通话请求可作为信令数据包，进一步地，若需要发送媒体数据，则按照预设不可靠协议，将所述媒体数据包进行编码形成各不可靠数据包，其中，所述预设不可靠协议包括UDP、RTP/RTCP协议等，为了达到良好的兼容性，优选地，所述预设不可靠协议为RTP/RTCP协议，得到各RTP/RTCP不可靠数据包，进一步地，为了提高数据传输的效率，根据各个不可靠数据包的数据长度，判断是否需要合并各所述不可靠数据包，若是，则将各所述不可靠数据包进行合并，并计算合并后的不可靠数据包的数据长度，进而将合并后的不可靠数据包添加上第一帧类型信息，得到目标帧类型数据包，若否，则分贝为各所述不可靠数据包添加上第二帧类型信息，得到目标帧类型数据包，其中，需要说明的是，第一帧类型信息和第二帧类型信息的区别在于：第一帧类型信息设有数据长度的标记，例如，第一帧类型信息为0x21，第二帧类型信息为0x20，其中，帧类型的最后一位表示是否包含数据长度，1表示有数据长度字段；0表示没有数据长度字段，进一步地，基于所述通信密钥，将所述目标帧类型数据包进行加密封装，得到所述媒体数据包。从而将媒体数据封装形成拓展的媒体数据包，使得信令数据和媒体数据基于同一个已建立的QUIC通信链接上进行传输，其中，信令数据和媒体数据按照不同数据封装成机制形成，但是两者共享可靠的通信密钥。
步骤S20，基于所述通信链接，将所述音视频数据包中的信令数据包和/或媒体数据包发送至第二终端，以供所述第二终端解析所述音视频数据包，得到所述音视频数据。
在本实施例中，具体地，基于QUIC的通信链接，将所述音视频数据包中的信令数据包和/或媒体数据包发送至所述预设服务器中，进而通过所述预设服务器将所述信令数据包和/或媒体数据包发送至第二终端，从而使得第二终端在接收到所述音视频数据包时，若检测到不属于终止reset数据包，则判断所述音视频数据包属于媒体数据包还是信令数据包，若所述音视频数据包的帧类型信息为预先设置的第一帧类型信息或第二帧类型信息，则确定所述音视频数据包为所述媒体数据包，并基于所述通信密钥，对所述媒体数据包进行解码，得到所述媒体数据，若所述帧类型信息不是所述第一帧类型信息以及所述第二帧类型信息，则确定所述音视频数据包为所述信令数据包，并基于所述通信密钥，对所述信令数据包进行解码，得到所述信令数据，并将所述媒体数据或者信令数据传输至对应的终端应用上进行播放。
本申请实施例通过上述方案，也即获取音视频数据，并对所述音视频数据进行编码封装形成所述音视频数据包，其中，所述音视频数据包括信令数据包和/或媒体数据包，所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成，且共用同一个预设传输层协议的通信链接，进而基于所述通信链接，将所述音视频数据包中的信令数据包和/或媒体数据包发送至第二终端，以供所述第二终端解析所述音视频数据包，得到所述音视频数据，实现了在同一个预设传输层协议的通信链接上传输全部信令数据包和媒体数据包，从而使得信令数据包和媒体数据包共享单个握手操作和通信密钥，减少终端与服务器之间握手操作所需的等待时间，并且传输不可靠数据(媒体数据包)是在已经建立的预设传输层协议的通信链接上进行传输，可快速的打开关闭不可靠流，减少媒体数据包初次到达的等待时间，从而有效提高数据传输的效率。
进一步地，参照图2，基于本申请中第一实施例，在本申请的另一实施例中，所述对所述音视频数据进行编码封装形成所述音视频数据包的步骤包括：
步骤A10，当所述音视频数据为所述媒体数据包时，判断是否需要发送所述媒体数据包；
步骤A20，若需要，则按照预设不可靠协议，将所述媒体数据包进行编码形成各不可靠数据包；
步骤A30，按照预设数据封装策略，将各所述不可靠数据包进行拓展封装，得到所述媒体数据包。
在本实施例中，具体地，当所述音视频数据为所述媒体数据包时，需要判断是否需要发送所述媒体数据包，例如，A用户向预设服务器发视频通话请求给B用户，预设服务器收到视频通话请求后，如果B用户在线，将视频通话请求转发给B用户，如果B用户拒绝请求，预设服务器转发拒绝请求响应给A用户，此时无需发送媒体数据包，如果B用户接收请求，预设服务器转发接收请求响应给A用户，此时则证明需要发送媒体数据包。
进一步地，需要说明的是，在进行数据传输过程中，一个发送请求对应着一个流，一个流可以通过多个包进行传递。若需要发送媒体数据包，则按照预设不可靠协议，将所述媒体数据包进行编码形成多个不可靠数据包，其中，所述预设不可靠协议包括UDP、RTP/RTCP协议等，为了达到良好的兼容性，优选地，所述预设不可靠协议为RTP/RTCP协议，进一步地，判断是否需要合并各所述不可靠数据包，若是，则将各所述不可靠数据包进行合并，并计算合并后的不可靠数据包的包长度，以及将合并后的不可靠数据包添加上第一帧类型信息，得到目标帧类型数据包，若否，则将各所述不可靠数据包分别添加上第二帧类型信息，得到目标帧类型数据包，其中，添加帧类型信息的目的是为了当第二终端在接收到音视频数据包时，能基于帧类型信息识别出媒体数据包以及信令数据包，最后，基于所述通信密钥，将所述目标帧类型数据包进行加密封装，得到所述媒体数据包，从而实现在已建立好的QUIC通信链接，增加了一种不可靠传输流，用来传输媒体数据包。
其中，所述按照预设数据封装策略，将各所述不可靠数据包进行拓展封装，得到所述媒体数据包的步骤包括：
步骤A31，判断是否需要合并各所述不可靠数据包；
步骤A32，若是，则将各所述不可靠数据包进行合并，并将合并后的不可靠数据包添加上第一帧类型信息，得到目标帧类型数据包；
步骤A3，若否，则将各所述不可靠数据包添加上第二帧类型信息，得到目标帧类型数据包；
步骤A34，基于所述通信密钥，将所述目标帧类型数据包进行加密封装，得到所述媒体数据包。
在本实施例中，需要说明的是，所述第一帧类型信息和所述第二帧类型信息不同，用来区别合并后的不可靠数据包以及无需合并的各个不可靠数据包，具体地，为了提高数据传输的效率，当各个不可靠数据包的长度较小时，则将各所述不可靠数据包进行合并，并计算合并后的不可靠数据包的数据长度，以及将合并后的不可靠数据包添加上第一帧类型信息，得到目标帧类型数据包，从而直接将合并后对应的目标帧类型数据包进行数据传输，当不需要合并时，分别将各所述不可靠数据包添加上第二帧类型信息，得到目标帧类型数据包，从而将各个目标帧类型数据包分开进行数据传输，在一种可实施方式中，例如，当各个不可靠数据包的数据长度小于预设阈值时，则将各所述不可靠数据包进行合并，进而将合并后的不可靠数据包的帧类型设置为0x21，另外地，将不进行合并的各个不可靠数据包对应的帧类型设置为0x20，其中，帧类型的最后一位表示是否包含数据长度，1表示有数据长度字段；0表示没有数据长度字段，从而使得第二终端在接收到音视频数据包时，可基于帧类型信息判断该数据包是信令数据包还是媒体数据包，并且可基于帧类型的最后一位确定该媒体数据包是否是多个数据包进行合并后的媒体数据包。
本申请实施例通过上述方案，也即，当所述音视频数据为所述媒体数据包时，判断是否需要发送所述媒体数据包，进而若需要，则按照预设不可靠协议，将所述媒体数据包进行编码形成各不可靠数据包，进一步地，按照预设数据封装策略，将各所述不可靠数据包进行拓展封装，得到所述媒体数据包，实现了对媒体数据拓展封装成媒体数据包，从而使得媒体数据包在同一个QUIC通信链接上进行传输，共享单个握手和通信密钥，减少加密握手的次数，并使用已经建立的网络路由，可快速开关媒体流，提高数据传输的效率。
本申请实施例提供一种音视频数据通信方法，在本申请音视频数据通信方法的第一实施例中，参照图3，所述音视频数据通信方法应用于第二终端，所述音视频数据通信方法包括：
步骤B10，接收第一终端基于预设传输层协议的通信链接发送的音视频数据包，其中，所述音视频数据包括信令数据包和/或媒体数据包，所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成，且共用同一个预设传输层协议的通信链接；
在本实施例中，需要说明的是，所述预设传输层协议为QUIC协议，所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成，具体地，所述信令数据包为基于QUIC协议传统标准的编码封装方法将信令数据封装成信令数据包，而所述媒体数据包为基于实时传输RTP/RTCP协议封装，并为封装得到的数据包添加上帧类型信息的数据包，进一步地，所述信令数据包和所述媒体数据包为在同一个的QUIC通信链接上进行数据传输。
步骤B20，基于所述音视频数据包的帧类型信息，对所述音视频数据包进行解码，得到媒体数据包或信令数据。
其中，所述基于所述音视频数据包的帧类型信息，对所述音视频数据包进行解码，得到媒体数据包或信令数据的步骤包括：
步骤B21，若所述帧类型信息为预先设置的第一帧类型信息或第二帧类型信息，则确定所述音视频数据包为所述媒体数据包，并基于所述通信密钥，对所述媒体数据包进行解码，得到所述媒体数据；
步骤B22，若所述帧类型信息不是所述第一帧类型信息以及所述第二帧类型信息，则确定所述音视频数据包为所述信令数据包，并基于所述通信密钥，对所述信令数据包进行解码，得到所述信令数据。
在本实施例中，需要说明的是，由于第一终端在对媒体数据进行数据编码封装时，会为所述媒体数据添加上第一帧类型信息或第二帧类型信息，因此，当第二终端在接收到音视频数据包时，检测所述音视频数据包是否存在第一帧类型信息或第二帧类型信息，若存在，则证明所述音视频数据包为所述媒体数据包，并基于所述通信密钥，对所述媒体数据包进行解码，得到所述媒体数据，若不存在，则证明所述音视频数据包为所述信令数据包，并基于所述通信密钥，对所述信令数据包进行解码，得到所述信令数据，从而将所述媒体数据或者信令数据上传至第二终端对应的终端应用上进行播放，从而实现音视频数据的实时传输。
本申请实施例通过上述方案，也即，接收第一终端基于预设传输层协议的通信链接发送的音视频数据包，其中，所述音视频数据包括信令数据包和/或媒体数据包，所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成，且共用同一个预设传输层协议的通信链接，进而基于所述音视频数据包的帧类型信息，对所述音视频数据包进行解码，得到媒体数据包或信令数据，实现了在同一个预设传输层协议的通信链接上传输全部信令数据包和媒体数据包，从而使得第二终端可直接接收到一条通信链接上的信令数据包和媒体数据包，并且信令数据包和媒体数据包共享单个握手操作和通信密钥，减少终端与服务器之间握手操作所需的等待时间，从而有效提高数据传输的效率。
参照图4，图4是本申请实施例方案涉及的硬件运行环境的音视频数据通信设备结构示意图。
如图4所示，该音视频数据通信设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该音视频数据通信设备还可以包括矩形用户接口、网络接口、相机、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可包括标准的有线接口、无线接口(如WIFI接口)。
本领域技术人员可以理解，图4中示出的音视频数据通信设备结构并不构成对音视频数据通信设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图4所示，作为一种计算机存储介质的存储器1005中可以包括操作网络通信模块以及音视频数据通信程序。操作系统是管理和控制音视频数据通信设备硬件和软件资源的程序，支持音视频数据通信程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与音视频数据通信系统中其它硬件和软件之间通信。
在图4所示的音视频数据通信设备中，处理器1001用于执行存储器1005中存储的音视频数据通信程序，实现上述任一项所述的音视频数据通信方法的步骤。
本申请音视频数据通信设备具体实施方式与上述音视频数据通信方法各实施例基本相同，在此不再赘述。
此外，请参照图5，图5是本申请应用于第一终端的音视频数据通信装置的功能模块示意图，本申请还提供一种音视频数据通信系统，所述音视频数据通信系统为虚拟系统，所述音视频数据通信系统应用于第一终端，包括：
封装模块，获取音视频数据，并对所述音视频数据进行编码封装形成所述音视频数据包，其中，所述音视频数据包括信令数据包和/或媒体数据包，所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成，且共用同一个预设传输层协议的通信链接；
发送模块，用于基于所述通信链接，将所述音视频数据包中的信令数据包和/或媒体数据包发送至第二终端，以供所述第二终端解析所述音视频数据包，得到所述音视频数据。
可选地，所述音视频数据通信系统还用于：
与预设服务器建立所述预设传输层协议的通信链接，并确定所述预设服务器对应的通信密钥；
通过所述预设服务器与所述第二终端进行通信。
可选地，所述封装模块还用于：
当所述音视频数据为所述媒体数据包时，判断是否需要发送所述媒体数据包；
若需要，则按照预设不可靠协议，将所述媒体数据包进行编码形成各不可靠数据包；
按照预设数据封装策略，将各所述不可靠数据包进行拓展封装，得到所述媒体数据包。
可选地，所述封装模块还用于：
判断各所述不可靠数据包是否需要合并；
若是，则将各所述不可靠数据包进行合并，并将合并后的不可靠数据包添加上第一帧类型信息，得到目标帧类型数据包；
若否，则将各所述不可靠数据包添加上第二帧类型信息，得到目标帧类型数据包；
基于所述通信密钥，将所述目标帧类型数据包进行加密封装，得到所述媒体数据包。
可选地，所述封装模块还用于：
基于所述通信密钥，对所述可靠数据包进行加密封装，得到所述信令数据包。
请参照图6，图6是本申请应用于第二终端的音视频数据通信装置的功能模块示意图，本申请还提供一种音视频数据通信系统，所述音视频数据通信系统为虚拟系统，所述音视频数据通信系统应用于第二终端，包括：
接收模块，用于接收第一终端基于预设传输层协议的通信链接发送的音视频数据包，其中，所述音视频数据包括信令数据包和/或媒体数据包，所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成，且共用同一个预设传输层协议的通信链接；
解码模块，用于基于所述音视频数据包的帧类型信息，对所述音视频数据包进行解码，得到媒体数据包或信令数据。
可选地，所述音视频数据通信系统还用于：
与预设服务器建立所述预设传输层协议的通信链接，并确定所述预设服务器对应的通信密钥。
可选地，所述解码模块还用于：
若所述帧类型信息为预先设置的第一帧类型信息或第二帧类型信息，则确定所述音视频数据包为所述媒体数据包，并基于所述通信密钥，对所述媒体数据包进行解码，得到所述媒体数据；
若所述帧类型信息不是所述第一帧类型信息以及所述第二帧类型信息，则确定所述音视频数据包为所述信令数据包，并基于所述通信密钥，对所述信令数据包进行解码，得到所述信令数据。
本申请音视频数据通信系统的具体实施方式与上述音视频数据通信方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种存储介质，所述存储介质为计算机可读存储介质，且所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的音视频数据通信方法的步骤。
本申请计算机可读存储介质具体实施方式与上述音视频数据通信方法各实施例基本相同，在此不再赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (10)

1.一种音视频数据通信方法，其特征在于，所述音视频数据通信方法应用于第一终端，所述音视频数据通信方法包括：
获取音视频数据，并对所述音视频数据进行编码封装形成所述音视频数据包，其中，所述音视频数据包括信令数据包和/或媒体数据包，所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成，且共用同一个预设传输层协议的通信链接；
基于所述通信链接，将所述音视频数据包中的信令数据包和/或媒体数据包发送至第二终端，以供所述第二终端解析所述音视频数据包，得到所述音视频数据。
2.如权利要求1所述的音视频数据通信方法，其特征在于，在所述获取音视频数据的步骤之前，还包括：
与预设服务器建立所述预设传输层协议的通信链接，并确定所述预设服务器对应的通信密钥；
通过所述预设服务器与所述第二终端进行音视频会话连接通道。
3.如权利要求2所述的音视频数据通信方法，其特征在于，所述对所述音视频数据进行编码封装形成所述音视频数据包的步骤包括：
当所述音视频数据为所述媒体数据包时，判断是否需要发送所述媒体数据包；
若需要，则按照预设不可靠协议，将所述媒体数据包进行编码形成各不可靠数据包；
按照预设数据封装策略，将各所述不可靠数据包进行拓展封装，得到所述媒体数据包。
4.如权利要求3所述的音视频数据通信方法，其特征在于，所述按照预设数据封装策略，将各所述不可靠数据包进行拓展封装，得到所述媒体数据包的步骤包括：
判断是否需要合并各所述不可靠数据包；
若是，则将各所述不可靠数据包进行合并，并将合并后的不可靠数据包添加上第一帧类型信息，得到目标帧类型数据包；
若否，则将各所述不可靠数据包添加上第二帧类型信息，得到目标帧类型数据包；
基于所述通信密钥，将所述目标帧类型数据包进行加密封装，得到所述媒体数据包。
5.如权利要求2所述的音视频数据通信方法，其特征在于，所述对所述音视频数据进行编码封装形成所述音视频数据包的步骤包括：
若所述音视频数据为所述信令数据，则将所述信令数据包进行编码形成可靠数据包；
基于所述通信密钥，对所述可靠数据包进行加密封装，得到所述信令数据包。
6.一种音视频数据通信方法，其特征在于，所述音视频数据通信方法应用于第二终端，所述音视频数据通信方法包括：
接收第一终端基于预设传输层协议的通信链接发送的音视频数据包，其中，所述音视频数据包括信令数据包和/或媒体数据包，所述信令数据包和所述媒体数据包为基于不同的数据封装机制形成，且共用同一个预设传输层协议的通信链接；
基于所述音视频数据包的帧类型信息，对所述音视频数据包进行解码，得到媒体数据包或信令数据。
7.如权利要求6所述的音视频数据通信方法，其特征在于，在所述接收第一终端发送的音视频数据包的步骤之前，所述音视频数据通信方法还包括：
与预设服务器建立所述预设传输层协议的通信链接，并确定所述预设服务器对应的通信密钥。
8.如权利要求7所述的音视频数据通信方法，其特征在于，所述基于所述音视频数据包的帧类型信息，对所述音视频数据包进行解码，得到媒体数据包或信令数据的步骤包括：
若所述帧类型信息为预先设置的第一帧类型信息或第二帧类型信息，则确定所述音视频数据包为所述媒体数据包，并基于所述通信密钥，对所述媒体数据包进行解码，得到所述媒体数据；
若所述帧类型信息不是所述第一帧类型信息以及所述第二帧类型信息，则确定所述音视频数据包为所述信令数据包，并基于所述通信密钥，对所述信令数据包进行解码，得到所述信令数据。
9.一种音视频数据通信设备，其特征在于，所述音视频数据通信设备包括：存储器、处理器以及存储在存储器上的音视频数据通信程序，
所述音视频数据通信程序被所述处理器执行实现如权利要求1至8中任一项所述音视频数据通信方法的步骤。
10.一种存储介质，所述存储介质为计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有音视频数据通信程序，所述音视频数据通信程序被处理器执行实现如权利要求1至8中任一项所述音视频数据通信方法的步骤。
CN202210480330.XA 2022-04-28 2022-04-28 音视频数据通信方法、设备及存储介质 Active CN114710568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210480330.XA CN114710568B (zh) 2022-04-28 2022-04-28 音视频数据通信方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210480330.XA CN114710568B (zh) 2022-04-28 2022-04-28 音视频数据通信方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114710568A true CN114710568A (zh) 2022-07-05
CN114710568B CN114710568B (zh) 2023-12-01

Family

ID=82176447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210480330.XA Active CN114710568B (zh) 2022-04-28 2022-04-28 音视频数据通信方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114710568B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115242560A (zh) * 2022-09-23 2022-10-25 浙江大华技术股份有限公司 多通道数据传输方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020062313A1 (en) * 2000-10-27 2002-05-23 Lg Electronics Inc. File structure for streaming service, apparatus and method for providing streaming service using the same
EP1248471A1 (en) * 2001-03-09 2002-10-09 Broadcom Corporation Digital phase locked loop for embedded signal clock recovery
US20050213739A1 (en) * 2001-05-10 2005-09-29 Polycom, Inc. Conference endpoint controlling functions of a remote device
US9021134B1 (en) * 2006-03-03 2015-04-28 Juniper Networks, Inc. Media stream transport conversion within an intermediate network device
CN106303449A (zh) * 2016-08-29 2017-01-04 上海航盛实业有限公司 一种视频通信方法
CN106921843A (zh) * 2017-01-18 2017-07-04 苏州科达科技股份有限公司 数据传输方法及装置
CN107995155A (zh) * 2017-10-11 2018-05-04 上海聚力传媒技术有限公司 视频数据编码、解码、展示方法、视频系统及存储介质
CN108924600A (zh) * 2018-06-28 2018-11-30 乐蜜有限公司 直播数据的发送接收方法、装置及电子设备
CN110233716A (zh) * 2019-05-31 2019-09-13 北京文香信息技术有限公司 一种通信交互方法、装置、存储介质、终端设备及服务器
CN110475159A (zh) * 2018-05-10 2019-11-19 中兴通讯股份有限公司 多媒体信息的传输方法及装置、终端
CN110943977A (zh) * 2019-11-11 2020-03-31 普联技术有限公司 多媒体业务数据传输方法、服务端、设备及存储介质
WO2021009553A1 (en) * 2019-07-18 2021-01-21 Telefonaktiebolaget Lm Ericsson (Publ) Method and system for in-band signaling in a quic session
US20220417302A1 (en) * 2021-06-29 2022-12-29 Western Digital Technologies, Inc. Peer-to-Peer Media Streaming from an Edge Data Storage Device to a Browser

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020062313A1 (en) * 2000-10-27 2002-05-23 Lg Electronics Inc. File structure for streaming service, apparatus and method for providing streaming service using the same
EP1248471A1 (en) * 2001-03-09 2002-10-09 Broadcom Corporation Digital phase locked loop for embedded signal clock recovery
US20050213739A1 (en) * 2001-05-10 2005-09-29 Polycom, Inc. Conference endpoint controlling functions of a remote device
US9021134B1 (en) * 2006-03-03 2015-04-28 Juniper Networks, Inc. Media stream transport conversion within an intermediate network device
CN106303449A (zh) * 2016-08-29 2017-01-04 上海航盛实业有限公司 一种视频通信方法
CN106921843A (zh) * 2017-01-18 2017-07-04 苏州科达科技股份有限公司 数据传输方法及装置
CN107995155A (zh) * 2017-10-11 2018-05-04 上海聚力传媒技术有限公司 视频数据编码、解码、展示方法、视频系统及存储介质
CN110475159A (zh) * 2018-05-10 2019-11-19 中兴通讯股份有限公司 多媒体信息的传输方法及装置、终端
CN108924600A (zh) * 2018-06-28 2018-11-30 乐蜜有限公司 直播数据的发送接收方法、装置及电子设备
CN110233716A (zh) * 2019-05-31 2019-09-13 北京文香信息技术有限公司 一种通信交互方法、装置、存储介质、终端设备及服务器
WO2021009553A1 (en) * 2019-07-18 2021-01-21 Telefonaktiebolaget Lm Ericsson (Publ) Method and system for in-band signaling in a quic session
CN110943977A (zh) * 2019-11-11 2020-03-31 普联技术有限公司 多媒体业务数据传输方法、服务端、设备及存储介质
US20220417302A1 (en) * 2021-06-29 2022-12-29 Western Digital Technologies, Inc. Peer-to-Peer Media Streaming from an Edge Data Storage Device to a Browser

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115242560A (zh) * 2022-09-23 2022-10-25 浙江大华技术股份有限公司 多通道数据传输方法及装置

Also Published As

Publication number Publication date
CN114710568B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
US10412130B2 (en) Method and apparatus for playing media stream on web browser
CN109996097B (zh) 一种投屏方法、系统及存储装置
US9986579B2 (en) Split miracast transmission over multiple frequency bands
US20130346562A1 (en) Data transmission method and apparatus for mobile terminal
US11792130B2 (en) Audio/video communication method, terminal, server, computer device, and storage medium
AU2015386336A1 (en) Information processing device, information processing method, and program
CN103348657B (zh) 流媒体播放方法、设备及系统
US20200169774A1 (en) Control method and device
WO2023160361A1 (zh) Rtc数据的处理方法以及装置
CN114221909B (zh) 数据传输方法、装置、终端及存储介质
US9723610B2 (en) Multi-layer timing synchronization framework
CN114710568B (zh) 音视频数据通信方法、设备及存储介质
WO2021073155A1 (zh) 视频会议方法、装置、设备及存储介质
WO2019129125A1 (zh) 智能眼镜与智能设备交互的方法、系统及存储介质
WO2022052102A1 (zh) 一种通信方法及装置
WO2023217188A1 (zh) 一种直播数据传输方法、装置、系统、设备和介质
US20230224253A1 (en) Communication method and apparatus
WO2016154831A1 (zh) 一种实现传输控制协议tcp传输的方法及装置
WO2022206016A1 (zh) 一种数据分层传输方法、装置及系统
WO2015154557A1 (zh) 数据报文的传输处理方法及装置
CN112887497B (zh) 通信方法、装置和计算机存储介质
WO2016177257A1 (zh) 一种数据分享的方法和装置
JP4636510B2 (ja) 通信放送連携システムにおける端末のレート制御方法、端末、システム及びプログラム
EP4358591A1 (en) Data transmission method and related device
WO2017147754A1 (zh) 数据包的压缩方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant