CN115514739B - 小程序平台与在线课堂进行多媒体数据交互的方法和装置 - Google Patents

小程序平台与在线课堂进行多媒体数据交互的方法和装置 Download PDF

Info

Publication number
CN115514739B
CN115514739B CN202211394936.8A CN202211394936A CN115514739B CN 115514739 B CN115514739 B CN 115514739B CN 202211394936 A CN202211394936 A CN 202211394936A CN 115514739 B CN115514739 B CN 115514739B
Authority
CN
China
Prior art keywords
multimedia data
header information
packet header
multimedia
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211394936.8A
Other languages
English (en)
Other versions
CN115514739A (zh
Inventor
黄杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tuoke Network Technology Co ltd
Original Assignee
Beijing Tuoke Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tuoke Network Technology Co ltd filed Critical Beijing Tuoke Network Technology Co ltd
Priority to CN202211394936.8A priority Critical patent/CN115514739B/zh
Publication of CN115514739A publication Critical patent/CN115514739A/zh
Application granted granted Critical
Publication of CN115514739B publication Critical patent/CN115514739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/102—Gateways
    • H04L65/1023—Media gateways
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08—Protocols for interworking; Protocol conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供了一种小程序平台与在线课堂进行多媒体数据交互的方法和装置，可以利用设置在小程序平台与在线课堂之间的媒体网关，对小程序平台向在线课堂发送的数据包进行协议转换，使得不支持RTP协议的小程序平台能够与支持RTP协议的在线课堂进行相互通信，进一步增加在线课堂的使用场景。

Description

小程序平台与在线课堂进行多媒体数据交互的方法和装置
技术领域
本申请涉及计算机网络技术领域，具体而言，涉及一种小程序平台与在线课堂进行多媒体数据交互的方法和装置。
背景技术
目前，在线课堂（也称作互动课堂）的核心功能是实时音视频通信（Real TimeCommunication，RTC）能力，RTC底层是基于RFC标准文档的实时传输协议（Real-timeTransport Protocol，RTP）协议簇/实时传输控制协议（RTP Control Protocol，RTCP）协议簇构建的。而有些社交软件的小程序平台（也称作小程序）并不支持RTP协议，导致小程序平台与在线课堂不能互相通信。
发明内容
为解决上述问题，本申请实施例的目的在于提供一种小程序平台与在线课堂进行多媒体数据交互的方法和装置。
第一方面，本申请实施例提供了一种小程序平台与在线课堂进行多媒体数据交互的方法，包括：
媒体网关接收所述小程序平台发送的第一多媒体数据包，所述第一多媒体数据包，包括：RTMP协议包头信息和多媒体数据；所述RTMP协议包头信息，包括：RTMP包头类型；其中，所述第一多媒体数据包为使用RTMP协议的多媒体数据包；
读取所述RTMP协议包头信息，并基于所述RTMP协议包头信息中的所述RTMP包头类型，确定所述RTMP协议包头信息的信息长度；
基于所述RTMP协议包头信息的信息长度，将所述RTMP协议包头信息从所述第一多媒体数据包中剥离，得到所述多媒体数据，并在所述多媒体数据上添加RTP协议包头信息，得到第二多媒体数据包，将所述第二多媒体数据包发送到所述在线课堂，其中，所述第二多媒体数据包为使用RTP协议的多媒体数据包。
第二方面，本申请实施例还提供了一种小程序平台与在线课堂进行多媒体数据交互的装置，包括：
接收模块，用于接收所述小程序平台发送的第一多媒体数据包，所述第一多媒体数据包，包括：RTMP协议包头信息和多媒体数据；所述RTMP协议包头信息，包括：RTMP包头类型；其中，所述第一多媒体数据包为使用RTMP协议的多媒体数据包；
读取模块，用于读取所述RTMP协议包头信息，并基于所述RTMP协议包头信息中的所述RTMP包头类型，确定所述RTMP协议包头信息的信息长度；
处理模块，用于基于所述RTMP协议包头信息的信息长度，将所述RTMP协议包头信息从所述第一多媒体数据包中剥离，得到所述多媒体数据，并在所述多媒体数据上添加RTP协议包头信息，得到第二多媒体数据包，将所述第二多媒体数据包发送到所述在线课堂，其中，所述第二多媒体数据包为使用RTP协议的多媒体数据包。
第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面所述的方法的步骤。
第四方面，本申请实施例还提供了一种电子设备，所述电子设备包括有存储器，处理器以及一个或者一个以上的程序，其中所述一个或者一个以上程序存储于所述存储器中，且经配置以由所述处理器执行上述第一方面所述的方法的步骤。
本申请实施例上述第一方面至第四方面提供的方案中，媒体网关在接收到小程序平台发送的第一多媒体数据包后，得到第一多媒体数据包携带的RTMP协议包头信息的信息长度，将RTMP协议包头信息从第一多媒体数据包中剥离，得到第一多媒体数据包中的多媒体数据，并在多媒体数据上添加RTP协议包头信息，得到第二多媒体数据包，将第二多媒体数据包发送到在线课堂，与相关技术中小程序平台与在线课堂不能互相通信的方式相比，可以利用设置在小程序平台与在线课堂之间的媒体网关，对小程序平台向在线课堂发送的数据包进行协议转换，使得不支持RTP协议的小程序平台能够与支持RTP协议的在线课堂进行相互通信，进一步增加在线课堂的使用场景。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请实施例所提供的媒体网关的示意图；
图2示出了本申请实施例1所提供的小程序平台与在线课堂进行多媒体数据交互的方法的流程图；
图3示出了本申请实施例1所提供的发送媒体流程示意图；
图4示出了本申请实施例1所提供的获取媒体流程示意图；
图5示出了本申请实施例2所提供的一种小程序平台与在线课堂进行多媒体数据交互的装置的结构示意图；
图6示出了本申请实施例3所提供的一种电子设备的结构示意图。
具体实施方式
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
目前，在线课堂的核心功能是RTC能力，RTC底层是基于RFC标准的RTP/RTCP协议簇构建的。而有些社交软件的小程序平台并不支持RTP协议，导致小程序平台与在线课堂不能互相通信。
但在实际应用场景中，社交软件的小程序平台具有海量用户，以及使用上的便利性，使用小程序平台加入在线课堂的需求很多，所以本申请实施例提出一种小程序平台与在线课堂进行多媒体数据交互的方法和装置，设计了一个能够使小程序平台加入在线课堂的媒体网关，通过媒体网关进行协议的转换、媒体的转封装，以及媒体格式的转换，实现了小程序平台与在线课堂之间进行多媒体数据互通。
参见图1所示的媒体网关的示意图，所述在线课堂就是指教师正在对学生进行授课的在线（虚拟）房间。其中，在线课堂内的教师和学生都是通过社交软件的小程序平台登录在线房间的。
在对本申请提出的小程序平台与在线课堂进行多媒体数据交互的方法和装置进行介绍之前，可以先对本申请中出现的如下词语进行定义和解释：
1. 实时消息协议（Real Time Messaging Protocol，RTMP协议）， 是由 Adobe 公司基于 Flash Player播放器对应的音视频flv封装格式提出的一种基于TCP的数据传输协议。本身具有稳定、兼容性强、高穿透的特点。常被应用于流媒体直播、点播等场景。常用于推流方（主播）的稳定传输需求。
2. RTC系统，是对于 RTC实时音视频通信系统的一致泛指，它最大的特点就是低延时和无卡顿。从功能流程上说，RTC系统包含了采集、编码、前后处理、传输、解码、缓冲、渲染等诸多环节，RTC 不是靠“优化”各环节去实现的实时互动，而是依靠推流端实时的传输机制。
3. RTP协议簇，是IETF提出的一个标准，对应的RFC文档为RFC3550。RFC3550不仅定义了RTP协议簇，而且定义了配套的相关协议RTCP协议。RTP协议簇用来为IP网上的语音、图像、传真等多种需要实时传输的多媒体数据提供端到端的实时传输服务。RTP协议簇为Internet上端到端的实时传输提供时间信息和流同步，但并不保证服务质量，服务质量由RTCP协议提供。
4. H.264视频格式，是国际标准化组织（ISO）和国际电信联盟（ITU）共同提出的数字视频压缩格式。H.264是ITU-T以H.26x系列为名称命名的视频编解码技术标准之一。H.264是ITU-T的视频编码专家组（VCEG）和ISO/IEC的活动图像编码专家组（MPEG）的联合视频组（JVT：joint video team）开发的一个数字视频编码标准。该标准最早来自于ITU-T的称之为H.26L的项目的开发。
5. 高级音频编码音频格式（Advanced Audio Coding，AAC音频格式），出现于1997年，基于MPEG-2的音频编码技术。由Fraunhofer IIS、杜比实验室、AT&T、索尼等公司共同开发，目的是取代MP3格式。在MPEG-4出现后，AAC音频格式重新集成了MPEG-4标准特性，并加入了SBR技术和PS技术。重新集成了MPEG-4标准特性并加入了SBR技术和PS技术的AAC音频格式为了区别于传统的MPEG-2 AAC又称为MPEG-4 AAC。
6. OPUS音频格式，OPUS音频格式是一个有损音频压缩的数字音频编码格式，由Xiph.Org基金会开发，之后由互联网工程任务组（IETF）进行标准化，目标是希望用单一格式包含声音和语音，取代Speex和Vorbis，且适用于网络上低延迟的即时声音传输，标准格式定义于RFC 6716文档。OPUS音频格式集成了两种声音编码的技术：以语音编码为导向的SILK和低延迟的CELT。OPUS音频格式可以无缝调节高低比特率。在OPUS音频格式编码器内部它在较低比特率时使用线性预测编码在高比特率时候使用变换编码（在高低比特率交界处也使用两者结合的编码方式）。
在完成对上述词语的定义和解释后，继续对本申请提出的小程序平台与在线课堂进行多媒体数据交互的方法和装置进行介绍。
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和实施例对本申请做进一步详细的说明。
实施例1
本实施例提出的小程序平台与在线课堂进行多媒体数据交互的方法的执行主体是上述的媒体网关。
参见图2所示的小程序平台与在线课堂进行多媒体数据交互的方法的流程图，本实施例提出一种小程序平台与在线课堂进行多媒体数据交互的方法，包括以下具体步骤：
步骤100、媒体网关接收所述小程序平台发送的第一多媒体数据包，所述第一多媒体数据包，包括：RTMP协议包头信息和多媒体数据；所述RTMP协议包头信息，包括：RTMP包头类型；其中，所述第一多媒体数据包为使用RTMP协议的多媒体数据包。
在上述步骤100中，参见图3所示的发送媒体流程示意图，在接收到小程序平台发送的发送（publish）指令后，媒体网关就会接收所述小程序平台发送的第一多媒体数据包，并执行如图3所示的发送媒体流程。
除了RTMP包头类型外，所述RTMP协议包头信息，还包括：多媒体类型和多媒体数据长度。
所述多媒体类型，包括：视频类型和音频类型。
步骤102、读取所述RTMP协议包头信息，并基于所述RTMP协议包头信息中的所述RTMP包头类型，确定所述RTMP协议包头信息的信息长度。
在上述步骤102中，由于不同的RTMP包头类型可以分别对应4字节、8字节或者12字节的RTMP协议包头信息的信息长度。所以，为了确定RTMP协议包头信息的信息长度，所述媒体网关中预先存储有RTMP包头类型与RTMP协议包头信息的信息长度的对应关系。从而在获取到RTMP协议包头信息中的RTMP包头类型后，就可以确定出RTMP协议包头信息的信息长度。
步骤104、基于所述RTMP协议包头信息的信息长度，将所述RTMP协议包头信息从所述第一多媒体数据包中剥离，得到所述多媒体数据，并在所述多媒体数据上添加RTP协议包头信息，得到第二多媒体数据包，将所述第二多媒体数据包发送到所述在线课堂，其中，所述第二多媒体数据包为使用RTP协议的多媒体数据包。
在上述步骤104中，为了将第一多媒体数据包转换成第二多媒体数据包，可以具体执行以下步骤（1）至步骤（9）：
（1）基于所述RTMP协议包头信息的信息长度，将所述RTMP协议包头信息从所述第一多媒体数据包中剥离，得到所述多媒体数据；
（2）获取所述RTMP协议包头信息中的多媒体类型，当确定所述多媒体类型为视频类型时，确定所述多媒体数据为视频数据；其中，所述视频数据包括：视频包头和视频裸数据；
（3）根据所述RTMP协议包头信息中携带的所述多媒体数据长度，读取所述视频数据，将所述视频数据中的视频包头剥离；
（4）获取RTP协议的版本标识、填充标识、扩展标识、多信号源计数器标识、标记位、序列号、时间戳、同步信源标识和多信号源标识，并根据所述多媒体类型，确定有效载荷类型数值；
（5）根据所述RTP协议的版本标识、填充标识、扩展标识、多信号源计数器标识、标记位、序列号、时间戳、同步信源标识、多信号源标识和有效载荷类型数值，生成RTP协议包头信息，并在视频包头剥离后的所述视频裸数据上添加RTP协议包头信息，得到第二多媒体数据包，将所述第二多媒体数据包发送到所述在线课堂；
（6）当所述RTMP协议包头信息中携带的多媒体类型为音频类型时，确定所述多媒体数据为音频数据；
（7）根据所述RTMP协议包头信息中携带的所述多媒体数据长度，读取音频数据；
（8）对所述音频数据进行解码，得到解码后的所述音频数据；
（9）按照预设的第一音频格式对解码后的所述音频数据进行编码，得到具有所述第一音频格式的音频数据，生成所述RTP协议包头信息，并在所述第一音频格式的音频数据上添加RTP协议包头信息，得到第二多媒体数据包，将所述第二多媒体数据包发送到所述在线课堂。
在上述步骤（1）中，将所述RTMP协议包头信息从所述第一多媒体数据包中剥离的具体过程是现有技术，这里不再赘述。
在上述步骤（2）中，利用RTMP协议传输的视频数据，是必须要包括视频包头的。
在一个实施方式中，所述视频裸数据是具有H.264视频格式的视频裸数据。
在上述步骤（3）中，将所述视频数据中的视频包头剥离的具体过程是现有技术，这里不再赘述。
在上述步骤（4）中，RTP协议的版本标识，占2位，在本实施例中协议版本号为2。
填充标识，占1位，在本实施例中不使用填充，填充标识取0。
扩展标识，占1位，在本实施例中不使用扩展，扩展标识取0。
多信号源计数器标识，占4位，本实施例中不涉及多信号源场景，多信号源计数器标识取0。
标记位，占1位，在本实施例中不使用标记位，标记位取0。
有效载荷类型数值，占7位，用于说明RTP报文中有效载荷的类型，在本实施例中，多媒体类型为音频类型的情况下，有效载荷类型数值取112；多媒体类型为视频类型的情况下，有效载荷类型数值取122。
序列号：占16位，用于表示发送者所发送的RTP报文的序列号，每发送一个报文，序列号增加1。在程序中记录一个计数器，每次发送一个数据包，计数器加1。
时间戳(Timestamp)：占32位，用于反映了携带RTP协议包头信息的数据包的生成时间。在本实施例中取媒体网关的当前时间戳。
同步信源(SSRC)标识：占32位，用于标识同步信源。该标识符是随机选择的，在本实施例中，在每个回话开始的时候生成作为同步信源标识的改随机数，记录在回话对象中。
多信号源(CSRC)标识：每个CSRC标识符占32位，可以有0～15个。在本实施例中，不涉及多信号源场景，CSRC标识始终为0。在上述步骤（5）中，根据所述RTP协议的版本标识、填充标识、扩展标识、多信号源计数器标识、标记位、序列号、时间戳、同步信源标识、多信号源标识和有效载荷类型数值，生成RTP协议包头信息的具体过程是现有技术，这里不再赘述。在上述步骤（6）中，如图1所示，在媒体网关的音视频处理模块中设置有音频解码器，将音频数据输入到上述音频解码器中进行解码，得到解码后的所述音频数据。
在上述步骤（7）中，在一个实施方式中，所述第一音频格式，为OPUS音频格式。
按照预设的第一音频格式对解码后的所述音频数据进行编码，得到具有所述第一音频格式的音频数据的具体过程，可以采用现有的任何能够实现的音频编码方式实现，这里不再赘述。
在上述步骤（9）中，生成所述RTP协议包头信息的具体过程，与上述步骤（4）至步骤（5）描述的生成RTP协议包头信息的具体过程类似，这里不再赘述。
可选地，参见图4所示的获取媒体流程示意图，在在线课堂进行授课的过程中，当小程序平台向媒体网关发送播放（play）指令时，所述媒体网关，还可以执行以下步骤（1）至步骤（3）：
（1）接收所述在线课堂发送的第二多媒体数据包；其中，所述第二多媒体数据包，包括：RTP协议包头信息和多媒体数据；所述RTP协议包头信息，包括：所述RTP协议包头信息的信息长度；
（2）读取所述RTP协议包头信息，得到所述RTP协议包头信息的信息长度；
（3）基于所述RTP协议包头信息的信息长度，将所述RTP协议包头信息从所述第二多媒体数据包中剥离，得到所述多媒体数据，并在所述多媒体数据中添加RTMP协议包头信息，得到第一多媒体数据包，将所述第一多媒体数据包发送到所述小程序平台。
在上述步骤（1）中，除了所述RTP协议包头信息的信息长度外，所述RTP协议包头信息，还包括：多媒体类型和多媒体数据长度。
在上述步骤（3）中，为了将接收到的第二多媒体数据包转换成第一多媒体数据包并发送到小程序平台播放，可以执行以下步骤（31）至步骤（40）：
（31）基于所述RTP协议包头信息的信息长度，将所述RTP协议包头信息从所述第二多媒体数据包中剥离，得到所述第二多媒体数据包中的多媒体数据；
（32）读取所述RTP协议包头信息中的多媒体类型，当确定所述多媒体类型为视频类型时，确定所述多媒体数据为视频裸数据；
（33）对所述视频裸数据添加视频包头，得到能够在RTMP协议下传输的视频数据；
（34）获取基本头和RTMP协议的包头类型，并根据所述RTMP协议的包头类型，确定RTMP协议包头信息的信息长度，并根据所述RTMP协议包头信息的信息长度生成消息头；
（35）基于得到的所述多媒体数据，确定有效载荷信息，并根据所述基本头、所述消息和有效载荷信息生成RTMP协议包头信息；
（36）在所述视频数据上添加RTMP协议包头信息，得到第一多媒体数据包，将所述第一多媒体数据包发送到所述小程序平台；
（37）当确定所述多媒体类型为音频类型时，确定所述多媒体数据为音频数据；
（38）对所述音频数据进行解码，得到解码后的所述音频数据；
（39）按照预设的第二音频格式对解码后的所述音频数据进行编码，得到具有所述第二音频格式的音频数据，生成RTMP协议包头信息，并在所述第二音频格式的音频数据上添加RTMP协议包头信息，得到第二多媒体数据包；
（40）将所述第二多媒体数据包发送到所述小程序平台。
在上述步骤（31）中，基于所述RTP协议包头信息的信息长度，将所述RTP协议包头信息从所述第二多媒体数据包中剥离，得到所述第二多媒体数据包中的多媒体数据的具体过程是现有技术，这里不再赘述。
在上述步骤（32）中，所述视频裸数据，携带有所述视频裸数据的属性信息。
在上述步骤（33）中，为了对所述视频裸数据添加视频包头，需要执行以下步骤（331）至步骤（334）：
（331）获取所述视频裸数据的属性信息；所述属性信息中携带有所述视频裸数据的视频编码格式和所述视频裸数据所属视频帧的视频帧类型，所述视频帧类型，包括：关键帧和非关键帧；
（332）根据所述视频裸数据的视频帧类型，得到所述视频包头的第一信息；
（333）确定与所述视频编码格式对应的所述视频包头的第二信息；
（334）将所述第一信息和所述第二信息进行拼接，得到视频包头，并对所述视频裸数据添加视频包头。
在上述步骤（332）中，媒体网关中预先存储有视频帧类型与第一信息的对应关系，从而根据所述视频裸数据的视频帧类型，就可以得到与所述视频裸数据的视频帧类型对应的第一信息。
在一个实施方式中，视频帧类型与第一信息的对应关系，可以如下表示：
关键帧-0000；非关键帧-0001。
在上述步骤（333）中，媒体网关中预先存储有视频编码格式与第二信息的对应关系，从而根据所述视频编码格式，就可以得到与所述视频编码格式对应的第二信息。
在一个实施方式中，视频编码格式与第二信息的对应关系，可以如下表示：
MPEG视频格式-0011；H.264视频格式-0111；MP4视频格式-0110。
在上述步骤（34）至步骤（35）中，基本头 (Basic Header，长度为1 到 3 个字节)：用于对块流 ID 和块类型进行编码。在本实施例中，不涉及流复用的情况，Basic Header固定为一个字节的长度。
消息头 (Message Header，长度为0，3，7，或者 11 个字节)：用于对正在发送的消息的信息进行编码。可能包括但不限于：时间戳、消息长度、消息类型、块流ID中的部分或全部信息，这一字段的长度可以使用RTMP协议的包头类型进行确定。
扩展时间戳 (Extended Timestamp，0 或 4 字节)：用于表示的是时间戳的增量，这一字段是否出现取决于Message Header中的 timestamp 字段。在本实施例中，不涉及此字段，即此字段不会出现在消息头中。
有效载荷信息(Chunk Data)：当前使用RTMP协议的数据包的有效负载数据量，在本实施例中，即为实际的音频数据大小或视频数据大小。
在上述步骤（37）中，所述第二音频格式，为AAC音频格式。
按照预设的第二音频格式对解码后的所述音频数据进行编码，得到具有所述第二音频格式的音频数据的具体过程是现有技术，这里不再赘述。
在上述步骤（39）中，生成RTMP协议包头信息的具体过程与上述步骤（34）至步骤（35）描述的生成RTMP协议包头信息的具体过程类似，这里不再赘述。
本实施例提出的媒体网关具有以下优点：
1.插件式设计，媒体网关不侵入现有系统，不影响原系统的稳定性。
2.媒体网关是面对媒体流粒度设计的，可灵活扩展。
3.在小程序平台与在线课堂之间仅仅引入了媒体网关一个新组件，结构简洁，降低实时音视频通信系统的延时。
4. 媒体网关可在边缘网络部署，一方面可以做水平扩展，无需限制系统容量，一方面可以靠近用户最后一公里网络，达到最优化的音视频通信质量。
综上所述，本实施例提出一种小程序平台与在线课堂进行多媒体数据交互的方法，媒体网关在接收到小程序平台发送的第一多媒体数据包后，得到第一多媒体数据包携带的RTMP协议包头信息的信息长度，将RTMP协议包头信息从第一多媒体数据包中剥离，得到第一多媒体数据包中的多媒体数据，并在多媒体数据上添加RTP协议包头信息，得到第二多媒体数据包，将第二多媒体数据包发送到在线课堂，与相关技术中小程序平台与在线课堂不能互相通信的方式相比，可以利用设置在小程序平台与在线课堂之间的媒体网关，对小程序平台向在线课堂发送的数据包进行协议转换，使得不支持RTP协议的小程序平台能够与支持RTP协议的在线课堂进行相互通信，进一步增加在线课堂的使用场景。
实施例2
本实施例提出的小程序平台与在线课堂进行多媒体数据交互的装置，用于执行上述实施例1提出的小程序平台与在线课堂进行多媒体数据交互的方法。
参见图5所示的一种小程序平台与在线课堂进行多媒体数据交互的装置的结构示意图，本实施例提出一种小程序平台与在线课堂进行多媒体数据交互的装置，包括：
接收模块500，用于接收所述小程序平台发送的第一多媒体数据包，所述第一多媒体数据包，包括：RTMP协议包头信息和多媒体数据；所述RTMP协议包头信息，包括：RTMP包头类型；其中，所述第一多媒体数据包为使用RTMP协议的多媒体数据包；
读取模块502，用于读取所述RTMP协议包头信息，并基于所述RTMP协议包头信息中的所述RTMP包头类型，确定所述RTMP协议包头信息的信息长度；
处理模块504，用于基于所述RTMP协议包头信息的信息长度，将所述RTMP协议包头信息从所述第一多媒体数据包中剥离，得到所述多媒体数据，并在所述多媒体数据上添加RTP协议包头信息，得到第二多媒体数据包，将所述第二多媒体数据包发送到所述在线课堂，其中，所述第二多媒体数据包为使用RTP协议的多媒体数据包。
进一步地，本实施例提出的小程序平台与在线课堂进行多媒体数据交互的装置，还包括：
接收单元，用于接收所述在线课堂发送的第二多媒体数据包；其中，所述第二多媒体数据包，包括：RTP协议包头信息和多媒体数据；所述RTP协议包头信息，包括：所述RTP协议包头信息的信息长度；
读取单元，用于读取所述RTP协议包头信息，得到所述RTP协议包头信息的信息长度；
处理单元，用于基于所述RTP协议包头信息的信息长度，将所述RTP协议包头信息从所述第二多媒体数据包中剥离，得到所述多媒体数据，并在所述多媒体数据中添加RTMP协议包头信息，得到第一多媒体数据包，将所述第一多媒体数据包发送到所述小程序平台。
所述RTMP协议包头信息，还包括：多媒体类型和多媒体数据长度；所述多媒体类型，包括：视频类型和音频类型。
具体地，所述处理模块，具体用于：
基于所述RTMP协议包头信息的信息长度，将所述RTMP协议包头信息从所述第一多媒体数据包中剥离，得到所述多媒体数据；
获取所述RTMP协议包头信息中的多媒体类型，当确定所述多媒体类型为视频类型时，确定所述多媒体数据为视频数据；其中，所述视频数据包括：视频包头和视频裸数据；
根据所述RTMP协议包头信息中携带的所述多媒体数据长度，读取所述视频数据，将所述视频数据中的视频包头剥离；
获取RTP协议的版本标识、填充标识、扩展标识、多信号源计数器标识、标记位、序列号、时间戳、同步信源标识和多信号源标识，并根据所述多媒体类型，确定有效载荷类型数值；
根据所述RTP协议的版本标识、填充标识、扩展标识、多信号源计数器标识、标记位、序列号、时间戳、同步信源标识、多信号源标识和有效载荷类型数值，生成RTP协议包头信息，并在视频包头剥离后的所述视频裸数据上添加RTP协议包头信息，得到第二多媒体数据包，将所述第二多媒体数据包发送到所述在线课堂；
当所述RTMP协议包头信息中携带的多媒体类型为音频类型时，确定所述多媒体数据为音频数据；
根据所述RTMP协议包头信息中携带的所述多媒体数据长度，读取音频数据；
对所述音频数据进行解码，得到解码后的所述音频数据；
按照预设的第一音频格式对解码后的所述音频数据进行编码，得到具有所述第一音频格式的音频数据，生成所述RTP协议包头信息，并在所述第一音频格式的音频数据上添加RTP协议包头信息，得到第二多媒体数据包，将所述第二多媒体数据包发送到所述在线课堂。
所述RTP协议包头信息，还包括：多媒体类型和多媒体数据长度；
具体地，所述处理单元，具体用于：
基于所述RTP协议包头信息的信息长度，将所述RTP协议包头信息从所述第二多媒体数据包中剥离，得到所述第二多媒体数据包中的多媒体数据；
读取所述RTP协议包头信息中的多媒体类型，当确定所述多媒体类型为视频类型时，确定所述多媒体数据为视频裸数据；
对所述视频裸数据添加视频包头，得到能够在RTMP协议下传输的视频数据；
获取基本头和RTMP协议的包头类型，并根据所述RTMP协议的包头类型，确定RTMP协议包头信息的信息长度，并根据所述RTMP协议包头信息的信息长度生成消息头；
基于得到的所述多媒体数据，确定有效载荷信息，并根据所述基本头、所述消息和有效载荷信息生成RTMP协议包头信息；
在所述视频数据上添加RTMP协议包头信息，得到第一多媒体数据包，将所述第一多媒体数据包发送到所述小程序平台；
当确定所述多媒体类型为音频类型时，确定所述多媒体数据为音频数据；
对所述音频数据进行解码，得到解码后的所述音频数据；
按照预设的第二音频格式对解码后的所述音频数据进行编码，得到具有所述第二音频格式的音频数据，生成RTMP协议包头信息，并在所述第二音频格式的音频数据上添加RTMP协议包头信息，得到第二多媒体数据包；
将所述第二多媒体数据包发送到所述小程序平台。
综上所述，本实施例提出一种小程序平台与在线课堂进行多媒体数据交互的装置，媒体网关在接收到小程序平台发送的第一多媒体数据包后，得到第一多媒体数据包携带的RTMP协议包头信息的信息长度，将RTMP协议包头信息从第一多媒体数据包中剥离，得到第一多媒体数据包中的多媒体数据，并在多媒体数据上添加RTP协议包头信息，得到第二多媒体数据包，将第二多媒体数据包发送到在线课堂，与相关技术中小程序平台与在线课堂不能互相通信的方式相比，可以利用设置在小程序平台与在线课堂之间的媒体网关，对小程序平台向在线课堂发送的数据包进行协议转换，使得不支持RTP协议的小程序平台能够与支持RTP协议的在线课堂进行相互通信，进一步增加在线课堂的使用场景。
实施例3
本实施例提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例1描述的小程序平台与在线课堂进行多媒体数据交互的方法的步骤。具体实现可参见方法实施例1，在此不再赘述。
此外，参见图6所示的一种电子设备的结构示意图，本实施例还提出一种电子设备，上述电子设备包括总线51、处理器52、收发机53、总线接口54、存储器55和用户接口56。上述电子设备包括有存储器55。
本实施例中，上述电子设备还包括：存储在存储器55上并可在处理器52上运行的一个或者一个以上的程序，经配置以由上述处理器执行上述一个或者一个以上程序用于进行以下步骤（1）至步骤（3）：
（1）接收所述小程序平台发送的第一多媒体数据包，所述第一多媒体数据包，包括：RTMP协议包头信息和多媒体数据；所述RTMP协议包头信息，包括：RTMP包头类型；其中，所述第一多媒体数据包为使用RTMP协议的多媒体数据包；
（2）读取所述RTMP协议包头信息，并基于所述RTMP协议包头信息中的所述RTMP包头类型，确定所述RTMP协议包头信息的信息长度；
（3）基于所述RTMP协议包头信息的信息长度，将所述RTMP协议包头信息从所述第一多媒体数据包中剥离，得到所述多媒体数据，并在所述多媒体数据上添加RTP协议包头信息，得到第二多媒体数据包，将所述第二多媒体数据包发送到所述在线课堂，其中，所述第二多媒体数据包为使用RTP协议的多媒体数据包。
收发机53，用于在处理器52的控制下接收和发送数据。
其中，总线架构（用总线51来代表），总线51可以包括任意数量的互联的总线和桥，总线51将包括由处理器52代表的一个或多个处理器和存储器55代表的存储器的各种电路链接在一起。总线51还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本实施例不再对其进行进一步描述。总线接口54在总线51和收发机53之间提供接口。收发机53可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。例如：收发机53从其他设备接收外部数据。收发机53用于将处理器52处理后的数据发送给其他设备。取决于计算系统的性质，还可以提供用户接口56，例如小键盘、显示器、扬声器、麦克风、操纵杆。
处理器52负责管理总线51和通常的处理，如前述上述运行通用操作系统551。而存储器55可以被用于存储处理器52在执行操作时所使用的数据。
可选的，处理器52可以是但不限于：中央处理器、单片机、微处理器或者可编程逻辑器件。
可以理解，本申请实施例中的存储器55可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器 (Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器 (Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本实施例描述的系统和方法的存储器55旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器55存储了如下的元素，可执行模块或者数据结构，或者它们的子集，或者它们的扩展集：操作系统551和应用程序552。
其中，操作系统551，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序552，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本申请实施例方法的程序可以包含在应用程序552中。
综上所述，本实施例提出一种计算机可读存储介质和电子设备，媒体网关在接收到小程序平台发送的第一多媒体数据包后，得到第一多媒体数据包携带的RTMP协议包头信息的信息长度，将RTMP协议包头信息从第一多媒体数据包中剥离，得到第一多媒体数据包中的多媒体数据，并在多媒体数据上添加RTP协议包头信息，得到第二多媒体数据包，将第二多媒体数据包发送到在线课堂，与相关技术中小程序平台与在线课堂不能互相通信的方式相比，可以利用设置在小程序平台与在线课堂之间的媒体网关，对小程序平台向在线课堂发送的数据包进行协议转换，使得不支持RTP协议的小程序平台能够与支持RTP协议的在线课堂进行相互通信，进一步增加在线课堂的使用场景。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种小程序平台与在线课堂进行多媒体数据交互的方法，其特征在于，包括：
媒体网关接收所述小程序平台发送的第一多媒体数据包，所述第一多媒体数据包，包括：RTMP协议包头信息和多媒体数据；所述RTMP协议包头信息，包括：RTMP包头类型、多媒体类型和多媒体数据长度；所述多媒体类型，包括：视频类型和音频类型；其中，所述第一多媒体数据包为使用RTMP协议的多媒体数据包；
读取所述RTMP协议包头信息，并基于所述RTMP协议包头信息中的所述RTMP包头类型，确定所述RTMP协议包头信息的信息长度；
基于所述RTMP包头信息的信息长度，将所述RTMP包头信息从所述第一多媒体数据包中剥离，得到所述多媒体数据；
获取所述RTMP协议包头信息中的多媒体类型，当确定所述多媒体类型为视频类型时，确定所述多媒体数据为视频数据；其中，所述视频数据包括：视频包头和视频裸数据；
根据所述RTMP协议包头信息中携带的所述多媒体数据长度，读取所述视频数据，将所述视频数据中的视频包头剥离；
获取RTP协议的版本标识、填充标识、扩展标识、多信号源计数器标识、标记位、序列号、时间戳、同步信源标识和多信号源标识，并根据所述多媒体类型，确定有效载荷类型数值；
根据所述RTP协议的版本标识、填充标识、扩展标识、多信号源计数器标识、标记位、序列号、时间戳、同步信源标识、多信号源标识和有效载荷类型数值，生成RTP协议包头信息，并在视频包头剥离后的所述视频裸数据上添加RTP协议包头信息，得到第二多媒体数据包，将所述第二多媒体数据包发送到所述在线课堂；
当所述RTMP协议包头信息中携带的多媒体类型为音频类型时，确定所述多媒体数据为音频数据；
根据所述RTMP协议包头信息中携带的所述多媒体数据长度，读取音频数据；
对所述音频数据进行解码，得到解码后的所述音频数据；
按照预设的第一音频格式对解码后的所述音频数据进行编码，得到具有所述第一音频格式的音频数据，生成所述RTP协议包头信息，并在所述第一音频格式的音频数据上添加RTP协议包头信息，得到第二多媒体数据包，将所述第二多媒体数据包发送到所述在线课堂，其中，所述第二多媒体数据包为使用RTP协议的多媒体数据包。
2.根据权利要求1所述的方法，其特征在于，还包括：
接收所述在线课堂发送的第二多媒体数据包；其中，所述第二多媒体数据包，包括：RTP协议包头信息和多媒体数据；所述RTP协议包头信息，包括：所述RTP协议包头信息的信息长度；
读取所述RTP协议包头信息，得到所述RTP包头信息的信息长度；
基于所述RTP包头信息的信息长度，将所述RTP包头信息从所述第二多媒体数据包中剥离，得到所述多媒体数据，并在所述多媒体数据中添加RTMP协议包头信息，得到第一多媒体数据包，将所述第一多媒体数据包发送到所述小程序平台。
3.根据权利要求2所述的方法，其特征在于，所述RTP协议包头信息，还包括：多媒体类型和多媒体数据长度；
所述基于所述RTP包头信息的信息长度，将所述RTP包头信息从所述第二多媒体数据包中剥离，得到所述多媒体数据，并在所述多媒体数据中添加RTMP协议包头信息，得到第一多媒体数据包，将所述第一多媒体数据包发送到所述小程序平台，包括：
基于所述RTP包头信息的信息长度，将所述RTP包头信息从所述第二多媒体数据包中剥离，得到所述第二多媒体数据包中的多媒体数据；
读取所述RTP协议包头信息中的多媒体类型，当确定所述多媒体类型为视频类型时，确定所述多媒体数据为视频裸数据；
对所述视频裸数据添加视频包头，得到能够在RTMP协议下传输的视频数据；
获取基本头和RTMP协议的包头类型，并根据所述RTMP协议的包头类型，确定RTMP协议包头信息的信息长度，并根据所述RTMP协议包头信息的信息长度生成消息头；
基于得到的所述多媒体数据，确定有效载荷信息，并根据所述基本头、所述消息和有效载荷信息生成RTMP协议包头信息；
在所述视频数据上添加RTMP协议包头信息，得到第一多媒体数据包，将所述第一多媒体数据包发送到所述小程序平台；
当确定所述多媒体类型为音频类型时，确定所述多媒体数据为音频数据；
对所述音频数据进行解码，得到解码后的所述音频数据；
按照预设的第二音频格式对解码后的所述音频数据进行编码，得到具有所述第二音频格式的音频数据，生成RTMP协议包头信息，并在所述第二音频格式的音频数据上添加RTMP协议包头信息，得到第二多媒体数据包；
将所述第二多媒体数据包发送到所述小程序平台。
4.一种小程序平台与在线课堂进行多媒体数据交互的装置，其特征在于，包括：
接收模块，用于接收所述小程序平台发送的第一多媒体数据包，所述第一多媒体数据包，包括：RTMP协议包头信息和多媒体数据；所述RTMP协议包头信息，包括：RTMP包头类型、多媒体类型和多媒体数据长度；所述多媒体类型，包括：视频类型和音频类型；其中，所述第一多媒体数据包为使用RTMP协议的多媒体数据包；
读取模块，用于读取所述RTMP协议包头信息，并基于所述RTMP协议包头信息中的所述RTMP包头类型，确定所述RTMP协议包头信息的信息长度；
处理模块，用于
基于所述RTMP包头信息的信息长度，将所述RTMP包头信息从所述第一多媒体数据包中剥离，得到所述多媒体数据；
获取所述RTMP协议包头信息中的多媒体类型，当确定所述多媒体类型为视频类型时，确定所述多媒体数据为视频数据；其中，所述视频数据包括：视频包头和视频裸数据；
根据所述RTMP协议包头信息中携带的所述多媒体数据长度，读取所述视频数据，将所述视频数据中的视频包头剥离；
获取RTP协议的版本标识、填充标识、扩展标识、多信号源计数器标识、标记位、序列号、时间戳、同步信源标识和多信号源标识，并根据所述多媒体类型，确定有效载荷类型数值；
根据所述RTP协议的版本标识、填充标识、扩展标识、多信号源计数器标识、标记位、序列号、时间戳、同步信源标识、多信号源标识和有效载荷类型数值，生成RTP协议包头信息，并在视频包头剥离后的所述视频裸数据上添加RTP协议包头信息，得到第二多媒体数据包，将所述第二多媒体数据包发送到所述在线课堂；
当所述RTMP协议包头信息中携带的多媒体类型为音频类型时，确定所述多媒体数据为音频数据；
根据所述RTMP协议包头信息中携带的所述多媒体数据长度，读取音频数据；
对所述音频数据进行解码，得到解码后的所述音频数据；
按照预设的第一音频格式对解码后的所述音频数据进行编码，得到具有所述第一音频格式的音频数据，生成所述RTP协议包头信息，并在所述第一音频格式的音频数据上添加RTP协议包头信息，得到第二多媒体数据包，将所述第二多媒体数据包发送到所述在线课堂，其中，所述第二多媒体数据包为使用RTP协议的多媒体数据包。
5.根据权利要求4所述的装置，其特征在于，还包括：
接收单元，用于接收所述在线课堂发送的第二多媒体数据包；其中，所述第二多媒体数据包，包括：RTP协议包头信息和多媒体数据；所述RTP协议包头信息，包括：所述RTP协议包头信息的信息长度；
读取单元，用于读取所述RTP协议包头信息，得到所述RTP包头信息的信息长度；
处理单元，用于基于所述RTP包头信息的信息长度，将所述RTP包头信息从所述第二多媒体数据包中剥离，得到所述多媒体数据，并在所述多媒体数据中添加RTMP协议包头信息，得到第一多媒体数据包，将所述第一多媒体数据包发送到所述小程序平台。
6.根据权利要求5所述的装置，其特征在于，所述RTP协议包头信息，还包括：多媒体类型和多媒体数据长度；
所述处理单元，具体用于：
基于所述RTP包头信息的信息长度，将所述RTP包头信息从所述第二多媒体数据包中剥离，得到所述第二多媒体数据包中的多媒体数据；
读取所述RTP协议包头信息中的多媒体类型，当确定所述多媒体类型为视频类型时，确定所述多媒体数据为视频裸数据；
对所述视频裸数据添加视频包头，得到能够在RTMP协议下传输的视频数据；
获取基本头和RTMP协议的包头类型，并根据所述RTMP协议的包头类型，确定RTMP协议包头信息的信息长度，并根据所述RTMP协议包头信息的信息长度生成消息头；
基于得到的所述多媒体数据，确定有效载荷信息，并根据所述基本头、所述消息和有效载荷信息生成RTMP协议包头信息；
在所述视频数据上添加RTMP协议包头信息，得到第一多媒体数据包，将所述第一多媒体数据包发送到所述小程序平台；
当确定所述多媒体类型为音频类型时，确定所述多媒体数据为音频数据；
对所述音频数据进行解码，得到解码后的所述音频数据；
按照预设的第二音频格式对解码后的所述音频数据进行编码，得到具有所述第二音频格式的音频数据，生成RTMP协议包头信息，并在所述第二音频格式的音频数据上添加RTMP协议包头信息，得到第二多媒体数据包；
将所述第二多媒体数据包发送到所述小程序平台。
7.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1-3任一项所述的方法的步骤。
8.一种电子设备，其特征在于，所述电子设备包括有存储器，处理器以及一个或者一个以上的程序，其中所述一个或者一个以上程序存储于所述存储器中，且经配置以由所述处理器执行权利要求1-3任一项所述的方法的步骤。
CN202211394936.8A 2022-11-09 2022-11-09 小程序平台与在线课堂进行多媒体数据交互的方法和装置 Active CN115514739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211394936.8A CN115514739B (zh) 2022-11-09 2022-11-09 小程序平台与在线课堂进行多媒体数据交互的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211394936.8A CN115514739B (zh) 2022-11-09 2022-11-09 小程序平台与在线课堂进行多媒体数据交互的方法和装置

Publications (2)

Publication Number Publication Date
CN115514739A CN115514739A (zh) 2022-12-23
CN115514739B true CN115514739B (zh) 2023-04-28

Family

ID=84513799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211394936.8A Active CN115514739B (zh) 2022-11-09 2022-11-09 小程序平台与在线课堂进行多媒体数据交互的方法和装置

Country Status (1)

Country Link
CN (1) CN115514739B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258912A (zh) * 2020-10-10 2021-01-22 深圳市捷视飞通科技股份有限公司 网络互动教学方法、装置、计算机设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8923325B2 (en) * 2009-10-06 2014-12-30 Adobe Systems Incorporated Client-server architecture for audio-video communications
US9584632B2 (en) * 2013-08-28 2017-02-28 Wipro Limited Systems and methods for multi-protocol translation
CN106790204A (zh) * 2017-01-03 2017-05-31 北京奇虎科技有限公司 一种流数据的封装协议的转换方法和装置
CN112822435A (zh) * 2019-11-15 2021-05-18 中兴通讯股份有限公司 一种用户可轻松接入的安防方法、装置及系统
CN112533006B (zh) * 2020-11-05 2023-02-28 深圳市咪码科技有限公司 直播平台与voip终端的通信方法及装置
CN114710473A (zh) * 2022-03-15 2022-07-05 上海井星信息科技有限公司 一种实现小程序与sip联络中心音视频交互的方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258912A (zh) * 2020-10-10 2021-01-22 深圳市捷视飞通科技股份有限公司 网络互动教学方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN115514739A (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
CN110099288B (zh) 发送媒体数据的方法及装置
TWI401918B (zh) 傳送指示接收器緩衝架構之緩衝參數信號的通訊方法
EP3095247B1 (en) Robust live operation of dash
CN112106382B (zh) 检索媒体数据的方法、设备、存储介质
US9369508B2 (en) Method for transmitting a scalable HTTP stream for natural reproduction upon the occurrence of expression-switching during HTTP streaming
JP2005176352A (ja) 移動通信端末機の動画像ストリーミングサービスのための無線動画像ストリーミングファイル、サービス方法及びシステム
CN110708597B (zh) 直播延迟监控方法、装置、电子设备及可读存储介质
JP2006319992A (ja) マルチメディアストリーミングサービスのためのパケット転送装置及びその方法
CN101115011A (zh) 一种流媒体回放方法、装置及系统
KR20110069855A (ko) 다중­소스 멀티미디어 프레젠테이션들을 저장하기 위한 방법 및 시스템
CN112565224B (zh) 一种视频处理方法及装置
CN109640162A (zh) 码流转换方法及系统
JP3836077B2 (ja) 伝送データ構造及びそれを伝送するための方法並びに装置
CN108429921B (zh) 一种视频编解码方法及装置
CN102316360B (zh) 视频刷新方法、装置及系统
CN1939060B (zh) 一种用于促进视频信息的流式传输的方法和设备
CN115514739B (zh) 小程序平台与在线课堂进行多媒体数据交互的方法和装置
JP4791443B2 (ja) 客観品質評価方法、客観品質評価装置およびプログラム
US11831430B2 (en) Methods and apparatuses for encoding and decoding signal frame
CN101296166B (zh) 基于索引的多媒体数据的测量方法
CN113873176B (zh) 一种媒体文件合并方法及装置
CN111385081B (zh) 一种端到端的通信方法、装置、电子设备及介质
CN111836071A (zh) 一种基于云会议的多媒体处理方法、装置及存储介质
CN114079535B (zh) 转码方法、装置、介质和电子设备
CN117939016A (zh) 音视频文件的编码方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant