CN113347468B - 一种基于以太网帧的音视频传输方法、装置及存储介质 - Google Patents

一种基于以太网帧的音视频传输方法、装置及存储介质 Download PDF

Info

Publication number
CN113347468B
CN113347468B CN202110429794.3A CN202110429794A CN113347468B CN 113347468 B CN113347468 B CN 113347468B CN 202110429794 A CN202110429794 A CN 202110429794A CN 113347468 B CN113347468 B CN 113347468B
Authority
CN
China
Prior art keywords
audio
data
video
ethernet
ethernet frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110429794.3A
Other languages
English (en)
Other versions
CN113347468A (zh
Inventor
申中华
曾文武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Le Mei Ke Shi Yun Technology Co ltd
Original Assignee
Shenzhen Le Mei Ke Shi Yun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Le Mei Ke Shi Yun Technology Co ltd filed Critical Shenzhen Le Mei Ke Shi Yun Technology Co ltd
Priority to CN202110429794.3A priority Critical patent/CN113347468B/zh
Publication of CN113347468A publication Critical patent/CN113347468A/zh
Application granted granted Critical
Publication of CN113347468B publication Critical patent/CN113347468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6156Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6175Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Small-Scale Networks (AREA)

Abstract

本发明公开了一种基于以太网帧的音视频传输方法、装置及存储介质,通过将音视频数据中的音频数据和视频数据分开发送,无需在以太网帧中一直保留用于传输音频数据的数据位,因此可以减少以太网帧中数据位浪费的情况,进而减少带宽浪费的情况,提高了传输效率。解决了现有技术中为了保留音视频的画质或者音质会将音视频数据通过网络直接发送,当音视频数据中的音频数据发送完毕以后,以太网帧中仍然保留有用于传输音频数据的数据位,导致传输音视频数据所占用的服务器及网络带宽资源较多,且传输效率不高的问题。

Description

一种基于以太网帧的音视频传输方法、装置及存储介质
技术领域
本发明涉及数据传输领域,尤其涉及的是一种基于以太网帧的音视频传输方法、装置及存储介质。
背景技术
随着数字媒体的不断发展,音视频的传输愈加频繁,对传输的质量、时间的要求也愈加严格。相比较于专用介质的传输,使用以太网进行传输的音视频系统可以有更远的传输距离,更低的布线成本,更灵活的传输方案。然而目前存在的以太网音视频传输方法为了保留音视频的画质或者音质会将音视频数据通过网络直接发送,当音视频数据中的音频数据发送完毕以后,以太网帧中仍然保留有用于传输音频数据的数据位,导致传输音视频数据所占用的服务器及网络带宽资源较多,且音视频数据的传输效率不高。
因此,现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种基于以太网帧的音视频传输方法、装置及存储介质,旨在解决现有技术中为了保留音视频的画质或者音质,将音视频数据通过网络直接发送,导致传输音视频数据所占用的服务器及网络带宽资源较多,且音视频数据的传输效率不高的问题。
本发明解决问题所采用的技术方案如下:
第一方面,本发明实施例提供一种基于以太网帧的音视频传输方法,其中,所述方法包括:
获取待发送音视频帧数据,将所述待发送音视频帧数据拆分为音频数据和视频数据;
根据所述音频数据生成音频以太网帧,将所述音频以太网帧发送给音视频接收端;
根据所述视频数据生成视频以太网帧,将所述视频以太网帧发送给所述音视频接收端。
在一种实施方式中,所述将所述待发送音视频帧数据拆分为音频数据和视频数据,包括:
获取待发送音视频帧数据,并将所述待发送音视频帧数据拆分为初始音频数据和初始视频数据;
获取目标音频数据格式,根据所述目标音频数据格式对所述初始音频数据进行编码,得到以太网传输的音频数据;
获取目标视频数据格式,根据所述目标视频数据格式对所述初始视频数据进行编码,得到以太网传输的视频数据。
在一种实施方式中,所述音频以太网帧包括:同步以太网帧以及全音频以太网帧;所述根据所述音频数据生成音频以太网帧,将所述音频以太网帧发送给音视频接收端,包括:
将所述音频数据分为第一音频数据和第二音频数据;
根据所述第一音频数据生成同步以太网帧,将所述同步以太网帧通过以太网物理层发送至所述音视频接收端;
根据所述第二音频数据生成全音频以太网帧,将所述全音频以太网帧通过以太网物理层发送至所述音视频接收端。
在一种实施方式中,所述根据所述第一音频数据生成同步以太网帧,包括:
获取所述待发送音视频帧数据对应的显示画面参数;
根据所述显示画面参数和所述第一音频数据生成同步以太网帧。
在一种实施方式中,所述获取所述待发送音视频帧数据对应的显示画面参数,包括:
获取所述待发送音视频帧数据对应的水平像素点数量和垂直像素点数量;
将所述水平像素点数量和所述垂直像素点数量作为所述显示画面参数。
在一种实施方式中,所述根据所述显示画面参数和所述第一音频数据生成同步以太网帧,包括:
将所述显示画面参数作为命令数据,并在以太网数据链路层,将所述命令数据封装至空白以太网帧中的命令信道,得到初始同步以太网帧;
将所述第一音频数据封装至所述初始同步以太网帧中的数据信道,得到同步以太网帧。
在一种实施方式中,所述根据所述第二音频数据生成全音频以太网帧,包括:
在所述以太网数据链路层,将所述第二音频数据封装至所述空白以太网帧中的数据信道,得到全音频以太网帧。
在一种实施方式中,所述根据所述视频数据生成视频以太网帧,将所述视频以太网帧发送给所述音视频接收端,包括:
在所述以太网数据链路层,将所述视频数据封装至所述空白以太网帧中的数据信道,得到视频以太网帧;
将所述视频以太网帧通过以太网物理层发送至所述音视频接收端。
第二方面,本发明实施例还提供一种基于以太网帧的音视频传输装置,所述装置包括:
数据获取模块,用于获取待发送音视频帧数据,将所述待发送音视频帧数据拆分为音频数据和视频数据;
音频传输模块,用于根据所述音频数据生成音频以太网帧,将所述音频以太网帧发送给音视频接收端;
视频传输模块,用于根据所述视频数据生成视频以太网帧,将所述视频以太网帧发送给所述音视频接收端。
第三方面,本发明实施例还提供一种计算机可读存储介质,其上存储有多条指令,所述指令适用于由处理器加载并执行,以实现上述任一所述的基于以太网帧的音视频传输方法的步骤。
本发明的有益效果:本发明实施例通过将音视频数据中的音频数据和视频数据分开发送,无需在以太网帧中一直保留用于传输音频数据的数据位,因此可以减少以太网帧中数据位浪费的情况,进而减少带宽浪费的情况,提高了传输效率。解决了现有技术中为了保留音视频的画质或者音质会将音视频数据通过网络直接发送,当音视频数据中的音频数据发送完毕以后,以太网帧中仍然保留有用于传输音频数据的数据位,导致传输音视频数据所占用的服务器及网络带宽资源较多,且传输效率不高的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于以太网帧的音视频传输方法的流程示意图。
图2是本发明实施例提供的以太网帧的基本框架示意图。
图3是本发明实施例提供的基于以太网帧的音视频传输装置的内部模块连接图。
图4是本发明实施例提供的终端的原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
需要说明,若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……),则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
随着数字媒体的不断发展,音视频的传输愈加频繁,对传输的质量、时间的要求也愈加严格。相比较于专用介质的传输,使用以太网进行传输的音视频系统可以有更远的传输距离,更低的布线成本,更灵活的传输方案。目前存在的以太网音视频传输方法为了保留音视频的画质或者音质会将音视频数据通过网络直接发送,当音视频数据中的音频数据发送完毕以后,以太网帧中仍然保留有用于传输音频数据的数据位,导致传输音视频数据所占用的服务器及网络带宽资源较多,且音视频数据的传输效率不高。
发明人发现在一帧音视频数据中,音频数据的数据量一般远远小于视频数据的数据量,而目前存在的以太网音视频传输方法是将同一帧图像的音频数据和视频数据同时传输,即在每个以太网帧中预留固定位置分别用于传输音频数据和视频数据,然而音频数据一般经过若干个以太网帧就发送完毕了,当音频数据发送完毕以后,若以太网帧中还保存有用于传输音频数据的位置,就容易造成带宽浪费,进而导致传输效率降低。因此,本发明中将音视频数据中的音频数据和视频数据分开发送,无需在以太网帧中一直保留用于传输音频数据的数据位,可以减少以太网帧中数据位浪费的情况,进而减少带宽浪费的情况,提高了传输效率。
示例性方法
如图1所示,所述方法包括如下:
步骤S100、将所述待发送音视频帧数据拆分为音频数据和视频数据。
具体地,本发明主要应用于音视频发送端,音视频发送端在获取到音视频源提供的一帧音视频图像以后,这一帧音视频图像即为待发送音视频帧数据。为了实现将该待发送音视频帧数据中的音频数据与视频数据分开传输,该待发送音视频帧数据需要被拆分为音频数据和视频数据。在一种实现方式中,本实施例中的音视频发送端所处系统默认为带Windows系统和网卡的硬件设备,而音视频接收端所处系统默认为带网卡的显示设备,音视频发送端和音视频接收端通过网线连接。
在一种实现方式中,所述步骤S100具体包括如下步骤:
步骤S101、获取待发送音视频帧数据,并将所述待发送音视频帧数据拆分为初始音频数据和初始视频数据;
步骤S102、获取目标音频数据格式,根据所述目标音频数据格式对所述初始音频数据进行编码,得到以太网传输的音频数据;
步骤S103、获取目标视频数据格式,根据所述目标视频数据格式对所述初始视频数据进行编码,得到以太网传输的视频数据。
具体地,音视频发送端在获取到待发送音视频帧数据以后,会首先将其中的音频数据和视频数据进行分离,从而得到初始音频数据和初始视频数据。然后本实施例会根据场景需求或者网络带宽性能,将该初始音频数据和该初始视频数据分别转换为各自合适的数据格式,从而得到最终可以通过以太网传输的音频数据和视频数据。举例说明,初始视频数据可以转换为RGB888格式,而音频数据可以转换为MP3格式。
如图1所示,所述方法还包括如下步骤:
步骤S200、根据所述音频数据生成音频以太网帧,将所述音频以太网帧发送给音视频接收端。
简单来说,音视频发送端生成以太网传输的音频数据和视频数据以后,鉴于音频数据的数据量通常小于视频数据的数据量,因此先发送音频数据至音视频接收端。具体地,首先音视频发送端需要将音频数据封装在一帧新的以太网帧中,封装完毕后即得到音频以太网帧,该音频以太网帧即用于传输该音频数据至音视频接收端。在一种实现方式中,本实施例采用的以太网帧的实际大小可以根据用户需求进行调整,例如可以将以太网帧的大小默认为1562Byte或者1500Byte。
在一种实现方式中,所述步骤S200具体包括如下步骤:
步骤S201、将所述音频数据分为第一音频数据和第二音频数据;
步骤S202、根据所述第一音频数据生成同步以太网帧,将所述同步以太网帧通过以太网物理层发送至所述音视频接收端;
步骤S203、根据所述第二音频数据生成全音频以太网帧,将所述全音频以太网帧通过以太网物理层发送至所述音视频接收端。
在实际应用中,音视频数据的播放时,视频显示实际上是一帧一帧画面切换产生的,因此在音视频传输过程,也是先通过若干帧以太网帧发送完一帧音视频图像以后,再通过若干帧以太网帧发送另一帧音视频图像至音视频接收端,并且为了提高网络带宽的利用率,每帧以太网帧之间基本无特定的停留时间间隔。因此如果在连续的以太网帧内,没有特殊的标记,音视频接收端无法分辨出两个连续的以太网帧是否对应同一帧音视频图像,从而会导致接收端显示画面错乱。为了使接收端正确的从连续的以太网帧中分辨出每一帧音视频图像,本实施例设置了音视频发送端在发送新的一帧音视频图像之前,会先发送一个同步以太网帧,以通知音视频接收端新的一帧音视频图像的到来。具体地,由于一帧以太网帧通常难以发送完毕全部音频数据,因此本实施例将完整音频数据中的一部分音频数据,即第一音频数据封装在同步以太网帧内,先发送至音视频接收端。再将剩余的音频数据,即第二音频数据封装在后续的以太网帧内,再发送至音视频接收端。
为了生成同步以太网帧,在一种实现方式中,本实施例需要获取待发送音视频帧数据对应的显示画面参数。其中,所述显示画面参数包括:待发送音视频帧数据对应的水平像素点数量和垂直像素点数量。简言之,本实施例在每发送一帧新的音视频图像时,都会先发送一个同步以太网帧,通知音视频接收端新的一帧音视频图像到来了,并在该同步以太网帧内封装该帧音视频图像对应的显示画面参数,即水平像素点数量和垂直像素点数量,使得音视频接收端可以根据该显示画面参数获知新的一帧音视频图像对应的画面的长宽数据。此外,每一帧待发送音视频帧数据传输所需要的以太网帧数量,可以根据该待发送音视频帧数据的总像素点,即水平像素点数量与垂直像素点数量之积、目标音频数据格式和目标视频数据格式、以太网帧的大小来计算。
获取到待发送音视频帧数据对应的显示画面参数以后,根据该显示画面参数和第一音频数据就可以组合生成同步以太网帧。具体地,如图2所示,本实施例中的以太网帧的基本框架包括有一个命令信道,用于存储一些特定的指令、标识或者用户自定义的一些指令。另外还有一个数据信道,用于存储传输的数据,例如音频数据或者视频数据。本实施例将获取到的显示画面参数作为命令数据,并将该命令数据封装至空白以太网帧中的命令信道,得到初始同步以太网帧。然后将所述第一音频数据封装至所述初始同步以太网帧中的数据信道,封装完毕即得到同步以太网帧。然后将该同步以太网帧发送至音视频接收端,告知其新的一帧音视频图像到来了。这样音视频发送端保证音视频接收端能同步每一帧音视频图像的显示,即使在网络异常的情况下,音视频接收端也能根据识别到的同步以太网帧,快速调整显示画面,确保音视频接收端的显示的数据和音视频发送端发送的数据之间不会出现较大差异。
在一种实现方式中,本实施例可以通过预设字节定义空白以太网帧中命令信道和数据信道的位置。举例说明,当空白以太网帧的大小定义为1562Byte时,则该空白以太网帧的前26字节可以定义为命令信道,剩余的1536字节定义为数据信道。
在一种实现方式中,还可以通过特定的字节对同步以太网帧进行标识,使得音视频接收端根据该特定的字节即可判断出当前接收的以太网帧是否是同步以太网帧。举例说明,可以预先设定0x55,0x56两个Byte用于标识同步以太网帧。
在一种实现方式中,还可以通过特定的字节对同步以太网帧中的内容进行定义,例如在同步以太网帧的开头第10位和第11位,表示待发送音视频帧数据的一行像素点数量,此帧的第12位和第13位表示当前图像像素点的总行数。
在一种实现方式中,当音视频接收端接收到同步以太网帧以后,会清空当前显示的画面,并记录下该同步以太网帧中封装的显示画面参数以及第一音频数据。
当音视频发送端发送完同步以太网帧以后,由于该同步以太网帧中仅包含一部分音频数据,因此还需要将剩余的音频数据,即第二音频数据发送出去。因此还需要根据第二音频数据生成全音频以太网帧。具体地,将第二音频数据封装至新的一个空白以太网帧中的数据信道,即可得到全音频以太网帧,然后将该全音频以太网帧发送至音视频接收端。可以理解的是,由于本实施例是将音频数据与视频数据分开发送以达到节约以太网帧数据位的目的,因此该全音频以太网帧中仅封装有音频数据,当该音频以太网帧中封装完毕第二音频数据以后,还有剩余的数据位时,可以采用预设的符号进行填充,例如可以采用数字0进行填充。
在实际应用中,通过以太网帧传输音视频数据,都需要根据OSI七层网络模型(应用层、表示层、会话层、传输层、网络层、数据链路层和物理层)将需要传输的音视频数据一层层加工为以太网帧,再传输出去。按照标准OST七层模型传输数据的方式,虽然可以兼容市面上的绝大部分的软硬件设备,但是由于一层层加工后得到的以太网帧内有很多与应用需求无关的数据,因此大大降低了以太网帧的利用率。因此,在一种实现方式中,本实施例直接在数据链路层进行数据的封装。即,本实施例在以太网数据链路层,将显示画面参数封装至空白以太网帧中的命令信道,并将第一音频数据封装至该空白以太网帧中的数据信道,得到同步以太网帧。并且,在以太网数据链路层,将第二音频数据封装至新的空白以太网帧中的数据信道,得到全音频以太网帧。然后直接通过以太网物理层先将同步以太网帧发送出去,再将全音频以太网帧发送出去。简言之,本实施例直接将需要传输的数据在以太网数据链路层打包成以太网帧,再通以太网物理层直接发送至音视频接收端,从而避免了系统网络驱动按照OSI七层网络协议的其他几层协议,对数据包进行额外的操作,减少了以太网帧内的通用协议数据,进而达到有效节约传输时消耗的带宽的目的。
在一种实现方式中,当音视频接收端接收到全音频以太网帧以后,会记录下全音频以太网帧中封装的第二音频数据,并将该第二音频数据与先前记录的第一音频数据相结合得到完整的音频数据,然后再转换为原始音频数据并播放。
如图1所示,所述方法还包括如下步骤:
步骤S300、根据所述视频数据生成视频以太网帧,将所述视频以太网帧发送给所述音视频接收端。
为了将完整的一帧音视频帧数据传输至音视频接收端,使音视频接收端可以显示完整的一帧画面,本实施例在传输完待发送音视频帧数据中的音频数据以后,还需要将对应的视频数据也传输给音视频接收端。因此还需要生成用于传输视频数据的视频以太网帧,可以理解的是,由于视频数据的数据量较大,因此通常需要若干帧视频以太网帧才能将待发送音视频帧数据中的视频数据全部传输至音视频接收端。
在一种实现方式中,还可以通过特定的字节对除同步以太网帧之外的其他以太网帧进行标识,使得音视频接收端根据该特定的字节即可判断出当前接收的以太网帧是否是全音频以太网帧或者视频以太网帧。举例说明,可以预先设定0x55,0x55两个Byte用于标识当前发送的以太网帧是全音频以太网帧或者视频以太网帧。
在一种实现方式中,所述步骤S300具体包括如下步骤:
步骤S301、在所述以太网数据链路层,将所述视频数据封装至所述空白以太网帧中的数据信道,得到视频以太网帧;
步骤S302、将所述视频以太网帧通过以太网物理层发送至所述音视频接收端。
具体地,为了生成视频以太网帧,并减少该视频以太网帧内的通用协议数据,本实施例直接在以太网数据链路层,将视频数据封装至空白以太网帧中的数据信道,得到视频以太网帧,然后再通过以太网物理层将该视频以太网帧发送出去。可以理解的是,视频以太网帧中的数据信道仅用于封装视频数据,不再保留用于传输音频数据的数据位,因此可以有效减少数据位浪费的情况。
在一种实现方式中,由于音视频发送端需要通过若干帧视频以太网帧才能将完整的视频数据传输至音视频接收端,当音视频接收端接收到一帧视频以太网帧以后,会将该视频以太网帧中封装的视频数据记录下来,并转换为原始视频数据,然后根据原始视频数据进行显示,并重复上述步骤直至音视频接收端接收并处理完最后一帧视频以太网帧。
总的来说,本发明相对于按照规范的网络数据传输方式,每个以太网帧利用率更高。换言之,针对同一以太网帧,本发明的传输方式相较于传统传输方式能传输更多的数据。本发明不局限于常规的以太网帧最大包限制,可以根据实际情况自定义以太网帧的大小、帧内的数据组成,使用更加灵活,适用场景更加广泛。
需要强调的是,本发明的音视频通过以太网帧的传输方式,不仅仅可以采用以上定好的以太网帧大小和以太网帧内的数据结构。如果实际使用中,不需要命令信道,还可以去除以太网帧中的命令信道,将整个以太网帧都填充音视频数据,从而提高了音视频数据的传输效率。如果只需要传输音频或视频,也可以在同步以太网帧之后直接填充音频数据或视频数据,音视频接收端在接收到数据后,不需要再区分音频数据或视频数据。
此外,本发明的音视频传输方式,不仅仅可用于传输音视频,还可用于传输其他类型的数据,例如大容量的文件数据等。只需要根据实际需求,自定好协议,参考以上传输框架,将以太网帧在数据链路层传输即可。
示例性方法
基于上述实施例,本发明还提供了一种基于以太网帧的音视频传输装置,如图3所示,该装置包括:
数据获取模块01,用于获取待发送音视频帧数据,将所述待发送音视频帧数据拆分为音频数据和视频数据;
音频传输模块02,用于根据所述音频数据生成音频以太网帧,将所述音频以太网帧发送给音视频接收端;
视频传输模块03,用于根据所述视频数据生成视频以太网帧,将所述视频以太网帧发送给所述音视频接收端。
基于上述实施例,本发明还提供了一种终端设备,其原理框图可以如图4所示。该终端设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏。其中,该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现基于以太网帧的音视频传输方法。该终端设备的显示屏可以是液晶显示屏或者电子墨水显示屏。
本领域技术人员可以理解,图4中示出的原理框图,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的终端设备的限定,具体的终端设备以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种终端设备,终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于以太网帧的音视频传输程序,处理器执行基于以太网帧的音视频传输程序时,实现如下操作指令:
获取待发送音视频帧数据,将所述待发送音视频帧数据拆分为音频数据和视频数据;
根据所述音频数据生成音频以太网帧,将所述音频以太网帧发送给音视频接收端;
根据所述视频数据生成视频以太网帧,将所述视频以太网帧发送给所述音视频接收端。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述,本发明公开了一种基于以太网帧的音视频传输方法、装置及存储介质,通过获取待发送音视频帧数据,将所述待发送音视频帧数据拆分为音频数据和视频数据;根据所述音频数据生成音频以太网帧,将所述音频以太网帧发送给音视频接收端;根据所述视频数据生成视频以太网帧,将所述视频以太网帧发送给所述音视频接收端。本发明中将音视频数据中的音频数据和视频数据分开发送,无需在以太网帧中一直保留用于传输音频数据的数据位,因此可以减少以太网帧中数据位浪费的情况,进而减少带宽浪费的情况,提高了传输效率。解决了现有技术中为了保留音视频的画质或者音质会将音视频数据通过网络直接发送,当音视频数据中的音频数据发送完毕以后,以太网帧中仍然保留有用于传输音频数据的数据位,导致传输音视频数据所占用的服务器及网络带宽资源较多,且传输效率不高的问题。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种基于以太网帧的音视频传输方法,其特征在于,所述方法包括:
获取待发送音视频帧数据,将所述待发送音视频帧数据拆分为音频数据和视频数据;
根据所述音频数据生成音频以太网帧,将所述音频以太网帧发送给音视频接收端;
根据所述视频数据生成视频以太网帧,将所述视频以太网帧发送给所述音视频接收端;
所述音频以太网帧包括:同步以太网帧以及全音频以太网帧;所述根据所述音频数据生成音频以太网帧,将所述音频以太网帧发送给音视频接收端包括:
将所述音频数据分为第一音频数据和第二音频数据;
根据所述第一音频数据生成同步以太网帧,将所述同步以太网帧通过以太网物理层发送至所述音视频接收端;
根据所述第二音频数据生成全音频以太网帧,将所述全音频以太网帧通过以太网物理层发送至所述音视频接收端;
所述根据所述第一音频数据生成同步以太网帧,包括:
获取所述待发送音视频帧数据对应的显示画面参数;
根据所述显示画面参数和所述第一音频数据生成同步以太网帧;
所述根据所述显示画面参数和所述第一音频数据生成同步以太网帧,包括:
将所述显示画面参数作为命令数据,并在以太网数据链路层,将所述命令数据封装至空白以太网帧中的命令信道,得到初始同步以太网帧,其中,所述命令信道用于存储所述命令数据;
将所述第一音频数据封装至所述初始同步以太网帧中的数据信道,得到同步以太网帧,其中,所述数据信道用于存储音频数据或视频数据;
当不需要所述命令信道时,将整个所述空白以太网帧全部设置为所述数据信道。
2.根据权利要求1所述的基于以太网帧的音视频传输方法,其特征在于,所述将所述待发送音视频帧数据拆分为音频数据和视频数据,包括:
获取待发送音视频帧数据,并将所述待发送音视频帧数据拆分为初始音频数据和初始视频数据;
获取目标音频数据格式,根据所述目标音频数据格式对所述初始音频数据进行编码,得到以太网传输的音频数据;
获取目标视频数据格式,根据所述目标视频数据格式对所述初始视频数据进行编码,得到以太网传输的视频数据。
3.根据权利要求1所述的基于以太网帧的音视频传输方法,其特征在于,所述获取所述待发送音视频帧数据对应的显示画面参数,包括:
获取所述待发送音视频帧数据对应的水平像素点数量和垂直像素点数量;
将所述水平像素点数量和所述垂直像素点数量作为所述显示画面参数。
4.根据权利要求1所述的基于以太网帧的音视频传输方法,其特征在于,所述根据所述第二音频数据生成全音频以太网帧,包括:
在所述以太网数据链路层,将所述第二音频数据封装至所述空白以太网帧中的数据信道,得到全音频以太网帧。
5.根据权利要求1所述的基于以太网帧的音视频传输方法,其特征在于,所述根据所述视频数据生成视频以太网帧,将所述视频以太网帧发送给所述音视频接收端,包括:
在所述以太网数据链路层,将所述视频数据封装至所述空白以太网帧中的数据信道,得到视频以太网帧;
将所述视频以太网帧通过以太网物理层发送至所述音视频接收端。
6.一种基于以太网帧的音视频传输装置,其特征在于,所述装置包括:
数据获取模块,用于获取待发送音视频帧数据,将所述待发送音视频帧数据拆分为音频数据和视频数据;
音频传输模块,用于根据所述音频数据生成音频以太网帧,将所述音频以太网帧发送给音视频接收端;
视频传输模块,用于根据所述视频数据生成视频以太网帧,将所述视频以太网帧发送给所述音视频接收端;
所述音频以太网帧包括:同步以太网帧以及全音频以太网帧;所述根据所述音频数据生成音频以太网帧,将所述音频以太网帧发送给音视频接收端包括:
将所述音频数据分为第一音频数据和第二音频数据;
根据所述第一音频数据生成同步以太网帧,将所述同步以太网帧通过以太网物理层发送至所述音视频接收端;
根据所述第二音频数据生成全音频以太网帧,将所述全音频以太网帧通过以太网物理层发送至所述音视频接收端;
所述根据所述第一音频数据生成同步以太网帧,包括:
获取所述待发送音视频帧数据对应的显示画面参数;
根据所述显示画面参数和所述第一音频数据生成同步以太网帧;
所述根据所述显示画面参数和所述第一音频数据生成同步以太网帧,包括:
将所述显示画面参数作为命令数据,并在以太网数据链路层,将所述命令数据封装至空白以太网帧中的命令信道,得到初始同步以太网帧,其中,所述命令信道用于存储所述命令数据;
将所述第一音频数据封装至所述初始同步以太网帧中的数据信道,得到同步以太网帧,其中,所述数据信道用于存储音频数据或视频数据;
当不需要所述命令信道时,将所述空白以太网帧设置为所述数据信道。
7.一种计算机可读存储介质,其上存储有多条指令,其特征在于,所述指令适用于由处理器加载并执行,以实现上述权利要求1-5任一所述的基于以太网帧的音视频传输方法的步骤。
CN202110429794.3A 2021-04-21 2021-04-21 一种基于以太网帧的音视频传输方法、装置及存储介质 Active CN113347468B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110429794.3A CN113347468B (zh) 2021-04-21 2021-04-21 一种基于以太网帧的音视频传输方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110429794.3A CN113347468B (zh) 2021-04-21 2021-04-21 一种基于以太网帧的音视频传输方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113347468A CN113347468A (zh) 2021-09-03
CN113347468B true CN113347468B (zh) 2023-01-13

Family

ID=77468212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110429794.3A Active CN113347468B (zh) 2021-04-21 2021-04-21 一种基于以太网帧的音视频传输方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113347468B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000074416A (ko) * 1999-05-20 2000-12-15 구자홍 디지털 인터페이스를 이용한 비디오 및 오디오 스트림 전송장치 및 방법
WO2009137972A1 (zh) * 2008-05-13 2009-11-19 中兴通讯股份有限公司 视音频同流传输的方法、系统及相应的接收方法和设备
CN104683823A (zh) * 2013-11-29 2015-06-03 红板凳科技股份有限公司 一种多屏联动音视频同步系统
WO2018001143A1 (zh) * 2016-06-28 2018-01-04 中兴通讯股份有限公司 数据传输方法和装置以及光电转换装置和系统
CN110769297A (zh) * 2018-07-25 2020-02-07 视联动力信息技术股份有限公司 一种音视频数据的处理方法和系统
US10827147B1 (en) * 2019-07-03 2020-11-03 Product Development Associates, Inc. Video coupler

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2948842B1 (fr) * 2009-07-28 2015-08-28 Samy Benhellal Procede de transmission en temps reel de flux audio et video

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000074416A (ko) * 1999-05-20 2000-12-15 구자홍 디지털 인터페이스를 이용한 비디오 및 오디오 스트림 전송장치 및 방법
WO2009137972A1 (zh) * 2008-05-13 2009-11-19 中兴通讯股份有限公司 视音频同流传输的方法、系统及相应的接收方法和设备
CN104683823A (zh) * 2013-11-29 2015-06-03 红板凳科技股份有限公司 一种多屏联动音视频同步系统
WO2018001143A1 (zh) * 2016-06-28 2018-01-04 中兴通讯股份有限公司 数据传输方法和装置以及光电转换装置和系统
CN110769297A (zh) * 2018-07-25 2020-02-07 视联动力信息技术股份有限公司 一种音视频数据的处理方法和系统
US10827147B1 (en) * 2019-07-03 2020-11-03 Product Development Associates, Inc. Video coupler

Also Published As

Publication number Publication date
CN113347468A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
DE60307200T2 (de) Kommunikationsprotokoll für die Übertragungssteuerung von zeitlichen Daten über einen Bus zwischen Geräten in Synchronisation mit einem periodischen Referenzsignal
EP3562163B1 (en) Audio-video synthesis method and system
CN113225598B (zh) 移动端音视频同步的方法、装置、设备及存储介质
US10587852B2 (en) Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
US20100104007A1 (en) Method and device for video-stream frame rate adaptation, and field programmable gate array chip and video stream processing apparatus
US20230091776A1 (en) Data Stream Encoder Configuration
JP7171929B2 (ja) オーディオストリーム及びビデオストリーム同期切替方法及び装置
CN112383383B (zh) 多通道数据传输的自适应调整方法和数据处理系统
JP2002359818A (ja) 再生画像伝送装置
CN115580727B (zh) 一种视频压缩的丢帧处理方法、装置、服务器及存储介质
CN111343415A (zh) 数据传输方法及装置
US20230325987A1 (en) Tone mapping method and apparatus
WO2023160361A1 (zh) Rtc数据的处理方法以及装置
BRPI0809354A2 (pt) Transmissão de dados de vídeo através de conexão usb
CN113347468B (zh) 一种基于以太网帧的音视频传输方法、装置及存储介质
KR20160140012A (ko) 영상 데이터 전송 및 수신 방법 및 장치
CN114531606B (zh) 封装待传输视频数据生成、视频传输方法、系统及设备
CN111010593A (zh) 基于flv格式封装h.265视频数据的方法和装置
CN110708492A (zh) 一种视频会议内容交互方法及系统
CN113141352B (zh) 多媒体数据的传输方法、装置、计算机设备和存储介质
JP5799958B2 (ja) 映像処理サーバおよび映像処理方法
KR101839415B1 (ko) 영상 데이터 전송 및 수신 방법 및 장치
CN108259995B (zh) 一种预览信号源的方法、装置及设备
CN109413485B (zh) 数据缓存方法及装置
WO2023144964A1 (ja) 映像処理システム、圧縮装置、映像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant