CN100574430C - 基于嵌入式系统的多路实时音视频数据发送方法和装置 - Google Patents

基于嵌入式系统的多路实时音视频数据发送方法和装置 Download PDF

Info

Publication number
CN100574430C
CN100574430C CN 200710067121 CN200710067121A CN100574430C CN 100574430 C CN100574430 C CN 100574430C CN 200710067121 CN200710067121 CN 200710067121 CN 200710067121 A CN200710067121 A CN 200710067121A CN 100574430 C CN100574430 C CN 100574430C
Authority
CN
China
Prior art keywords
data
audio
protocol
video
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 200710067121
Other languages
English (en)
Other versions
CN101009827A (zh
Inventor
陈耀武
孟旭炯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN 200710067121 priority Critical patent/CN100574430C/zh
Publication of CN101009827A publication Critical patent/CN101009827A/zh
Application granted granted Critical
Publication of CN100574430C publication Critical patent/CN100574430C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种基于嵌入式系统的多路实时音视频数据发送方法，由嵌入式处理器接收多路编码后的音视频数据，去除其对应的协议包头，获得原始编码音视频数据后，不传送至上层应用程序，且越过操作系统协议栈，在驱动程序内直接对音视频数据进行分段并封装TCP/IP协议包头，调用网络发送接口向网络进行发送。本发明还公开了适用该方法的装置。本发明装置支持最多16Mbps码流的多路音视频数据转发，最大转发延迟小于200ms，支持10M/100M网络接口。

Description

基于嵌入式系统的多路实时音视频数据发送方法和装置
技术领域
本发明涉及数字视频处理技术、网络技术和嵌入式系统领域，具体来说是指一种基于嵌入式系统的多路实时音视频数据发送方法和装置。
背景技术
随着信息技术(IT)的飞速发展、互联网的迅速普及、3C(计算机、通信、消费电子)合一的加速，数字化时代已经来临。以嵌入式网络多媒体系统为技术核心的数字化产品已成为数字化时代的主流产品。典型的嵌入式网络多媒体系统嵌入式视频监控系统(DVR)、嵌入式数字视频服务器(DVS)等产品都包含嵌入式音视频数据发送功能。针对Internet上的音视频数据，需要低带宽的数据传输；针对专用网络的音视频数据，需要高带宽的数据传输，这对嵌入式音视频数据发送系统提出了较高的性能要求；嵌入式音视频数据发送系统对数据实时性也有较高要求，除网络中的传输延迟和编码的固定延迟外，嵌入式处理器的数据转发延迟要求尽可能小，以保证数据的实时性；同时，嵌入式音视频数据发送系统也需要同时转发多路编码数据。由于实时操作系统难以满足嵌入式音视频数据发送系统负责的功能要求，现有系统通常基于嵌入式操作系统进行设计，而多数嵌入式操作系统为非实时操作系统或软实时操作系统，系统的数据转发延迟相对较大。
传统的音视频数据方法是首先进行用户态切换，将数据复制到应用程序空间，由应用程序通过系统调用进入协议栈，进行层层封包，再通过调用协议栈网络发送接口，切入内核态进行数据发送。
发明内容
本发明提供了一种基于嵌入式系统的多路实时音视频数据发送方法，可实时发送多路编码音视频数据。
一种基于嵌入式系统的多路实时音视频数据发送方法，嵌入式处理器接收多路编码后的音视频数据，去除其对应的协议包头，获得原始编码音视频数据后，不传送至上层应用程序并且越过操作系统协议栈，在驱动程序内直接对音视频数据进行分段并封装TCP/IP协议包头，调用网络发送接口向网络进行发送。
本发明还提供了一种高可靠性、低转发延迟、结构简单和功能升级灵活的基于嵌入式系统的多路实时音视频数据发送装置，包括嵌入式处理器，若干个音视频编码器，音视频编码器均通过双口RAM接入嵌入式处理器，嵌入式处理器上连接网络接口和SDRAM器件，所述的嵌入式处理器包括：
数据接收器，经双口RAM与各音视频编码器连接，从音视频编码器接收音视频数据，送入对应的数据缓冲器；
数据缓冲器，与数据接收器连接，区分不同的编码器，对数据分别进行缓冲；
数据转换器，连接数据缓冲器，从数据缓冲器获取缓冲数据，去除码流通讯协议的头信息，获取原始数据，音视频编码器对应的通道信息，送入数据队列，并调度发送过程工作；
数据队列，连接数据转换器，对不同通道的数据进行串行化排队；
协议打包器，连接数据队列，顺序从数据队列取得数据包，按照TCP/IP协议和应用规定的通讯协议，为音视频数据封装各层协议包头，针对数据包中附带的通道信息设置TCP/IP包头对应的信息；
数据发送器，一端连接协议打包器，另一端连接网络接口，将协议打包器处理后的每一个协议数据包发送至网络接口；
数据接收器经双口RAM从各音视频编码器接收音视频数据，并识别数据的通道信息和格式信息，选取有效数据进行发送到对应的数据缓冲器，由数据转换器去除码流通讯协议的头信息，获取原始数据，音视频编码器对应的通道信息，送入数据队列；协议打包器根据TCP/IP协议和应用规定的通讯协议对音视频数据进行分包，根据通道信息，封装TCP/IP协议包头，由数据发送器送入网络接口发送。
所述的数据接收器、数据缓冲器和数据转换器上设有码流通讯管理器，用于协调数据接收器、数据缓冲器和数据转换器的工作，控制码流在接收部分的停留时间。
所述的数据队列、协议打包器和数据发送器上设有网络通讯管理器，用于协调数据队列、协议打包器和数据发送器的工作，控制网络数据在发送部分的停留时间。
本发明装置中可通过增加音视频编码器和双口RAM实现支持通道数的扩展。
本发明多路实时音视频数据发送方法和装置是基于一颗嵌入式处理器实现的，由嵌入式处理器从音视频编码器接收到音视频数据，去除协议包头后，通过调度驱动程序下半部立即启动数据发送过程，比传统方法节省的处理时间超过一个数量级；同时在嵌入式处理器启动数据发送过程后，通过数据队列排序，越过操作系统协议栈，直接对音视频数据进行分段，并封装TCP/IP协议包头，调用网络发送接口向网络进行发送。比传统方法节省处理时间一倍以上。本发明装置支持最多16Mbps码流的多路音视频数据转发，最大转发延迟小于200ms，支持10M/100M网络接口。
附图说明
图1为本发明装置的结构示意框图；
图2为本发明装置嵌入式处理器的功能结构示意框图；
图3为本发明装置发送多路实时音视频数据的操作流程图。
具体实施方式
如图1所示，一种基于嵌入式系统的多路实时音视频数据发送装置，包括嵌入式处理器120，若干个音视频编码器140，音视频编码器140均通过双口RAM130接入嵌入式处理器120，嵌入式处理器120上连接网络接口110和SDRAM器件150。
如图2所示，嵌入式处理器120包括：
数据接收器210，经双口RAM130与各音视频编码器140连接，从音视频编码器140接收音视频数据，送入对应的数据缓冲器220；
数据缓冲器220，与数据接收器210连接，区分不同的编码器，对数据分别进行缓冲；
数据转换器230，连接数据缓冲器220，从数据缓冲器220获取缓冲数据，去除码流通讯协议的头信息，获取原始数据，音视频编码器对应的通道信息，送入数据队列，并调度发送过程工作；
码流通讯管理器240用于协调数据接收器210、数据缓冲器220和数据转换器230的工作，控制码流在接收部分的停留时间；
数据队列250，连接数据转换器230，对不同通道的数据进行串行化排队；
协议打包器260，连接数据队列250，顺序从数据队列250取得数据包，按照TCP/IP协议和应用规定的通讯协议，为音视频数据封装各层协议包头，针对数据包中附带的通道信息设置TCP/IP包头对应的信息；
数据发送器270，一端连接协议打包器260，另一端连接网络接口110，将协议打包器260处理后的每一个协议数据包发送至网络接口110；
网络通讯管理器280，用于协调数据队列250、协议打包器260和数据发送器270的工作，控制网络数据在发送部分的停留时间。
如图3所示，本发明装置在发送发送多路实时音视频数据过程中，数据接收器210经双口RAM130从各音视频编码器140接收音视频数据，并识别数据的通道信息和格式信息，选取有效数据进行发送到对应的数据缓冲器220，由数据转换器230去除码流通讯协议的头信息，获取原始数据，音视频编码器对应的通道信息，送入数据队列250；协议打包器260根据TCP/IP协议和应用规定的通讯协议对音视频数据进行分包，根据通道信息，封装TCP/IP协议包头，由数据发送器270送入网络接口110发送。

Claims (3)

1.一种基于嵌入式系统的多路实时音视频数据发送装置，包括嵌入式处理器(120)，若干个音视频编码器(140)，音视频编码器(140)均通过双口RAM(130)接入嵌入式处理器(120)，嵌入式处理器(120)连接网络接口(110)和SDRAM器件(150)，其特征在于所述的嵌入式处理器包括：
数据接收器(210)，经双口RAM(130)与各音视频编码器(140)连接，从音视频编码器(140)接收音视频数据，送入对应的数据缓冲器(220)；
数据缓冲器(220)，与数据接收器(210)连接，区分不同的音视频编码器(140)，对数据分别进行缓冲；
数据转换器(230)，连接数据缓冲器(220)，从数据缓冲器(220)获取缓冲数据，去除码流通讯协议的头信息，获取原始数据，音视频编码器对应的通道信息，送入数据队列，并调度发送过程工作；
数据队列(250)，连接数据转换器(230)，对不同通道的数据进行串行化排队；
协议打包器(260)，连接数据队列(250)，顺序从数据队列(250)取得数据包，按照TCP/IP协议和应用规定的通讯协议，为音视频数据封装各层协议包头，针对数据包中附带的通道信息设置TCP/IP包头对应的信息；
数据发送器(270)，一端连接协议打包器(260)，另一端连接网络接口(110)，将协议打包器(260)处理后的每一个协议数据包发送至网络接口(110)；
数据接收器(210)经双口RAM(130)从各音视频编码器(140)接收音视频数据，并识别数据的通道信息和格式信息，选取有效数据进行发送到对应的数据缓冲器(220)，由数据转换器(230)去除码流通讯协议的头信息，获取原始数据，音视频编码器对应的通道信息，送入数据队列(250)；协议打包器(260)根据TCP/IP协议和应用规定的通讯协议对音视频数据进行分包，根据通道信息，封装TCP/IP协议包头，由数据发送器(270)送入网络接口(110)发送。
2.如权利要求1所述的装置，其特征在于：所述的数据接收器(210)、数据缓冲器(220)和数据转换器(230)上设有码流通讯管理器(240)，用于协调数据接收器(210)、数据缓冲器(220)和数据转换器(230)的工作，控制码流在接收部分的停留时间。
3.如权利要求1所述的装置，其特征在于：所述的数据队列(250)、协议打包器(260)和数据发送器(270)上设有网络通讯管理器(280)，用于协调数据队列(250)、协议打包器(260)和数据发送器(270)的工作，控制网络数据在发送部分的停留时间。
CN 200710067121 2007-01-31 2007-01-31 基于嵌入式系统的多路实时音视频数据发送方法和装置 Expired - Fee Related CN100574430C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200710067121 CN100574430C (zh) 2007-01-31 2007-01-31 基于嵌入式系统的多路实时音视频数据发送方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200710067121 CN100574430C (zh) 2007-01-31 2007-01-31 基于嵌入式系统的多路实时音视频数据发送方法和装置

Publications (2)

Publication Number Publication Date
CN101009827A CN101009827A (zh) 2007-08-01
CN100574430C true CN100574430C (zh) 2009-12-23

Family

ID=38697910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200710067121 Expired - Fee Related CN100574430C (zh) 2007-01-31 2007-01-31 基于嵌入式系统的多路实时音视频数据发送方法和装置

Country Status (1)

Country Link
CN (1) CN100574430C (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101403873B1 (ko) * 2008-01-04 2014-06-09 알카텔-루센트 유에스에이 인코포레이티드 송신 방법들, 네트워크 장비, 사용자 장비 및 전기통신 시스템
CN102014262A (zh) * 2010-10-27 2011-04-13 杭州海康威视软件有限公司 一种硬盘录像机、多媒体格式转换的系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于流媒体技术的网络化嵌入式视频监控系统. 陈耀武，伍鹏，汪乐宇.工程设计学报，第11卷第2期. 2004
基于流媒体技术的网络化嵌入式视频监控系统. 陈耀武，伍鹏，汪乐宇.工程设计学报，第11卷第2期. 2004 *
基于流媒体的网络化嵌入式多媒体播放系统. 陈学凯，陈耀武，汪乐宇.现代机械，第4期. 2005
基于流媒体的网络化嵌入式多媒体播放系统. 陈学凯，陈耀武，汪乐宇.现代机械，第4期. 2005 *

Also Published As

Publication number Publication date
CN101009827A (zh) 2007-08-01

Similar Documents

Publication Publication Date Title
US6005851A (en) Adaptive channel control for data service delivery
JP6591648B2 (ja) マルチメディアシステムにおけるメディアパケットを送信する送信装置
CN100508493C (zh) 处理多媒体网际网络语音协议装置中的数据包的方法与装置
JP6516674B2 (ja) メディアデータ配信制御のための方法及び装置
EP3269110B1 (en) Method of communicating data packets within data communication systems
CN101854286B (zh) 基于用户数据报协议的数据流发送、接收方法及装置
CN1642087A (zh) 基于广播/通信会聚执行传输和接收操作的系统和方法
JP4312633B2 (ja) 送信方法および送信装置
EP1796289B1 (en) Apparatus for transmitting/receiving broadcasting and communication data in interactive satellite communication system based on DVB-S2
CN100574430C (zh) 基于嵌入式系统的多路实时音视频数据发送方法和装置
CN1276635C (zh) 提供用于传送数据分组的串行总线通信协议的方法
CN113037641B (zh) 一种FlexE中的数据转发方法及网络设备
WO2015105376A1 (en) Methods and apparatus for universal presentation timeline alignment
JP4900272B2 (ja) 衛星通信地球局
JP2011044800A (ja) 通信装置、通信システムおよび通信方法
EP1292083A2 (en) Method for processing requests in a network adaptor
KR100734859B1 (ko) Ｍｅｇａｃｏ 프로토콜을 이용한 인터넷 셋탑 박스 제어장치 및 방법
US7508813B2 (en) Local area network contention avoidance
CN101072227A (zh) 一种视频广播系统中的发送系统、方法和接收系统
EP2066085A1 (en) Bluetooth stack processor with QOS
KR100419281B1 (ko) 위성통신 송신데이터 처리기 및 그 제어 방법
CN109274605B (zh) 一种适用于分组交换网络的同步传输方法
CN107483220B (zh) 一种服务质量控制方法、装置及系统
CN101291292B (zh) 调制解调器前端设备和方法
US20050083861A1 (en) Method and arrangement for converting a first data stream into a second data stream

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20091223

Termination date: 20200131

CF01 Termination of patent right due to non-payment of annual fee