CN104113722A - 一种无线视频会议传输方法 - Google Patents

一种无线视频会议传输方法 Download PDF

Info

Publication number
CN104113722A
CN104113722A CN201410277369.7A CN201410277369A CN104113722A CN 104113722 A CN104113722 A CN 104113722A CN 201410277369 A CN201410277369 A CN 201410277369A CN 104113722 A CN104113722 A CN 104113722A
Authority
CN
China
Prior art keywords
packet
sequence
data
frame
audio
Prior art date
Application number
CN201410277369.7A
Other languages
English (en)
Inventor
彭涛
张铭
赵安
王进东
沈弘
赵丽萍
Original Assignee
南京熊猫电子股份有限公司
南京熊猫通信科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南京熊猫电子股份有限公司, 南京熊猫通信科技有限公司 filed Critical 南京熊猫电子股份有限公司
Priority to CN201410277369.7A priority Critical patent/CN104113722A/zh
Publication of CN104113722A publication Critical patent/CN104113722A/zh

Links

Abstract

本发明公开了一种无线视频会议传输方法,包括步骤:步骤S1,会议数据发送端采集音频视频数据,并进行编码产生音频码流和视频码流;步骤S2,将音频码流和/或视频码流按特定格式封装为数据包并发送至接收端;步骤S3,接收端接收音频码流和/或视频码流,并按所述特定述格式解码并进行处理,并根据处理结果向所述发送端发送应答;步骤S4,发送端根据所述应答进行数据重发,丢弃,编码码率控制中的至少一种操作;其中,所述特定格式包括:类型,说明封装的数据包的类型;序列号,数据包的编号;数据,数据包中的实际数据,本发明能够增强无线环境下的视频会议的稳定性,提升用户体验。

Description

一种无线视频会议传输方法

技术领域

[0001] 本发明涉及无线视频会议领域,尤其涉及一种无线视频会议传输方法。

背景技术

[0002] 目前,随着3G技术的成熟和4G技术的发展,使用无线传输的应用越来越多,随着 无线带宽的增大,视频会议作为一种高带宽的数据应用,在无线传输领域逐渐得到应用。但 是,即使是在4G网络的条件下,有时在无线网络中视频会议的效果也会难以让人满意。由 于带宽共享、信号覆盖等问题,导致传输时常常出现带宽不稳定,误码率高等现象,最终导 致视频会议的图像出现卡顿,声音断续等影响使用的问题。

发明内容

[0003] 本发明鉴于上述情况而作出,其目的是提供一种无线视频会议传输方法,能够增 强无线环境下的视频会议的稳定性,提升用户体验。

[0004] 本发明提供一种无线视频会议传输方法,包括步骤:

[0005] 步骤S1,会议数据发送端采集音频视频数据,并进行编码产生音频码流和视频码 流。

[0006] 步骤S2,将音频码流和/或视频码流按特定格式封装为数据包并发送至接收端。

[0007] 步骤S3,接收端接收音频码流和/或视频码流,并按所述特定述格式解码并进行 处理,并根据处理结果向所述发送端发送应答。

[0008] 步骤S4,发送端根据所述应答进行数据重发,丢弃,编码码率控制中的至少一种操 作。

[0009] 其中,所述特定格式包括:

[0010] 类型,说明封装的数据包的类型,具体包括:

[0011] CTRL,说明该数据包是视频会议的控制命令,用于控制开始传输及结束传输;

[0012] Audio,说明该数据包是音频编码数据;

[0013] I_FRAME,说明该数据包是视频编码产生的关键帧数据;

[0014] P_FRAME,说明该数据包是视频编码产生的P帧数据;

[0015] B_FRAME,说明该数据包是视频编码产生的B帧数据;

[0016] ACK,说明该数据包是接收端的应答数据;

[0017] ACK2,说明该数据包是发送端对应答的回应。

[0018] 序列号,数据包的编号,序列号为4字节序列号数据,当所述类型为Audio, 1_ FRAME,P_FRAME,B_FRAME时,数据包中包含所述序列号。

[0019] 数据,数据包中的实际数据。

[0020] 当类型为Audio, I_FRAME,P_FRAME,B_FRAME时,所述数据为会议的音视频数据。

[0021] 当所述类型为ACK时,所述数据包括:

[0022] [随机序列号][开始序列号][结束序列号][丢失序列号],

[0023] 其中,随机序列号为接收端产生的用于标识ACK的序列号,丢失序列号为32位整 数,当丢失序列号最高位为〇时,表示该序列号的数据包丢失,当丢失序列号最高位为1时, 表示从该序列号起,到下一个序列号的所有数据包都已丢失。

[0024] 当所述类型为ACK2时,所述数据包括:

[0025] [随机序列号][开始序列号][结束序列号][省略序列号],

[0026] 其中,随机序列号为ACK中的序列号,序列号为省略序列号的数据包在即将重发 的过程中将不再重发,同时接收端将不再等待丢失的数据包。

[0027] 进一步地,步骤S3中,所述进行处理,并根据处理结果向所述发送端发送应答包 括:接收端根据收到的数据包的序列号判断当前传输中丢失的数据包的情况,并反馈给发 送端。

[0028] 进一步地,步骤S4中,所述发送端根据所述应答进行数据重发,丢弃,编码码率控 制中的至少一种操作包括:

[0029] 发送端根据音频优先,关键帧优先或P帧优先原则,对丢失的数据包进行选择性 重发;

[0030] 并根据当前发送的数据的丢失比例计算当前的发送带宽,对编码器进行码率控 制。

[0031] 进一步地,所述对丢失的数据包进行选择性重发包括:

[0032] 当丢包长度小于第一阀值时,重发所有丢失的数据包;

[0033] 当丢包长度在第一阀值和第二阀值之间时,不再重发所有类型为B_FRAME的数据 包;

[0034] 当丢包长度在第二阀值和第三阀值之间时,不再重发所有类型为B_FRAME或者P_ FRAME的数据包,直到下一个类型为I_FRAME的数据包;

[0035] 当丢包长度不小于第三阀值时,不再重发所有类型为B_FRAME或者P_FRAME的数 据包,直到下一个类型为I_FRAME的数据包。

[0036] 本发明的有益效果,能够增强无线环境下的视频会议的稳定性,提升用户体验。

附图说明

[0037] 图1是本发明的一种无线视频会议传输方法的处理流程示意图;

[0038] 图2是本发明的发送端的处理流程示意图;

[0039] 图3是本发明的接收端的处理流程示意图。

具体实施方式

[0040] 为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参 照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发 明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本 发明的概念。

[0041] 如图1所示,一种无线视频会议传输方法,包括步骤:

[0042] 步骤S1,会议数据发送端采集音频视频数据,并进行编码产生音频码流和视频码 流。

[0043] 步骤S2,将音频码流和/或视频码流按特定格式封装为数据包并发送至接收端。

[0044] 步骤S3,接收端接收音频码流和/或视频码流,并按所述特定述格式解码并进行 处理,并根据处理结果向所述发送端发送应答。

[0045] 步骤S4,发送端根据所述应答进行数据重发,丢弃,编码码率控制中的至少一种操 作。

[0046] 其中,所述特定格式包括:

[0047] 类型,说明封装的数据包的类型,具体包括:

[0048] CTRL,说明该数据包是视频会议的控制命令,用于控制开始传输及结束传输;

[0049] AUDIO,说明该数据包是音频编码数据;

[0050] I_FRAME,说明该数据包是视频编码产生的关键帧数据;

[0051] P_FRAME,说明该数据包是视频编码产生的P帧数据;

[0052] B_FRAME,说明该数据包是视频编码产生的B帧数据;

[0053] ACK,说明该数据包是接收端的应答数据;

[0054] ACK2,说明该数据包是发送端对应答的回应。

[0055] 序列号,数据包的编号,序列号为4字节序列号数据,当所述类型为Audio, 1_ FRAME,P_FRAME,B_FRAME时,数据包中包含所述序列号。

[0056] 数据,数据包中的实际数据。

[0057] 当类型为Audio, I_FRAME,P_FRAME,B_FRAME时,所述数据为会议的音视频数据。

[0058] 当所述类型为ACK时,所述数据包括:

[0059][随机序列号][开始序列号][结束序列号][丢失序列号],

[0060] 其中,随机序列号为接收端产生的用于标识ACK的序列号,丢失序列号为32位整 数,当丢失序列号最高位为〇时,表示该序列号的数据包丢失,当丢失序列号最高位为1时, 表示从该序列号起,到下一个序列号的所有数据包都已丢失。

[0061] 当所述类型为ACK2时,所述数据包括:

[0062] [随机序列号][开始序列号][结束序列号][省略序列号],

[0063] 其中,随机序列号为ACK中的序列号,序列号为省略序列号的数据包在即将重发 的过程中将不再重发,同时接收端将不再等待丢失的数据包。

[0064] 进一步地,步骤S3中,所述进行处理,并根据处理结果向所述发送端发送应答包 括:接收端根据收到的数据包的序列号判断当前传输中丢失的数据包的情况,并反馈给发 送端。

[0065] 进一步地,步骤S4中,所述发送端根据所述应答进行数据重发,丢弃,编码码率控 制中的至少一种操作包括:

[0066] 发送端根据音频优先,关键帧优先或P帧优先原则,对丢失的数据包进行选择性 重发;

[0067] 并根据当前发送的数据的丢失比例计算当前的发送带宽,对编码器进行码率控 制。

[0068] 进一步地,所述对丢失的数据包进行选择性重发包括:

[0069] 当丢包长度小于第一阀值时,重发所有丢失的数据包;

[0070] 当丢包长度在第一阀值和第二阀值之间时,不再重发所有类型为B_FRAME的数据 包;

[0071] 当丢包长度在第二阀值和第三阀值之间时,不再重发所有类型为B_FRAME或者P_ FRAME的数据包,直到下一个类型为I_FRAME的数据包;

[0072] 当丢包长度不小于第三阀值时,不再重发所有类型为B_FRAME或者P_FRAME的数 据包,直到下一个类型为I_FRAME的数据包。

[0073] 实施例 [0074] 硬件包括:

[0075] 嵌入式开发板一块(例如海思3512芯片,具有视频编解码能力),PC机一台,2G以 上主频,2048M以上内存,10G以上硬盘空间,无线通信模块1个,宽带接入口一个。嵌入式 开发板连接无线通信模块,并编译安装本发明所述发送端软件;PC机接入宽带,并安装本 发明所述的接收端软件。

[0076] 具体操作过程:

[0077] 1.启动PC机,并使接收软件正常运行。

[0078] 2.启动嵌入式开发板,并使无线模块正常工作,通过拨号程序使无线模块连接互 联网,使嵌入式开发板能与接收PC正常通信。

[0079] 3.启动开发板上发送端软件使其和PC上的接收端软件建立连接。

[0080] 4.启动开发板上发送端程序的音频视频编码。

[0081] 5. PC接收端软件接收到码流并解码播放。

[0082] 其中,发送端的处理流程包括:

[0083] 201,开始。

[0084] 202,连接接收端。

[0085] 203,判断连接是否成功,如果不成功,转至213,否则转至204。

[0086] 204,获取发送队列数据。

[0087] 205,判断获取是否成功,如果不成功转至208,否则转至206。

[0088] 206,数据封包。

[0089] 207,发送。

[0090] 208,接收控制包。

[0091] 209,判断控制包是ACK还是CTRL,如果是CTRL转至212,如果是ACK转至210。

[0092] 210,计算重传包加入队列,计算是否需要丢弃数据包,计算当前码率,控制编码 器。

[0093] 211,回应 ACK2 包,并转至 204。

[0094] 212,结束控制。

[0095] 213,结束。

[0096] 接收端的处理流程包括:

[0097] 301,开始。

[0098] 302,启动监听。

[0099] 303,等待连接,如果用户结束则转至312,如果收到请求则转至304。

[0100] 304,连接发送端。

[0101] 305,接收数据包。

[0102] 306,统计定时器超时,如果未超时,转至311,如果超时转至307。

[0103] 307,统计丢包。

[0104] 308,发送 ACK。

[0105] 309,接收 ACK2。

[0106] 310,判断是否收到ACK2,如果重试超时,转至312,如果接收超时,转至308,如果 收到,转至311。

[0107] 311,数据包送解码器播放。

[0108] 312,结束。

[0109] 其中,发送端的重发丢包及码率控制策略具体包括:

[0110] (1)根据单位时间内发送的数据包长度S和单位时间内接收到的ACK包计算得到 丢失包长度R,计算丢包F = 100 X R/S,设定的编码数量为K ;

[0111] (2)设置阀值 MO, Ml, M2, M3, 0<M0<M1<M2<M3<100

[0112] (3)当R〈M0时,重发所有丢失数据包,设置编码码率为K。

[0113] 当M0〈 = R〈M1时,丢弃B_FRAME数据;设置编码码率为(100-M1)K/100。

[0114] 当Ml〈 = R〈M2时,丢弃B_FRAME,P_FRAME至到下一个I_FRAME ;设置编码码率为 (100-M2)K/100。

[0115] 当R> = M2时,丢弃B_FRAME、P_FRAME至下一个I_FRAME ;设置编码速率为 (100-M3)K/100。

[0116] 应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的 原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何 修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨 在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修 改例。

Claims (9)

1. 一种无线视频会议传输方法,其特征在于,包括步骤: 步骤S1,会议数据发送端采集音频视频数据,并进行编码产生音频码流和视频码流; 步骤S2,将音频码流和/或视频码流按特定格式封装为数据包并发送至接收端; 步骤S3,接收端接收音频码流和/或视频码流,并按所述特定述格式解码并进行处理, 并根据处理结果向所述发送端发送应答; 步骤S4,发送端根据所述应答进行数据重发,丢弃,编码码率控制中的至少一种操作; 其中,所述特定格式包括: 类型,说明封装的数据包的类型; 序列号,数据包的编号; 数据,数据包中的实际数据。
2. 根据权利要求1所述的方法,其特征在于,所述特定格式的类型包括: CTRL,说明该数据包是视频会议的控制命令,用于控制开始传输及结束传输; Audio,说明该数据包是音频编码数据; I_FRAME,说明该数据包是视频编码产生的关键帧数据; P_FRAME,说明该数据包是视频编码产生的P帧数据; B_FRAME,说明该数据包是视频编码产生的B帧数据; ACK,说明该数据包是接收端的应答数据; ACK2,说明该数据包是发送端对应答的回应。
3. 根据权利要求2所述的方法,其特征在于,所述序列号为4字节序列号数据,当所述 类型为Audio, I_FRAME,P_FRAME,B_FRAME时,数据包中包含所述序列号。
4. 根据权利要求3所述的方法,其特征在于,所述数据为数据包中携带的数据,当类型 为Audio, I_FRAME,P_FRAME,B_FRAME时,所述数据为会议的音视频数据。
5. 根据权利要求4所述的方法,其特征在于,当所述类型为ACK时,所述数据包括: [随机序列号][开始序列号][结束序列号][丢失序列号], 其中,随机序列号为接收端产生的用于标识ACK的序列号,丢失序列号为32位整数,当 丢失序列号最高位为〇时,表示该序列号的数据包丢失,当丢失序列号最高位为1时,表示 从该序列号起,到下一个序列号的所有数据包都已丢失。
6. 根据权利要求4所述的方法,其特征在于,当所述类型为ACK2时,所述数据包括: [随机序列号][开始序列号][结束序列号][省略序列号], 其中,随机序列号为ACK中的序列号,序列号为省略序列号的数据包在即将重发的过 程中将不再重发,同时接收端将不再等待丢失的数据包。
7. 根据权利要求1至6任意一项所述的方法,其特征在于,步骤S3中,所述进行处理, 并根据处理结果向所述发送端发送应答包括:接收端根据收到的数据包的序列号判断当前 传输中丢失的数据包的情况,并反馈给发送端。
8. 根据权利要求1至6任意一项所述的方法,其特征在于,步骤S4中,所述发送端根据 所述应答进行数据重发,丢弃,编码码率控制中的至少一种操作包括: 发送端根据音频优先,关键帧优先或P帧优先原则,对丢失的数据包进行选择性重发; 并根据当前发送的数据的丢失比例计算当前的发送带宽,对编码器进行码率控制。
9. 根据权利要求8所述的方法,其特征在于,所述对丢失的数据包进行选择性重发包 括: 当丢包长度小于第一阀值时,重发所有丢失的数据包; 当丢包长度在第一阀值和第二阀值之间时,不再重发所有类型为B_FRAME的数据包; 当丢包长度在第二阀值和第三阀值之间时,不再重发所有类型SB_FRAME或者P_ FRAME的数据包,直到下一个类型为I_FRAME的数据包; 当丢包长度不小于第三阀值时,不再重发所有类型为B_FRAME或者P_FRAME的数据包, 直到下一个类型为I_FRAME的数据包。
CN201410277369.7A 2014-06-19 2014-06-19 一种无线视频会议传输方法 CN104113722A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410277369.7A CN104113722A (zh) 2014-06-19 2014-06-19 一种无线视频会议传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410277369.7A CN104113722A (zh) 2014-06-19 2014-06-19 一种无线视频会议传输方法

Publications (1)

Publication Number Publication Date
CN104113722A true CN104113722A (zh) 2014-10-22

Family

ID=51710342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410277369.7A CN104113722A (zh) 2014-06-19 2014-06-19 一种无线视频会议传输方法

Country Status (1)

Country Link
CN (1) CN104113722A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104579601A (zh) * 2014-12-01 2015-04-29 华为技术有限公司 一种重传请求处理方法和装置
WO2017004766A1 (zh) * 2015-07-04 2017-01-12 马岩 视频会议的超时重发方法及系统
CN107770600A (zh) * 2017-11-07 2018-03-06 深圳创维-Rgb电子有限公司 流媒体数据的传输方法、装置、设备和存储介质
CN107888865A (zh) * 2017-11-28 2018-04-06 福建星海通信科技有限公司 一种音视频的通信方法、系统及装置
CN108668167A (zh) * 2017-03-28 2018-10-16 中国移动通信有限公司研究院 一种视频还原的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101166270A (zh) * 2006-10-16 2008-04-23 华为技术有限公司 多媒体视频通信方法及系统
CN101552660A (zh) * 2008-04-01 2009-10-07 中国移动通信集团公司 对流媒体数据进行重传、播放的方法、装置及通信系统
CN101646077A (zh) * 2009-09-09 2010-02-10 南京工业大学 一种传感器网络中自适应的多媒体流控制方法
CN101656747A (zh) * 2009-09-25 2010-02-24 深圳创维数字技术股份有限公司 流媒体数据的传输方法及系统
CN102104468A (zh) * 2011-02-18 2011-06-22 中兴通讯股份有限公司 一种基于路由代理的媒体感知arq控制方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101166270A (zh) * 2006-10-16 2008-04-23 华为技术有限公司 多媒体视频通信方法及系统
CN101552660A (zh) * 2008-04-01 2009-10-07 中国移动通信集团公司 对流媒体数据进行重传、播放的方法、装置及通信系统
CN101646077A (zh) * 2009-09-09 2010-02-10 南京工业大学 一种传感器网络中自适应的多媒体流控制方法
CN101656747A (zh) * 2009-09-25 2010-02-24 深圳创维数字技术股份有限公司 流媒体数据的传输方法及系统
CN102104468A (zh) * 2011-02-18 2011-06-22 中兴通讯股份有限公司 一种基于路由代理的媒体感知arq控制方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104579601A (zh) * 2014-12-01 2015-04-29 华为技术有限公司 一种重传请求处理方法和装置
CN104579601B (zh) * 2014-12-01 2019-02-12 华为技术有限公司 一种重传请求处理方法和装置
WO2017004766A1 (zh) * 2015-07-04 2017-01-12 马岩 视频会议的超时重发方法及系统
CN108668167A (zh) * 2017-03-28 2018-10-16 中国移动通信有限公司研究院 一种视频还原的方法及装置
CN107770600A (zh) * 2017-11-07 2018-03-06 深圳创维-Rgb电子有限公司 流媒体数据的传输方法、装置、设备和存储介质
CN107888865A (zh) * 2017-11-28 2018-04-06 福建星海通信科技有限公司 一种音视频的通信方法、系统及装置

Similar Documents

Publication Publication Date Title
US10033522B2 (en) Protocol synchronization for HARQ background
US8526513B2 (en) Method and apparatus for transmitting data, and communication system
RU2470467C2 (ru) Пакетирование информации аск в системе беспроводной связи
US20150200750A1 (en) Method and apparatus for retransmission decision making
EP0735701B1 (en) Switched antenna diversity transmission method and system using ARQ techniques
EP1999957B1 (en) Method and system for enhancing transmission reliability of video information over wireless channels
US7746786B2 (en) Retransmission control method and device
TW536896B (en) Hybrid ARQ for packet data transmission
FI105734B (fi) Automaattinen uudelleenlähetys
US5768533A (en) Video coding using segmented frames and retransmission to overcome channel errors
US7003710B2 (en) Communications method, communications apparatus and communications system using same communications apparatus
EP2127265B1 (en) Method and system for transmission of uncompressed video over wireless communication channels
US8233539B2 (en) Method and apparatus for transmitting packet-based image frame
KR100230331B1 (ko) 멀티미디어용 에러 보호방법
JP5420757B2 (ja) Harqバッファ管理方法および移動局
CN1965521B (zh) 用于上行链路增强专用信道的冗余版本实现
JP4198741B2 (ja) 通信機器、通信システム、通信方法、通信プログラム、通信回路
JP5905539B2 (ja) Macデータサービス・エンハンスメント
US7525993B2 (en) Robust transmission system and method for mobile television applications
EP2093921B1 (en) Method and product for memory management in a HARQ communication system
EP1346578B1 (en) Method for multimedia communication over packet channels
EP1232581B1 (en) Multi channel harq communication method and apparatus
CN103684680B (zh) 解码经编码的数据块
US7945835B2 (en) Method and apparatus for efficiently retransmitting data in wireless network environment
US8705384B2 (en) Remote control of transmitter-side rate adaptation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20141022