CN1223192C - H.323会议电视系统中视频数据网络抖动消除方法 - Google Patents

H.323会议电视系统中视频数据网络抖动消除方法 Download PDF

Info

Publication number
CN1223192C
CN1223192C CN 200310101811 CN200310101811A CN1223192C CN 1223192 C CN1223192 C CN 1223192C CN 200310101811 CN200310101811 CN 200310101811 CN 200310101811 A CN200310101811 A CN 200310101811A CN 1223192 C CN1223192 C CN 1223192C
Authority
CN
China
Prior art keywords
video data
frame
output
time stamp
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 200310101811
Other languages
English (en)
Other versions
CN1529501A (zh
Inventor
吕远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN 200310101811 priority Critical patent/CN1223192C/zh
Publication of CN1529501A publication Critical patent/CN1529501A/zh
Application granted granted Critical
Publication of CN1223192C publication Critical patent/CN1223192C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

本发明公开了一种视频通讯领域中H.323会议电视系统中消除视频数据网络抖动的方法，包括：1.按照H.323协议中的媒体处理协议流程从网络上接收视频数据包，并提取数据包的序列号和时戳；2.根据序列号进行排序，将当前数据包插入到缓冲区的合适位置；3.判断该帧是否发送给解码器，满足则发送到解码器；4.若时戳已经满足输出条件而数据包未收集完全，则继续等待一个最大抖动容忍时间之后，强制发送当前帧数据到解码器；5.判断是否还有符合输出时戳条件的其他帧数据需要输出，如有则返回第三步进行处理；6.视频数据定时输出任务，更新输出时戳。本发明能够高效、简便地消除网络带来的抖动影响，显示图像效果良好。

Description

H.323会议电视系统中视频数据网络抖动消除方法
技术领域
本发明涉及视频通讯领域，尤其涉及多媒体应用领域中在IP网络上图象数据抖动消除的方法。
背景技术
IP网络在当今社会得到日益广泛的应用，在IP网络上开发视频应用也成为近年来的研发热点，国际标准化组织ITU-T也相应制定了H.323系列标准作为IP网络上会议电视的通信标准。但IP网络在获得其在视频信号传输的灵活快速性的同时，也必须同时考虑其不可靠性，尤其是在比较负载、网络负载比较重的情况下，数据丢失和乱序经常出现。由于各个媒体数据包在IP网络上的传送路径不同，导致了各个媒体数据包到达接收端的时间顺序和间隔与发送端发送这些包的时间顺序和间隔不同，从而造成接收到媒体数据的抖动。视频业务应用如果不能很好地解决这一问题，而直接将数据包交给视频解码器解码，将会出现前后各个帧的数据交错现象，表现在显示图像上则必然会出现花屏、色块等影响观看的视觉效果。由于H.323协议的开放性，在其系列标准中ITU-T并没有提出具体解决方法，为各个制造商的灵活实现带来了空间。
在解决媒体数据抖动问题上，现有的做法是在接收端对数据进行缓冲来解决，但在数据缓冲区大小的确定以及何时输出数据方面则有不同的做法，较为典型的是申请号为99816428.3，名称为“自适应抖动缓存”的专利所描述的方法，该方法中，抖动缓存器中所需的时延通过基于由所存储分组到达时间所导出的分组传输时延的估计偏差而改变抖动缓存器大小的方法和装置来确定，使得在没有过多时延的情况下能够将平滑数据提供给应用程序。偏差缓存器存储被存储分组的到达时间的偏差，而分组传输时延的估计偏差由该存储的偏差导出。抖动缓存器的大小在不连续分组传输期间能优先地改变。由于该专利通过计算动态修改抖动缓存器的大小来处理抖动，但其修改依据基于计算被存储分组的到达时间偏差，从而大大增加计算复杂度，降低了对于抖动的处理效率，也增加较多的处理误差隐患。
发明内容
本发明的目的是克服现有技术存在的计算复杂度高、抖动处理效率低的缺点，以期提出一种能够高效、简单的H.323会议电视系统中消除视频数据网络抖动的方法。
为实现上述目的，本发明提出了一种H.323会议电视系统中消除视频数据网络抖动的方法，其特征在于，包括以下步骤：
第一步：按照H.323协议中的媒体处理协议流程从网络上接收视频数据包，并提取数据包的序列号和时戳；
第二步：把当前数据包的序列号与缓冲区中已有的其他数据包的序列号依次进行比较，将当前数据包按照序列号的顺序插入到缓冲区的合适位置；
第三步：定时器设置的定时到达时，调用视频数据定时输出任务，根据当前缓冲区中第一个视频数据帧的时戳与输出时戳的比较以及该数据帧的所有数据包是否已经接收完全来判断该帧是否发送给解码器，如果当前缓冲区中第一个视频数据帧的时戳满足输出条件并且该帧的所有数据包已经接收完全，则发送到解码器；
第四步：若时戳已经满足输出条件而数据包未收集完全，则继续等待一个最大抖动容忍时间之后，强制发送当前帧数据到解码器；
第五步：视频数据定时输出任务判断缓冲池中是否还有符合输出时戳条件的其他帧数据需要输出，如有，则返回第三步进行处理；
第六步：视频数据定时输出任务更新输出时戳。
将以上所述方法应用于小型化终端，并在模拟网络80毫秒抖动的环境中进行对比测试。没有进行去抖动处理的终端，图像显示有明显的马赛克、拖影和色块效应，严重影响观看，相当于网络丢包达到20％的效果。经过去抖动处理的终端，由于进行了缓冲处理，而且定时交付给解码器的图像数据都是完整的一帧图像，消除了网络带来的抖动影响，显示图像效果良好。
附图说明
图1是本发明所述方法的流程图。
图2是本发明所述方法中视频数据输出任务流程图。
具体实施方式
下面结合附图及实施例对本发明的技术方案做进一步说明。
附图1表示本发明所述的H.323会议电视系统中消除视频数据网络抖动的方法，而图2则是发明内容的第三、四、五、六步的细化。
第一步：按照H.323系列协议中的媒体处理协议流程从网络上接收视频数据包，并提取数据包的序列号，见附图1中的“接收数据包”。
第二步：将数据包缓存在本地，并将当前数据包的序列号与缓冲池中的已有的其他数据包的序列号依次进行比较，将本数据包按照序列号的顺序插入在缓冲池的合适位置，记录该数据包的序列号和时戳值，并准备接收下一个数据包，见附图1中的“排序”。
第三步：由于图像各帧显示时间间隔为40毫秒，选择40毫秒定时器作为视频数据输出定时器。如果定时器定时到达，则将当前缓冲池中第一个视频数据帧与输出时戳值相比较，若发现当前帧时戳值小于或等于输出时戳，则认为该帧数据满足发送给解码器的时戳条件。见附图1中的“是否满足输出时戳条件”，在附图2中反映的过程是：“定时间隔到”——“缓冲池第一帧数据包时戳是否小于或等于当前待输出帧时戳”。
第四步：若组成该帧的各数据包已经全部到达则将当前帧数据发送给解码器，见附图1中的“向视频解码器送一帧数据”，在附图2中反映的过程是：“本帧数据是否已经全部收齐”——“向解码器发送本帧数据进行解码”；
第五步：若时戳已经满足输出条件而数据包未收集完全，将抖动容忍时间与最大抖动容忍时间相比较，若二者相同，则认为网络发生丢包或抖动范围超过可容忍的最大范围，强制输出当前帧数据，否则更新当前帧的抖动容忍时间。在本发明所述实施例中，以消除80毫秒的抖动为目的，所以选择的最大抖动容忍时间为80毫秒，此值可以根据要网络抖动的最大值进行改变。见附图1中的“等待”，对应附图2中的“抖动容忍时间t是否已经到达”；
第六步：视频数据定时输出任务判断缓冲池中是否还有符合输出时戳条件的其他帧数据需要输出，如有则依照第三步进行处理，见附图1中的“有其他包需要输出吗？”，对应附图2中的“将缓冲池头指针指向下一帧数据”；
第七步：视频数据定时输出任务计算输出时戳，见附图1中的“更新输出时戳”，对应附图2中的“重新计算下一待输出视频帧的时戳值”。

Claims (3)

1、一种H.323会议电视系统中消除视频数据网络抖动的方法，其特征在于，包括以下步骤：
第一步：按照H.323协议中的媒体处理协议流程从网络上接收视频数据包，并提取数据包的序列号和时戳；
第二步：把当前数据包的序列号与缓冲区中已有的其他数据包的序列号依次进行比较，将当前数据包按照序列号的顺序插入到缓冲区的合适位置；
第三步：定时器设置的定时到达时，调用视频数据定时输出任务，根据当前缓冲区中第一个视频数据帧的时戳与输出时戳的比较以及该数据帧的所有数据包是否已经接收完全来判断该帧是否发送给解码器，如果当前缓冲区中第一个视频数据帧的时戳满足输出条件并且该帧的所有数据包已经接收完全，则发送到解码器；
第四步：若时戳已经满足输出条件而数据包未收集完全，则继续等待一个最大抖动容忍时间之后，强制发送当前帧数据到解码器；
第五步：视频数据定时输出任务判断缓冲池中是否还有符合输出时戳条件的其他帧数据需要输出，如有，则返回第三步进行处理；
第六步：视频数据定时输出任务更新输出时戳。
2、根据权利要求1所述的H.323会议电视系统中消除视频数据网络抖动的方法，其特征在于，将视频数据输出定时选择为40毫秒定时。
3、根据权利要求1所述的H.323会议电视系统中消除视频数据网络抖动的方法，其特征在于，最大抖动容忍时间设置为80毫秒。
CN 200310101811 2003-10-17 2003-10-17 H.323会议电视系统中视频数据网络抖动消除方法 Expired - Fee Related CN1223192C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200310101811 CN1223192C (zh) 2003-10-17 2003-10-17 H.323会议电视系统中视频数据网络抖动消除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200310101811 CN1223192C (zh) 2003-10-17 2003-10-17 H.323会议电视系统中视频数据网络抖动消除方法

Publications (2)

Publication Number Publication Date
CN1529501A CN1529501A (zh) 2004-09-15
CN1223192C true CN1223192C (zh) 2005-10-12

Family

ID=34304206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200310101811 Expired - Fee Related CN1223192C (zh) 2003-10-17 2003-10-17 H.323会议电视系统中视频数据网络抖动消除方法

Country Status (1)

Country Link
CN (1) CN1223192C (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131565A (zh) * 2015-12-29 2016-11-16 苏州踪视通信息技术有限公司 使用联合抖动‑帧缓冲区的视频解码及渲染

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1901668B (zh) * 2005-07-19 2012-05-23 腾讯科技（深圳）有限公司 多人视频数据显示处理方法及系统
US8908577B2 (en) 2005-12-02 2014-12-09 Qualcomm Incorporated Solving IP buffering delays in mobile multimedia applications with translayer optimization
JP4176122B2 (ja) * 2006-10-24 2008-11-05 株式会社東芝 サーバ端末、画面共有方法およびプログラム
CN100428802C (zh) * 2006-12-22 2008-10-22 清华大学 一种自适应多媒体播放的方法
US8203961B2 (en) * 2008-08-11 2012-06-19 Qualcomm Incorporated Methods and apparatus for providing modified timestamps in a communication system
CN101771809B (zh) * 2009-10-20 2014-10-29 大连捷成实业发展有限公司 基于fpga实现多路数字视频同步处理方法
CN101742333A (zh) * 2009-12-17 2010-06-16 中兴通讯股份有限公司 一种媒体数据的平稳输出方法及装置
CN102254566B (zh) * 2010-05-19 2015-11-25 无锡中星微电子有限公司 一种视频数据的纠错方法及纠错系统
CN102185999B (zh) * 2011-03-28 2013-03-20 广东威创视讯科技股份有限公司 消除视频抖动的方法及装置
WO2011120470A2 (zh) * 2011-05-09 2011-10-06 华为技术有限公司 媒体流性能监控方法及设备
CN105451100B (zh) * 2015-12-07 2019-04-09 贵阳朗玛信息技术股份有限公司 一种播放视频流的方法及装置
CN109413485B (zh) * 2017-08-17 2022-02-01 成都鼎桥通信技术有限公司 数据缓存方法及装置
CN113365098B (zh) * 2021-06-01 2022-07-22 平安国际智慧城市科技股份有限公司 视频帧组装方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131565A (zh) * 2015-12-29 2016-11-16 苏州踪视通信息技术有限公司 使用联合抖动‑帧缓冲区的视频解码及渲染

Also Published As

Publication number Publication date
CN1529501A (zh) 2004-09-15

Similar Documents

Publication Publication Date Title
CN1223192C (zh) H.323会议电视系统中视频数据网络抖动消除方法
CN101674486B (zh) 一种流媒体音视频同步方法及系统
CN1166132C (zh) 分组处理器
US8160129B2 (en) Image pickup apparatus and image distributing method
CN1599352A (zh) 一种分组交换网络自适应抖动缓冲区调整方法
CN1106098C (zh) 数字音频/视频数据通信中变换数据传送速率的设备和方法
CN1206863C (zh) 图像传输方法
CN105959620A (zh) 一种全景视频的同步显示方法及设备
US20050030369A1 (en) Image data processing system and method of mobile communication terminal
US8014452B2 (en) Format conversion circuit
CN1136693C (zh) 传送数字音频和视频数据的设备和方法
AU719855B2 (en) Decoding system for motion picture data
CN102572395A (zh) 一种监控方法、移动终端和数字电视接收终端
CN101159819A (zh) 一种在线视频中插播Flash的方法和装置
JP4104577B2 (ja) 画像伝送装置、画像伝送方法、伝送システム、及び映像監視システム
CN102547204B (zh) 接收装置、荧幕画面传输系统以及其传输方法
US9377987B2 (en) Hardware assisted format change mechanism in a display controller
CN101184216A (zh) 一种智能家居网关呈现视频控制方法及其系统
KR100782014B1 (ko) 비압축 고품질 미디어 전송 시스템 및 그 방법과 그프로그램 소스를 저장한 기록매체
US20050083861A1 (en) Method and arrangement for converting a first data stream into a second data stream
JP2011019150A (ja) 通信装置および通信装置における回線速度切り替え方法
CN201238354Y (zh) 一种介于电视显示器和互联网间的音视频通讯转换盒
WO2005057334A2 (en) Internet endpoint system
CN1276675C (zh) 带有摄像头的移动通信终端装置
CN1310164C (zh) 使用握手来使色度和亮度同步的设备和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20051012

Termination date: 20141017

EXPY Termination of patent right or utility model