CN1167271C - 压缩编码图像传输中的误码处理方法 - Google Patents

压缩编码图像传输中的误码处理方法 Download PDF

Info

Publication number
CN1167271C
CN1167271C CNB011005467A CN01100546A CN1167271C CN 1167271 C CN1167271 C CN 1167271C CN B011005467 A CNB011005467 A CN B011005467A CN 01100546 A CN01100546 A CN 01100546A CN 1167271 C CN1167271 C CN 1167271C
Authority
CN
China
Prior art keywords
error code
frame
data
gob
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB011005467A
Other languages
English (en)
Other versions
CN1364031A (zh
Inventor
静 王
王静
陈震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CNB011005467A priority Critical patent/CN1167271C/zh
Priority to EP02716038A priority patent/EP1351520A4/en
Priority to RU2003124641/09A priority patent/RU2283543C2/ru
Priority to US10/250,620 priority patent/US7051262B2/en
Priority to PCT/CN2002/000008 priority patent/WO2002056601A1/zh
Publication of CN1364031A publication Critical patent/CN1364031A/zh
Application granted granted Critical
Publication of CN1167271C publication Critical patent/CN1167271C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Abstract

一种压缩编码图像传输中的误码处理方法，其中当接收端检测出有误码时在图像码流数据解码前丢弃有误码的图像码流数据，并采用前帧相应位置的图像数据替代被丢弃的图像数据，然后再进行图像码流数据解码。且较佳地，对应于解码前的图像码流数据，接收端设置标志数组用以记录出现误码的位置。可以避免或减少发送端的帧内编码发送及接收端的图像凝固，提高图像质量。

Description

压缩编码图像传输中的误码处理方法
本发明涉及多媒体技术中的图像通信领域，特别是涉及经压缩编码的图像在传输中产生的误码的处理方法。
会议电视和可视电话都应用到图像通信技术，以及对图像压缩编码后传输的技术。在实时双向视频通信中，如会议电视，视频信息按照国际标准压缩为码流数据进行传输。目前通常采用的图像编码国际标准为ITU-T(国际电联)提出的H.26X标准(如H.261和H.263)，在H.26X标准中将数字视频格式定义为CIF(公共中间格式)和QCIF(四分之一CIF)，作为会议电视统一的图像信号格式，以适应国际上流行的PAL、NTSC、SECAM等不同电视制式。
下面以CIF格式为例简单介绍H.26X标准中定义的数字视频格式的结构。图1和图2分别示出了H.261CIF格式和H.263CIF格式的组成结构，如图1及图2所示，每帧图像被划分为多个GOB(块组)，每一GOB又被划分为多个MB(宏块)，MB又被进一步划分因与本发明不相关不再赘述。与图像的划分格式相对应，H.26X标准的压缩编码图像在传输中的的数据码流分为若干层，图像层包含图像层头和GOB层数据，GOB层包含GOB层头和MB层数据，MB层又包含MB层头和下一层的数据，等等。由于压缩码流的信息冗余度较低，因而在传输过程中引入的传输信道误码对接收端图像质量影响很大。
一般接收端都会设置误码检测的手段，如利用前向纠错(FEC)进行误码检测，在发现误码的情况下，现有技术中的一种误码处理方法，利用多点会议的FastUpdate指令，当接收端检测出有误码时，即凝固本接收端的显示，即暂停将图像数据解码为可直接播放的视频数据的解码操作，通过会议控制向发送端发出FastUpdate指令。发送端收到指令，即编码发送帧内帧，将当前帧进行帧内编码并发送，并在码流中将Freeze Release位置为有效。接收端检测出FreezeRelease位为有效后，即解除显示凝固，继续将图像数据解码为可直接播放的视频数据。
现有技术的缺点在于，即使在误码不大的情况下，解码图像也有较频繁的图像凝固与质量较差的帧内编码图像出现，尤其在一个多方参与的电视会议中，一个终端正在被广播，如果某个接收广播的终端线路有误码，这一误码处理方式会导致整个会议所有终端看到较频繁的质量较差的帧内编码图像出现，用户对这一现象表示很难接受。
本发明的目的在于提出一种压缩编码图像传输中的误码处理方法，其可避免或减少发送端的帧内编码发送及接收端的图像凝固，提高图像质量。
本发明的目的是这样实现的：一种压缩编码图像传输中的误码处理方法，其特征在于：当接收端检测出有误码时，对应于解码前的图像码流数据，接收端设置标志数组用以记录出现误码的位置，在图像码流数据解码前丢弃有误码的图像码流数据，并采用前帧相应位置的图像数据替代被丢弃的图像数据，然后再进行图像码流数据解码。
较佳地，所述标志数组的长度与纯码流缓冲中码流数据的长度相同，标志数组的各位数值用于表示纯码流缓冲中的对应码流数据位是否为误码。
较佳地，在图像编码标准为H.261的情况下，接收端在图像数据解码前丢弃有误码的图像数据，具体为：丢弃含有误码的GOB的数据。
较佳地，在图像编码标准为H.263的情况下，接收端在图像数据解码前丢弃有误码的图像数据，具体为：在误码发生在一帧的第一个GOB中的情况下，则丢弃误码发生帧的整帧数据；在误码不是发生在一帧的第一个GOB中，且发生误码的GOB的GFID与相邻的下一个GOB的GFID相同的情况下，则丢弃误码所在的GOB的数据；在误码不是发生在一帧的第一个GOB中，且发生误码的GOB的GFID与相邻的下一个GOB的GFID不相同的情况下，接收端向后搜索下一个帧头，并丢弃从误码所在的GOB的起始处到该下一个帧头的起始处之间的数据。
较佳地，发送端将每帧中固定数目的多个MB强制设为帧内编码方式，且相邻帧的所述被强制设为帧内编码方式的MB在屏幕位置上相邻。
较佳地，对于CIF图像每帧中所述的被强制设为帧内编码方式的MB为三个，对于其它格式图像每帧中所述的被强制设为帧内编码方式的MB个数可随图像大小做等比例调整。
较佳地，所述三个MB的空间位置可以是一个挨一个的排成一排，或是一个挨一个的排成一列，或是一个挨一个的排成一个对角线，或是间隔开。
本发明相较于现有技术更多地考虑了用户的实际需求及会议的具体状态，可以避免或减少发送端的帧内编码发送及接收端的图像凝固。由于开会时场景变化很少，所以可以使误码能被掩盖得很好，从而提高了图像质量。
为使本发明的目的、技术方案和优点更加清楚明白，以下举实施例并结合附图，对本发明进一步详细说明。其中
图1示出了H.261CIF格式的组成结构。
图2示出了H.263CIF格式的组成结构。
现有技术中接收端在检出误码后，即凝固显示，通过会议控制向发送端发出FastUpdate指令。发送端收到指令，即编码发送帧内帧，并在码流中将FreezeRelease位置为有效。接收端检测出Freeze Release位为有效后，即解除显示凝固。现有技术中的误码处理方法，即使在小误码的情况下，解码图像也会有较频繁的图像凝固与质量较差的帧内编码图像出现，导致图像质量很难为用户接受。
本发明认识到，在会议电视中或可视电话业务中，图像的场景一般变化很小，因此在很多情况下不需要凝固显示重传数据，而只需采用前帧相应位置的数据覆盖有误码的数据即可。经过如此的误码处理措施，接收端的图像质量得到提高，更易获得用户认可。
在本发明的一个较佳实施例中，接收端接收的码流在复用层先接受循环冗余(CRC)校验，然后将视频数据通过视频接收缓冲传递给视频解码层。视频接收缓冲中的数据是FEC帧结构的，解码器对这一数据进行检错、去帧结构，取出单纯的图像码流数据，放于一纯码流缓冲中等待由解码器进行解码。本较佳实施例中对应于纯码流缓冲设置了标志数组，用于记录出现误码的位置。该标志数组可以是与纯码流缓冲一一对应的，即该标志数组的长度与纯码流缓冲中码流数据的长度相同，标志数组的各位的数值用于表示纯码流缓冲中的对应码流数据位是否为误码。
本实施例中将误码情况区分为大误码情况和小误码情况分别处理。
对小误码情况，首先采用标准H.261与H.263中推荐的FEC方法进行检错。若检出有误码，则丢弃该FEC帧，并在标志数组相应的位置标记为误码。
在处理去FEC帧结构后的单纯码流数据时，首先检查标志数组中是否有误码标记，若没有误码标记，则可以直接将数据送给码流解码模块。若检测到误码标记，则需要进行弃数据处理。如果协议为H.263，在本实施例中需要做的工作可分为A、B、C三个步骤如下：
A、确定误码发生的GOB序号及缓冲中GOB的起始位置。这一工作通过向前搜索GOB头可以实现。
B、若为一帧的第一个GOB，则向后搜索下一帧的帧头。丢弃误码发生帧的整帧数据。
c、若不是一帧的第一个GOB，则向前搜索上一个GOB的头并记录GFID，向后搜索下一个GOB的头并记录GFID。若两个GFID相同，则丢弃误码所在GOB的数据。若两个GFID不同，则向后搜索下一帧的帧头，丢弃误码所在GOB起始处到下一帧头起始处之间的所有数据。这里所说的GFID是在H.263中定义的一个标志位，表示了该GOB所在帧的序号，如果两个GFID不同，则说明两个GOB位于不同的帧中，如果两个GFID相同，则说明两个GOB位于同一帧中。
如果协议为H.261，只需确定缓冲中误码所在GOB的起始位置与下一GOB的开始位置，丢弃之间的所有数据。这一工作通过向前搜索GOB头，向后搜索GOB头可以实现。
丢弃数据完成后，解码端需进行错误掩盖。掩盖方法是用前一帧的相应数据替代被丢弃的图像内容。
经过上述处理，开会时由于场景变化很少，所以小误码能被掩盖得很好。但画面存在较大活动对象时，活动部分会留下较明显的拖尾。为此可采用强制帧内块策略消除拖尾的扩散。对于CIF图像，即每帧将三个MB强制设为帧内编码方式，不管原来是帧间编码方式，还是无需编码方式。一帧中三个MB的空间位置可以是相邻的，如三个MB一个挨一个的排成一排，或是一个挨一个的排成一列，或是一个挨一个的排成一个对角线，也可以是间隔开的，但当前帧中的三个MB应与前一帧中的三个MB在屏幕位置上相邻，例如是前一帧中的三个MB按照帧内MB序号递增或递减的顺序选取的。由于错误图像的扩散总是发生在相邻的MB中，顺序方式相对一般的随机方式能更有效地消除拖尾的扩散。
对大误码情况，即使经过处理，图像质量劣化仍较大，此时输出一特定的图像，例如兰屏，并叠加显示字幕，说明有误码。
本发明相较于现有技术更多地考虑了用户的实际需求及会议的具体状态，可以避免或减少接收端的图像凝固。由于开会时场景一般变化很少，所以可以把误码能被掩盖得很好，从而提高了图像质量。
本领域的普通技术人员应当理解的是，以上实施例仅用以说明本发明而非限制，可以对本发明进行修改、等同替换，或者将不同特征进行组合，而不脱离本发明的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1、一种压缩编码图像传输中的误码处理方法，其特征在于：当接收端检测出有误码时，对应于解码前的图像码流数据，接收端设置标志数组用以记录出现误码的位置，在图像码流数据解码前丢弃有误码的图像码流数据，并采用前帧相应位置的图像数据替代被丢弃的图像数据，然后再进行图像码流数据解码。
2、如权利要求1所述的压缩编码图像传输中的误码处理方法，其特征在于：所述标志数组的长度与纯码流缓冲中码流数据的长度相同，标志数组的各位数值用于表示纯码流缓冲中的对应码流数据位是否为误码。
3、如权利要求1所述的压缩编码图像传输中的误码处理方法，其特征在于：在图像编码标准为H.261的情况下，接收端在图像数据解码前丢弃有误码的图像数据，具体为：丢弃含有误码的GOB的数据。
4、如权利要求1所述的压缩编码图像传输中的误码处理方法，其特征在于：在图像编码标准为H.263的情况下，接收端在图像数据解码前丢弃有误码的图像数据，具体为：在误码发生在一帧的第一个GOB中的情况下，则丢弃误码发生帧的整帧数据；在误码不是发生在一帧的第一个GOB中，且发生误码的GOB的GFID与相邻的下一个GOB的GFID相同的情况下，则丢弃误码所在的GOB的数据；在误码不是发生在一帧的第一个GOB中，且发生误码的GOB的GFID与相邻的下一个GOB的GFID不相同的情况下，接收端向后搜索下一个帧头，并丢弃从误码所在的GOB的起始处到该下一个帧头的起始处之间的数据。
5、如权利要求1所述的压缩编码图像传输中的误码处理方法，其特征在于：发送端将每帧中固定数目的多个MB强制设为帧内编码方式，且相邻帧的所述被强制设为帧内编码方式的MB在屏幕位置上相邻。
6、如权利要求5所述的压缩编码图像传输中的误码处理方法，其特征在于：对于CIF图像每帧中所述的被强制设为帧内编码方式的MB为三个，对于其它格式图像每帧中所述的被强制设为帧内编码方式的MB个数可随图像大小做等比例调整。
7、如权利要求1所述的压缩编码图像传输中的误码处理方法，其特征在于：对大误码与小误码采用不同的对策，在大误码的情况下，接收端输出一特定的图像。
8、如权利要求6所述的压缩编码图像传输中的误码处理方法，其特征在于：所述三个MB的空间位置可以是一个挨一个的排成一排，或是一个挨一个的排成一列，或是一个挨一个的排成一个对角线，或是间隔开。
CNB011005467A 2001-01-10 2001-01-10 压缩编码图像传输中的误码处理方法 Expired - Fee Related CN1167271C (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CNB011005467A CN1167271C (zh) 2001-01-10 2001-01-10 压缩编码图像传输中的误码处理方法
EP02716038A EP1351520A4 (en) 2001-01-10 2002-01-09 METHOD FOR PROCESSING AN ERROR CODE OF A COMPRESSED IMAGE IN THE FIELD OF TRANSMISSION
RU2003124641/09A RU2283543C2 (ru) 2001-01-10 2002-01-09 Способ обработки кода ошибки сжатого изображения при передаче
US10/250,620 US7051262B2 (en) 2001-01-10 2002-01-09 Method for processing error code of compressed image in transmission
PCT/CN2002/000008 WO2002056601A1 (en) 2001-01-10 2002-01-09 A method for processing error code of compressed image in transmission

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB011005467A CN1167271C (zh) 2001-01-10 2001-01-10 压缩编码图像传输中的误码处理方法

Publications (2)

Publication Number Publication Date
CN1364031A CN1364031A (zh) 2002-08-14
CN1167271C true CN1167271C (zh) 2004-09-15

Family

ID=4651679

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB011005467A Expired - Fee Related CN1167271C (zh) 2001-01-10 2001-01-10 压缩编码图像传输中的误码处理方法

Country Status (5)

Country Link
US (1) US7051262B2 (zh)
EP (1) EP1351520A4 (zh)
CN (1) CN1167271C (zh)
RU (1) RU2283543C2 (zh)
WO (1) WO2002056601A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100557047B1 (ko) * 2002-10-21 2006-03-03 엘지전자 주식회사 동영상 디코딩 방법
KR100543607B1 (ko) * 2002-11-05 2006-01-20 엘지전자 주식회사 동영상 디코딩 방법
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US9138644B2 (en) 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
KR100492567B1 (ko) * 2003-05-13 2005-06-03 엘지전자 주식회사 이동통신 시스템의 ｈｔｔｐ 기반 비디오 스트리밍 장치및 방법
CN100356795C (zh) * 2003-12-30 2007-12-19 凌阳科技股份有限公司 影像解压缩电路与方法
WO2007063461A2 (en) * 2005-12-02 2007-06-07 Koninklijke Philips Electronics N.V. Method and apparatus for detecting video data errors
KR20100098674A (ko) * 2007-12-05 2010-09-08 온라이브, 인크. 비디오를 압축하기 위한 타일 기반 시스템 및 방법
TW200939793A (en) * 2007-12-05 2009-09-16 Onlive Inc System and method for protecting certain types of multimedia data transmitted over a communication channel
JP2011508995A (ja) * 2007-12-05 2011-03-17 オンライブ インコーポレイテッド 通信チャンネルの検出されたデータレートに基づきビデオを圧縮するためのシステム及び方法
US20090249172A1 (en) * 2008-03-26 2009-10-01 Qualcomm Incorporated Methods and apparatus for improved decoding of bursts that include multiple concatenated protocol data units
US8126014B2 (en) * 2008-04-09 2012-02-28 Qualcomm Incorporated Methods and apparatus for improved decoding of hybrid automatic repeat request transmissions
CN101420624B (zh) * 2008-11-13 2012-01-04 华为技术有限公司 一种视频解码错误处理方法及装置
CN102256138A (zh) * 2010-05-18 2011-11-23 安凯(广州)微电子技术有限公司 一种改善视频播放效果的方法
HUE051695T2 (hu) * 2011-10-24 2021-03-29 Innotive Ltd Képdekódoló készülék
CN103988512A (zh) * 2011-11-28 2014-08-13 汤姆逊许可公司 失真/质量测量
US9118744B2 (en) * 2012-07-29 2015-08-25 Qualcomm Incorporated Replacing lost media data for network streaming
CN107680605A (zh) * 2017-09-29 2018-02-09 湖南国科微电子股份有限公司 一种ape格式错误数据处理方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5455629A (en) * 1991-02-27 1995-10-03 Rca Thomson Licensing Corporation Apparatus for concealing errors in a digital video processing system
US5617333A (en) 1993-11-29 1997-04-01 Kokusai Electric Co., Ltd. Method and apparatus for transmission of image data
JP3380334B2 (ja) * 1994-07-25 2003-02-24 株式会社日立国際電気 画像データの補間方法及び装置
JPH08154247A (ja) * 1994-09-29 1996-06-11 Sanyo Electric Co Ltd 圧縮画像データ処理装置及び方法
JPH09121358A (ja) * 1995-10-25 1997-05-06 Matsushita Electric Ind Co Ltd 画像符号化及び復号化装置と方法
US5862451A (en) 1996-01-22 1999-01-19 Motorola, Inc. Channel quality management in a cable telephony system
CN1179252A (zh) * 1996-01-22 1998-04-15 摩托罗拉公司 有线电话系统中的信道质量管理
US5910827A (en) * 1997-02-26 1999-06-08 Kwan; Katherine W. Video signal decoding arrangement and method for improved error concealment
US6078616A (en) * 1997-03-13 2000-06-20 Sony Corporation Methods and apparatus for error concealment utilizing temporal domain motion vector estimation
JP3053781B2 (ja) * 1997-03-18 2000-06-19 沖電気工業株式会社 動画像圧縮符号の復号方法及び復号装置

Also Published As

Publication number Publication date
WO2002056601A1 (en) 2002-07-18
RU2003124641A (ru) 2005-02-27
CN1364031A (zh) 2002-08-14
EP1351520A1 (en) 2003-10-08
US7051262B2 (en) 2006-05-23
RU2283543C2 (ru) 2006-09-10
US20040059983A1 (en) 2004-03-25
EP1351520A4 (en) 2006-08-16

Similar Documents

Publication Publication Date Title
CN1167271C (zh) 压缩编码图像传输中的误码处理方法
EP1287705B1 (en) Video coding
KR100929558B1 (ko) 비디오 부호화 방법, 복호화 방법, 부호화기, 복호기, 무선 통신 장치 및 멀티미디어 터미널 장치
KR100495820B1 (ko) 비디오 코딩
US7116714B2 (en) Video coding
US20030138043A1 (en) Grouping of image frames in video coding
US20060120451A1 (en) Grouping of image frames in video coding
US20030067637A1 (en) Video coding
US20060133514A1 (en) Video coding and transmission
EP1349398A1 (en) Video processing

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180530

Address after: Delaware

Patentee after: Vid Scale Inc

Address before: 518057 HUAWEI building, road, Shenzhen science and Technology Park

Patentee before: Huawei Technologies Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20040915

Termination date: 20200110