CN101547350A - 高效平面与立体数字视频编码及解码方法 - Google Patents

高效平面与立体数字视频编码及解码方法 Download PDF

Info

Publication number
CN101547350A
CN101547350A CN 200810030929 CN200810030929A CN101547350A CN 101547350 A CN101547350 A CN 101547350A CN 200810030929 CN200810030929 CN 200810030929 CN 200810030929 A CN200810030929 A CN 200810030929A CN 101547350 A CN101547350 A CN 101547350A
Authority
CN
China
Prior art keywords
unit
difference
adjacent
strange
idol
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 200810030929
Other languages
English (en)
Inventor
陈意辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN 200810030929 priority Critical patent/CN101547350A/zh
Publication of CN101547350A publication Critical patent/CN101547350A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种高效平面与立体数字视频编码及解码方法,通过行列相邻抽取辅助分量编码法、帧(场)内邻宏块估计编码与奇偶场场差编码法大幅度提高编码效率,提高压缩比,由此编码方法形成相应的解码方法;在立体视频中,将左右视频立体信号中的一幅图像作高效基本编码,另一路按视频差异进行预处理,再根据视频清晰度要求,对左右视频图像的水平差异与垂直差异或亮度残留纹理或色度残留纹理进行辅助分量编码,得到高效率立体视频编码方法,由此编码方得到相应的解码方法;将清晰度与立体视频编码作为统一对待,将清晰度低一级的信号与平面信号作高效编码,通过增加辅助信息的方式实现高一级清晰度与立体高效编码,所述多种高效编码方法可以组合,由此编码方法形成相应的解码方法。

Description

高效平面与立体数字视频编码及解码方法
技术领域
本发明涉及一种数字视频编与解码技术,特别涉及一种高效平面与立体数字视频编解码技术。
背景技术
数字视频编码技术从MPEG-2发展到MPEG-4、AVS及H.264,并朝H.265方向发展,从标准清晰度朝高清晰度发展,从平面视频编码发展到立体视频编码,为了满足不断发展的视频编码要求,最大限度的节省带宽资源,具有高压缩比的多种清晰度的平面与立体视频编码技术已成为迫切需要,一方面,现有的MPEG-2、MPEG-4、AVS及H.264编码效率还有待提高,另一方面,在现有的MPEG-2、MPEG-4、AVS及H.264架构下,如何实现立体视频高效编码有待研究。
发明内容
本发明的目的在于,在现有的MPEG-2、MPEG-4、AVS及H.264的架构下:通过相邻抽取辅助分量编码法、帧(场)内邻宏块估计编码与奇偶场场差编码法大幅度提高编码效率,提高压缩比,由此编码方法形成相应的解码方法;进一步地,在立体视频中,将左右视频立体信号中的一幅图像作高效基本编码,另一路按视频差异进行预处理,再根据视频清晰度要求,对左右视频图像的水平差异与垂直差异或亮度残留纹理或色度残留纹理进行辅助分量编码,得到高效率立体视频编码方法,由此编码方法形成相应的解码方法;进一步地,将清晰度与立体视频编码作为统一的问题对待,将清晰度低一级的信号与平面信号作高效编码,通过增加辅助信息的方式实现高一级清晰度与立体高效编码,所述多种高效编码方法可以组合,由此编码方法形成相应的解码方法;通过高效平面或立体视频编码方法及相应的解码方法,广泛用于数字电视传输、网络电视、视频监控、移动多媒体通信、计算机图像合成及互动多视点的三维游戏与虚拟现实领域。
本发明第一个方面中,一种用于高效视频编码的4:1相邻抽取辅助信息编码方法:
它由4:1相邻抽取单元、基本图像存储单元、基本宏块DCT+量化+重排序零编码+运动矢量编码单元、邻图像1存储单元、差异估计位移1单元、差异1及位移存储单元、差异宏块DCT+量化+重排序零编码+位移矢量编码1单元、邻图像2存储单元、差异估计位移1单元、差异2及位移存储单元、差异宏块DCT+量化+重排序零编码+位移矢量编码2单元、邻图像3存储单元、差异估计位移1单元、差异3及位移存储单元、差异宏块DCT+量化+重排序零编码+位移矢量编码3单元组成。
由相邻抽取单元对视频图像进行相邻抽取后,形成一个基本图像与3个差异图像分别输入到基本图像存储单元、邻图像1存储单元、邻图像2存储单元及邻图像3存储单元存储,基本邻图像存储单元经宏块DCT+量化+重,排序零编码+运动矢量编码单元进行宏块分割、DCT变换、量化、“Z”字型扫描重排序、零编码及运动矢量编码输入到熵编码模块2;邻图像1存储单元将信号输入到差异估计位移1单元,与来自基本图像存储单元的信号作差值估计与位移确定,如基本图像是奇行奇列,邻图像1是奇行偶列,则位移1为左移一个像素,经差异1及位移存储单元存储,输入到差异宏块DCT+量化+重排序零编码+位移矢量编码单元,对差异信号进行宏块分割、DCT变换、量化、“Z”字型扫描重排序、零编码及位移矢量编码形成辅助分量1输入到熵编码模块2;同样的方法得到辅助分量2与辅助分量3,因采用的是相邻抽取,处理后将形成大量的“0”,辅助分量1、辅助分量2及辅助分量3所占的信息量很小,实现了高效率编码压缩。
其对应的解码方法是:它由相邻嵌套合成单元、基本图像存储单元、基本宏块IDCT+反量化+解重排序零编码+运动矢量解码单元、邻图像1存储单元311、差异补偿位移1单元、差异1及位移存储单元、差异宏块IDCT+反量化+解重排序零编码+位移矢量解码1单元、邻图像2存储单元、差异估计位移2单元、差异2及位移存储单元、差异宏块IDCT+反量化+解重排序零编码+位移矢量解码2单元、邻图像3存储单元、差异补偿位移3单元、差异3及位移存储单元、差异宏块IDCT+反量化+解重排序零编码+位移矢量解码3单元组成。
解码方法是编码方法的逆过程,编码流通过熵解码模块解码后,形成基本分量、辅助分量1、辅助分量2及辅助分量3计4路信号,基本分量信号通过基本宏快IDCT+反量化+解重排序零编码+运动矢量解码单元,依次进行运动矢量解码、零解码、反量化运算、反“Z”字行扫描、IDCT变换及宏块合成,将解码信号输入到基本图像存储单元,辅助分量1的信号输入到差异宏块IDCT+反量化+解重排序零编码+位移矢量解码单元,依次进行位移矢量解码、零解码、反量化运算、反“Z”字行扫描及IDCT变换及差异宏块合成,将差异与位移1解码信号依次输入到差异及位移1存储单元及差异补偿位移1单元,基本图像存储单元的信号同时还输入到差异补偿位移1单元,两路信号作补偿形成邻图像1信号,存储到邻图像1存储单元;同样的方法可得到邻图像2信号及邻图像3信号;基本图像信号与邻图像1、邻图像2及邻图像3信号在3个位移矢量的作用下作相邻嵌套合成,实现了完整的解码。
本发明第二个方面中,一种用于高效视频编码的16:1二级相邻抽取辅助分量高效编码方法:
它在所述4:1相邻抽取辅助分量高效编解码方法的基础上再一次进行了4:1抽取,使得基本图像分量像素数变为原来的1/16,再辅以15个辅助分量,由于相邻之间的相关性,辅助分量信息量较小,从而实现了更大的压缩与更高的编码效率。它由16:1相邻抽取辅助分量高效编码模块1、熵编码模块2、16:1相邻抽取辅助分量高效解码模块3与熵解码模块4组成。视频信号经16:1相邻抽取辅助分量高效编码模块1高效编码后,将基本分量与15个辅助分量输入到熵编码模块2进行熵编码输出高效编码流,解码时,高效编码流经熵解码输出基本分量与15个辅助分量,再经相邻抽取辅助分量高效解码模块3解码重建视频信号。
它由4:1相邻抽取单元、一次基本图像存储单元、4:1基本分量二次相邻抽取高效编码单元、邻图像1存储单元、差异估计位移1单元、差异1及位移存储单元、4:1辅助分量二次相邻抽取高效编码1单元、邻图像2存储单元、差异估计位移1单元、差异2及位移存储单元、4:1辅助分量二次相邻抽取高效编码、邻图像3存储单元、差异估计位移1单元、差异3及位移存储单元、4:1辅助分量二次相邻抽取高效编码3单元组成。
由4:1相邻抽取单元1对视频图像进行相邻抽取后,形成一个基本图像与3个差异图像分别输入到一次基本图像存储单元、邻图像1存储单元、邻图像2存储单元及邻图像3存储单元存储,一次基本图像存储单元经4:1基本分量二次相邻抽取高效编码单元处理,处理后形成基本分量信号、基辅分量1信号、基辅分量2信号及基辅分量3信号输入到熵编码模块2;邻图像1存储单元将信号输入到差异估计位移1单元,与来自基本图像存储单元的信号作差值估计与位移确定,如基本图像是奇行奇列,邻图像1是奇行偶列,则位移1为左移一个像素,经差异1及位移存储单元存储,输入到4:1辅助分量二次相邻抽取高效编码1单元处理,形成一路差异基本分量1及3路差异辅助分量1-3输入到熵编码模块2;同样的方法得到差异基本分量2及3路差异辅助分量2-3与差异基本分量3及3路差异辅助分量3-3,因采用的是二相邻抽取,所有处理后将形成大量的“0”,实现了更高高效率编码压缩。所述4:1基本分量二次相邻抽取高效编码单元、4:1辅助分量二次相邻抽取高效编码1单元、4:1辅助分量二次相邻抽取高效编码2单元124及4:1辅助分量二次相邻抽取高效编码3单元的组成与实现方法与所述4:1相邻抽取辅助分量高效编码方法一致。
其对应的解码方法是:它由相邻嵌套合成单元、一次基本图像存储单元、4:1基本分量二次相邻抽取解码单元、邻图像1存储单元、差异补偿位移1单元、差异1及位移存储单元、4:1辅助分量高效解码1单元、邻图像2存储单元、差异估计位移2单元、差异2及位移存储单元、4:1辅助分量高效解码2单元、邻图像3存储单元、差异补偿位移3单元、差异3及位移存储单元、4:1辅助分量高效解码3单元组成。
解码方法是编码方法的逆过程,编码流通过熵解码模块解码后,形成基本分量、基辅助分量1、2及3计4路信号,差异基本辅助分量1与3路差异辅助分量1-3计4路信号,差异基本辅助分量2与3路差异辅助分量2-3计4路信号,差异基本辅助分量3与3路差异辅助分量3-3计4路信号;基本分量、基辅助分量1、2及3计4路信号经4:1基本分量二次相邻抽取解码单元处理,形成一次基本图像信号到一次基本图像存储单元存储;差异基本辅助分量1与3路差异辅助分量1-3计4路信号经4:1辅助分量高效解码1单元高效解码后形成差异1及位移矢量信号,输入到差异1及位移存储单元存储,存储后输入到差异补偿位移1单元,在此单元中与来自一次基本图像存储单元的信号作补偿形成邻图像1信号,输入到邻图像1存储单元;同样的方法形成邻图像2信号输入到邻图像1存储单元及形成邻图像3信号输入到邻图像3存储单元;一次基本图像信号与邻图像1、邻图像2及邻图像3信号在3个位移矢量的作用下作相邻嵌套合成,实现了完整的解码。所述所述4:1基本分量二次相邻抽取高效解码单元、4:1辅助分量二次相邻抽取高效解码1单元、4:1辅助分量二次相邻抽取高效解码2单元及4:1辅助分量二次相邻抽取高效解码3单元的组成与实现方法与所述4:1相邻抽取辅助分量高效解码方法一致。
通过所述16:1相邻抽取辅助分量高效编解码方法可以将1440X1080的高清图像信号转换为352X288的CIF图像信号,720X576的标清图像信号转换为176X144的QCIF图像信号,实现高效率的编解码;配合隔行扫描可以采用一次按列2:1抽取、二次按行列4:1抽取的8:1二级相邻抽取高效编解码方法。
本发明第三个方面中,一种用于高效视频编码的9:1相邻抽取辅助分量高效编码方法:它充分利用一个像素点与周边8个像素点相关的特点实现更高效编解码,其组成与所述4:1相邻抽取辅助分量高效编解码方法大体一致,所不同的只是增加了5路相邻图像处理,编码时,形成一路基本分量与8路辅助分量到熵编码器;解码时,将一路基本分量与8路辅助分量处理,形成一路基本图像信号与8路邻图像信号,再进行9:1相邻嵌套重建图像。
本方法也可实现81:1二级相邻抽取辅助分量高效编解码方法;还可与1:4相邻抽取辅助分量高效编解码方法配合使用,实现36:1二级相邻抽取辅助分量高效编解码方法;还可配合隔行扫描可以采用一次按列2:1抽取、二次按行列9:1抽取的18:1二级相邻抽取高效编解码方法。
本发明第四个方面中,一种帧内相邻宏块估计相邻抽取辅助信息编码方法:
它由X个相邻抽取辅助分量高效编码宏块单元、第Y个相邻抽取辅助分量高效编码相邻宏块单元、相邻宏块估计单元、相邻宏块Y差异编码单元及相邻宏块位移矢量编码单元组成帧内相邻宏块估计相邻抽取编码模块。第Y个相邻抽取辅助分量高效编码相邻宏块单元中的已编信息及X个相邻抽取辅助分量高效编码宏块单元中的已编信息输入到相邻宏块估计单元,Y宏块与分别X个宏块中的上左相邻宏块、上相邻宏块、上右相邻宏块作差异估计,确定一个差异最小的作基本宏快;将差异信息输入到相邻宏块Y差异编码单元,Y宏快以基本宏快作参考的差异宏快Y替代,对差异宏快Y作编码,输入到熵编码模块2,差异宏快Y将由许多“0”组成,这样就将Y宏快进行了大幅度的编码压缩,提高编码效率;同时Y宏快与相邻宏快位移信息输入到相邻宏块位移矢量单元进行位移矢量编码,再输入到熵编码模块2,完成编码。所述相邻宏快估计可采用绝对值最小或MSE均方误差最小或MAD平均绝对块差最小为匹配判据,来找到与Y宏快最相近的块;所述场内相邻宏快估计相邻抽取高效编码方法与之完全一致,也可只采用相邻宏快估计与相邻抽取中的一种;所述相邻抽取可以是所述4:1或8:1或9:1或18:1等方式。
其对应码方法是:它由X个相邻抽取辅助分量高效解码宏块单元、第Y个相邻抽取辅助分量高效解码相邻宏块单元、相邻宏块补偿单元、相邻宏块Y差异解码单元及相邻宏块位移矢量解码单元组成帧内相邻宏块估计相邻抽取高效解码模块。输入的编码流经熵解码模块解码后,输出三路信号,一路输入到X个相邻抽取辅助分量高效编码宏块单元进行解码,重建X个相邻宏快,同时解码后的信号输入到相邻宏块补偿单元;一路输入到相邻宏块Y差异解码单元进行解码,解码后输入到相邻宏块补偿单元;一路输入到相邻宏块位移矢量解码单元进行位移矢量解码,解码后输入到第Y个相邻抽取辅助分量高效解码相邻宏块单元;相邻宏块补偿单元对输入的两路信号做补偿运算后,将结果输入到第Y个相邻抽取辅助分量高效解码相邻宏块单元,补偿位移矢量后在第Y个相邻抽取辅助分量高效解码相邻宏块单元中重建Y宏快。
本发明第五个方面中,一种奇偶场差估计场内相邻宏块估计相邻抽取高效编码方法:
它由场形成单元、偶场存储单元、奇场存储单元、场差估计高效编码运动矢量编码单元及场内相邻宏快估计相邻抽取高效编码单元组成奇偶场差估计场内相邻宏块估计相邻抽取高效编码模块。对隔行扫描信号直接将奇偶场信号分别输入到奇场存储单元与偶场存储单元,对逐行扫描信号经场形成单元处理分出奇偶场信号分别输入到奇场存储单元与偶场存储单元;奇场存储单元输出两路信号,一路输入到场内相邻宏快估计相邻抽取高效编码单元作高效编码,其方法与所述帧内相邻宏快估计相邻抽取高效编码方法一致,再输入到熵编码模块进一步做高效编码;一路输入到场差估计运动矢量单元;偶场存储单元将偶场信号输入到场差估计运动矢量单元;在场差估计运动矢量单元中,偶场信号以奇场信号作为参考作场差估计,同时偶场相对奇场位移为下移一行像素,对场差信号与运动矢量做高效编码输入到熵编码模块进一步做高效编码,所述场差估计高效编码可采用与所述帧内相邻宏快估计相邻抽取高效编码方法一样的方法。
其对应解码方法是:它由场形成单元、偶场存储单元、奇场存储单元、场差补偿高效解码与运动矢量解码单元及场内相邻宏快估计相邻抽取高效解码单元组成奇偶场差估计场内相邻宏块估计相邻抽取高效解码模块。编码流信号输入到熵解码模块进行熵解码,解码信号分成两路:一路输入到场内相邻宏快估计相邻抽取高效解码单元依次进行相邻宏快解码与相邻抽取解码,解码结果分别输入到奇场存储单元、场差补偿高效解码与运动矢量解码单元;一路输入到场差补偿高效解码与运动矢量解码单元进行解码,结果输入到场差补偿高效解码与运动矢量解码单元;在场差补偿高效解码与运动矢量解码单元中,以奇场信号为参考,进行场差补偿与运动矢量补偿,形成偶场信号,输入到偶场存储单元,奇场存储单元与偶场存储单元中的奇偶场信号,输入到场形成单元,直接将奇偶场信号分别依次输出,对逐行扫描信号经场形成单元处理形成帧信号输出。
所述奇偶场差估计场内相邻宏块估计相邻抽取高效解码方法可只采用奇偶场差估计、相邻宏快估计与相邻抽取中的一种或任意两种或全部;所述相邻抽取可以是所述4:1或8:1或9:1或18:1等方式。
本发明第六个方面中,一种奇偶场差估计场间预测高效编码方法:
编码后的场图像序列由I奇场、P偶场21、B1奇场、B1偶、B2奇场、B2偶场、P奇场、B3偶场组成。奇场序列图像及偶场序列图像同MPEG-2或MPEG-4或AVS或H.264架构下的帧图像I帧、B帧与P帧一致,I奇场作运动预测形成P奇场,B1、B2奇场均由I奇场作运动预测及P奇场作反向预测得到;P偶场由I奇场作差异估计得到,B1偶场由P偶场作运动预测及B1奇场作场差估计得到,B2偶场由P偶场作运动预测及B2奇场作场差估计得到,B3偶场均由P偶场作运动预测及B3奇场作场差估计得到,编码后形成的场序列图像依次为由I奇场、P偶场、B1奇场、B1偶场、B2奇场、B2偶场、P奇场、B3偶场。所述场序列图像同MPEG-2或MPEG-4或AVS或H.264架构下的帧图像序列一样,P场与B场的数目可以有多种,同时B场可以由前面场与后面场作双向预测得到。
其对应的解码方法是:解码后的场图像序列由奇场1、偶场1、奇场2、偶场2、奇场3、偶场3、奇场4与偶场4组成。场间解码过程与场间编码过程相逆,已编码的I奇场、P偶场、B1奇场、B1偶、B2奇场、B2偶场、P奇场、B3偶场图像序列输入到解码单元后,先进行奇场I解码得到奇场1;由奇场1作参考,通过P偶场场差异补偿得到解码的偶场1;以奇场1作参考,通过P奇场作运动补偿得到奇场4;以奇场1作参考,通过I奇场作运动补偿及通过P奇场作反向补偿对B1奇场解码得到奇场2;以奇场1作参考,通过I奇场作运动补偿、通过P奇场作反向补偿对B2奇场解码得到奇场3;以奇场1作参考,通过I奇场作场差补偿,对P偶场解码得到偶场1;以偶场1作参考,通过P偶场作运动补偿及通过P奇场作场差补偿,对B3偶场解码得到偶场4;以偶场1作参考,通过P偶场作运动补偿及通过B1奇场作场差补偿,对B2偶场解码得到偶场3;以偶场1作参考,通过P偶场作运动补偿及通过B2奇场作场差补偿,对B1偶场解码得到偶场2;解码后输出的视频序列依次为奇场1、偶场1、奇场2、偶场2、奇场3、偶场3、奇场4与偶场4;对隔行扫描终端直接输出,对逐行扫描终端,则将对应的奇偶场嵌套合成形成帧1、帧2、帧3与帧4视频图像信号序列。
本发明第七个方面中,一种立体奇偶场差估计场内相邻宏块估计相邻抽取高效编码方法:
它由左图像隔行处理单元、隔行扫描场差估计场内邻宏快估计邻抽取高效编码单元、运动矢量编码单元、右图像单元、右图像隔行位移处理处理单元、左右图像差异估计单元及左右图像差异辅助分量高效编码单元组成立体隔行扫描场差估计场内邻宏快估计邻抽取高效编码模块。左图像信号输入到左图像隔行处理单元,对隔行扫描信号直接输出,对逐行扫描信号转化为隔行扫描信号输出;处理后输入到隔行扫描场差估计场内邻宏快估计邻抽取高效编码单元进行高效编码,将结果输入到熵编码模块进一步实现高效编码;来自右图像单元21的信号输入到右图像隔行扫描位移处理单元22进行处理,对于隔行扫描信号,只做位移处理,对逐行扫描信号,除位移处理外,还要进行隔行处理,将一帧图像转换为奇偶两场图像;处理的结果输入到左右差异估计单元,以来自左图像隔行处理单元的信号为参考,得到左右图像的差异信号,输入到左右差异辅助分量高效编码单元作高效编码,将其结果输入到熵编码模块进一步作高效熵编码,所述左右差异辅助分量高效编码单元对辅助分量的高效编码方法可采用隔行扫描场差估计场内邻宏快估计邻抽取高效编码方法;同时左右差异估计单元输出运动矢量信号到运动矢量编码单元作编码,并将编码的结果输入到熵编码模块作高效编码。
其对应的解码方法是:它左图像隔行处理单元、隔行扫描场差估计场内邻宏快估计邻抽取高效解码单元、运动矢量解码单元、右图像单元、右图像隔行位移处理处理单元、左右图像差异补偿单元及左右图像差异辅助分量高效解码单元组成立体隔行扫描场差估计场内邻宏快估计邻抽取高效解码模块。待解码的编码流信号经熵解码模块熵解码后,输出三路信号:一路输入到隔行扫描场差估计场内邻宏快估计邻抽取高效解码单元进行解码,输出左图像的已解码奇偶场信号到左图像隔行处理单元,对隔行显示终端直接输出隔行扫描的奇偶场序列信号,对逐行显示终端,将奇偶场信号嵌套合成帧序列信号输出,同时左图像隔行处理单元还将处理后的信号输入到左右差异补偿单元做参考信号;一路输入到运动矢量解码单元作运动矢量解码,再输入到左图像隔行处理单元以形成左图像场序列信号;还有一路输入到左右差异辅助分量高效解码单元,解码出差异信号输入到左右差异补偿单元,在左右差异补偿单元中,以来自左图像隔行处理单元的场序列信号作参考,输出重建的右图像场序列信号到右图像隔行扫描位移处理单元作处理,对隔行显示终端直接输出隔行扫描的奇偶场序列信号,对逐行显示终端,将奇偶场信号嵌套合成帧序列信号,输出到右图像单元,至此完成解码。
所述编码解码方法中左右图像可以互换;所述相邻抽取可以是所述4:1或8:1或9:1或18:1等方式。
本发明第八个方面中,一种精细立体奇偶场差估计场内相邻宏块估计相邻抽取高效编解码方法:
它由左图像隔行处理单元、隔行扫描场差估计场内邻宏快估计邻抽取高效编码单元、运动矢量编码单元、右图像单元、右图像隔行位移处理处理单元、左右图像差异估计单元、左右图像差异辅助分量高效编码单元、亮色纹理垂直差异估计单元、重建右图像单元、左右图像差异补偿单元及亮色纹理垂直差异高效编码单元组成立体隔行扫描场差估计场内邻宏快估计邻抽取高效编码模块。
它的实现方法是:在所述立体隔行扫描差估计邻宏快估计邻抽取辅助分量高效编码方法的基础上,通过重建右图像,找出右图像与重建右图像之间的亮色纹理及垂直差异,将差异作为另一路辅助分量进行高效编码,从而实现精细高效立体编码:重建的左图像信号与重建的左右图像差异分量信号被输入到左右图像差异补偿单元,以重建的左图像信号作参考,将重建的左右图像差异分量信号与之做补偿运算,得到重建的右图像信号;原始右图像信号从右图像单元输入到亮色纹理垂直差异估计单元,原始右图像信号与解码重建的右图像信号之间存在亮度纹理、色度纹理及垂直差异,为实现精细立体编码对其进行差异估计运算;差异估计的运算结果输入到亮色纹理垂直差异高效编码单元中作高效编码,高效编码结果被输入到熵编码模块进一步高效编码,从而完成整过编码过程。所述重建的左图像信号与重建的左右差异信号如表现为已编码信号,则在左右图像差异补偿单元中还需进行解码处理,以得到解码后的重建右图像;重建的左图像信号与重建的左右差异信号如表现为已解码码信号,则在左右图像差异补偿单元中只需进行差异补偿处理,就得到解码后的重建右图像。
其对应的解码方法是:它由左图像隔行处理单元、隔行扫描场差估计场内邻宏快估计邻抽取高效解码单元、运动矢量解码单元、精细右图像重建单元、右图像隔行位移处理处理单元、左右图像差异补偿单元、左右图像差异辅助分量高效解码单元、亮色纹理垂直差异补偿单元、亮色纹理垂直差异分量解码单元及精细右图像重建单元组成精细立体隔行扫描场差估计场内邻宏快估计邻抽取高效解码模块。在所述立体隔行扫描差估计邻宏快估计邻抽取辅助分量高效解码方法的基础上,通过对亮色纹理垂直差异分量解码单元进行解码;解码后的信号输入到亮色纹理垂直差异补偿单元,以输入到本单元的重建右图像作基本图像,进行亮色纹理垂直差异补偿,得到解码后的精细右图像;解码是编码的逆过程,当编码方式改变时,解码方式作相应的改变。
所述编码与解码方法中左右图像可以互换;所述相邻抽取可以是所述4:1或8:1或9:1或18:1等方式。
本发明第九个方面中,一种立体奇偶场差估计场间预测高效编码方法:
它的图像序列由左图像与右图象序列两部分组成,其中左图像序列由I奇场、P偶场、B1奇场、B1偶场、B2奇场、B2偶场、P奇场、B3偶场组成;右图像序列由P奇场、B0偶场、B1奇场、B1偶场、B2奇场、B2偶场、B3奇场、B3偶场组成。它实际上是在所述奇偶场差估计场间预测高效编码方法的基础上,分成了左右图像编码序列。
左右奇场序列图像及偶场序列图像同MPEG-2或MPEG-4或AVS或H.264架构下的帧图像I帧、B帧与P帧一致。对左图像来说,I奇场作运动预测形成P奇场,B1奇场、B2奇场均由I奇场作运动预测及P奇场作反向预测得到;P偶场由I奇场作场差估计与运动预测得到,B3偶场由P奇场作场差估计与运动预测得到,B1偶场与B2偶场均由P偶场作运动预测及B3偶场作反向预测得到。对右图像来说,I奇场作场差估计形成P奇场,B1奇场由P奇场作运动预测及B1奇场作场差估计得到,B2奇场由P奇场作运动预测及B2奇场作场差估计得到,B3奇场由P奇场作运动预测及B3奇场作场差估计得到;B0偶场由P奇场作场差估计与运动预测得到,B3偶场由B3奇场作场差估计与运动预测得到,B1偶场与B2偶场均由B0偶场作运动预测及B3偶场作反向预测得到。如同MPEG-2或MPEG-4或AVS或H.264架构下的帧图像序列一样,P场与B场的数目可以有多种,同时B场可以由前面场与后面场作双向预测得到。
其对应的解码方法是:所述奇偶场差估计场间预测高效解码左图像序列与右图像序列两部分组成,其中左图像序列部分由左奇场1单元、左偶场1单元、左奇场2单元、左偶场2单元、左奇场3单元、左偶场3单元、左奇场4单元与左偶场4单元组成,右图像序列部分由右奇场1单元、右偶场1单元、右奇场2单元、右偶场2单元、右奇场3单元、右偶场3单元、右奇场4单元与右偶场4单元组成。
场间解码过程与场间编码过程相逆,已编码的场图像序列输入到解码单元后,对左图像序列来说,先由奇场I解码得到左奇场1单元,由左奇场1单元作参考,通过I奇场作运动补偿解码P奇场得到左奇场4单元;以左奇场1单元与左奇场4单元作参考,通过I奇场作运动补偿及P奇场作反向补偿分别解码B1奇场与B2奇场得到左奇场2单元与左奇场3单元;以左奇场1单元作参考,通过I奇场作运动补偿与场差补偿解码P偶场得到左偶场1单元,以左奇场4单元作参考,通过P奇场作运动与场差补偿解码B3偶场得到左偶场4单元,以左偶场1单元与左偶场4单元作参考,通过P偶场作运动补偿及B3偶场作反向补偿,分别解码B1偶场与B2偶场得到左偶场2单元与左偶场3单元。
对右图像序列来说,以左奇场1单元作参考,通过I奇场作场差补偿,解码P偶场得到右奇场1单元,以右奇场1单元作参考,以P奇场作运动补偿,由B1奇场、B2奇场及P奇场作场差补偿,分别解码B1奇场、B2奇场、B3奇场得到右奇场2单元、右奇场3单元及右奇场4单元;以右奇场1单元作参考,通过P奇场作运动与场差补偿,解码B0偶场得到右偶场1单元,以右奇场4单元作参考,通过B3奇场作运动与场差补偿,解码B3偶场得到右偶场1单元,以右偶场1单元及右偶场4单元作参考,对B0偶场作运动补偿,对B3偶场作反向补偿,分别解码B1偶场与B2偶场43得到右偶场2单元与右偶场2单元,至此完成左右图像场序列解码。对隔行扫描终端直接输出,对逐行扫描终端,则将对应的奇偶场嵌套合成形成帧1、帧2、帧3与帧4视频图像信号序列。所述编码序列改变时,解码序列相应改变。
附图说明
如图1为本发明的4:1相邻抽取编码法像素结构图
如图2为本发明的4:1相邻抽取辅助分量高效编解码原理框图
如图3为本发明的16:1二级相邻抽取辅助分量高效编解码原理框图
如图4为本发明的9:1相邻抽取编码法像素结构图
如图5为本发明的9:1相邻抽取辅助分量高效编解码原理框图
如图6为本发明的相邻宏块估计相邻抽取高效编解码原理框图
如图7为本发明的奇偶场差估计场内相邻宏块估计相邻抽取高效编解码原理框图
如图8为本发明的奇偶场差估计场间预测高效编解码原理框图
如图9为本发明的立体奇偶场差估计场内相邻宏块估计相邻抽取高效编解码原理框图
如图10为本发明的精细立体奇偶场差估计场内相邻宏块估计相邻抽取高效编解码原理框图
如图11为本发明的立体奇偶场差估计场间预测高效编解码原理框图
如图12为本发明的高效平面与立体视频编码流程图
如图13为本发明的高效平面与立体视频解码流程图
具体实施方式
如图1所示为本发明的4:1相邻抽取编码法像素结构图
将一帧(或场)图像进行4:1相邻抽取后,可以形成与原图像高度相关的奇行奇列、奇行偶列、偶行奇列与偶行偶列四个一帧(或场),同时这四个帧(或场)具有高度的相关性,提取其中的一个作为基本帧(或场),其余的三个与之作预测,可以大幅度减小相邻像素的相关性,这样就只剩下少量差值信息,将基本帧(或场)采用宏块分割、DCT变换、量化、重排序与零编码再输入到熵编码,其余的三个差值帧(或场)也采用宏块分割、DCT变换、量化、重排序与零编码再输入到熵编码,差值帧(或场)经量化后将出现大量的非零系数,可大量减少信息量,作为辅助信息输入到熵编码;也可将经过DCT变换与量化后的基本帧(或场)与其余3个差值帧(或场)嵌套合成,再按MPEG-2或MPEG-4或AVS或H.264的架构进行熵编码;解码的过程与此相反,解码时,按对应的按MPEG-2或MPEG-4或AVS或H.264解码后,分解出1个基本帧(或场)与三个差值帧(或场),将其余的三个差值帧(或场)分别与基本帧(或场)作补偿形成四个帧(或场),再进行嵌套,就重建了一帧(或场)图像。本方法也可在宏块分割后再进行差值估计,解码过程则是对每个差值宏块进行补偿,再嵌套合成宏块,最后把宏块合成重建了一帧(或场)图像。本方法的极限压缩比可以在现有的MPEG-2或MPEG-4或AVS或H.264的基础上再实现超高压缩比。
如图2所示为本发明的4:1相邻抽取辅助分量高效编解码原理框图
它由相邻抽取辅助分量高效编码模块1、熵编码模块2、相邻抽取辅助分量高效解码模块3与熵解码模块4组成。视频信号经相邻抽取辅助分量高效编码模块1高效编码后,将基本分量与3个辅助分量输入到熵编码模块2进行熵编码输出高效编码流,解码时,高效编码流经熵解码输出基本分量与3个辅助分量,再经相邻抽取辅助分量高效解码模块3解码重建视频信号。
所述4:1相邻抽取辅助分量高效编码模块1由4:1相邻抽取单元100、基本图像存储单元101、基本宏块DCT+量化+重排序零编码+运动矢量编码单元102、邻图像1存储单元111、差异估计位移1单元112、差异1及位移存储单元113、差异宏块DCT+量化+重排序零编码+位移矢量编码1单元114、邻图像2存储单元121、差异估计位移1单元122、差异2及位移存储单元123、差异宏块DCT+量化+重排序零编码+位移矢量编码2单元124、邻图像3存储单元131、差异估计位移1单元132、差异3及位移存储单元133、差异宏块DCT+量化+重排序零编码+位移矢量编码3单元134组成。
由相邻抽取单元100对视频图像进行相邻抽取后,形成一个基本图像与3个差异图像分别输入到基本图像存储单元101、邻图像1存储单元111、邻图像2存储单元121及邻图像3存储单元131存储,基本邻图像存储单元101经宏块DCT+量化+重,排序零编码+运动矢量编码单元102进行宏块分割、DCT变换、量化、“Z”字型扫描重排序、零编码及运动矢量编码输入到熵编码模块2;邻图像1存储单元111将信号输入到差异估计位移1单元112,与来自基本图像存储单元101的信号作差值估计与位移确定,如基本图像是奇行奇列,邻图像1是奇行偶列,则位移1为左移一个像素,经差异1及位移存储单元113存储,输入到差异宏块DCT+量化+重排序零编码+位移矢量编码单元114,对差异信号进行宏块分割、DCT变换、量化、“Z”字型扫描重排序、零编码及位移矢量编码形成辅助分量1输入到熵编码模块2;同样的方法得到辅助分量2与辅助分量3,因采用的是相邻抽取,处理后将形成大量的“0”,辅助分量1、辅助分量2及辅助分量3所占的信息量很小,实现了高效率编码压缩。
所述4:1相邻抽取辅助分量高效解码模块1由相邻嵌套合成单元300、基本图像存储单元301、基本宏块IDCT+反量化+解重排序零编码+运动矢量解码单元302、邻图像1存储单元311、差异补偿位移1单元312、差异1及位移存储单元313、差异宏块IDCT+反量化+解重排序零编码+位移矢量解码1单元314、邻图像2存储单元321、差异估计位移2单元322、差异2及位移存储单元323、差异宏块IDCT+反量化+解重排序零编码+位移矢量解码2单元324、邻图像3存储单元331、差异补偿位移3单元332、差异3及位移存储单元333、差异宏块IDCT+反量化+解重排序零编码+位移矢量解码3单元334组成。
解码方法是编码方法的逆过程,编码流通过熵解码模块4解码后,形成基本分量、辅助分量1、辅助分量2及辅助分量3计4路信号,基本分量信号通过基本宏快IDCT+反量化+解重排序零编码+运动矢量解码单元302,依次进行运动矢量解码、零解码、反量化运算、反“Z”字行扫描、IDCT变换及宏块合成,将解码信号输入到基本图像存储单元301,辅助分量1的信号输入到差异宏块IDCT+反量化+解重排序零编码+位移矢量解码单元314,依次进行位移矢量解码、零解码、反量化运算、反“Z”字行扫描及IDCT变换及差异宏块合成,将差异与位移1解码信号依次输入到差异及位移1存储单元313及差异补偿位移1单元312,基本图像存储单元301的信号同时还输入到差异补偿位移1单元312,两路信号作补偿形成邻图像1信号,存储到邻图像1存储单元311;同样的方法可得到邻图像2信号及邻图像3信号;基本图像信号与邻图像1、邻图像2及邻图像3信号在3个位移矢量的作用下作相邻嵌套合成,实现了完整的解码。
如图3为本发明的16:1二级相邻抽取辅助分量高效编解码原理框图
它在所述16:1相邻抽取辅助分量高效编解码方法的基础上再一次进行了4:1抽取,使得基本图像分量像素数变为原来的1/16,再辅以15个辅助分量,由于相邻之间的相关性,辅助分量信息量较小,从而实现了更大的压缩与更高的编码效率。它由16:1相邻抽取辅助分量高效编码模块1、熵编码模块2、16:1相邻抽取辅助分量高效解码模块3与熵解码模块4组成。视频信号经16:1相邻抽取辅助分量高效编码模块1高效编码后,将基本分量与15个辅助分量输入到熵编码模块2进行熵编码输出高效编码流,解码时,高效编码流经熵解码输出基本分量与15个辅助分量,再经相邻抽取辅助分量高效解码模块3解码重建视频信号。
所述16:1相邻抽取辅助分量高效编码模块1由4:1相邻抽取单元100、一次基本图像存储单元101、4:1基本分量二次相邻抽取高效编码单元102、邻图像1存储单元111、差异估计位移1单元112、差异1及位移存储单元113、4:1辅助分量二次相邻抽取高效编码1单元114、邻图像2存储单元121、差异估计位移1单元122、差异2及位移存储单元123、4:1辅助分量二次相邻抽取高效编码124、邻图像3存储单元131、差异估计位移1单元132、差异3及位移存储单元133、4:1辅助分量二次相邻抽取高效编码3单元134组成。
由4:1相邻抽取单元100对视频图像进行相邻抽取后,形成一个基本图像与3个差异图像分别输入到一次基本图像存储单元101、邻图像1存储单元111、邻图像2存储单元121及邻图像3存储单元131存储,一次基本图像存储单元101经4:1基本分量二次相邻抽取高效编码单元102处理,处理后形成基本分量信号、基辅分量1信号、基辅分量2信号及基辅分量3信号输入到熵编码模块2;邻图像1存储单元111将信号输入到差异估计位移1单元112,与来自基本图像存储单元101的信号作差值估计与位移确定,如基本图像是奇行奇列,邻图像1是奇行偶列,则位移1为左移一个像素,经差异1及位移存储单元113存储,输入到4:1辅助分量二次相邻抽取高效编码1单元处理,形成一路差异基本分量1及3路差异辅助分量1-3输入到熵编码模块2;同样的方法得到差异基本分量2及3路差异辅助分量2-3与差异基本分量3及3路差异辅助分量3-3,因采用的是二相邻抽取,所有处理后将形成大量的“0”,实现了更高高效率编码压缩。所述4:1基本分量二次相邻抽取高效编码单元102、4:1辅助分量二次相邻抽取高效编码1单元114、4:1辅助分量二次相邻抽取高效编码2单元124及4:1辅助分量二次相邻抽取高效编码3单元134的组成与实现方法与所述4:1相邻抽取辅助分量高效编码方法一致。
所述16:1相邻抽取辅助分量高效解码模块1由相邻嵌套合成单元300、一次基本图像存储单元301、4:1基本分量二次相邻抽取解码单元302、邻图像1存储单元311、差异补偿位移1单元312、差异1及位移存储单元313、4:1辅助分量高效解码1单元314、邻图像2存储单元321、差异估计位移2单元322、差异2及位移存储单元323、4:1辅助分量高效解码2单元324、邻图像3存储单元331、差异补偿位移3单元332、差异3及位移存储单元333、4:1辅助分量高效解码3单元334组成。
解码方法是编码方法的逆过程,编码流通过熵解码模块4解码后,形成基本分量、基辅助分量1、2及3计4路信号,差异基本辅助分量1与3路差异辅助分量1-3计4路信号,差异基本辅助分量2与3路差异辅助分量2-3计4路信号,差异基本辅助分量3与3路差异辅助分量3-3计4路信号;基本分量、基辅助分量1、2及3计4路信号经4:1基本分量二次相邻抽取解码单元302处理,形成一次基本图像信号到一次基本图像存储单元301存储;差异基本辅助分量1与3路差异辅助分量1-3计4路信号经4:1辅助分量高效解码1单元314高效解码后形成差异1及位移矢量信号,输入到差异1及位移存储单元313存储,存储后输入到差异补偿位移1单元312,在此单元中与来自一次基本图像存储单元301的信号作补偿形成邻图像1信号,输入到邻图像1存储单元311;同样的方法形成邻图像2信号输入到邻图像1存储单元321及形成邻图像3信号输入到邻图像3存储单元331;一次基本图像信号与邻图像1、邻图像2及邻图像3信号在3个位移矢量的作用下作相邻嵌套合成,实现了完整的解码。所述所述4:1基本分量二次相邻抽取高效解码单元302、4:1辅助分量二次相邻抽取高效解码1单元314、4:1辅助分量二次相邻抽取高效解码2单元324及4:1辅助分量二次相邻抽取高效解码3单元334的组成与实现方法与所述4:1相邻抽取辅助分量高效解码方法一致。
通过所述16:1相邻抽取辅助分量高效编解码方法可以将1440X1080的高清图像信号转换为352X288的CIF图像信号,720X576的标清图像信号转换为176X144的QCIF图像信号,实现高效率的编解码;配合隔行扫描可以采用一次按列2:1抽取、二次按行列4:1抽取的8:1二级相邻抽取高效编解码方法。
如图4为本发明的9:1相邻抽取编码法像素结构图
一个像素点总与周边的8个像素点相邻,因此可以采用一个像素点预测估计周边的8个像素点,采用9:1相邻抽取实现更高效率的编码。
将一帧(或场)图像进行9:1相邻抽取后,可以形成与原图像高度相关的1/9像素基本图像与8个1/9像素邻抽取图像,基本图像的组成规律是:所在行位置为3n-1(n=1,2,3,4),所在列位置为3m-1(m=1,2,3,4),其余的8个与之作预测,可以大幅度减小相邻像素的相关性,这样就只剩下少量差值信息,将基本帧(或场)采用宏块分割、DCT变换、量化、重排序与零编码再输入到熵编码,其余的8个差值帧(或场)也采用宏块分割、DCT变换、量化、重排序与零编码再输入到熵编码,差值帧(或场)经量化后将出现大量的非零系数,可大量减少信息量,作为辅助信息输入到熵编码;也可将经过DCT变换与量化后的基本帧(或场)与其余3个差值帧(或场)嵌套合成,再按MPEG-2或MPEG-4或AVS或H.264的架构进行熵编码;解码的过程与此相反,解码时,按对应的按MPEG-2或MPEG-4或AVS或H.264解码后,分解出1个基本帧(或场)与8个差值帧(或场),将其余的8个差值帧(或场)分别与基本帧(或场)作补偿形成8个帧(或场),再进行嵌套,就重建了一帧(或场)图像。本方法也可在宏块分割后再进行差值估计,解码过程则是对每个差值宏块进行补偿,再嵌套合成宏块,最后把宏块合成重建了一帧(或场)图像。本方法所述4:1相邻抽取高效编解码方法相比,都是相邻抽取,图像编解码损伤一致,但编码效率更高,只是计算量要大。
如图5为本发明的9:1相邻抽取辅助分量高效编解码原理框图
其组成与所述4:1相邻抽取辅助分量高效编解码方法大体一致,所不同的只是增加了5路相邻图像处理,编码时,形成一路基本分量与8路辅助分量到熵编码器;解码时,将一路基本分量与8路辅助分量处理,形成一路基本图像信号与8路邻图像信号,再进行9:1相邻嵌套重建图像。
本方法也可实现81:1二级相邻抽取辅助分量高效编解码方法;还可与1:4相邻抽取辅助分量高效编解码方法配合使用,实现36:1二级相邻抽取辅助分量高效编解码方法;还可配合隔行扫描可以采用一次按列2:1抽取、二次按行列9:1抽取的18:1二级相邻抽取高效编解码方法。
如图6所示为本发明的相邻宏块估计邻抽取高效编解码原理框图
它由帧内相邻宏块估计相邻抽取高效编码模块1、熵编码模块2、帧内相邻宏块估计相邻抽取高效解码模块3与熵解码模块4组成,帧内相邻宏块估计相邻抽取高效编码模块1在所述相邻抽取高效编码的基础上进一步实现对相邻宏块之间的估计,大幅度减少相邻宏块的相关性,从而进一步实现高效编码,其编码结果输入到熵编码模块2进行编码提高编码效率;解码是编码的逆过程,编码流输入到熵解码模块4进行熵解码,再输入到帧内相邻宏块解码模块进行解码,恢复宏块视频矩阵。
所述帧内相邻宏块估计相邻抽取高效编码模块1由X个相邻抽取辅助分量高效编码宏块单元11、第Y个相邻抽取辅助分量高效编码相邻宏块单元12、相邻宏块估计单元13、相邻宏块Y差异编码单元14及相邻宏块位移矢量编码单元15组成。第Y个相邻抽取辅助分量高效编码相邻宏块单元12中的已编信息及X个相邻抽取辅助分量高效编码宏块单元11中的已编信息输入到相邻宏块估计单元13,Y宏块与分别X个宏块中的上左相邻宏块、上相邻宏块、上右相邻宏块作差异估计,确定一个差异最小的作基本宏快;将差异信息输入到相邻宏块Y差异编码单元14,Y宏快以基本宏快作参考的差异宏快Y替代,对差异宏快Y作编码,输入到熵编码模块2,差异宏快Y将由许多“0”组成,这样就将Y宏快进行了大幅度的编码压缩,提高编码效率;同时Y宏快与相邻宏快位移信息输入到相邻宏块位移矢量单元15进行位移矢量编码,再输入到熵编码模块2,完成编码。所述相邻宏快估计可采用绝对值最小或MSE均方误差最小或MAD平均绝对块差最小为匹配判据,来找到与Y宏快最相近的块;本发明还可不限于帧内相邻宏快估计,甚至可以在全帧内做Y宏快的相关性估计,编码效率将更高,但计算量将加大;本实施例说明的是帧内相邻宏快估计与相邻抽取高效编码,对于场内相邻宏快估计与相邻抽取高效编码方法与之完全一致,实际中也可单独只采用相邻宏快估计与相邻抽取中的一种;所述相邻抽取可以是所述4:1或8:1或9:1或18:1等方式。
所述帧内相邻宏块估计相邻抽取高效解码模块1由X个相邻抽取辅助分量高效解码宏块单元31、第Y个相邻抽取辅助分量高效解码相邻宏块单元32、相邻宏块补偿单元33、相邻宏块Y差异解码单元34及相邻宏块位移矢量解码单元35组成。输入的编码流经熵解码模块4解码后,输出三路信号,一路输入到X个相邻抽取辅助分量高效编码宏块单元31进行解码,重建X个相邻宏快,同时解码后的信号输入到相邻宏块补偿单元33;一路输入到相邻宏块Y差异解码单元34进行解码,输入到相邻宏块补偿单元33;一路输入到相邻宏块位移矢量解码单元35进行位移矢量解码,解码后输入到第y个相邻抽取辅助分量高效解码相邻宏块单元32;相邻宏块补偿单元33对输入的两路信号做补偿运算后,将结果输入到第Y个相邻抽取辅助分量高效解码相邻宏块单元32,补偿位移矢量后在第Y个相邻抽取辅助分量高效解码相邻宏块单元32中重建Y宏快。
如图7所示为本发明的奇偶场差估计场内相邻宏块估计相邻抽取高效编解码原理框图
它由奇偶场差估计场内相邻宏块估计相邻抽取高效编码模块1、熵编码模块2、奇偶场差估计、场内相邻宏块估计与相邻抽取高效解码模块3及熵解码模块4组成。编码时,奇偶场差估计场内相邻宏块估计相邻抽取高效编码模块1进行高效编码,编码结果输入到熵编码模块2再一次进行高效编码;解码过程与编码过程相逆,编码流信号输入到熵解码模块4进行熵解码,解码结果输入到场内相邻宏块估计与相邻抽取高效解码模块3解码,完成解码过程。
所述编码过程如下:奇偶场差估计场内相邻宏块估计相邻抽取高效编码模块1由场形成单元11、偶场存储单元12、奇场存储单元13、场差估计高效编码运动矢量编码单元14及场内相邻宏快估计相邻抽取高效编码单元15组成。输入的视频信号有两种方式,一种为隔行扫描,一种为逐行扫描,对隔行扫描信号经场形成单元不做处理直接将奇偶场信号分别输入到奇场存储单元13与偶场存储单元12,对逐行扫描信号经场形成单元11处理分出奇偶场信号分别输入到奇场存储单元13与偶场存储单元12;奇场存储单元13输出两路信号,一路输入到场内相邻宏快估计相邻抽取高效编码单元15作高效编码,其方法与所述帧内相邻宏快估计相邻抽取高效编码方法一致,再输入到熵编码模块3进一步做高效编码;一路输入到场差估计运动矢量单元14;偶场存储单元12将偶场信号输入到场差估计运动矢量单元14;在场差估计运动矢量单元14中,偶场信号以奇场信号作为参考作差异估计,同时偶场相对奇场位移为下移一行像素,对场差信号与运动矢量做高效编码输入到熵编码模块进一步做高效编码,所述场差估计高效编码可采用与所述帧内相邻宏快估计相邻抽取高效编码方法一样的方法;所述相邻抽取可以是所述4:1或8:1或9:1或18:1等方式。
所述解码过程如下:奇偶场差估计场内相邻宏块估计相邻抽取高效解码模块1由场形成单元31、偶场存储单元32、奇场存储单元33、场差补偿高效解码与运动矢量解码单元34及场内相邻宏快估计相邻抽取高效解码单元15组成。编码流信号输入到熵解码模块4进行熵解码,解码信号分成两路:一路输入到场内相邻宏快估计相邻抽取高效解码单元15依次进行相邻宏快解码与相邻抽取解码,解码结果分别输入到奇场存储单元33与场差补偿高效解码与运动矢量解码单元34;一路输入到场差补偿高效解码与运动矢量解码单元34进行解码,解码结果输入到场差补偿高效解码与运动矢量解码单元34;在场差补偿高效解码与运动矢量解码单元34中,以奇场信号为参考,进行场差补偿与运动矢量补偿,形成偶场信号,输入到偶场存储单元32,奇场存储单元33与偶场存储单元32中的奇偶场信号,输入到场形成单元31,对隔行扫描信号经场形成单元31不做处理直接将奇偶场信号分别依次输出,对逐行扫描信号经场形成单元11处理形成帧信号输出。
所述相邻抽取可以是所述4:1或8:1或9:1或18:1等方式。
如图8所示为本发明的奇偶场差估计场间预测高效编解码原理框图
所述奇偶场差估计场间预测高效编码编码后的场图像序列由I奇场11、P偶场21、B1奇场12、B1偶22、B2奇场13、B2偶场23、P奇场14、B3偶场24组成,奇场序列图像及偶场序列图像同MPEG-2或MPEG-4或AVS或H.264架构下的帧图像I帧、B帧与P帧一致,I奇场作运动预测形成P奇场,B1奇场、B2奇场均由I奇场作运动预测及P奇场作反向预测得到;P偶场由I奇场作差异估计得到,B1偶场由P偶场作运动预测及B1奇场作场差估计得到,B2偶场由P偶场作运动预测及B2奇场作场差估计得到,B3偶场均由P偶场作运动预测及B3奇场作场差估计得到,编码后形成的场序列图像依次为由I奇场、P偶场、B1奇场、B1偶场、B2奇场、B2偶场、P奇场、B3偶场。本发明只列举了如图5所示的一个实施例,实际中,如同MPEG-2或MPEG-4或AVS或H.264架构下的帧图像序列一样,P场与B场的数目可以有多种,同时B场可以由前面场与后面场作双向预测得到。
所述奇偶场差估计场间预测高效解码图像序列由奇场1、偶场1、奇场2、偶场2、奇场3、偶场3、奇场4与偶场4组成,场间解码过程与场间编码过程相逆,已编码的I奇场、P偶场、B1奇场、B1偶、B2奇场、B2偶场、P奇场、B3偶场图像序列输入到解码单元后,先进行奇场I解码得到奇场1;由奇场1作参考,通过P偶场场差异补偿得到解码的偶场1;以奇场1作参考,通过P奇场作运动补偿得到奇场4;以奇场1作参考,通过I奇场作运动补偿及通过P奇场作反向补偿对B1奇场解码得到奇场2;以奇场1作参考,通过I奇场作运动补偿、通过P奇场作反向补偿对B2奇场解码得到奇场3;以奇场1作参考,通过I奇场作场差补偿,对P偶场解码得到偶场1;以偶场1作参考,通过P偶场作运动补偿及通过P奇场作场差补偿,对B3偶场解码得到偶场4;以偶场1作参考,通过P偶场作运动补偿及通过B1奇场作场差补偿,对B2偶场解码得到偶场3;以偶场1作参考,通过P偶场作运动补偿及通过B2奇场作场差补偿,对B1偶场解码得到偶场2;解码后输出的视频序列依次为奇场1、偶场1、奇场2、偶场2、奇场3、偶场3、奇场4与偶场4;对隔行扫描终端直接输出,对逐行扫描终端,则将对应的奇偶场嵌套合成形成帧1、帧2、帧3与帧4视频图像信号序列。本发明只列举了如图8所示的一个实施例,实际中,编码序列改变时,解码序列相应改变。
如图9所示为本发明的立体奇偶场差估计场内相邻宏块估计相邻抽取高效编解码原理框图
它由立体隔行扫描场差估计场内邻宏快估计邻抽取高效编码模块1、熵编码模块2、立体隔行扫描场差估计场内邻宏快估计邻抽取高效解码模块3及熵解码模块4组成。立体隔行扫描场差估计场内邻宏快估计邻抽取高效编码模块1在所述隔行扫描差估计邻宏快估计邻抽取辅助分量高效编码方法的基础上,将左右图像分别采用基本高效编码与辅助分量编码的方式进行高效编码,输入到熵编码模块2;解码则是编码的逆过程。
所述立体隔行扫描场差估计场内邻宏快估计邻抽取高效编码模块1由左图像隔行处理单元11、隔行扫描场差估计场内邻宏快估计邻抽取高效编码单元12、运动矢量编码单元13、右图像单元21、右图像隔行位移处理处理单元22、左右图像差异估计单元23及左右图像差异辅助分量高效编码单元24组成。左图像信号输入到左图像隔行处理单元11,对隔行扫描信号直接输出,对逐行扫描信号转化为隔行扫描信号输出;处理后输入到隔行扫描场差估计场内邻宏快估计邻抽取高效编码单元12进行高效编码,将结果输入到熵编码模块2进一步实现高效编码;来自右图像单元21的信号输入到右图像隔行扫描位移处理单元22进行处理,对于隔行扫描信号,只做位移处理,对逐行扫描信号,除位移处理外,还要进行隔行处理,将一帧图像转换为奇偶两场图像,位移的目的是保持左右图像的最大相关性;处理的结果输入到左右差异估计单元23,以来自左图像隔行处理单元11的信号为参考,得到左右图像的差异信号,输入到左右差异辅助分量高效编码单元24作高效编码,将其结果输入到熵编码模块2进一步作高效熵编码,这里所述左右差异辅助分量高效编码单元24对辅助分量的高效编码方法可采用隔行扫描场差估计场内邻宏快估计邻抽取高效编码方法;同时左右差异估计单元23还输出运动矢量信号到运动矢量编码单元13作编码,并将编码的结果输入到熵编码模块2作高效编码。
所述立体隔行扫描场差估计场内邻宏快估计邻抽取高效解码模块1由左图像隔行处理单元41、隔行扫描场差估计场内邻宏快估计邻抽取高效解码单元42、运动矢量解码单元43、右图像单元51、右图像隔行位移处理处理单元52、左右图像差异补偿单元53及左右图像差异辅助分量高效解码单元54组成。待解码的编码流信号经熵解码模块4熵解码后,输出三路信号:一路输入到隔行扫描场差估计场内邻宏快估计邻抽取高效解码单元42进行解码,输出左图像的已解码奇偶场信号到左图像隔行处理单元41,对隔行显示终端直接输出隔行扫描的奇偶场序列信号,对逐行显示终端,将奇偶场信号嵌套合成帧序列信号输出,同时左图像隔行处理单元41还将处理后的信号输入到左右差异补偿单元53做参考信号;一路输入到运动矢量解码单元43作运动矢量解码,再输入到左图像隔行处理单元以形成左图像场序列信号;还有一路输入到左右差异辅助分量高效解码单元54,解码出差异信号输入到左右差异补偿单元53,在左右差异补偿单元53中,以来自左图像隔行处理单元41的场序列信号作参考,输出重建的右图像场序列信号到右图像隔行扫描位移处理单元52作处理,对隔行显示终端直接输出隔行扫描的奇偶场序列信号,对逐行显示终端,将奇偶场信号嵌套合成帧序列信号,输出到右图像单元51,至此完成解码。
本图中左右图像可以互换;所述相邻抽取可以是所述4:1或8:1或9:1或18:1等方式。
如图10所示为本发明的精细立体奇偶场差估计场内相邻宏块估计相邻抽取高效编解码原理框图
它由精细立体隔行扫描场差估计场内邻宏快估计邻抽取高效编码模块1、熵编码模块2、精细立体隔行扫描场差估计场内邻宏快估计邻抽取高效解码模块3及熵解码模块4组成。精细立体隔行扫描场差估计场内邻宏快估计邻抽取高效编码模块1在所述立体隔行扫描差估计邻宏快估计邻抽取辅助分量高效编码方法的基础上,将左右图像分别采用基本高效编码与辅助分量编码及亮色纹理垂直差异分量的方式进行高效编码,输入到熵编码模块2;解码则是编码的逆过程。
所述立体隔行扫描场差估计场内邻宏快估计邻抽取高效编码模块1由左图像隔行处理单元11、隔行扫描场差估计场内邻宏快估计邻抽取高效编码单元12、运动矢量编码单元13、右图像单元21、右图像隔行位移处理处理单元22、左右图像差异估计单元23、左右图像差异辅助分量高效编码单元24、亮色纹理垂直差异估计单元31、重建右图像单元32、左右图像差异补偿单元33及亮色纹理垂直差异高效编码单元34组成。
它的实现方法是:在所述立体隔行扫描差估计邻宏快估计邻抽取辅助分量高效编码方法的基础上,通过重建右图像,找出右图像与重建右图像之间的亮色纹理及垂直差异,将差异作为另一路辅助分量进行高效编码,从而实现精细高效立体编码,其具体实现方法如下:
重建的左图像信号与重建的左右图像差异分量信号被输入到左右图像差异补偿单元33,以重建的左图像信号作参考,将重建的左右图像差异分量信号与之做补偿运算,得到重建的右图像信号到重建右图像单元32;原始右图像信号从右图像单元21输入到亮色纹理垂直差异估计单元31,原始右图像信号与解码重建的右图像信号之间存在亮度纹理、色度纹理及垂直差异,为实现精细立体编码对其进行差异估计运算;差异估计的运算结果输入到亮色纹理垂直差异高效编码单元34中作高效编码,高效编码结果被输入到熵编码模块2进一步高效编码,从而完成整过编码过程。这里,重建的左图像信号与重建的左右差异信号表现为已编码信号,则在左右图像差异补偿单元33中还需进行解码处理,以得到解码后的重建右图像;重建的左图像信号与重建的左右差异信号也表现为已解码码信号,则在左右图像差异补偿单元33中只需进行差异补偿处理,就得到解码后的重建右图像。
所述精细立体隔行扫描场差估计场内邻宏快估计邻抽取高效解码模块1由左图像隔行处理单元41、隔行扫描场差估计场内邻宏快估计邻抽取高效解码单元42、运动矢量解码单元43、精细右图像重建单元51、右图像隔行位移处理处理单元52、左右图像差异补偿单元53、左右图像差异辅助分量高效解码单元54、亮色纹理垂直差异补偿单元61、亮色纹理垂直差异分量解码单元62及精细右图像重建单元63组成。
它的实现方法是:在所述立体隔行扫描差估计邻宏快估计邻抽取辅助分量高效解码方法的基础上,通过对亮色纹理垂直差异分量解码单元62进行解码;解码后的信号输入到亮色纹理垂直差异补偿单元61,以输入到本单元的重建右图像作基本图像,进行亮色纹理垂直差异补偿,得到解码后的精细右图像;解码是编码的逆过程,当编码方式改变时,解码方式作相应的改变。
本图中左右图像可以互换;所述相邻抽取可以是所述4:∶1或8:1或9:1或18:1等方式。
如图11所示为本发明的立体奇偶场差估计场间预测高效编解码原理框图
所述奇偶场差估计场间预测高效编码由左图像与右图象两部分组成,其中左图像由I奇场11、P偶场31、B1奇场12、B1偶场32、B2奇场13、B2偶场33、P奇场14、B3偶场34组成,右图像由P奇场21、B0偶场41、B1奇场22、B1偶场42、B2奇场23、B2偶场43、B3奇场24、B3偶场24组成。它实际上是在所述奇偶场差估计场间预测高效编码方法的基础上,分成了左右图像编码序列。
左右奇场序列图像及偶场序列图像同MPEG-2或MPEG-4或AVS或H.264架构下的帧图像I帧、B帧与P帧一致。对左图像来说,I奇场11作运动预测形成P奇场14,B1奇场12、B2奇场13均由I奇场11作运动预测及P奇场14作反向预测得到;P偶场31由I奇场11作场差估计与运动预测得到,B3偶场34由P奇场14作场差估计与运动预测得到,B1偶场32与B2偶场33均由P偶场31作运动预测及B3偶场34作反向预测得到。对右图像来说,I奇场11作场差估计形成P奇场21,B1奇场22由P奇场21作运动预测及B1奇场12作场差估计得到,B2奇场23由P奇场21作运动预测及B2奇场13作场差估计得到,B3奇场24由P奇场21作运动预测及B3奇场14作场差估计得到;B0偶场41由P奇场21作场差估计与运动预测得到,B3偶场44由B3奇场24作场差估计与运动预测得到,B1偶场42与B2偶场43均由B0偶场41作运动预测及B3偶场44作反向预测得到。本发明只列举了如图8所示的一个实施例,实际中,如同MPEG-2或MPEG-4或AVS或H.264架构下的帧图像序列一样,P场与B场的数目可以有多种,同时B场可以由前面场与后面场作双向预测得到。
所述奇偶场差估计场间预测高效解码左图像序列与右图像序列两部分组成,其中左图像序列部分由左奇场1单元51、左偶场1单元71、左奇场2单元52、左偶场2单元72、左奇场3单元53、左偶场3单元73、左奇场4单元54与左偶场4单元74组成,右图像序列部分由右奇场1单元61、右偶场1单元81、右奇场2单元62、右偶场2单元82、右奇场3单元63、右偶场3单元83、右奇场4单元64与右偶场4单元84组成。
场间解码过程与场间编码过程相逆,已编码的场图像序列输入到解码单元后,对左图像序列来说,先由奇场I解码得到左奇场1单元51,由左奇场1单元51作参考,通过I奇场11作运动补偿解码P奇场14得到左奇场4单元54;以左奇场1单元51与左奇场4单元54作参考,通过I奇场11作运动补偿及P奇场14作反向补偿分别解码B1奇场与B2奇场得到左奇场2单元52与左奇场3单元53;以左奇场1单元51作参考,通过I奇场11作运动补偿与场差补偿解码P偶场31得到左偶场1单元71,以左奇场4单元54作参考,通过P奇场14作运动与场差补偿解码B3偶场34得到左偶场4单元74,以左偶场1单元71与左偶场4单元74作参考,通过P偶场31作运动补偿及B3偶场34作反向补偿,分别解码B1偶场32与B2偶场33得到左偶场2单元72与左偶场3单元73。
对右图像序列来说,以左奇场1单元51作参考,通过I奇场11作场差补偿,解码P偶场31得到右奇场1单元61,以右奇场1单元61作参考,以P奇场21作运动补偿,由B1奇场12、B2奇场13及P奇场14作场差补偿,分别解码B1奇场22、B2奇场23、B3奇场24得到右奇场2单元62、右奇场3单元63及右奇场4单元64;以右奇场1单元61作参考,通过P奇场21作运动与场差补偿,解码B0偶场41得到右偶场1单元81,以右奇场4单元64作参考,通过B3奇场24作运动与场差补偿,解码B3偶场得到右偶场1单元84,以右偶场1单元81及右偶场4单元84作参考,对B0偶场41作运动补偿,对B3偶场作反向补偿,分别解码B1偶场42与B2偶场43得到右偶场2单元82与右偶场2单元83,至此完成左右图像场序列解码。对隔行扫描终端直接输出,对逐行扫描终端,则将对应的奇偶场嵌套合成形成帧1、帧2、帧3与帧4视频图像信号序列。
本发明只列举了如图11所示的一个实施例,实际中,编码序列改变时,解码序列相应改变。
本图中左右图像可以互换。
如图12所示为本发明的高效平面与立体视频编码流程图
其流程本发明各实施例已述及。
如图13所示为本发明的高效平面与立体视频解码流程图
其流程本发明各实施例已述及。
最后说明:以上实施例仅用以说明而非限制本发明的技术方案,尽管本发明已参考上述实施例进行了详细的说明,但依然可以对本发明进行增减、修改或者等同替换,而不脱离本发明精神和范围的任何修改或局部替换,其均应被包含在本发明的权利要求范围中。

Claims (10)

1、一种高效平面与立体视频编解码方法:它在现有的MPEG-2、MPEG-4、AVS及H.264的架构下,通过相邻抽取辅助分量编码法、帧(场)内邻宏块估计编码与奇偶场场差编码法大幅度提高编码效率,提高压缩比,由此编码方法形成相应的解码方法;进一步地,在立体视频中,将左右视频立体信号中的一幅图像作高效基本编码,另一路按视频差异进行预处理,再根据视频清晰度要求,对左右视频图像的水平差异与垂直差异或亮度残留纹理或色度残留纹理进行辅助分量编码,得到高效率立体视频编码方法,由此编码方法形成相应的解码方法;进一步地,将清晰度与立体视频编码作为统一的问题对待,将清晰度低一级的信号与平面信号作高效编码,通过增加辅助信息的方式实现高一级清晰度与立体高效编码,所述多种高效编码方法可以组合,由此编码方法形成相应的解码方法。
2、根据权利要求1,一种用于高效视频编码的4:1相邻抽取辅助信息编解码方法:
其编码特征在于:它由4:1相邻抽取单元、基本图像存储单元、基本宏块DCT+量化+重排序零编码+运动矢量编码单元、邻图像1存储单元、差异估计位移1单元、差异1及位移存储单元、差异宏块DCT+量化+重排序零编码+位移矢量编码1单元、邻图像2存储单元、差异估计位移1单元、差异2及位移存储单元、差异宏块DCT+量化+重排序零编码+位移矢量编码2单元、邻图像3存储单元、差异估计位移1单元、差异3及位移存储单元、差异宏块DCT+量化+重排序零编码+位移矢量编码3单元组成。
由相邻抽取单元对视频图像进行相邻抽取后,形成一个基本图像与3个差异图像分别输入到基本图像存储单元、邻图像1存储单元、邻图像2存储单元及邻图像3存储单元存储,基本邻图像存储单元经宏块DCT+量化+重,排序零编码+运动矢量编码单元进行宏块分割、DCT变换、量化、“Z”字型扫描重排序、零编码及运动矢量编码输入到熵编码模块2;邻图像1存储单元将信号输入到差异估计位移1单元,与来自基本图像存储单元的信号作差值估计与位移确定,如基本图像是奇行奇列,邻图像1是奇行偶列,则位移1为左移一个像素,经差异1及位移存储单元存储,输入到差异宏块DCT+量化+重排序零编码+位移矢量编码单元,对差异信号进行宏块分割、DCT变换、量化、“Z”字型扫描重排序、零编码及位移矢量编码形成辅助分量1输入到熵编码模块2;同样的方法得到辅助分量2与辅助分量3,因采用的是相邻抽取,处理后将形成大量的“0”,辅助分量1、辅助分量2及辅助分量3所占的信息量很小,实现了高效率编码压缩。
其对应的解码特征在于:
它由相邻嵌套合成单元、基本图像存储单元、基本宏块IDCT+反量化+解重排序零编码+运动矢量解码单元、邻图像1存储单元311、差异补偿位移1单元、差异1及位移存储单元、差异宏块IDCT+反量化+解重排序零编码+位移矢量解码1单元、邻图像2存储单元、差异估计位移2单元、差异2及位移存储单元、差异宏块IDCT+反量化+解重排序零编码+位移矢量解码2单元、邻图像3存储单元、差异补偿位移3单元、差异3及位移存储单元、差异宏块IDCT+反量化+解重排序零编码+位移矢量解码3单元组成。
解码方法是编码方法的逆过程,编码流通过熵解码模块解码后,形成基本分量、辅助分量1、辅助分量2及辅助分量3计4路信号,基本分量信号通过基本宏快IDCT+反量化+解重排序零编码+运动矢量解码单元,依次进行运动矢量解码、零解码、反量化运算、反“Z”字行扫描、IDCT变换及宏块合成,将解码信号输入到基本图像存储单元,辅助分量1的信号输入到差异宏块IDCT+反量化+解重排序零编码+位移矢量解码单元,依次进行位移矢量解码、零解码、反量化运算、反“Z”字行扫描及IDCT变换及差异宏块合成,将差异与位移1解码信号依次输入到差异及位移1存储单元及差异补偿位移1单元,基本图像存储单元的信号同时还输入到差异补偿位移1单元,两路信号作补偿形成邻图像1信号,存储到邻图像1存储单元;同样的方法可得到邻图像2信号及邻图像3信号;基本图像信号与邻图像1、邻图像2及邻图像3信号在3个位移矢量的作用下作相邻嵌套合成,实现了完整的解码。
3、根据权利要求1与权利要求2,一种用于高效视频编码的16:1二级相邻抽取辅助信息编解码方法,它在所述4:1相邻抽取辅助分量高效编解码方法的基础上再一次进行了4:1抽取,使得基本图像分量像素数变为原来的1/16,再辅以15个辅助分量,由于相邻之间的相关性,辅助分量信息量较小,从而实现了更大的压缩与更高的编码效率。
其编码特征在于:它由4:1相邻抽取单元、一次基本图像存储单元、4:1基本分量二次相邻抽取高效编码单元、邻图像1存储单元、差异估计位移1单元、差异1及位移存储单元、4:1辅助分量二次相邻抽取高效编码1单元、邻图像2存储单元、差异估计位移1单元、差异2及位移存储单元、4:1辅助分量二次相邻抽取高效编码、邻图像3存储单元、差异估计位移1单元、差异3及位移存储单元、4:1辅助分量二次相邻抽取高效编码3单元组成。
由4:1相邻抽取单元1对视频图像进行相邻抽取后,形成一个基本图像与3个差异图像分别输入到一次基本图像存储单元、邻图像1存储单元、邻图像2存储单元及邻图像3存储单元存储,一次基本图像存储单元经4:1基本分量二次相邻抽取高效编码单元处理,处理后形成基本分量信号、基辅分量1信号、基辅分量2信号及基辅分量3信号输入到熵编码模块2;邻图像1存储单元将信号输入到差异估计位移1单元,与来自基本图像存储单元的信号作差值估计与位移确定,如基本图像是奇行奇列,邻图像1是奇行偶列,则位移1为左移一个像素,经差异1及位移存储单元存储,输入到4:1辅助分量二次相邻抽取高效编码1单元处理,形成一路差异基本分量1及3路差异辅助分量1-3输入到熵编码模块2;同样的方法得到差异基本分量2及3路差异辅助分量2-3与差异基本分量3及3路差异辅助分量3-3,因采用的是二相邻抽取,所有处理后将形成大量的“0”,实现了更高高效率编码压缩。所述4:1基本分量二次相邻抽取高效编码单元、4:1辅助分量二次相邻抽取高效编码1单元、4:1辅助分量二次相邻抽取高效编码2单元124及4:1辅助分量二次相邻抽取高效编码3单元的组成与实现方法与所述4:1相邻抽取辅助分量高效编码方法一致。
其对应的解码特征在于:它由相邻嵌套合成单元、一次基本图像存储单元、4:1基本分量二次相邻抽取解码单元、邻图像1存储单元、差异补偿位移1单元、差异1及位移存储单元、4:1辅助分量高效解码1单元、邻图像2存储单元、差异估计位移2单元、差异2及位移存储单元、4:1辅助分量高效解码2单元、邻图像3存储单元、差异补偿位移3单元、差异3及位移存储单元、4:1辅助分量高效解码3单元组成。
解码方法是编码方法的逆过程,编码流通过熵解码模块解码后,形成基本分量、基辅助分量1、2及3计4路信号,差异基本辅助分量1与3路差异辅助分量1-3计4路信号,差异基本辅助分量2与3路差异辅助分量2-3计4路信号,差异基本辅助分量3与3路差异辅助分量3-3计4路信号;基本分量、基辅助分量1、2及3计4路信号经4:1基本分量二次相邻抽取解码单元处理,形成一次基本图像信号到一次基本图像存储单元存储;差异基本辅助分量1与3路差异辅助分量1-3计4路信号经4:1辅助分量高效解码1单元高效解码后形成差异1及位移矢量信号,输入到差异1及位移存储单元存储,存储后输入到差异补偿位移1单元,在此单元中与来自一次基本图像存储单元的信号作补偿形成邻图像1信号,输入到邻图像1存储单元;同样的方法形成邻图像2信号输入到邻图像1存储单元及形成邻图像3信号输入到邻图像3存储单元;一次基本图像信号与邻图像1、邻图像2及邻图像3信号在3个位移矢量的作用下作相邻嵌套合成,实现了完整的解码。所述所述4:1基本分量二次相邻抽取高效解码单元、4:1辅助分量二次相邻抽取高效解码1单元、4:1辅助分量二次相邻抽取高效解码2单元及4:1辅助分量二次相邻抽取高效解码3单元的组成与实现方法与所述4:1相邻抽取辅助分量高效解码方法一致。
4、根据权利要求1、权利要求2及权利要求3,一种用于高效视频编码的9:1相邻抽取辅助信息编解码方法,其特征在于:它充分利用一个像素点与周边8个像素点相关的特点实现更高效编解码,其组成与所述4:1相邻抽取辅助分量高效编解码方法大体一致,所不同的只是增加了5路相邻图像处理,编码时,形成一路基本分量与8路辅助分量到熵编码器;解码时,将一路基本分量与8路辅助分量处理,形成一路基本图像信号与8路邻图像信号,再进行9:1相邻嵌套重建图像。
本方法也可实现81:1二级相邻抽取辅助分量高效编解码方法;还可与1:4相邻抽取辅助分量高效编解码方法配合使用,实现36:1二级相邻抽取辅助分量高效编解码方法;还可配合隔行扫描可以采用一次按列2:1抽取、二次按行列9:1抽取的18:1二级相邻抽取高效编解码方法。
5、根据权利要求1、权利要求2、权利要求3及权利要求4,一种帧内相邻宏块估计相邻抽取辅助信息编解码方法,其特征在于:
其编码特征是:它由X个相邻抽取辅助分量高效编码宏块单元、第Y个相邻抽取辅助分量高效编码相邻宏块单元、相邻宏块估计单元、相邻宏块Y差异编码单元及相邻宏块位移矢量编码单元组成帧内相邻宏块估计相邻抽取编码模块。第Y个相邻抽取辅助分量高效编码相邻宏块单元中的已编信息及X个相邻抽取辅助分量高效编码宏块单元中的已编信息输入到相邻宏块估计单元,Y宏块与分别X个宏块中的上左相邻宏块、上相邻宏块、上右相邻宏块作差异估计,确定一个差异最小的作基本宏快;将差异信息输入到相邻宏块Y差异编码单元,Y宏快以基本宏快作参考的差异宏快Y替代,对差异宏快Y作编码,输入到熵编码模块2,差异宏快Y将由许多“0”组成,这样就将Y宏快进行了大幅度的编码压缩,提高编码效率;同时Y宏快与相邻宏快位移信息输入到相邻宏块位移矢量单元进行位移矢量编码,再输入到熵编码模块2,完成编码。所述相邻宏快估计可采用绝对值最小或MSE均方误差最小或MAD平均绝对块差最小为匹配判据,来找到与Y宏快最相近的块。它可只采用相邻宏快估计与相邻抽取中的一种;所述相邻抽取可以是所述4:1或8:1或9:1或18:1等方式;所述场内相邻宏快估计相邻抽取高效编码方法与所述帧内相邻宏块估计相邻抽取辅助信息编解码方法一致。
其对应解码特征是:它由X个相邻抽取辅助分量高效解码宏块单元、第Y个相邻抽取辅助分量高效解码相邻宏块单元、相邻宏块补偿单元、相邻宏块Y差异解码单元及相邻宏块位移矢量解码单元组成帧内相邻宏块估计相邻抽取高效解码模块。输入的编码流经熵解码模块解码后,输出三路信号,一路输入到X个相邻抽取辅助分量高效编码宏块单元进行解码,重建X个相邻宏快,同时解码后的信号输入到相邻宏块补偿单元;一路输入到相邻宏块Y差异解码单元进行解码,解码后输入到相邻宏块补偿单元;一路输入到相邻宏块位移矢量解码单元进行位移矢量解码,解码后输入到第Y个相邻抽取辅助分量高效解码相邻宏块单元;相邻宏块补偿单元对输入的两路信号做补偿运算后,将结果输入到第Y个相邻抽取辅助分量高效解码相邻宏块单元,补偿位移矢量后在第Y个相邻抽取辅助分量高效解码相邻宏块单元中重建Y宏快。所述编码特征改变,其对应的解码特征作相应的改变。
6、根据权利要求1、权利要求2、权利要求3、权利要求4及权利要求5,一种奇偶场差估计场内相邻宏块估计相邻抽取高效编解码方法,其特征在于:
其编码特征是:它由场形成单元、偶场存储单元、奇场存储单元、场差估计高效编码运动矢量编码单元及场内相邻宏快估计相邻抽取高效编码单元组成奇偶场差估计场内相邻宏块估计相邻抽取高效编码模块。对隔行扫描信号直接将奇偶场信号分别输入到奇场存储单元与偶场存储单元,对逐行扫描信号经场形成单元处理分出奇偶场信号分别输入到奇场存储单元与偶场存储单元;奇场存储单元输出两路信号,一路输入到场内相邻宏快估计相邻抽取高效编码单元作高效编码,其方法与所述帧内相邻宏快估计相邻抽取高效编码方法一致,再输入到熵编码模块进一步做高效编码;一路输入到场差估计运动矢量单元;偶场存储单元将偶场信号输入到场差估计运动矢量单元;在场差估计运动矢量单元中,偶场信号以奇场信号作为参考作场差估计,同时偶场相对奇场位移为下移一行像素,对场差信号与运动矢量做高效编码输入到熵编码模块进一步做高效编码,所述场差估计高效编码可采用与所述帧内相邻宏快估计相邻抽取高效编码方法一样的方法。
其对应解码特征是:它由场形成单元、偶场存储单元、奇场存储单元、场差补偿高效解码与运动矢量解码单元及场内相邻宏快估计相邻抽取高效解码单元组成奇偶场差估计场内相邻宏块估计相邻抽取高效解码模块。编码流信号输入到熵解码模块进行熵解码,解码信号分成两路:一路输入到场内相邻宏快估计相邻抽取高效解码单元依次进行相邻宏快解码与相邻抽取解码,解码结果分别输入到奇场存储单元、场差补偿高效解码与运动矢量解码单元;一路输入到场差补偿高效解码与运动矢量解码单元进行解码,结果输入到场差补偿高效解码与运动矢量解码单元;在场差补偿高效解码与运动矢量解码单元中,以奇场信号为参考,进行场差补偿与运动矢量补偿,形成偶场信号,输入到偶场存储单元,奇场存储单元与偶场存储单元中的奇偶场信号,输入到场形成单元,直接将奇偶场信号分别依次输出,对逐行扫描信号经场形成单元处理形成帧信号输出。
所述奇偶场差估计场内相邻宏块估计相邻抽取高效解码方法可只采用奇偶场差估计、相邻宏快估计与相邻抽取中的一种或任意两种或全部;所述相邻抽取可以是所述4:1或8:1或9:1或18:1等方式。
7、根据权利要求1及权利要求6,一种奇偶场差估计场间预测高效编解码方法,其特征在于:
其编码特征是:编码后的场图像序列由I奇场、P偶场21、B1奇场、B1偶、B2奇场、B2偶场、P奇场、B3偶场组成。奇场序列图像及偶场序列图像同MPEG-2或MPEG-4或AVS或H.264架构下的帧图像I帧、B帧与P帧一致,I奇场作运动预测形成P奇场,B1、B2奇场均由I奇场作运动预测及P奇场作反向预测得到;P偶场由I奇场作差异估计得到,B1偶场由P偶场作运动预测及B1奇场作场差估计得到,B2偶场由P偶场作运动预测及B2奇场作场差估计得到,B3偶场均由P偶场作运动预测及B3奇场作场差估计得到,编码后形成的场序列图像依次为由I奇场、P偶场、B1奇场、B1偶场、B2奇场、B2偶场、P奇场、B3偶场。所述场序列图像同MPEG-2或MPEG-4或AVS或H.264架构下的帧图像序列一样,P场与B场的数目可以有多种,同时B场可以由前面场与后面场作双向预测得到。
其对应的解码特征是:解码后的场图像序列由奇场1、偶场1、奇场2、偶场2、奇场3、偶场3、奇场4与偶场4组成。场间解码过程与场间编码过程相逆,已编码的I奇场、P偶场、B1奇场、B1偶、B2奇场、B2偶场、P奇场、B3偶场图像序列输入到解码单元后,先进行奇场I解码得到奇场1;由奇场1作参考,通过P偶场场差异补偿得到解码的偶场1;以奇场1作参考,通过P奇场作运动补偿得到奇场4;以奇场1作参考,通过I奇场作运动补偿及通过P奇场作反向补偿对B1奇场解码得到奇场2;以奇场1作参考,通过I奇场作运动补偿、通过P奇场作反向补偿对B2奇场解码得到奇场3;以奇场1作参考,通过I奇场作场差补偿,对P偶场解码得到偶场1;以偶场1作参考,通过P偶场作运动补偿及通过P奇场作场差补偿,对B3偶场解码得到偶场4:以偶场1作参考,通过P偶场作运动补偿及通过B1奇场作场差补偿,对B2偶场解码得到偶场3;以偶场1作参考,通过P偶场作运动补偿及通过B2奇场作场差补偿,对B1偶场解码得到偶场2;解码后输出的视频序列依次为奇场1、偶场1、奇场2、偶场2、奇场3、偶场3、奇场4与偶场4;对隔行扫描终端直接输出,对逐行扫描终端,则将对应的奇偶场嵌套合成形成帧1、帧2、帧3与帧4视频图像信号序列。
8、根据权利要求1、权利要求2、权利要求3、权利要求4、权利要求5及权利要求6,一种立体奇偶场差估计场内相邻宏块估计相邻抽取高效编解码方法,其特征在于:
其编码特征是:它由左图像隔行处理单元、隔行扫描场差估计场内邻宏快估计邻抽取高效编码单元、运动矢量编码单元、右图像单元、右图像隔行位移处理处理单元、左右图像差异估计单元及左右图像差异辅助分量高效编码单元组成立体隔行扫描场差估计场内邻宏快估计邻抽取高效编码模块。左图像信号输入到左图像隔行处理单元,对隔行扫描信号直接输出,对逐行扫描信号转化为隔行扫描信号输出;处理后输入到隔行扫描场差估计场内邻宏快估计邻抽取高效编码单元进行高效编码,将结果输入到熵编码模块进一步实现高效编码;来自右图像单元21的信号输入到右图像隔行扫描位移处理单元22进行处理,对于隔行扫描信号,只做位移处理,对逐行扫描信号,除位移处理外,还要进行隔行处理,将一帧图像转换为奇偶两场图像;处理的结果输入到左右差异估计单元,以来自左图像隔行处理单元的信号为参考,得到左右图像的差异信号,输入到左右差异辅助分量高效编码单元作高效编码,将其结果输入到熵编码模块进一步作高效熵编码,所述左右差异辅助分量高效编码单元对辅助分量的高效编码方法可采用隔行扫描场差估计场内邻宏快估计邻抽取高效编码方法;同时左右差异估计单元输出运动矢量信号到运动矢量编码单元作编码,并将编码的结果输入到熵编码模块作高效编码。
其对应的解码特征是:它左图像隔行处理单元、隔行扫描场差估计场内邻宏快估计邻抽取高效解码单元、运动矢量解码单元、右图像单元、右图像隔行位移处理处理单元、左右图像差异补偿单元及左右图像差异辅助分量高效解码单元组成立体隔行扫描场差估计场内邻宏快估计邻抽取高效解码模块。待解码的编码流信号经熵解码模块熵解码后,输出三路信号:一路输入到隔行扫描场差估计场内邻宏快估计邻抽取高效解码单元进行解码,输出左图像的已解码奇偶场信号到左图像隔行处理单元,对隔行显示终端直接输出隔行扫描的奇偶场序列信号,对逐行显示终端,将奇偶场信号嵌套合成帧序列信号输出,同时左图像隔行处理单元还将处理后的信号输入到左右差异补偿单元做参考信号;一路输入到运动矢量解码单元作运动矢量解码,再输入到左图像隔行处理单元以形成左图像场序列信号;还有一路输入到左右差异辅助分量高效解码单元,解码出差异信号输入到左右差异补偿单元,在左右差异补偿单元中,以来自左图像隔行处理单元的场序列信号作参考,输出重建的右图像场序列信号到右图像隔行扫描位移处理单元作处理,对隔行显示终端直接输出隔行扫描的奇偶场序列信号,对逐行显示终端,将奇偶场信号嵌套合成帧序列信号,输出到右图像单元,至此完成解码。所述编码解码方法中左右图像可以互换。
9、根据权利要求1及权利要求8,一种精细立体奇偶场差估计场内相邻宏块估计相邻抽取高效编解码方法,其特征在于:
其编码特征是:它由左图像隔行处理单元、隔行扫描场差估计场内邻宏快估计邻抽取高效编码单元、运动矢量编码单元、右图像单元、右图像隔行位移处理处理单元、左右图像差异估计单元、左右图像差异辅助分量高效编码单元、亮色纹理垂直差异估计单元、重建右图像单元、左右图像差异补偿单元及亮色纹理垂直差异高效编码单元组成立体隔行扫描场差估计场内邻宏快估计邻抽取高效编码模块。
它的实现方法是:在所述立体隔行扫描差估计邻宏快估计邻抽取辅助分量高效编码方法的基础上,通过重建右图像,找出右图像与重建右图像之间的亮色纹理及垂直差异,将差异作为另一路辅助分量进行高效编码,从而实现精细高效立体编码:重建的左图像信号与重建的左右图像差异分量信号被输入到左右图像差异补偿单元,以重建的左图像信号作参考,将重建的左右图像差异分量信号与之做补偿运算,得到重建的右图像信号;原始右图像信号从右图像单元输入到亮色纹理垂直差异估计单元,原始右图像信号与解码重建的右图像信号之间存在亮度纹理、色度纹理及垂直差异,为实现精细立体编码对其进行差异估计运算;差异估计的运算结果输入到亮色纹理垂直差异高效编码单元中作高效编码,高效编码结果被输入到熵编码模块进一步高效编码,从而完成整过编码过程。所述重建的左图像信号与重建的左右差异信号如表现为已编码信号,则在左右图像差异补偿单元中还需进行解码处理,以得到解码后的重建右图像;重建的左图像信号与重建的左右差异信号如表现为已解码码信号,则在左右图像差异补偿单元中只需进行差异补偿处理,就得到解码后的重建右图像。
其对应的解码特征是:它由左图像隔行处理单元、隔行扫描场差估计场内邻宏快估计邻抽取高效解码单元、运动矢量解码单元、精细右图像重建单元、右图像隔行位移处理处理单元、左右图像差异补偿单元、左右图像差异辅助分量高效解码单元、亮色纹理垂直差异补偿单元、亮色纹理垂直差异分量解码单元及精细右图像重建单元组成精细立体隔行扫描场差估计场内邻宏快估计邻抽取高效解码模块。在所述立体隔行扫描差估计邻宏快估计邻抽取辅助分量高效解码方法的基础上,通过对亮色纹理垂直差异分量解码单元进行解码;解码后的信号输入到亮色纹理垂直差异补偿单元,以输入到本单元的重建右图像作基本图像,进行亮色纹理垂直差异补偿,得到解码后的精细右图像;解码是编码的逆过程,当编码方式改变时,解码方式作相应的改变。
所述编码与解码方法中左右图像可以互换。
10、根据权利要求1权利要求8及权利要求9,一种立体奇偶场差估计场间预测高效编码方法,其特征在于:
其编码特征是:它的图像序列由左图像与右图象序列两部分组成,其中左图像序列由I奇场、P偶场、B1奇场、B1偶场、B2奇场、B2偶场、P奇场、B3偶场组成;右图像序列由P奇场、B0偶场、B1奇场、B1偶场、B2奇场、B2偶场、B3奇场、B3偶场组成。它实际上是在所述奇偶场差估计场间预测高效编码方法的基础上,分成了左右图像编码序列。
左右奇场序列图像及偶场序列图像同MPEG-2或MPEG-4或AVS或H.264架构下的帧图像I帧、B帧与P帧一致。对左图像来说,I奇场作运动预测形成P奇场,B1奇场、B2奇场均由I奇场作运动预测及P奇场作反向预测得到;P偶场由I奇场作场差估计与运动预测得到,B3偶场由P奇场作场差估计与运动预测得到,B1偶场与B2偶场均由P偶场作运动预测及B3偶场作反向预测得到。对右图像来说,I奇场作场差估计形成P奇场,B1奇场由P奇场作运动预测及B1奇场作场差估计得到,B2奇场由P奇场作运动预测及B2奇场作场差估计得到,B3奇场由P奇场作运动预测及B3奇场作场差估计得到;B0偶场由P奇场作场差估计与运动预测得到,B3偶场由B3奇场作场差估计与运动预测得到,B1偶场与B2偶场均由B0偶场作运动预测及B3偶场作反向预测得到。如同MPEG-2或MPEG-4或AVS或H.264架构下的帧图像序列一样,P场与B场的数目可以有多种,同时B场可以由前面场与后面场作双向预测得到。
其对应的解码特征是:所述奇偶场差估计场间预测高效解码左图像序列与右图像序列两部分组成,其中左图像序列部分由左奇场1单元、左偶场1单元、左奇场2单元、左偶场2单元、左奇场3单元、左偶场3单元、左奇场4单元与左偶场4单元组成,右图像序列部分由右奇场1单元、右偶场1单元、右奇场2单元、右偶场2单元、右奇场3单元、右偶场3单元、右奇场4单元与右偶场4单元组成。
场间解码过程与场间编码过程相逆,已编码的场图像序列输入到解码单元后,对左图像序列来说,先由奇场I解码得到左奇场1单元,由左奇场1单元作参考,通过I奇场作运动补偿解码P奇场得到左奇场4单元;以左奇场1单元与左奇场4单元作参考,通过I奇场作运动补偿及P奇场作反向补偿分别解码B1奇场与B2奇场得到左奇场2单元与左奇场3单元;以左奇场1单元作参考,通过I奇场作运动补偿与场差补偿解码P偶场得到左偶场1单元,以左奇场4单元作参考,通过P奇场作运动与场差补偿解码B3偶场得到左偶场4单元,以左偶场1单元与左偶场4单元作参考,通过P偶场作运动补偿及B3偶场作反向补偿,分别解码B1偶场与B2偶场得到左偶场2单元与左偶场3单元。
对右图像序列来说,以左奇场1单元作参考,通过I奇场作场差补偿,解码P偶场得到右奇场1单元,以右奇场1单元作参考,以P奇场作运动补偿,由B1奇场、B2奇场及P奇场作场差补偿,分别解码B1奇场、B2奇场、B3奇场得到右奇场2单元、右奇场3单元及右奇场4单元;以右奇场1单元作参考,通过P奇场作运动与场差补偿,解码B0偶场得到右偶场1单元,以右奇场4单元作参考,通过B3奇场作运动与场差补偿,解码B3偶场得到右偶场1单元,以右偶场1单元及右偶场4单元作参考,对B0偶场作运动补偿,对B3偶场作反向补偿,分别解码B1偶场与B2偶场43得到右偶场2单元与右偶场2单元,至此完成左右图像场序列解码。对隔行扫描终端直接输出,对逐行扫描终端,则将对应的奇偶场嵌套合成形成帧1、帧2、帧3与帧4视频图像信号序列。所述编码序列改变时,解码序列相应改变。
CN 200810030929 2008-03-28 2008-03-28 高效平面与立体数字视频编码及解码方法 Pending CN101547350A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200810030929 CN101547350A (zh) 2008-03-28 2008-03-28 高效平面与立体数字视频编码及解码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200810030929 CN101547350A (zh) 2008-03-28 2008-03-28 高效平面与立体数字视频编码及解码方法

Publications (1)

Publication Number Publication Date
CN101547350A true CN101547350A (zh) 2009-09-30

Family

ID=41194179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200810030929 Pending CN101547350A (zh) 2008-03-28 2008-03-28 高效平面与立体数字视频编码及解码方法

Country Status (1)

Country Link
CN (1) CN101547350A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006480A (zh) * 2010-11-29 2011-04-06 清华大学 基于视间预测的双目立体视频的编码及解码方法
CN102340660A (zh) * 2010-07-23 2012-02-01 联合信源数字音视频技术(北京)有限公司 一种基于avs编码器的运动矢量预测装置
WO2015021587A1 (en) * 2013-08-12 2015-02-19 Intel Corporation Techniques for low power image compression and display
CN106303340A (zh) * 2016-09-20 2017-01-04 天津大学 一种双向运动估计去隔行方法
CN106507129A (zh) * 2016-09-28 2017-03-15 浙江宇视科技有限公司 一种视频智能回放方法及设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102340660A (zh) * 2010-07-23 2012-02-01 联合信源数字音视频技术(北京)有限公司 一种基于avs编码器的运动矢量预测装置
CN102340660B (zh) * 2010-07-23 2013-10-30 联合信源数字音视频技术(北京)有限公司 一种基于avs编码器的运动矢量预测装置
CN102006480A (zh) * 2010-11-29 2011-04-06 清华大学 基于视间预测的双目立体视频的编码及解码方法
CN102006480B (zh) * 2010-11-29 2013-01-30 清华大学 基于视间预测的双目立体视频的编码及解码方法
WO2015021587A1 (en) * 2013-08-12 2015-02-19 Intel Corporation Techniques for low power image compression and display
CN106303340A (zh) * 2016-09-20 2017-01-04 天津大学 一种双向运动估计去隔行方法
CN106303340B (zh) * 2016-09-20 2019-02-15 天津大学 一种双向运动估计去隔行方法
CN106507129A (zh) * 2016-09-28 2017-03-15 浙江宇视科技有限公司 一种视频智能回放方法及设备

Similar Documents

Publication Publication Date Title
AU728469B2 (en) Intra-macroblock DC and AC coefficient prediction for interlaced digital video
JP6675289B2 (ja) 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法
KR100751422B1 (ko) 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
EP2638695B1 (en) Video coding methods and apparatus
CN109547801B (zh) 视频流编解码方法和装置
CN102685532B (zh) 自由视点四维空间视频编码系统的编码方法
CN102196256B (zh) 一种视频编码方法及装置
US20150365677A1 (en) Motion picture encoding device and motion picture decoding device
CN104125466B (zh) 一种基于gpu的hevc并行解码方法
US7212573B2 (en) Method and/or apparatus for determining minimum positive reference indices for a direct prediction mode
JPH114441A (ja) インターレースされたデジタルビデオ用のビデオオブジェクト平面の移動推定及び補償
CN101729891A (zh) 一种多视点深度视频的编码方法
CN111801941B (zh) 用于利用自适应乘数系数进行图像滤波的方法及装置
US7881374B2 (en) Method and apparatus for 3-D subband video coding
CN104519367B (zh) 视频解码处理装置及其操作方法
US20070133689A1 (en) Low-cost motion estimation apparatus and method thereof
CN101547350A (zh) 高效平面与立体数字视频编码及解码方法
CN105519108B (zh) 量化矩阵编码的加权预测方法和装置
CN100586185C (zh) 一种h.264视频降低分辨率转码的模式选择方法
CN101170692B (zh) 多视图象编解码方法及编解码器
CN102595137A (zh) 基于图像像素块行/列流水线的快速模式判决装置和方法
CN101262607B (zh) 二重预测视频编解码方法和装置
JP7367755B2 (ja) 品質最適化デブロッキングを実行するためのイメージ処理デバイス及び方法
CN1568009A (zh) 用于视频编码的运动矢量预测方法
CN101277449A (zh) 一种264视频以任意比例降低分辨率的像素域转码的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
DD01 Delivery of document by public notice

Addressee: Chen Yihui

Document name: Notification of Passing Examination on Formalities

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20090930