CN1338235A - 基于分段的视频压缩编码的方法和装置 - Google Patents
基于分段的视频压缩编码的方法和装置 Download PDFInfo
- Publication number
- CN1338235A CN1338235A CN00126208A CN00126208A CN1338235A CN 1338235 A CN1338235 A CN 1338235A CN 00126208 A CN00126208 A CN 00126208A CN 00126208 A CN00126208 A CN 00126208A CN 1338235 A CN1338235 A CN 1338235A
- Authority
- CN
- China
- Prior art keywords
- coding
- macro block
- memory
- hardwood
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开一种基于分段的视频压缩编码的方法和装置,是将摄象机等媒体输入的模拟视频信号变换为数字视频信号后,对背景区域和物体区域进行判别划分,并根据其结果,对背景区域和物体区域进行不同的压缩编码,这种视频压缩编码技术能够将目标物体区域的信息损失降到最低程度,是一种可以获得高压缩率的方法及设备。
Description
本发明和可以有效用于无人监控系统、可视会议、可视电话、可视教学等映象变化较少的映象信号数据压缩的视频信号压缩编码方法相关，也与视频分段方法和压缩编码方法相关。
远程可视会议、可视电话、可视教学等区域由于要考虑到通讯线路的带宽，采用的视频信号数据压缩方法中主要是标准化的H.26X系列方法，如为了进行视频信号的数据形态存储/播送/传送，在MPEG(MotionPicture Expert Group)中广泛使用的是MPEG-1和MPEG-2标准化方法。无人监控系统利用的是视频信号，目前大部分仍是采用直接传送模拟视频信号并保存在模拟录像带(Video tape)上的方法，但由于录像带重复录制会导致图象质量下降，加上录像带更新导致费用增加等原因，因此最近采用先将模拟视频信号变换为数字信号、再使用H.26X系列、MPEG系列或JPEG(Joint Picture Expert Group)系列视频压缩方法的监控系统逐渐增多。
目前围绕视频信号数据压缩而开发出的众多视频压缩编码方法，基本上是将大部分映象划分为一定大小的宏块(Macro-block)，对各区域与以前映象比较后进行运动补偿(Motion Compensation)，然后将运动补偿后的映象和当前映象间的差别进行压缩编码。
这种方法存在以下缺点。
第一，因物体运动被挡住又重新出现的背景区域(uncoveredbackground)，需要重新编码。
第二，因映象编码设备的特点，如果输入的映象的桢速率(framerate)(即当前映象输入到编码设备的速率)较低，导致临近映象(或桢)物体运动大，运动预测失败率将增高，从而增加比特(bit)发生量，使数据压缩效率降低。
第三，如果希望对编码后的映象进行随机存取(random access)，必须象MPEG系列的编码方法中常用的一样，周期性插入I-桢(Intra-frame)。I-桢并不是将当前桢和以前映象差别进行编码，而是像对静止映象进行编码一样，只对当前桢(Frame)单独进行压缩编码，从而导致比特发生量相对增加。
第四，由于编码时没有划分物体区域和背景区域，如希望物体出现的时候出现提示音等的额外功能的话，就需要执行另外的计算。
第五，由于没有划分物体区域和背景区域，从而不能通过降低相对重要的物体区域压缩率来提高画质、或通过提高不太重要背景区域压缩率来降低画质，达到控制画质的效果。
本发明目的是为了达到对视频映象信号的有效压缩，提供利用背景映象和以前映象对当前映象进行压缩编码的方式。
本发明的另一目的是提供将输入映象划分为一定大小的单位区域后，判别各单位区域属于背景区域还是物体区域，在各区域生成不同的编码指示的分段及编码设备。
本发明的又一目的是将分段后输入的映象在各区域进行不同的压缩编码，从而提高压缩率。
为进一步说明本发明的构成和使能，特对下述两条用语作如下定义。
1.宏块(MB：Macro-Block)：本发明中将映象划分为下例所示的一定大小的正方块单位区域，其各单位区域定义为MB(宏块)。宏块(MB)大小应横竖均为16象素，但根据情况也可改用其他大小。
2.宏块信息(MB-Into：Macro-block information)：本发明中将当前映象的各宏块(MB)如何编码的信息称为宏块信息(Macro-block information)。当前映象的各宏块(MB)都有各自的宏块信息(MB-Info)。宏块信息(MB-Info)具体说是由运动预测(motion Estimation)结果而生成的运动矢量(motion vector)和根据宏块(MB)单位进行不同的编码指示(Coding Direction)构成，有关运动矢量(motion vector)和编码的内容将在以后作说明。本发明中的分段设备及变换编码器间的通讯是通过宏块信息(MB-Info)进行的。
为实现上述目的，本发明提供一种基于分段的视频压缩编码器，包括：
当前桢存储器，用来存储当前映象，
背景桢存储器，用来存储背景映象，
以前物体存储器，用来存储以前显示的物体映象，
分段和编码控制器，用来确定在当前桢存储器中所存储的当前映象桢是背景映象还是物体映象，并随之将它们分成背景和物体宏块，藉此来控制每个宏块的编码以及决定运动矢量，
变换编码器，它从分段和编码控制器接收到编码指示和运动矢量后，对每个宏块映象进行有区别的编码，
变换解码器，用来对变换编码器的数据进行解码以更新背景桢存储器和以前物体存储器，
平均信息量编码器，对来自变换编码器的编码指示和运动矢量进行有区别的平均信息量编码，
位流格式器，用来按照一定的格式从平均信息量编码器输出结果的位流。
本发明还提供一种基于分段的视频压缩编码的方法，包括以下步骤：
根据每个宏块，确定在当前桢存储器中存储的当前图像桢是背景映象还是物体映象，
根据对每个块的运动预测有区别地给出编码指示和运动矢量，
根据给定的编码指示，对视频数据进行不同的变换编码，
对该变换编码数据，编码指示和运动矢量进行有区别的平均信息量编码。
参照以下附图，阅读本发明的详细说明
图1是基于分段的视频压缩编码器的全部结构和输入/输出示意图。
图2是图1中的分段和编码控制器(SCC)的详细结构和输入/输出示意图。
图3是图1中的变换编码器(TC)的详细结构和输入/输出示意图。
图4是图1中的变换解码器(TD)的详细结构和输入/输出示意图。
图5是图2中的背景区域判别设备(BAC)的背景区域判别顺序和结果输出示意图。
图6是图2中的稳定性分析设备(SA)的稳定性判断顺序和结果输出示意图。
参照图1，图中显示本发明的基于分段的视频压缩编码器(SVCEncoder-Encoder)10的全部结构和输入/输出示意图。
视频压缩编码器(SVC)10由以下部分组成：对输入的当前映象在各宏块单位(MB)中分别进行背景区域还是物体区域的判别，然后在各区域生成差别性宏块信息(MB-info)的分段和编码控制器(SCC)20；存储映象输入源(VS)50中的当前映象的当前桢存储器(CFM)12；存储背景映象的背景桢存储器(BFM)14；存储以前物体映象的以前物体存储器(POM)16；根据上述宏块信息(MB-info)对当前映象宏块(MB)数据进行差别性编码的变换编码器(TC)30；将上述变换编码器30中的输出数据和上述宏块信息(MB-info)进行平均信息量编码的平均信息量编码器(EC)18；将上述平均信息量编码器18中的输出数据配以一定格式生成位流(bit steam)的位流格式器(BF)19；将上述变换编码器30中的输出数据进行解码后，更新(update)背景桢存储器(BFM)14和以前物体存储器(POM)16的变换解码器(TD)40。
视频压缩编码器(SVC)10中输入的是映象桢等数据映象输入源(VS：Video Source)的当前映象数据。视频压缩编码器(SVC)10输出内容是将输入的当前映象数据进行压缩编码后的数据，以及包括利用该数据复原当前映象所需信息的位流(bitsteam)。上述输出位流根据需要可以存储在硬盘或磁带等存储媒体(storage media)上，也可以通过网络(network)52进行传送。
继续参照图1，当前桢存储器(CFM：Current Frame Memory)12、背景桢存储器(BFM：background Frame Memory)14和以前物体存储器(POM，Previous Object Memory)16都是存储映象数据的存储装置。当前桢存储器(CFM)12是存储上述映象输入源(VS)50的当前桢存储器；背景桢存储器(BFM)14是存储从当前映象数据输入之前的映象数据中提取的背景映象的背景桢存储器；以前物体存储器(POM)16是存储从当前映象数据之前的映象数据中提取的物体映象的以前物体存储器。
分段和编码控制器(SCC，Segmentation and coding control)20是在对当前桢存储器(CFM)12中存储的当前映象数据的各宏块(MB)数据是背景映象还是物体映象进行判别的分段后，根据其结果将各宏块(MB)数据编码所需的宏块信息(MB-info)生成宏块(MB)单位。分段和编码控制器(SCC)20中的输入内容是当前桢存储器(CFM)12存储的当前映象、背景桢存储器(BFM)14存储的背景映象、以及以前物体存储器(POM)16存储的以前物体映象。该分段和编码控制器(SCC)20是将当前映象和背景映象以及物体映象分别进行比较后，划分宏块单位的区域。分段和编码控制器(SCC)20输出的是宏块信息(MB-info)。宏块信息(MB-info)由根据运动预测(motionextrapolate)结果发生的运动矢量(MV：motion vector)和以宏块(MB)单位进行区别性编码的编码指示(CD：codingdirective)组成。
当前映象的各宏块(MB)数据根据上述编码指示在变换编码器(TC，Transform Coder)30中被编码变换，此结果又在平均信息量编码器(EC，entropy coding)18中被平均信息量编码(entropy coding)。在上述变换编码器(TC)30中编码变换后的数据又根据上述编码指示在变换解码器(TD：Transform Decoder)40中被解码，以用于背景映象存储器(BFM)14和以前物体存储器(POM)16的更新。
宏块信息(MB-info)又在上述平均信息量编码器(EC)18中被平均信息量编码，通过位流格式器(BF)19被包含在压缩位流中。进行上述操作的分段和编码控制器(SCC)20的详细内部结构和操作将在以后的图2、图5、图6、表5、表6、表7进行说明。
参照图1、图2和下面的表1，阅读宏块信息(MB-info)的详细说明。
如前所述，宏块信息(MB-info)是由根据运动预测(motionestimation)结果发生的运动矢量(mv：motion vector)和以宏块为单位进行区别性编码的编码指示(cd：coding directive)组成。
编码指示(cd)是根据分段和编码控制器(SCC)20的分段(segmentation)结果生成的，通过对变换编码器(TC)30和平均信息量编码器(EC)18的控制，进行以宏块(MB)为单位的区别性编码，以及通过对变换解码器(TD)40的控制进行以宏块(MB)为单位的区别性解码。
下面的表1列出了本发明的6种编码指示的说明。
(表1)编码指示(cd：coding Directive)的种类和各自含义
| 编码指示(cd) | 位标志(Bit flag) | 含义 | 是否使用运动矢量(mv) |
| B-SKIP | 100000 | 输入的宏块(MB)和背景映象相关位置的宏块(MB)总体上没有差别，所以不必进行编码变换。 | × |
| B-INTER | 010000 | 将输入的宏块(MB)和背景映象相关位置的宏块(MB)的差异进行相互(Inter)编码变换。 | × |
| O-SKIP | 001000 | 输入的宏块(MB)和根据运动预测的以前物体映象总体上没有差别，所以不必进行编码变换，只需进行运动矢量编码。 | 0 |
| B-UPDT | 000100 | 输入的宏块(MB)和以前物体映象相关位置的宏块(MB)总体没有差别，由于是时间上没有变化的部分，从而将其以后的桢看作背景映象。因此需将背景映象更新为以前物体映象相关位置的宏块(MB)。 | × |
| O-INTRA | 000010 | 将输入的宏块(MB)进行内部(Intra)编码变换。 | × |
| 0-INTER | 000001 | 将输入的宏块(MB)和根据运动预测的以前物体映象的差异进行相互(Inter)编码变换，并将运动矢量编码。 | 0 |
*上表中“×”表示不考虑运动矢量，“0”表示使用运动矢量。
**上表中“相关位置”是指与输入的宏块(MB)当前映象桢上的位置相同。
B-SKIP(Background-referenced Skip)的位标志(bit flag)为‘100000’，由于当前桢存储器(CFM)12的当前映象宏块(MB)数据和背景桢存储器(BFM)14的同样位置宏块(MB)数据总体上没有差别，因此作出的指示(directive)是不必进行编码变换。
B-INTER(Background-referenced Inter-coding)的位标志为“010000”，所作指示是将当前桢存储器(CFM)12的当前映象宏块(MB)数据和背景桢存储器(BFM)14的相同位置的宏块(MB)数据间的相差数据进行相互(Inter)编码变换。
O-SKIP(Object-referenced Skip)的位标志为‘001000’，由于当前桢存储器(CFM)12的当前映象宏块(MB)数据和根据运动预测的以前物体映象数据总体上没有差别，因此作出不必进行编码变换而只须进行运动矢量(mv)编码的指示。
O-INTER(Object-referenced Inter Coding)的位标志为‘000001’，所作指示是将当前桢存储器(CFM)12的当前映象宏块(MB)数据和根据运动预测的以前物体映象数据间的差别进行相互(Inter)编码变换以及运动矢量编码。
O-INTRA(Object-referenced Intra-coding)的位标志为‘000010’，所作指示是将当前桢存储器(CFM)12的当前映象宏块(MB)数据进行内部(Intra)编码变换。
B-UPDT(Background Update)的位标志为‘000100’，所作指示是将当前桢存储器(CFM)12的当前映象宏块(MB)和同样位置的以前物体存储器(POM)16的宏块(MB)数据复制到背景桢存储器(BFM)14上，从而更新背景桢存储器(BFM)14。这种背景更新(B-UPDT)意味着，由于当前桢存储器(CFM)12的当前映象宏块(MB)数据和以前物体存储器(POM)16的同样位置宏块(MB)数据在一定时间内或者一定数量的桢通过期间总体上继续保持没有差别，从而将以后桢的上述以前物体存储器(POM)16的相同位置宏块(MB)数据用作背景映象。
以上说明中，位标志通过在图1所示装置中相互传递编码指示(cd)的方法，如同本发明实际应用举例中引入的一样，根据编码指示在6个单位中只将1个单位设定为“1”，其它单位均设定为“0”。但是实际本发明设备时，编码指示相互传递的方法并不局限于此，也可以采用其他方法。
上述表1中，当编码指示为B-SKIP、B-INTER、B-UPDT、O-INTRA时，并没有使用运动矢量，从逻辑上讲，可认为是使用(0，0)数值的运动矢量(mv)。因此当分段和编码控制器(SCC)20中根据编码指示输出B-SKIP、B-INTER、B-UPDT、O-INTRA时，分段和编码控制器(SCC)20输出(0，0)的运动矢量。
回头再参照图1，变换编码器(TC)30从上述分段和编码控制器(SCC)20中接受宏块信息(MB-info)，根据包含在此宏块信息(MB-info)中的编码指示(cd)对各宏块(MB)进行变换(transform)和量化(quantization)，然后将其结果输出到平均信息量编码器(EC)18和变换解码器(TD)40。
参照图2和表3，阅读上述变换编码器(TC)30的内部结构和使能说明。(表2)变换编码器(TC)30内部开关32根据编码指示进行连接的状况
| 编码指示 | 位标志 | 开关32连接 |
| B-INTER | 010000 | 端子A(Terminal A) |
| O-INTRA | 000010 | 端子B |
| O-INTER | 000001 | 端子C |
| 其他 | 000000 | 无关 |
表2列出了上述变换编码器(TC)30内部开关32根据编码指示进行连接的状况。内部开关32连接状况不同，变换编码器30进行的内容也不同。
如图3和表2所示，当编码指示为B-INTER时，上述内部开关32和端子A连接，当为O-INTRA时，和端子B连接，当为O-INTER时，和端子C连接。表2显示，对上述B-INTER、O-INTRA、O-INTER以外的其他编码指示，内部开关32与A、B、C中任意端子连接均可，这是因为B-INTER，O-INTRA、O-INTER以外的其他编码指示，由于变换编码器(TC)30下一阶段的平均编码设备的原因，来自变换编码器的宏块(MB)数据(即图3中的量化设备(Q)36的输出量化系数)总归被忽略。
图3列出了根据内部开关32连接状况进行的变换编码器(TC)30操作。上述内部开关32与端子A连接的话，当前桢存储器(CFM)12的当前映象宏块(MB)数据和背景桢存储器(BFM)14的同样位置宏块(MB)数据间的差别将被输入到变换设备(T)34(Transformer)。内部开关32与端子B连接的话，当前桢存储器(CFM)12的当前映象宏块(MB)数据将被输入到变换设备(T)34。内部开关32与端子C连接的话，当前桢存储器(CFM)12的当前映象宏块(MB)数据和上述运动补偿设备(C)38的运动补偿后的以前物体映象间的差别(即运动预测数据的误差)将被输入到变换设备。上述内部开关与端子A、B、C连接时，对各自的连接，上述内部开关输出数据通过变换设备(T)34变换和通过量化设备(Q)36量化之后，被输出到变换编码器(TC)30外部。上述变换设备(T)34是将空间区域(spatialdomain)的映象数据变换为频率区域(frequency domain)映象数据的设备，进行如离散余弦变换(Discrete Cosine Transform)和离散子波变换(Discrete Wavelet Transform)的映象编码常用的数据变换。
本发明举例中的量化设备需要的量化表(Table)共三个，分别在编码指示为B-INTER、O-INTRA、O-INTER时使用。编码指示为O-INTEA或O-INTER时，分别使用视频编码常用的INTRA量化表和INTER量化表。编码指示为B-INTER时，既可以使用与O-INTER时相同的量化表，也可使用新的量化表。
再回头参照图1，变换解码器(TD)40接受变换编码器(TC)30中编码变换后的宏块(MB)单位映象数据和宏块信息(MB-info)，根据宏块信息(MB-info)中包含的编码指示将各宏块(MB)进行逆量化(inversequantization)和逆变换(inverse transform)，然后根据其结果对背景桢存储器(BFM)14和以前物体存储器(POM)16进行更新(update)。
参照图4和表3，阅读上述变换解码器(TD)40的内部构造及操作说明。变换解码器(TD)40的操作基本上是上述变换编码器(TC)30操作的逆向过程，在变换编码器(TC)30中进行编码变换时使用的编码指示，在变换解码器(TD)40中被用作逆向解码变换。
下表3列出了变换解码器(TD)40内部开关44，49，46，47根据编码指示(CD)进行连接的状况(表3)解码设备内部开关根据编码指示进行连接的状况
| 编码指示(cd) | 位标志(Bit flag) | 开关连接 | |||
| 开关#1(44) | 开关#2(49) | 开关#3(46) | 开关#4(47) | ||
| B-SKIP | 100000 | 无关 | 端子B2 | 无关 | 端子A4 |
| B-INTER | 010000 | 端子A1 | 端子A2 | 无关 | 端子B4 |
| O-SKIP | 001000 | 无关 | 无关 | 端子B3 | 端子E4 |
| B-UPDT | 000100 | 无关 | 无关 | 端子C3 | 端子F4 |
| O-INTRA | 000010 | 端子B1 | 无关 | 无关 | 端子C4 |
| O-INTER | 000001 | 端子C1 | 无关 | 端子A3 | 端子D4 |
内部开关44，49，46，47连接状况不同，变换解码器(TD)40进行的内容也不同。
如图4和图3所示，当编码指示为B-SKIP时，连接端子B2、A4，按照背景桢存储器(BFM)14、复原的当前桢存储器(RFM：Reconstructed FrameMemory)48顺序进行数据传送。
当编码指示为B-INTER时，连接端子A1、A2、B4，将通过逆量化设备(Q-1，Inverse Quantizer)42、逆变换设备(T-1，Inverse Transformer)43的数据和背景桢存储器(BFM)14的数据相加后传送到背景桢存储器(BFM)14和复原的当前桢存储器(RFM)48。
当编码指示为O-INTRA时，连接端子B1、C4，通过逆量化设备(Q-1)42、逆变换设备(T-1)43的数据被直接传送到复原的当前桢存储器(RFM)48。
当编码指示为O-INTER时，连接端子C1、A3、D4，将通过逆量化设备(Q-1)42、逆变换设备(T-1)43的数据和以前物体存储器(POM)16、运动补偿设备(MC：Motion Compensator)45的数据相加后传送到复原的当前桢存储器(RFM)48。
当编码指示为O-SKIP时，连接端子B3、E4，以前物体存储器(POM)16和运动补偿设备(MC)45的数据将被直接传送到复原的当前桢存储器(RFM)48。
当编码指示为B-UPDT时，连接终端C3、F4，以前物体存储器(POM)16和运动补偿设备(MC)45的数据将被传送到背景桢存储器(BFM)14和复原的当前桢存储器(RFM)48。
这种被存储在复原的当前桢存储器(RFM)48的数据将被传送到以前物体存储器(POM)16，进行更新。
再回到图1，平均信息量编码器(EC)18接受变换编码器中编码变换的宏块(MB)单位映象数据(具体说是量化系数)和宏块信息(MB-info)，在进行平均信息量编码(EC)之后，将其结果输出到位流格式器(BF：BitstrearnFormatter)19。
平均信息量编码(EC)的对象数据将根据上述宏块信息(MB-info)包含的编码指示(cd)发生变化。表4列出了平均信息量编码器(EC)18根据编码指示进行平均信息量编码的对象。(表4)平均信息量编码设备(EC)18根据编码指示进行平均信息量编码的对象
| 编码指示(cd) | 位标志(Bit flag) | 平均信息量编码(EC)的对象 | ||
| 编码指示 | 变换编码器(TC)30的宏块(MB)数据 | 运动矢量 | ||
| B-SKIP | 100000 | 0 | X | X |
| B-INTER | 010000 | 0 | 0 | X |
| O-SKIP | 001000 | 0 | X | 0 |
| B-UPDT | 000100 | O | X | x |
| O-INTRA | 000010 | 0 | 0 | x |
| O-INTER | 000001 | 0 | 0 | 0 |
*上表中“0”表示对该数据进行平均信息量编码，“X”表示忽略该数据、不进行平均信息量编码。
根据平均信息量编码对象数据的特点，平均信息量编码的具体方法会发生变化。即将编码指示进行平均信息量编码的正确方法，应为霍夫曼编码技术(Huffman coding)；将宏块(MB)单位的映象数据(即量化系数)进行平均信息量编码的正确方法，应为根据Z字形扫描(zigzag-scanning)得出的行程编码(run-length coding)结果的改进型霍夫曼编码技术化(modified-huffman coding)或算术编码(arithmetic coding)的方法；将运动矢量编码的正确方法，应为改进后的霍夫曼编码方法(modified-huffman coding)或算术编码(arithmetic coding)方法。编码指示(cd)可以根据需要不进行平均信息量编码，而进行固定长度的编码(FLC：fixedlength coding)。有关平均信息量编码方法的详细内容由于本发明领域的专业人士已经广为了解，故不再提及。
还是参考图1，位流格式器(BF)19是将上述平均信息量编码设备(EC)18中的输出内容根据一定格式以位流形式输出的设备(BitstreamFormatter)。上述位流的语法(bitstream syntax)根据本发明的用途和实际应用可以有所不同。
参照下图2和表5、6、7，阅读上述分段和编码控制器(SCC)20的内部结构和操作详细说明。
图2中，背景区域判别设备(BAC)22根据宏块(MB)对当前桢存储器(CFM)12和背景桢存储器(BFM)14进行比较以后，输出3个比特的信息。这3个比特中只有1个比特被设定为“1”，其余比特均被设定(set)为“0”。背景区域判别设备(BAC)22输出的3个比特中，比特“1”(bit 1)和编码指示(cd)的第一个比特相连接，比特“2”和编码指示的第二个比特相连接，比特“3”和运动预测设备(ME)24相连接，对是否进行运动预测作出指示。表5列出了背景区域判别设备(BAC)22输出比特的发生条件和相关的编码指示(cd)(表5)
背景区域判别设备(BAC)22输出比特的发生条件和相关的编码指示(cd)
| 输出比特 | 发生条件 | 编码指示 | ||
| Bit1 | Bit2 | Bit3 | ||
| 1 | 0 | 0 | 被输入的宏块(MB)和背景映象相关位置的宏块(MB)的差别可被忽略 | B-SKIP |
| 0 | 1 | 0 | 必须将被输入的宏块(MB)和背景映象相关位置的宏块(MB)的差别进行编码变换 | B-INTER |
| 0 | 0 | 1 | 被输入的宏块(MB)和背景映象没有类似之处，必须和以前物体映象进行比较 | 无法知道 |
| 其他 | 不可能发生 | - | ||
对从当前桢存储器(CFM)12中输入的当前映象宏块(MB)相当于表5列出的何种发生条件进行判别，其具体方法有多种供用产选择使用。其中一个方法就是如图5所示，对接受输入的宏块(MB)和背景桢存储器(BFM)14同样位置的宏块(MB)间的类似之处进行判别之后，确定相当于表5何种发生条件的方法。
图5中的Y误差(Yerror)是指亮度成份误差，即接受输入的当前映象宏块(MB)的各象素亮度值减去背景映象宏块(MB)对应位置象素值获得的数值。
U误差(Uerror)和V误差(Verror)都是色差成份的误差，即接受输入的当前映象宏块(MB)的各象素色差U—成份和色差V—成份值分别减去背景映象宏块(MB)对应位置象素色差U—成份和色差V—成份值获得的数值。一般来说，色差成份可以由U—成份和V—成份两种成份构成，也可以由Cb—成份和Cr—成份两种成份构成，还可以由I—成份和Q—成份构成。区分色差成份时，选择上述三种方法中哪一种，可根据本发明的用户需要而不同。本发明举例说明时，为方便起见，选择了U—成份和V—成份这种区分方法。
图5中的Ty和Tyy都是关于亮度成份的阈值(threshold)，Tu和Tv分别是色差U—成份和色差V—成份的阈值。Ty、Tu、Tv显示的都是可忽略的微小差别(例：1～7)，Tyy显示的是虽不可忽略但较小的差别(例10～40)。还有Tn1、Tn2、Tn3是有关象素数的阈值，选择属于一个宏块(MB)全体象素(Pixel)数90％～99％的阈值是合适的。
图5中的条件1是用来在亮度成份误差小于Tyy的象素数被称为n1时，检查n1是否足够大(n1大于特定的阈值Tn1)。如果条件1被满足，说明当前桢存储器的当前映象宏块(MB)数据和背景桢存储器(BFM)14的背景映象宏块(MB)数据的亮度成份差别不大，两个宏块(MB)数据的亮度成份较类似；如果条件1得不到满足，说明两个宏块(MB)数据的亮度成份差别较大。
继续参照图5，当条件1得不到满足时，为了将当前映象宏块(MB)数据和以前物体存储器(POM)16存储的以前物体映象进行比较，而输出位标志“001”。当条件1被满足时，将在条件2中对当前映象宏块(MB)数据和背景映象宏块(MB)数据的类似之处进行进一步的仔细检查。
图5中的条件2是用来在获得有关色差成份误差较小的象素数n2之后，以检查n2是否足够大(即n2是否大于特定阈值Tn2)。如果满足条件2，说明色差成份误差小至可被忽略；如果条件2得不到满足，说明色差成份误差不能被忽略。图5中，条件2得不到满足时，为了将当前映象宏块(MB)数据和背景映象宏块(MB)数据间的差别进行相互(Inter)编码，而输出位标志“010”。如果满足条件2，将在条件3中对当前映象宏块(MB)数据和背景映象宏块(MB)数据的类似之处进一步进行仔细的检查。
图5中的条件3是用来在得出亮度成份误差小于Ty(＜Tyy)的象素数n3之后，以检查n3是否足够大(即n3是否大于特定阈值Tn3)。如果满足图5中的条件3，说明色差成份误差和亮度成份误差都小至可被忽略，从而输出位标志“100”，以不进行编码变换(B-SKIP)；如果条件3得不到满足，说明虽可忽略色差成份误差但不可忽略亮度成份误差，从而输出位标志“010”，以将当前映象宏块(MB)数据和背景映象宏块(MB)数据的差别进行相互(Inter)编码(B-INTER)。
上述判别顺序是为了方便说明，本发明并不局限于上述判别顺序，而且这些判别顺序还可根据需要进行增加和修改。
继续参照图2，运动预测设备(ME：Motion Estimator)24只有在上述背景区域判别设备(BAC)22输出的比特中比特3为“1”时，才能进入使能状态。在背景区域判别设备(BAC)22输出的比特中比特3为“1”时，说明被输入的当前映象宏块(MB)不属于背景区域，运动预测设备(ME)24对输入的当前映象宏块(MB)和以前物体存储器(POM)16进行比较后，才进行运动预测(Motion Estimation)，并根据其结果控制运动预测设备(ME)24下一阶段开关23的连接状态，输出运动矢量。即当运动预测误差极小、不需要进行编码变换时，运动预测设备(ME)24通过控制下一阶段开关，将稳定性分析设备(SA)27设定为使能状态；当运动预测误差不可被忽略时，运动预测设备(ME)24通过控制下一阶段开关，将内部(Intra)/相互(Inter)模式判别设备(IDD)28设定为使能(enable)状态，将预测误差映象宏块MB数据通过内部(Intra)/相互(Inter)模式判别设备输出。
对运动预测设备(ME)24预测运动的具体方法，本发明所属领域一般在较多使用的块匹配算法(BMA：Block Matching Algorithm)中选择使用合适方法或者采用新的方法。但是本发明在实际应用举例时，运动预测方法的搜索区域(search area)和一般情况有所不同，即一般情况下，为进行运动预测而以以前桢存储器区域中输入的宏块(MB)位置为中心，将该宏块(MB)中包括的特定大小的方形区域作为搜索区域，但本发明上不是以以前物体存储器(POM)16区域中输入的宏块(MB)位置为中心、将该宏块(MB)中包括的特定大小的方形区域作为全部搜索区域，而是在该区域中只以物体区域为对象进行搜索。因此本发明实际应用的运动预测设备(ME)24除了一般性运动预测功能以外，还具备存储在以前桢中被判别为物体区域位置的物体屏蔽存储器(OMM)25。物体屏蔽存储器(OMM)25能够存储显示各宏块(MB)是否为物体区域的一个比特的信息。上述物体屏蔽存储器(OMM)25的各宏块(MB)屏蔽数值拥有与背景区域判别设备(BAC)22输出的比特中第三个比特数值相同的数值，这是因为如上述表5所示的背景区域判别设备(BAC)22第三个输出比特为“1”的话，接受输入的当前映象宏块(MB)将被判别为物体区域(cd＝O-SKIP、O-INTRA、O-INTER)或是与物体区域本质相同的区域(cd＝B-UPDT)。上述实际应用例子中的运动预测，虽假定为形成宏块(MB)单位，但是根据需要可以进一步分解宏块(MB)(如4等分)并根据各划分区域进行预测运动和生成运动矢量。
目前对本发明实际应用进行的说明是以假定背景桢存储器(BFM)14和以前物体存储器(POM)16的各自背景映象和以前物体映象已经确保为前提的。实际上随着时间推移，必须划分稳定性(stationary)区域和时间可变性(time-varying)区域，将稳定性区域存储为背景桢存储器(BFM)14，将时间可变性区域存储为以前物体存储器(POM)16。对稳定性进行分析后，将背景桢存储器(BFM)14更新为稳定性区域的理由如下。即使因为当前桢存储器(CFM)12特定位置的宏块(MB)和背景桢存储器(BFM)14同等位置的宏块(MB)不相类似而不能说属于背景区域，但如果长时间保持不变的话(也就是说即使新的当前映象继续输入，在同一位置仍然出现相同的宏块(MB)映象的话)，可以认为此宏块(MB)在构成背景的物体上产生空间性变化或是新出现的物体不消失继续留在背景上，稳定性分析结果长期未变的宏块(MB)存储在背景桢存储器(BFM)14之后，将下一桢用作背景映象。如果使用该方法，将第一次输入的桢全部(物体区域和背景区域有可能混在一起)存储在背景桢存储器(BFM)14中(即作为背景映象)，即使将任意值分配在以前物体存储器(POM)16中，只要经过足够的时间，就会在背景桢存储器(BFM)14中确保背景映象，在以前物体存储器(POM)16中确保物体映象。同时在构成背景的物体上即使有空间性变化或者背景自己发生变化(scene change)，也只要经过足够的时间，就会在背景桢存储器(BFM)14上确保正确的背景映象，以及在以前物体存储器(POM)16上确保正确的物体映象。
本发明中的分段和编码控制器(SCC)20如图2所示，拥有与进行稳定性分析设备(SA，Stationarity Analyzer)27相连的计时存储器(TM，Timermemory)26。稳定性分析设备(SA)27通过从运动预测设备(ME)24收到的使能信号和运动矢量，参照当前映象宏块(MB)位置上相关的计时存储数值，输出两个比特的信息。计时存储器(TM)26存储各宏块(MB)稳定性保持时间，即同等位置上同样宏块(MB)映象出现的时间。
表6列出了稳定性分析设备(SA)27输出比特的发生条件和相关的编码指示，图6列出了稳定性判别顺序及其输出。(表6)
稳定性分析设备(SA)27输出比特的发生条件和相关的编码指示(cd)
| 输出比特 | 发生条件 | 编码指示 | |
| Bit1 | Bit2 | ||
| 1 | 0 | 从ME收到使能(enable)信号 | O-SKIP |
| 0 | 1 | 1、从ME收到使能(enable)信号2、运动矢量值是(0，0)3、“1”和“2”时，表明在足够的时间内一直保持 | B-UPDT |
| 0 | 0 | 从ME不能收到使能(enable)信号 | 未知 |
| 1 | 1 | 不能发生 | - |
如同以上关于运动预测设备的说明，运动预测设备(ME)24只有在运动预测误差可以忽略的情况下才能向稳定性分析设备(SA)27发出使能(enable)信号。如同图2、图6、表6所示，稳定性分析设备(SA)27在收到使能信号的情况下，稳定性分析设备(SA)27首先将检查从运动预测设备(ME)24收到的运动矢量数值是否为(0，0)，如果不是(0，0)的话，那么向bit1和bit2分别输出“1”和“0”(也就是编码指示O-SKIP)；如果是(0，0)的话，将读取当前映象宏块(MB)位置上相关计时存储器(TM)26的相关位置数值，如果其数值大于特定时间Tt(例如10秒)，计时存储器(TM)26相关位置数值复位(reset)为“0”以后，向bit 1和bit 2分别输出“0”和“1”(也就是编码指示B-UPDT)，如果小于特定时间Tt，向bit1和bit2分别输出“1”和“0”(即编码指示O-SKIP)。如果稳定性分析设备没有收到使能信号，当前映象宏块(MB)位置上的相关计时存储器(TM)26数值复位(reset)为“0”，向bit 1和bit 2都输出“0”。
再回到图2，运动预测设备(ME)24的运动预测结果，如果判断预测误差不能忽略、必须进行编码变换的话，运动预测设备(ME)24将向内部Intra/相互Inter模式判别设备(IID，Inter Mode Decision)28发出使能信号。如表7所示，内部Intra/相互Inter模式判别设备(IID，Inter ModeDecision)28从运动预测设备(ME)24收到预测误差映象宏块(MB)数据后，从当前桢存储器(CFM)12收到当前映象宏块(MB)数据，并比较各自统计性特点(例如：离散)，判断是进行相互(Inter)模式编码(即将预测误差宏块(MB)数据进行编码)还是进行内部(Intra)模式编码(即将当前映象宏块(MB)数据进行编码)，将其结果用两个比特的信息输出。(表7)
Intra/Inter模式判别设备(IID)28输出比特的发生条件和相关的编码指示(cd)
| 输出比特 | 发生条件 | 编码指示 | |
| Bit1 | Bit2 | ||
| 1 | 0 | 1、从运动预测设备(ME)24收到使能(enable)信号2、Intra/Inter模式判别结果确定进行Intra编码更加有利 | O-INTRA |
| 0 | 1 | 1、从运动预测设备(ME)24收到使能(enable)信号2、Intra/Inter模式判别结果定进行相互(Inter)编码更加有利 | O-INTER |
| 0 | 0 | 从运动预测设备(ME：24)不能收到使能(enable)信号 | 未知 |
| 1 | 1 | 不能发生 | - |
以下内部/相互(Intra/Inter)模式判别的统计性特点，是本发明所属领域较常用的内容。
(数学公式1)
A＝|original-mean|
使用如上所示的数据平均(mean)和数据各自初值(original)差的绝对值的和(A)，或是(数学公式2)
Variance＝(original-mean)2
如上所示使用方差(Variance)也是普遍的。内部/相互Intra/Inter模式判别的详细方法由于已经被本发明所属领域的专家所熟悉，故此省略。
本发明由于不需进行轮廓线编码，直接将输入映象划分成宏块(MB)之后，根据各宏块(MB)进行分段，从而减少计量，提高压缩率，与目前以宏块(MB)为单位进行压缩编码的映象编码设备(MPEG-1，MPEG-2，H.261，H.263)的连接也较容易。
而且本发明可以将输入映象分解成背景区域和目标物区域两个区域，其效果简述如下：1，当前映象宏块(MB)和背景映象宏块(MB)相同时，不需进行编码变换，从而使因物体移动被遮住又重新出现的背景区域(uncovered background)不必重新编码。2，当桢输入速率(frame rate)小、物体运动被非连续处理时，即使扩大运动预测的搜索区域，如只对搜索区域中相关物体区域部分进行搜索的话，运动预测率既不会下降，而且运动预测失败率也将降低。3，由于对背景区域和物体分段后进行差别性编码，在插入I-桢时，不需对全部当前映象进行编码，只需对物体区域进行内部(Intra)编码，从而可以提高压缩率。4，由于划分背景区域和物体区域，因此增加物体出现时进行语音提示等的附加功能较容易。5，通过对背景区域提高压缩率、对物体区域降低压缩率等，使得对重要区域画质的控制更加容易。
Claims (13)
1、一种基于分段的视频压缩编码器，其特征是，它包括：
a)当前桢存储器，用来存储当前映象，
b)背景桢存储器，用来存储背景映象，
c)以前物体存储器，用来存储以前显示的物体映象，
d)分段和编码控制器，用来确定在当前桢存储器中所存储的当前映象桢是背景映象还是物体映象，并随之将它们分成背景和物体宏块，藉此来控制每个宏块的编码以及决定运动矢量，
e)变换编码器，它从分段和编码控制器接收到编码指示和运动矢量后，对每个宏块映象进行有区别的编码，
f)变换解码器，用来对变换编码器的数据进行解码以更新背景桢存储器和以前物体存储器，
g)平均信息量编码器，对来自变换编码器的编码指示和运动矢量进行有区别的平均信息量编码，
h)位流格式器，用来按照一定的格式从平均信息量编码器输出结果的位流。
2、根据权利要求1所述的基于分段的视频压缩编码器，其特征是，该分段编码控制器包括：
a)背景区域分类器，它确定每个存储在当前桢存储器和背景桢存储器中同一位置的映象宏块的相似点，并确定编码过程是根据背景映象方法或是其他方法，
b)运动预测器，用来对于尚未在背景区域分类器中根据背景映象编码的各宏块预测运动并且输出运动矢量，
c)内部/相互模式判别系统，用来确定或是相互模式或是内部模式的编码方法。
3、根据权利要求2所述的基于分段的视频压缩编码器，其特征是，它还包括
稳定映象分析器，用来通过分析尚未在背景区域分类器中根据背景映象编码的宏块的稳定性确定是否更新背景桢存储器。
4、根据权利要求2或3所述的基于分段的视频压缩编码器，其特征是，它还包括
物体屏蔽存储器，通过存储屏蔽信息，用来在运动预测期间把搜索区域仅限制为物体区域。
5、根据权利要求4所述的基于分段的视频压缩编码器，其特征是，它还包括
计时存储器，用来记录并存储所述稳定性的时间间隔。
6、根据权利要求1所述的基于分段的视频压缩编码器，其特征是，该变换编码器包括：
a)运动补偿器，用来补偿宏块的运动，
b)变换器，用来把空间域的映象数据变换成频率域的映象数据并随后输出该变换系数，
c)量化器，用来对所述的变换器中的变换系数进行量化。
7、根据权利1所述的基于分段的视频压缩编码器，其特征是，该变换解码器包括：
a)逆量化器，对变换编码器中的变换编码数据进行逆量化，
b)逆变换器，用来逆变换该数据，
c)运动补偿器，用来补偿该运动。
8、一种基于分段的视频压缩编码的方法，其特征是，包括以下步骤：
a)根据每个宏块，确定在当前桢存储器中存储的当前图像桢是背景映象还是物体映象，
b)根据对每个块的运动预测有区别地给出编码指示和运动矢量，
c)根据给定的编码指示，对视频数据进行不同的变换编码，
d)对该变换编码数据，编码指示和运动矢量进行有区别的平均信息量编码。
9、根据权利要求8所述的基于分段的视频压缩编码的方法，其特征是，它还包括以下步骤：
将该平均信息量编码数据以位流方式输出。
10、根据权利要求8所述的基于分段的视频压缩编码的方法，其特征是，它还包括
对各宏块的变换编码的视频数据进行变换解码的步骤。
11、根据权利要求8所述的基于分段的视频压缩编码的方法，其特征是，所述的给出编码指示是通过比较亮度实现的，它包括：
第一步，比较每个宏块的当前桢和背景桢的亮度；
第二步，当所述亮度差大于预定值1时，确定当前桢为物体映象，而当所述亮度差小于1时，则确定为背景映象。
12、根据权利要求8或9或10或11所述的基于分段的视频压缩编码的方法，其特征是，还包括产生运动矢量的步骤。
13、根据权利要求8或9或10或11所述的基于分段的视频压缩编码的方法，其特征是，还包括分析物体稳定性的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN00126208A CN1338235A (zh) | 2000-08-18 | 2000-08-18 | 基于分段的视频压缩编码的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN00126208A CN1338235A (zh) | 2000-08-18 | 2000-08-18 | 基于分段的视频压缩编码的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN1338235A true CN1338235A (zh) | 2002-03-06 |
Family
ID=4591802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN00126208A Pending CN1338235A (zh) | 2000-08-18 | 2000-08-18 | 基于分段的视频压缩编码的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1338235A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101534444B (zh) * | 2009-04-20 | 2011-05-11 | 杭州华三通信技术有限公司 | 一种图像处理方法、系统和装置 |
| CN101201934B (zh) * | 2006-12-15 | 2012-07-04 | 财团法人工业技术研究院 | 视频对象分段方法 |
| CN102665077A (zh) * | 2012-05-03 | 2012-09-12 | 北京大学 | 一种基于宏块分类的快速高效编转码方法 |
| CN103179402A (zh) * | 2013-03-19 | 2013-06-26 | 中国科学院半导体研究所 | 一种视频压缩编码与解码方法及其装置 |
| CN108471540A (zh) * | 2018-03-21 | 2018-08-31 | 美澳视界（厦门）智能科技有限公司 | 基于超低码流的高清视频流畅直播方法及装置 |
| WO2022170569A1 (zh) * | 2021-02-10 | 2022-08-18 | 华为技术有限公司 | 数据处理方法和装置 |
-
2000
- 2000-08-18 CN CN00126208A patent/CN1338235A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101201934B (zh) * | 2006-12-15 | 2012-07-04 | 财团法人工业技术研究院 | 视频对象分段方法 |
| CN101534444B (zh) * | 2009-04-20 | 2011-05-11 | 杭州华三通信技术有限公司 | 一种图像处理方法、系统和装置 |
| CN102665077A (zh) * | 2012-05-03 | 2012-09-12 | 北京大学 | 一种基于宏块分类的快速高效编转码方法 |
| CN103179402A (zh) * | 2013-03-19 | 2013-06-26 | 中国科学院半导体研究所 | 一种视频压缩编码与解码方法及其装置 |
| CN108471540A (zh) * | 2018-03-21 | 2018-08-31 | 美澳视界（厦门）智能科技有限公司 | 基于超低码流的高清视频流畅直播方法及装置 |
| WO2022170569A1 (zh) * | 2021-02-10 | 2022-08-18 | 华为技术有限公司 | 数据处理方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100488254C (zh) | 一种基于上下文的熵编码方法及解码方法 | |
| CN114501010B (zh) | 图像编码方法、图像解码方法及相关装置 | |
| CN109862356B (zh) | 一种基于感兴趣区域的视频编码方法及系统 | |
| CN105359531A (zh) | 针对屏幕内容编码的编码器侧判定 | |
| CN101755464B (zh) | 基于行的视频码率控制和压缩 | |
| CN101098473A (zh) | 一种图像编码方法及装置 | |
| CN1627824A (zh) | 位流控制的后处理过滤 | |
| CN102986211A (zh) | 视频编码中的速率控制 | |
| CN104041038A (zh) | 用于编码和解码图像的方法、编码和解码设备以及相应的计算机程序 | |
| CN1941911A (zh) | 退色补偿的参数化 | |
| CN107040785A (zh) | 图像解码和图像编码的方法和装置 | |
| Yang et al. | Generalized rate-distortion optimization for motion-compensated video coders | |
| JP2015533461A (ja) | レート歪みオプティマイザ及び複数の色成分の同時最適化を含む最適化技法 | |
| CN112995671B (zh) | 视频编解码方法、装置、计算机可读介质及电子设备 | |
| JPH08111870A (ja) | 画像情報の再符号化方法及び装置 | |
| CN112188196A (zh) | 一种基于纹理的通用视频编码帧内快速预测的方法 | |
| CN101742301B (zh) | 一种块模式编码方法及装置 | |
| CN1643608A (zh) | 已编码a/v序列的编辑 | |
| CN1338235A (zh) | 基于分段的视频压缩编码的方法和装置 | |
| CN107820084B (zh) | 一种视频感知编码方法及装置 | |
| US20230082386A1 (en) | Video encoding method and apparatus, video decoding method and apparatus, computer-readable medium, and electronic device | |
| CN107343199B (zh) | 用于hevc中样点的快速自适应补偿方法 | |
| Nguyen et al. | Deep probabilistic model for lossless scalable point cloud attribute compression | |
| CN112243123B (zh) | 一种基于无损编码的hevc码率优化方法 | |
| CN109495745B (zh) | 一种基于逆量化/逆变换的无损压缩解码方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |