CN1678077A - Hdtv和sdtv数字电视传输码流图标插入系统 - Google Patents

Abstract

本发明HDTV和SDTV数字电视传输码流图标插入系统，是有关是数字电视系统的图标插入系统，是HDTV和SDTV数字电视传输码流图标插入系统的发明。为提供用于数字电视系统的图标插入系统，本发明采用的技术方案是：包括系统层TS和PS解复用、复用模块，系统层TS和PS解复用解出的音频基本流直接输出系统层TS和PS到复用模块复用输出，还包括插入转换编码器本发明主要用于制作用于数字电视系统的图标插入系统。

Description

HDTV和SDTV数字电视传输码流图标插入系统

技术领域

本发明是有关数字电视设备的发明。更详细的说，本发明是数字电视系统的图标插入系统，是HDTV和SDTV数字电视传输码流图标插入系统的发明。

背景技术

目前，数字电视在全世界范围内开始推广，已进入实用化阶段。实际应用中需使用图标插入设备，在转发卫星或其它电视台的节目中，加入本地电视台的台标、字幕以及图形广告等。现存的模拟台标插入设备也将随数字电视技术的应用而向前发展。

但是，传统技术的图标系统的数-模转换和重新编码，会造成电视图像损伤。

发明内容

为克服现有技术的不足，本发明的目的为提供用于数字电视系统的图标插入系统，可以取代传统的模拟图标插入系统，广泛用于数字电视领域。

本发明采用的技术方案是：

一种HDTV和SDTV数字电视传输码流图标插入系统，包括系统层TS和PS解复用、复用模块，系统层TS和PS解复用解出的音频基本流直接输出系统层TS和PS到复用模块复用输出，其特征在于，还包括插入转换编码器，插入转换编码器的结构是：

依次相连的变字长解码块、第一反量化块、第一反离散余弦变换块、第一加法器、第二加法器、第一离散余弦变换块、第二重量化块和向系统层TS和PS复用块输出视频码流的变字长编码块；系统层TS和PS解复用输出视频流到变字长解码块，变字长解码块还通过第一运动补偿块输出到第一加法器；第一加法器的输出还通过第一参考图像块向第一运动补偿块输出反馈信号；

第二反量化块、第二反离散余弦变换块、第三加法器、第二参考图像块、第二运动补偿块依次相连，第二重量化块输出到第二反量化块，第二运动补偿块输出到第二加法器；

变字长解码块经第二运动补偿块输出到第三加法器；

图标信息经第二加法器输入。

上述HDTV和SDTV数字电视传输码流图标插入系统结构也可是：

依次相连的输入视频流的变字长解码块、第一反量化块、第一加法器、第二重量化块和输出视频流的变字长编码块；

第二反量化块、第三加法器、第二反离散余弦变换块、第二量化误差块、第二运动补偿块、第一离散余弦变换块依次相连，第二重量化块输出到第二反量化块，第二离散余弦变换块输出到第一加法器；

变字长解码块输出到第二运动补偿块；

第一加法器输出到第三加法器；

图标信息插入到量化误差块，图标信息还经第二离散余弦变换块插入到第一加法器的输入。

所述图标信息也可经第二离散余弦变换块插入到第二量化误差块，所述第三加法器直接输出到量化误差块，所述第二运动补偿块和第一离散余弦变换块由一个DCT环代替。

所述图标信息还可经第一离散余弦变换块插入到第二重量化块。

本发明可带来如下效果：本发明的图标插入结构和局部重新编码算法，可大幅度降低图标插入处理的计算量，保证电视图像无损。

附图说明

图1级联型图标插入转换编码器。

图2快速图标插入转换编码器。

图3DCT域快速图标插入转换编码器-1。

图4DCT域快速图标插入转换编码器-2。

图5图标插入后的TS解码图像。

图6图标插入后的TS解码图像。

具体实施方式

下面结合附图，进一步说明本发明。

图1为本发明提出的HDTV和SDTV系统层(传输流TS和节目流PS)的图标插入系统框图。图中，系统层码流首先经TS，PS解复用模块，解码为视频和音频基本流。其中，音频基本流不需进行图标插入处理，直接传送到系统层复用模块。解码的视频码流输入带图标插入功能的视频转换编码器(图1中的虚线部分)，将图标数据插入到视频码流中。插入的图标可以为任意形状和颜色。转换编码中重新使用了输入码流中的运动矢量，可大幅度降低转换编码计算量。

依次相连的变字长解码块VLD、第一反量化块Q1、第一反离散余弦变换块IDCT1、第一加法器、第二加法器、第一离散余弦变换块DCT1、第二重量化块Q2和向系统层TS和PS复用块输出视频信流的变字长编码块VLC；系统层TS和PS解复用输出视频流到变字长解码块，变字长解码块还通过第一运动补偿块输出到第一加法器；第一加法器的输出还通过第一参考图像块向第一运动补偿块输出反馈信号；

第二反量化块Q2、第二反离散余弦变换块IDCT2、第三加法器、第二参考图像块、第二运动补偿块依次相连，第二重量化块Q2输出到第二反量化块Q2，第二运动补偿块输出到第二加法器；

变字长解码块经第二运动补偿块输出到第三加法器；

图标信息经第二加法器输入。

如果插入的图标仅含有亮度数据(高亮度透明图标)，则可对图1中的虚线部分进行简化，如图2～图4所示。

图2中，依次相连的输入视频流的变字长解码块VLD、第一反量化块Q1、第一加法器、第二重量化块Q2和输出视频流的变字长编码块VLC；

第二反量化块Q2、第三加法器、第二反离散余弦变换块IDCT2、第二量化误差块、第二运动补偿块、第二离散余弦变换块DCT2依次相连，第二重量化块Q2输出到第二反量化块Q2，第二离散余弦变换块DCT2输出到第一加法器；

变字长解码块VLD输出到第二运动补偿块；

第一加法器输出到第三加法器；

图标信息插入到第二量化误差块，图标信息还经第二离散余弦变换块DCT2插入到第一加法器的输入。

图3中，图标信息经第二离散余弦变换块DCT2插入到第二量化误差块，所述第三加法器直接输出到量化误差块，第二运动补偿块和第一离散余弦变换块由一个DCT环代替。

图4中，插入转换编码器的结构是，图标信息经第一离散余弦变换块DCT1插入到第二重量化块。

图2～图4均可在视频码流中高效地插入高亮度透明图标，具体的结构分析见发明详细内容(五发明内容详细介绍和实例(一))。上述几种图标插入转换编码器结构中，均用了原码流中的运动矢量、宏块模式等信息，由于图标通常仅占整幅图像很小部分，除图标插入区域外，图像的其它部分并不需要重新编码，可以直接使用输入码流的数据。因此，转换编码中使用了局部重新编码算法(仅对图标插入区域及使用该区域进行运动补偿的宏块进行)。根据MPEG-2标准的规定，使用输入码流中的f_code字段(该字段指出了输入码流的运动矢量值的范围)、每一宏块在图像中的位置和该宏块的运动矢量，可以判断每一编码宏块是否被图标插入处理所影响(即是否使用了图标插入区域的数据作为运动补偿的参考数据)。如宏块未被插入处理所影响，则可直接使用原码流数据。如宏块的参考数据被图标插入处理所改变，则需重新计算该宏块的残差数据，避免出现误差。事实上，原码流中的大部分宏块并不受到图标插入的影响，因此，采用局部重新编码的方法能够明显降低图标插入处理的计算量。

使用本发明的图标插入结构和局部重新编码算法，可大幅度降低图标插入处理的计算量，可以在DSP或通用PC机上，实现HDTV和SDTV系统层码流的图标插入处理。

图标插入系统的核心部分为视频转换编码器(图1中的虚线框部分)。图1中，对I帧，无需运动补偿和图像残差数据的计算，将图标信息L在像素域叠加后重新编码即可。对P帧，叠加处理如下：设D_dec ⁿ为第n帧解码图像残差数据，R_dec ⁿ为第n帧运动补偿得到的参考数据，则 $R_{\mathrm{dec}}\left(n\right)=R_{\mathrm{dec}}^n+D_{\mathrm{dec}}^n$ 为原视频数据的解码重构图像，R_dec(n)与需要插入的图标信息L叠加，作为加入图标后的图像数据R_dec(n)+L送入转换编码器的编码部分。设M[*]为运动补偿运算，则有 $R_{\mathrm{dec}}^n=M\left[R_{\mathrm{dec}}(n-1)\right]$ ，其中，R_dec(n-1)为存储器中的运动补偿参考图像，由解码图像R_dec(n)更新。在编码部分，编码残差数据D_enc ⁿ为：

$D_{\mathrm{enc}}^n=R_{\mathrm{dec}}\left(n\right)+L-R_{\mathrm{enc}}^n=D_{\mathrm{dec}}^n+R_{\mathrm{dec}}^n+L-R_{\mathrm{enc}}^n$

$=D_{\mathrm{dec}}^n+M\left[R_{\mathrm{dec}}(n-1)\right]+L-R_{\mathrm{enc}}^n---\left(1\right)$

其中，R_enc ⁿ为编码部分第n帧运动补偿得到的参考数据，设R_enc(n)为编码存储器中的运动补偿参考图像，R_enc(n)由原解码图像、图标数据和重量化误差组成，E为重新量化造成的量化误差，则得：

$R_{\mathrm{enc}}\left(n\right)=R_{\mathrm{dec}}\left(n\right)+L+E$

$R_{\mathrm{enc}}^n=M\left[R_{\mathrm{enc}}(n-1)\right]---\left(2\right)$

图1的转换编码器将码流解码到像素域后进行图标叠加，共使用了2个运动补偿环。解码部分运的动补偿环用于图像数据的解码重构。编码端的运动补偿环用于对重新量化及图标信息插入造成的误差进行校正。转换编码中重新使用原编码流中的运动矢量，避免了编码过程中的运动估计计算。与先解码，继而加入图标，然后再编码的传统图标系统相比，降低了转码计算量。由于使用了2个运动补偿环，虽影响转换编码效率，但可用图标数据完全取代原有码流中的图像数据，完成任意形状和颜色的图标插入。如需插入的图标仅含亮度数据，可进一步简化转换编码器结构，得到快速图标插入转换编码器。将式(2)代入(1)，可得：

$D_{\mathrm{enc}}^n=D_{\mathrm{dec}}^n+M\left[R_{\mathrm{dec}}(n-1)\right]+L-M\left[R_{\mathrm{enc}}(n-1)\right]$

$=D_{\mathrm{dec}}^n+M\left[R_{\mathrm{dec}}(n-1)\right]+L-M[R_{\mathrm{dec}}(n-1)+L+E]---\left(3\right)$

根据运动补偿算法的近似线性性质，可将两个运动补偿计算合并，得：

$D_{\mathrm{enc}}^n=D_{\mathrm{dec}}^n+M[R_{\mathrm{dec}}(n-1)-R_{\mathrm{dec}}(n-1)-L-E]+L=D_{\mathrm{dec}}^n-M[L+E]+L---\left(4\right)$

可见，用于编码的残差数据可由原残差数据D_dec ⁿ、图标信息L和量化误差E得到。由此，可以考虑省略一个运动补偿环，来提高转码效率。同时，根据DCT变换的线性性质，可知用于编码的DCT残差系数为：

$\mathrm{DCT}\left(D_{\mathrm{enc}}^n\right)=\mathrm{DCT}(D_{\mathrm{dec}}^n-M[L+E]+L)---\left(5\right)$

图2所示的快速图标插入转换编码算法，即基于上述分析。图中，图标数据L先进行8×8 DCT变换，然后直接与DCT残差系数叠加。叠加图标后，导致重构图像的改变，需将图标数据与量化误差存储器中保存的重量化误差E进行叠加，作为误差参考数据，随后通过运动补偿对后续的残差系数进行校正，于是DCT(D_enc ⁿ)为：

$\mathrm{DCT}\left(D_{\mathrm{enc}}^n\right)=\mathrm{DCT}(D_{\mathrm{dec}}^n+L)-\mathrm{DCT}(M+[L+E\left]\right)$

$=\mathrm{DCT}(D_{\mathrm{dec}}^n+L-M[L+E\left]\right)---\left(6\right)$

可见式(5)与式(6)相同，因而可以实现图标的插入。同时根据DCT域的运动补偿算法，还可对图3中的虚线框部分进行简化，在压缩域(DCT域)完成运动补偿，得出DCT域的快速图标插入算法，见图3～图4。

在通过转换编码插入图标的过程中，首先要进行图标插入位置的选择。快速图标插入算法在DCT域进行图标叠加，DCT系数相加运算以8×8数据块为单位，且视频码流数据以宏块为单位，因而将图标适配在一个长、宽尺寸均为宏块(16×16)整数倍大小的矩形窗口中，矩形窗口不含图标数据的空白部分用零数据填充。根据预定插入位置的坐标，将矩形窗口的左上角调整到与图像中与预定插入位置最相近的一个宏块的左上角对齐，这样可以以宏块为单位，将图标DCT系数和残差DCT系数对应相加，且图标插入对原始图像宏块的影响最小。选定图标叠加窗位置后，在叠加窗范围内的宏块本发明称为图标宏块。对拟插入的图标为仅含亮度信号的透明图标，令参数β用于指定插入图标的清晰程度，那么对于图标宏块：

$\mathrm{DCT}\left(D_{\mathrm{enc}}^n\right)=\mathrm{DCT}(D_{\mathrm{dec}}^n+\mathrm{\β}\·L-M[\mathrm{\β}\·L+E\left]\right)---\left(7\right)$

应当指出，由于快速算法不进行解码重构，无法使用图标数据取代原图像数据。图标叠加后只能在原图像数据亮度数据上提高亮度，参数β(0＜β＜1)可以控制图标插入的亮度，随β增大，图标增强。对于色差信号，由于无法取代原图像数据的色差信号数据值，增大色差信号数值仅能引起颜色变化，因而所提出的快速算法仅适用于插入高亮度透明图标。

在视频码流中插入图标后，还需将音视频数据重新复用为MPEG-2系统层码流(传输流TS或节目流PS)。本发明的TS复用模块使用动态统计复用算法。复用算法依据标准所规定的数字电视解码终端(机顶盒等)的缓冲器充满程度、每帧音视频数据大小等参数，动态的调整TS流中的音视频数据包以及PAT、PMT等信息在TS流中的出现顺序，最有效的利用数据传输带宽。

数字电视技术不久将取代现有的模拟电视技术。本发明为在数字电视传输流中直接插入图标、字幕和广告等信息提供了多种图标插入器结构，并给出了具体的快速插入算法。本发明为开发新一代数字图标插入设备提供了解决方案，它们的工程实现，即数字电视图标插入设备

在上述本发明基本技术思想内，如果应用者具有本行业的基本知识，即可进行很多变化。本发明的权利范围应以后附的权利请求范围为基础，进行解释。

Claims (4)

1.一种HDTV和SDTV数字电视传输码流图标插入系统，包括系统层TS和PS解复用、复用模块，系统层TS和PS解复用解出的音频基本流直接输出系统层TS和PS到复用模块复用输出，其特征在于，还包括插入转换编码器，插入转换编码器的结构是：

依次相连的变字长解码块、第一反量化块、第一反离散余弦变换块、第一加法器、第二加法器、第一离散余弦变换块、第二重量化块和向系统层TS和PS复用块输出视频信流的变字长编码块；系统层TS和PS解复用输出视频流到变字长解码块，变字长解码块还通过第一运动补偿块输出到第一加法器；第一加法器的输出还通过第一参考图像块向第一运动补偿块输出反馈信号；

第二反量化块、第二反离散余弦变换块、第三加法器、第二参考图像块、第二运动补偿块依次相连，第二重量化块输出到第二反量化块，第二运动补偿块输出到第二加法器；

变字长解码块经第二运动补偿块输出到第三加法器；

图标信息经第二加法器输入。

2.根据权利要求1所述的一种HDTV和SDTV数字电视传输码流图标插入系统，其特征在于，

依次相连的输入视频流的变字长解码块、第一反量化块、第一加法器、第二重量化块和输出视频流的变字长编码块；

第二反量化块、第三加法器、第二反离散余弦变换块、第二量化误差块、第二运动补偿块、第一离散余弦变换块依次相连，第二重量化块输出到第二反量化块，第二离散余弦变换块输出到第一加法器；

变字长解码块输出到第二运动补偿块；

第一加法器输出到第三加法器；

图标信息插入到量化误差块，图标信息还经第二离散余弦变换块插入到第一加法器的输入。

3.根据权利要求2所述的一种HDTV和SDTV数字电视传输码流图标插入系统，其特征在于，所述图标信息经第二离散余弦变换块插入到第二量化误差块，所述第三加法器直接输出到量化误差块，所述第二运动补偿块和第一离散余弦变换块由一个DCT环代替。

4.根据权利要求3所述的一种HDTV和SDTV数字电视传输码流图标插入系统，其特征在于，所述插入转换编码器的结构是，所述图标信息经第一离散余弦变换块插入到第二重量化块。

Images