CN1778118A

CN1778118A - 用于影像信号的格式转换及混合的装置与方法

Info

Publication number: CN1778118A
Application number: CN03826420.XA
Authority: CN
Inventors: 林子平
Original assignee: MediaTek Inc
Current assignee: MediaTek Inc
Priority date: 2003-06-06
Filing date: 2003-06-06
Publication date: 2006-05-24
Also published as: AU2003246127A1; WO2004110072A1; DE10394246T5

Abstract

本发明提供一种于一影像数据处理装置中用来转换及混合多个影像数据的方法，该多个影像数据分别具有多种取样格式，而该多种取样格式至少包含有一高取样频率色度(Chrominance)格式以及一低取样频率色度格式。该方法包含有分别接收一具有该低取样频率色度格式的第一影像数据以及一具有该高取样频率色度格式的第二影像数据；将具有该低取样频率色度格式的第一影像数据经一插补处理后成为具有该高取样频率色度格式的第一影像数据；将具有该高取样频率色度格式的第一影像数据及第二影像数据混合后，输出一具有该高取样频率色度格式的混合影像数据。

Description

用于影像信号的格式转换及

混合的装置与方法

技术领域

本发明提供一种用于影像数据的格式转换及混合的装置与方法，尤指一种将一具有低取样频率色度格式的影像数据转换成为具有高取样频率色度格式的影像数据，再与另一具有高取样频率色度格式的影像敏据加以混合，以避免数据漏失的装置与方法。背景技术

动态影像压缩标准 MPEG- 1以及新型动态影像压缩标准 MPEG-2主要的应用都是在播放储存在数字储存介质如 CD-ROM或 DVD- ROM中的视频信号数据，如电影及动画等，或者应用于高画质数字电视中，其最主要的功能是以画面为主的影像压缩技术。 MPEG- 1标准是 MPEG組织第一个所制定的标准，主要的目标是把解析度 320 X 240，每秒大约 20张的画面压缩在 1.2Mbps , 将立体声音乐压缩在 250kbps左右，并把两者一起结合成大约 1.5Mbps的影片，将其储存于一片 CD- ROM里，并以 2倍速 CD-Player播放。 MPEG- 2标准大大的改进 MPEG-1的缺点，不但在画面以及音质上有显著的改善，还多了多国语言、多国语言字幕、多角度观看、影片分级等等。在声音品质方面， MPEG-2部分相容于 MPEG-1的声音压缩方式，并增添了高压缩比的 AAC(Advanced Audio Coding声音压缩技术。而在画面品质方面， MPEG-2的画面解析度提高到 720 X 480，并增加一些新的压缩方式及影像信号取样格式，以期能提高画面清晰度以及提供更有效的压缩率。

"压缩"基本上是指通过消除存在于视频信号数据里的冗余成分，来減少图像或图像組内容所占信息容量的过程，而同时视频信号数据的特性之一即是空间冗余的成分高。在压缩时，也就是所谓空间冗余去除的过程中，就是要识别出视频信号数据中重要的元素，并移除重复且较无影响的元素。根据实验，人眼对于亮度变化较敏感，而对于色度的变化相对的较不易查觉。因此， MPEG-2采用亮度 (Luminance), 色度 (Chrominance)的色彩表示格式， Y 表示亮度值， C表示色度值 (C包含 CB及 CR，分别表示第一及第二色度值)，在进行相关视频信号数据编码前，三原色分量信号1、 G、 B会被转换为亮度 Y和色度 CB、 CR的形式。由于减少色度取样可以在尽量降低对视觉的影响下达到较大的数据缩减效果，因此 MPEG- 2采用从降低色度取样来减少信号量。 MPEG- 2中定义了三种取样格式，分別为 4:2:0取样格式、 4:2:2取样格式、及 4:4:4取样格式，分别表示三种不同的色度取样频率。 4:2:0表示四个亮度 Y取一个色度 CR—个色度 CB，在数字储存介质如 CD-ROM或 DVD-EDM等中的主画面数字影像数据，即是采取 4:2:0取样格式。而 4:2:2 表示四个亮度 Y取两个色度 CR两个色度 CB。同理 4:4:4表示四个亮度 Y取四个色度 CR四个色度 CB, 即不做任何的色度取样減少。请见图 1 , 图 1为亮度 Y与色度 C在 4:²:0取样格式下在一影像平面 10中分布的示意图，影像平面 10包含有多个图元 11(或称取样点)，每个图元 11在取样后可能只包含亮度 Y、色度 CB、 CR、或者同时包含亮度 Y及色度 CB、 CR。〇代表亮度 Y的取样点， X代表色度 CB、 CR的取样点，整个影像平面 10可视由多行 (Line)18所构成 (为求画面清晰，将亮度 Y的取样点〇与色度 CB、 CR的取样点 X在每一图元 11内分开表示)。在 4:2:0取样格式下，无论在影像平面 10 中的垂直方向 (箭号 1 或水平方向 (箭号 14)上看来，色度 C的取 #频率都只是亮度 Y的二分之一，整体而言，色度 C的取样频率则可视为亮度 Y的四分之一。另外，由图 1中所标示，包含了四个亮度 Y的一像块空间 16内，可更明显看出 4:2:0取样格式的意义取为四个亮度 Y对应一个色度 C (一个色度 CR—个色度 CB)。

当传送及处理影像数据时，在图 1所示的影像平面 10中，所有的取样点是依箭头 14的方向一行一行被扫描。如此一来，即曝露出 4:2:0取样格式的缺点，由图 1可知，在 4:2:0取样格式下每隔一行即发现该行完全缺乏任何色度 CB、 CR的取样点 (X) ,严重损失了色度的垂直解析度，此时，必须利用一些色度取样的垂直内插法等去补足在扫描时缺失的色度< 。请参阅图 2，图 2为亮度 Y与色度 C在 4:2:2取样格式下在另一影像平面 20中分布的示意图。影像平面 20亦包含有多个图元 ²1，每个图元 ² 在取样后可能只包含亮度丫、色度 CB、 CR、或者同时包含亮度 Y及色度 CB、 CR, 而整个影像平面 20可视由多行 (Eine)28所构成。如同图 1的表示法，〇代表亮度 Y的取样点， X代表色度 CB、 CR的取样点。在现行的规格中， 4:2:2取样格式中亮度 Y的取样频率为 13.5MHz, 两个色度 CR、 CB的取样频率均为 6.75MHz。在补足缺失的部分色度 C之后，在 4:2：²取样格式中的一像块空间 26内，包含了四个亮度 Y及两个色度 C (两个色度 CR与两个色度 CB)。请参阅图 3，图 3为亮度 Y与色度 C在 4:4:4取样格式下在又一影像平面 30中分布的示意图。影像平面 30 '由多行 (Iine)³8所构成，包含有多个图元 31，每个图元 31皆同时包含了亮度 Y (取样点〇)和色度 CB、 CR (取样点 X)，因此，每一像块空间 36内都包含四个亮度 Y、四个色度 CR、与四个色度 CB，即不做任何的色度取样减少。

如同前述，在数字储存介质如 CD- ROM或 DVD-ROM等中的主画面 (Main- Picture)影像数据是采取 :2:0取样格式，而 DVD-ROM中的副画面 (Sub-Picture, SP)影像数据及屏幕影像设定 (On- screen Display, OSD)数据等是采取 4:4:4取样格式。先前应用于 DVD播放器的 MPEG-2解码器 pecodeir) 使用外接的一视频信号编码器 (TV Encoder) ,其介面须符合 CCIR (现已改为国际电讯联盟 (ITU)标准)的规格，能够传送 4:2:2取样格式的 MPEG- 2影像数据，但无法传送前述具有 4:4:4取样格式的副画面影像数据及屏幕影像设定数据，所以主画面在传送至视频信号编码器前必须先插补成 4:2:2格式。因此，在将 4:2:2取样格式的 MPEG2主画面影像数据与 4:4:4取样格式的副画面影像数据混合 (Mix)时，必须先将具有 4:4:4取样格式的副画面影像数据先转换为 4:2:2取样格式的副画面影像数据后，再和 4:2:2取样格式的 MPEG2主画面影像数据混合，然后方能从此介面通道中传送混合后的影像数据。基于上述影像数据处理方法及相关结构以完成影像数据格式转换及混合.的已知技术已出现于一些相关文献及专利中。在 US Patent No. 5,489,947, "On screen display arrangement for a digital video signal processing system" 中， Cooper等人 p是4争具有 4:4:4取样格式的副画面影像数据先转换为 4:2:2取样格式的副画面影像数据后，再和 4:2:2取样格式的 MPEG2主画面影像数据混合，完成不同格式的影像数据的混合。同样的， Htusecky等人在 US Patent No. 6,529,244, "Digital video decode system with OSD processor for converting graphics data in 4:4:4 format to 4:2:2 format by mathematically combining chrominance values"中, 亦将具有 4:4:4取样格式的屏幕影像设定数据 OSD先转换为 4:2:2取样格式，再依据 4:2:2取样格式作影像数据混合的运作。

相关于上述已知专利 (US Patent No. 6,529,244及 No. 5,489,947)所披露的基本架构请参阅图 4, 图 4为一已知影像数据处理装置 40的功能方块图。影像数据处理装置 40包含一主画面数据接收端 42、一副画面数据接收端 44、一 4:4:4至 4:2:2格式转换器 46、一数据混合装置 48、以及一外接的视频信号编码模块 50(TV Encoding Module)，在数据混合装置 48及视频信号编码模块 50之间的介面通道 CI即须符合 CCIR (或 ITU)的规格。主画面数据接收端 42 用来接收一具有 4:²:2取样格式的主画面影像数据，而如图 4所示，接收进来具有 4:2:2取样格式的主画面影像数据包含一主亮度 Ym及一主色度 Cm，此时请同时参阅图 5，图 5为图 4中多个影像数据的亮度与色度于传送的数据串中的示意图。图 5显示了图 4中具有 4:2:2取样格式的主画面影像数据的主亮度 Ym及主色度 Cm分別在二个不同的数据通道 (Channel)中依时序传送的数据串，主亮度 Ym的数据串包含了由不同取样点所得到的多个主亮度 YmO，Yml，Ym², · ' ·, 同理，主色度 Cm的数据串包含了由不同取样点所得到的多个主色度 CBmO, CRmO, CBm2, CRm2, · · · , 由于 4:2:2取样格式的基本概念即色度 C(CR、 CB)的取样频率是亮度 Y的二分之一，因此可知，主色度 CBm0、 CRmO可为来自同一取样点，且对应于主亮度 YmO的取样点、或是周围取样点的主色度的平均。同理，主色度 CBm2、 CRm2及主亮度 Ym2可为来自同一取样点、或是周围取样点的主色度、主亮度的平均。图 4中的副画面数据接收端 44可用来接收一具有 4:4:4取样格式的副画面影像数据，其中此具有 4:4:4取样格式的副画面影像数据包含一副亮度 Ys、一第一副色度 CBs、以及一第二副色度 CRs，同时由图 5可再度确认，每一取样点都包含一副亮度 Ys、一第一副色度 CBs、一第二副色度 CRs，不做任何的色度取样的缩減，例如副亮度 Ys0、第一副色度 CBs0、及第二副色度 CRsO就对应同一取样点。

请继续参阅图 4， 4:4:4至 4:2:2格式转换器 46电连接于副画面数据接收端 44，将具有 4:4:4取样格式的副画面影像数据经一删減 (Down- sampling)处理后，转换为 4:2:2取样格式的副画面影像数据。此删减的处理是针对减少色度取样以达到数据缩减的效果，因此原本具有 4:4:4取样格式的副画面影像数据的副亮度 Ys不受到任何影响， 4:4:4至 4:2:2格式转换器 46主要针对第一副色度 CBs及第二副色度 CRs作处理。请见图 5, 图 5中显示两种删减的处理方法 A、 B。删减 A法是依序于每一取样点交错舍弃第一副色度 CBs 或第二副色度 CRs, 在本例中，色度 CRsO, CBsl, CRs²， …等被舍弃，以減少一半关于色度的数据量。删減 B法则是每隔一取样点完全舍弃该取样点的第一副色度 CBs及第二副色度 CRs ,再将被舍弃的取样点的前一取样点的第二副色度 CRs挪后汇整为完整连续的数据串。经过 4:4:4至 4:2:2格式转换器 46 的删减处理后所产生的 4:2:2取样格式的副画面影像数据可视为包含有一 (原先的)副亮度 Ys、及一副色度 Cs，副色度 Cs可视为第一副色度 CBs及第二副色度 CRs经前述删减 A法或删减: B法处理后所得的结果。电连接于 4:4:4 至 4:2:2格式转换器 46及主画面数据接收端 42的数据混合装置 48可用来将具有 4:2：²取样格式的主画面影像数据及具有 4:2:2取样格式的副画面影像数据经一混合操作 (Mixing Operation)后，输出一具有 4:2:2取样格式的混合影像数据。此具有 4:2:2取样格式的混合影像数据包含一混合亮度 Yg及一混合色度 C_g，图 5同样显示混合亮度 Yg及混合色度 Cg分別在二个不同的数据通道中依时序传送的情形。

图 4的主画面数据接收端 42可还包含一 4:2:0至 4:2:2格式转换器 47，电连接于主画面数据接收端 4²,可将一以取样格式储存 (于一数字影碟，如 VCD或 DVD等)的主画面数字影像数据转换为前述具有 4:2:2取样格式的主画面影像数据。另外，此外接的视频信号编码模块 50包含一 4:2:2至 4:4:4 格式转换器 49及一视频信号编码器 51CTV Encoder) ,在本实施例中，进入视频信号编码器 51的影像数据须符合 4:4:4取样格式， 4:2:2至 4:4:4格式转换器 49则可将传送来的具有 4:2:2取样格式的混合影像数据经一插补 (Up- sampling) 处理后，产生具有 4:4:4取样格式的混合影像数据 (包含一混合亮度 Yg、一第一混合色度 CBg、以及一第二混合色度 CR ，最后再由视频信号编码器 51 将该具有 4:4:4取样格式的混合影像数据转换为一电视视频信号信号 Ts(TV Video Signal) ₀

上述用来转换及混合不同取样格式的影像数据的方法及装置，对于解柝度较高的副画面影像数据而言，在 4:4:4取样格式删減至 4:2:2取样格式的过程中即便只丟失了有限数量的色度信息，仍最后会导致颜色的失真。请再参阅图 5,若采用删减 A法依序交错舍弃每一取样点的第一副色度 CBs或第二副色度 CRs, 在之后图四 4:2:2至 4:4:4格式转换器 49作插补处理，也就是重建每一取样点的第一色度 CB及第二色度 CR的过程中，原本被舍充的色度 CRsO，CBsl, CRs2, …等就会被复制的色度 CRsl, CBs2， CRs3， …等取代回填。以对应于亮度 YsO的取样点为例，由于色度 CRsO被丟失，若以色度 CRsl 复制取代，最后的颜色就会显示 CBsO与 CRsl混合的颜色，并非原先正确的 CBsO与 CRsO的结合，造成该取样点颜色的失真。若采用删减: B法每隔一取样点完全舍弃该取样点的第一副色度 CBs及第二副色度 CRs,则丟失的颜色无法回复，颜色失真的情形就更为严重，这些颜色失真的现象在愈为细微的字幕影像及边缘的影像愈明显。即使现今的 DVD (或 VCD)播放器芯片多将图 4的视频信号编码模块 50或视频信号编码器 51内建于同一芯片中，无须经由 CCIR规格 (或称 ITU标准)的介面，但仍承袭前述习之技术的作法，存在着数据漏失以使颜色失真的缺点。发明内容

因此本发明的主要目的在于提供一种可转换及混合多个具有不同的取样格式 (Sampling Foirmat:)的影像数据的装置及方法，以解决上迷问题。

在本发明中，我们以新型动态影像压缩标准 (MPEG- l, MPEG-2)所制定的规格为基础，将一具有 4:2:2取样格式的主画面影像数据经一插补

(Up- sampling)处理后成为具有 4:4:4取样格式的主画面影像数据，再将处理后具有 4:4:4取样格式的主画面影像数据与一具有 4:4:4取样格式的副画面影像数据混合，以避免已知技术在将 4:4:4取样格式转换至 4:2:2取样格式的过程中丢失了部分的色度信息，而导致颜色的失真，并因此能充分利用将一视频信号编码器内建于 DVD (或 VCD)播放器芯片系统中的好处，在画面品质的提升上有显著的效果。

本发明的目的为提供一种用来转换及混合多个影像数据 (Video Data)的装置，该多个影像数据分别具有多种取样格式 (Sampling Format：)，该多种取样格式至少包含有一高取样频率色度 (Chrominance)格式以及一低取样频率色度格式，该装置包含有一第一数据接收端，用来接收一具有该低取样频率色度格式的第一影像数据；一第二数据接收端，用来接收一具有该高取样频率色度格式的第二影像数据；一格式转换模块，电连接于该第一数据接收端，用来将具有该低取样频率色度格式的第一影像数据经一插补 (Up- sampling)处理后成为具有该高取样频率色度格式的第一影像数据；以及一数据混合装置，电连接于该格式转换模块及该第二数据接收端，用来将具有该高取样频率色度格式的第一影像数据及具有该高取样频率色度格式的第二影像数据混合 (Mix)后，输出一具有该高取样频率色度格式的混合影像数据。本发明的另一目的为提供一种影像数据处理装置，其包含有一主画面数据接收端，用来接收一具有 4:²:2取样格式的主画面影像数据，其中该具有 4:2:2取样格式的主画面影像数据包含一主亮度值 (Luminance)及一主色度值 (Chrominance)；一副画面数据接收端，用来接收一具有 4:4:4取样格式的副画面影像数据，其中该具有 4:4:4取样格式的副画面影像数据包含一副亮度值、一第一副色度值、以及一第二副色度值；一格式转换模块，电连接于该主画面数据接收端，用来将该具有 4:2:2取样格式的主画面影像数据经一插朴 (Up- sampling)处理后成为该具有 4:4:4取样格式的主画面影像数据，其中该具有 4:4:4取样格式的主画面影像数据包含一主亮度值、一第一主色度值、以及一第二主色度值；一数据混合装置，电连接于该格式转换模块及该副画面数据接收端，用来将该具有 4:4：⁴取样格式的主画面影像数据及该具有 4:4:4 取样格式的副画面影像数据经一混合操作 (Mixing Operation)后，输出一具有 4:4:4取样格式的混合影像数据；以及一视频信号编码器 (TV Encoder) , 电连接于该数据混合装置，用来将该具有 4:4:4取样格式的混合影像数据转换为一电视视频信号信号 (TV Video Signal)。

本发明的又一目的为提供一种用来转换及混合多个影像数据 (Video Signal)以防止数据漏失的方法，该多个影像数据分别具有多种取样格式 (Sampling Format) , 该多种取样格式至少包含有一高取样频率色度

(Chrominance)格式以及一低取样频率色度格式，该方法包含有分别接收一具有该低取样频率色度格式的第一影像数据以及一具有该高取样频率色度格式的第二影像数据；将具有该低取样频率色度格式的第一影像数据转换具有该高取样频率色度格式的第一影像数据；以及将具有该高取样频率色度格式的第一影像数据及具有该高取样频率色度格式的第二影像数据混合 (Mix)后，输出一具有该高取样频率色度格式的混合影像数据。

本发明的再一目的为提供一种于一影像数据处理装置中处理影像数据的方法，该影像数据处理装置包含有一信号接收模块、一格式转换模块、以及一数据混合装置，该方法包含有使用该信号接收模块分别接收一具有 4:2:2 取样格式的主画面影像数据以及一具有 4:4:4取样格式的副画面影像数据；使用该格式转换模块将该具有 4:2:2取样格式的主画面影像数据转换为该具有 4:4:4取样格式的主画面影像数据；以及使用该数据混合装置将该具有 4:4:4 取样格式的主画面影像数据及该具有 4:4:4取样格式的副画面影像数据经一混合操作 (Mixing Operation)后，输出一具有 4:4:4取样格式的混合影像数据。附图说明

图 1为亮度与色度于 4:2:0取样格式下在一影像平面中分布的示意图。图 2为亮度与色度于 4:2:2取样格式下在一影像平面中分布的示意图。图 ³为亮度与色度于 ⁴:4:4取样格式下在一影像平面中分布的示意图。图 4为已知一影像数据处理的功能方块图。

图 5为图 4中多个影像数据的亮度与色度于传送的数据串中的示意图。图 6为本发明用来转换及混合多个影像数据的装置的一实施例的功能方块图。

图 7为本发明用来转换及混合多个影像数据的装置的另一实施例的功能方块图。

图 8为本发明一方法实施例的流程图。

图 9为本发明另一方法实施例的流程图。

图 10为本发明的一影像数据处理装置于实际实施时的一实施例的功能方块图。

图 11为图 10中多个影像数据的亮度与色度于传送数据串中的示意图。图 12为图 10中的数据混合装置的一实施例的示意图。

图 13为图 10影像数据处理装置于实际实施时的另一实施例的功能方块图。

图 14为本发明又一方法实施例的流程图。附图符号说明

10、 20、 30 影像平面

11、 21、 31 图元 (取样点）

12、 22、 32 (垂直方向)箭号

14、 24、 34 (水平方向)箭号

16、 26、 36像块空间

18、 28、 38 行

40、 80 影像数据处理装置 '

44、 82 主画面数据接收端 44、 84 副画面数据接收端

46 4:4:4至 4:2:2格式转换器

48、 68、 88 数据混合装置

49、 89 4:2:2至 4:4:4格式转换器

50 视频信号编码模块

51、 71、 81 视频信号编码器

60、 70 装置

62、 72 第一数据接收端

64、 74 第二数据接收端

65、 75、 85格式转换模块

73 第一中间格式转换器

76 第一中间格式转换器

87 4:2:2至 4:4:4格式转换器具体实施方式

请参阅图 6, 图 6为本发明可用来转换及混合多个影像数据 (Video Data) 的装置 60的一实施例的功能方块图。请注意，本实施例中包含了二影像数据；一第一影像数据 IS1及一第二影像数据IS2，而此二影像数据可分别具有二种取样格式 (Sampling Format)，包含有一高取样频率色度 (Chrominance) 格式以及一低取样频率色度格式，由此二取样格式的名字即可知，高取样频率色度格式对色度的取样频率高于低取样频率色度格式，举例来说，若对照图 1至图 3在新型动态影像压缩标准 (MPEG-l，MPEG-2)下对于色度取样的基本概念的描述，若高取样频率色度格式可对应于 4:4:4取样格式，则低取样频率色度格试可对应于 4:2:2取样格式或 4:2:0取样格式。装置 60包含有一第一数据接收端 62、一第二数据接收端 64、一格式转换模块 65、以及一数据混合装置 68。第一数据接收端 62用来接收一具有低取样频率色度格式的第一影像数据 IS1 , 第二数据接收端 64用来接收一具有高取样频率色度格式的第二影像数据 IS2。格式转换模块 65则电连接于第一数据接收端 62，用来将具有低取样频率色度格式的第一影像数据 IS1经一插补 (Up- sampling)处理后成为具有高取样频率色度格式的第一影像数据 IS1'，此插补的处理过程在接下来的叙述及实施例中再加以详述。最后，数据混合装置 68电连接于格式转换模块 65及第二数据接收端 64之后，用来将具有高取样频率色度格式的第一影像数据 ISr及具有高取样频率色度格式的第二影像数据 IS2加以混合 (Mk)后，输出一具有高取样频率色度格式的混合影像数据 ISg，完成具有二种不同取样频率色度格式的影像数据的转换及混合。（Jason : 建议将图 6的高取样频率色度格式的 IS1改成 ISr , 以利辨别）

概括而言，图 6实施例的装置 60披露了本发明重要的技术特征之一，就是将一具有低取样频率色度格式的影像数据 (第一影像数据 IS1)转换成为具有高取样频率色度格式的影像数据 (第一影像数据 isr)，再与另一具有高取样频率色度格式的影像数据 (第二影像数据 IS2)加以混合，在此影像数据的转换及混合的过程中，不会发生 "高取样频率色度格式至低取样频率色度格式" 的转换过程，也就是无须丢弃任何色度相关的数据，如此一来也不会有色度数据漏失的情形。请注意，影像数据的数量无须如本实施例中限定为二个，若将三个或三个以上具有不同取样频率色度格式的影像数据时，仍适用本发明的技术特征，意即将此三个或三个以上的影像数据中具有低取样频率色度格式的影像数据先转换为具有高取样频率色度格式的影像数据，再将此三个或三个以上皆具有高取样频率色度格式的影像数据加以混合，避免色度数据的丢失。请参阅图 7, 图 7为本发明用来转换及混合多个影像数据的装置 70的另一实施例的功能方块图。图 7实施例的装置 70大致上与图 6实施例的装置 60极为相似，具有相同名称的元件亦具有相同的功能，但此实施例利用新增的一些元件以更仔细地描述本发明的技术特征。如同图 6中的装置 70，图 7的装置 70亦包含有一第一数据接收端 ⁷²、一第一数据接收端 ⁷⁴、一格式转换模块 75、以及一数据混合装置 "78，同样利用第一数据接收端 ⁷² 接收一具有低取样频率色度格式的第一影像数据 IS1 , 使用第一数据接收端 74接收一具有高取样频率色度格式的第二影像数据 IS2，并使用格式转换模块 75具有低取样频率色度格式的第一影像数据 IS1转换为具有高取样频率色度格式的第一影像数据 IS1'，最后再利用数据混合装置 78将具有高取样频率色度格式的第一影像数 isr及具有高取样频率色度格式的第二影像数据 IS2混合并输出一具有高取样频率色度格式的混合影像数据 ISgo

不同于图 6 , 图 7所示的格式转换模块 75是由一第一中间格式转换器 73以及一第二中间格式转换器 ⁷6所构成，且此二影像数据 (第一影像数据 IS1 及第二影像数据 IS2)不只具有二种取样格式 (高取样频率色度格式及低取样频率色度格式)，还还包含一中取样频率色度格式，此中取样频率色度格式对色度的取样频率是介于高取样频率色度格式及低取样频率色度格式之间，举例来说，若对照图 1至图 3于新型动态影像压缩标准 (MPEG-l, MPEG-2)下对于色度取样的基本概念的描述，高取样频率色度格式可对应于 4:4:4取样格式，中取样频率色度格式可对应于 4:²:2取样格式，而低取样频率色度格式可对应于 4:2:0取样格式。第一及第二中间格式转换器 "76的设置代表第一影像数据 IS1的格式转换过程为两段式：第一中间格式转换器 73将具有低取样频率色度格式的第一影像数据 IS1经一第一插补处理后，成为具有中取样频率色度格式的第一影像数据 IS1", 而第二中间格式转换器 76电连接于第一中间格式转换器 ⁷3之后，用来将具有中取样频率色度格式的第一影像数据 isi"经一第二插补处理后，成为具有高取样频率色度格式的第一影像数据 isr 。其中第一及第二插朴处理的原理与前述插朴处理相同，都将于后详述。请注意，如同在图 6实施例中所述，本发明所处理的影像数据的数量无须限定，且取样格式种类的数量亦无须限定，只要在最后将具有不同取样频率色度格式的多个影像数据加以混合前，全都转换至其中一最高取样频率色度格式之下进行，则可避免在高取样频率色度格式转低取样频率色度格式的过程中有色度数据的丟失，符合本发明的技术特征。此外，本实施例的装置 70还包含一视频信号编码器 71 (TV Encoder) , 电连接于数据混合装置 78之后，可用来将具有高色度取样格式的混合影像数据 ISg转换为一电视视频信号信号 (TV Video Signal)Ts , 如此亦说明了本实施例将视频信号编码器 71内建于系统中的架构。（Jason: 建议将图 7的高取样频率色度格式的 IS1改成 IS1'、中取样频率色度格式的 IS1改成 IS1", 以利辨别）

依据上逑图 6实施例的装置 60,本发明用来转换及混合多个影像数据以防止数据漏失的一方法实施例可归纳于下列步骤，并请见图 8，图 8为本发明一方法实施例的流程图：

步骤 100: 分别接收一具有低取样频率色度格式的第一影像数据 IS1以及一具有高取样频率色度格式的第二影像数据 IS2；

步骤 101 : 将具有低取样频率色度格式的第一影像数据 IS1转换为具有高取样频率色度格式的第一影像数据 isr；

步骤 102: 将具有高取样频率色度格式的第一影像数据 IS 及具有高取样频率色度格式的第二影像数据 IS2混合后，输出一具有高取样频率色度格式的混合影像数据 ISg;

同理，基于上述图 7实施例的装置 ⁷⁹，并以处理具有高、中、低三种不同取样频率色度格式的第一及第二影像数据 IS2为依据，本发明用来转换及混合多个影像数据以防止数据漏失的另一方法实施例可归纳于下列步驟，并请见图 9, 图 9为本发明的另一方法实施例的流程图；

步骤 200: 分别接收一具有低取样频率色度格式的第一影像数据 IS1 以及一具有高取样频率色度格式的第二影像数据 IS2；

步驟 201 : 将具有低取样频率色度格式的第一影像数据 IS1转换为具有高取样频率色度格式的第一影像数据 IS1"；

步驟 202: 将具有低取样频率色度格式的第一影像数据 IS1转换为具有高取样频率色度格式的第一影像数据 isr；

步驟 203: 将具有高取样频率色度格式的第一影像数据 ISr及具有高取样频率色度格式的第二影像数据 IS2混合后，输出一具有高取样频率色度格式的混合影像数据 ISg;

' 步骤 204: 将具有高色度取样格式的混合影像数据 ISg转换为一电视视频信号信号。

事实上，在实际实施时，图 6及图 7所示的装置 60、 70皆是应用于一新型动态影像压缩标准 (MPEG-1, MPEG-2)和 JPEG的解码器 (Decoder)中，因此前述的第一影像数据 IS1、第二影像数据 IS2、混合影像数据 ISg、高取样频率色度格式、中取样频率色度格式、以及低取样频率色度取样是皆符合 MPEG-1和 MPEG-2的规格 (其中三种 (低、中、高)取样频率色度格式可分别对应至图 1至图 3所示的 4:²:0取样格式、 4：²：²取样格式、以及 4:4:4取样格式)，且第一影像数据 IS1可对应于一数字影碟 (VCD和 DVD)格式的主画面 (Main-Picture)影像数据，同时第二影像数据 IS2可对应于一数字影碟格式的副画面 (Sub-Picture， SP)影像数据或是一数字影碟格式的屏幕影像设定

(On-screen Display,〇SD)数据 (为便于说明，本说明书中的副画面影像数据是指这两种数据)。请参阅图 10, 图 10为本发明的一影像数据处理装置 80在实际实施时的一实施例的功能方块图，并可视为图 6实施例的一详细实施例。影像数据处理装置 80包含有一主画面数据接收端 82、一副画面数据接收端 84、一格式转换模块 85、一数据混合装置 88、以及一视频信号编码器 81 。主画面数据接收端 82可接收一具有 4:2:2取样格式的主画面影像数据，同时副画面数据接收端 84接收一具有 4:4:4取样格式的副画面影像数据。格式转换模块 85电连接于主画面数据接收端 82，用来将具有 4:2:2取样格式的主画面影像数据经插补处理后成为具有 4:4:4取样格式的主画面影像数据，因此，此格式转换模块 85可视为一 4:²:2至 4:4:4格式转换器。此具有 4:4:4取样格式的主画面影像数据会传送至数据混合装置 88 , 与具有 4:4:4取样格式的副画面影像数据一同经一混合操作 (Mixing Opemtion)后，输出一具有 4:4:4 取样格式的混合影像数据。最后电连接于数据混合装置 88后的视频信号编码器 81可将具有 4:4:4取样格式的混合影像数据转换为一电视视频信号信号 (TV Video Signal) ₀

请继续参阅图 10, 具有 4:2:2取样格式的主画面影像数据包含一主亮度

(Luminance) Ym及一主色度 (Chrominance) Cm，具有 4:4:4取样格式的副画面影像数据包含一副亮度 Ys、一第一副色度 Ysb、以及一第二副色度 Ysr，而具有 4:4:4取样格式的主画面影像数据包含一主亮度 Ym、一第一主色度 CBm、以及一第二主色度 CRm。第一主色度 CBm及第二主色度 CRm是由格式转换模块 85将主色度 Cm经插补处理后产生。请参阅图 11 , 图 11为图 10中多个影像数据的亮度与色度于传送的数据串中的示意图。主亮度 Ym的数据串包含了由不同取样点所得到的多个主亮度 YmO, Yml, Ym2, · · ·, 而由于 4:2:2取样格式的基本概念即色度 C(CR、 CB)的取样频率是亮度 Y的二分之一，如此可知，于主亮度 Cm的数据串的多个主色度 CBmO， CRmO, CBm2, CRm2, …中，主色度 CBm0、 CRmO来自同一取样点，且对应于主亮度 YmO的取样点，而主色度 CBm2、 CRm2及主亮度 Ym2来自同一取样点。前述的插补处理即是利用一数性 (Mathematical)組合将主色度 Cm的取样频率加倍。请见图 11，上述的数性組合可以一线性 (Linear)組合完成，以新增的第一主色度 CBma 为例，其可以利用其余第一主色度 CBmO, CBm2，CBm4, · · ·.的分量组合而成，如下述的数学式所示： CBma=A-2(n-l) X CBm-2(n- l)+ ' "+A-2 X CBm- 2+A0 X CBmO+A2 X CBm2+ · ' · +A2n X CBm2n, 其中 A-2(n- 1) , · · · A-2, AO, A2， · · · .A2n 皆为常数 (Constant)，分别代表其所对应的主色度对于新增的第一主色度 CBma所占的比重，通常愈邻近该新增第一主色度 CBma所占的比重愈大。举例而言，如图 11所示，新增的第一主色度 CBma可以直接利用复制第一主色度 CBmO或第一主色度 CBm2完成 (CBma=CBm0或 CBma=CBm2)，或者将相邻的二第一主色度 CBmO、 CBm²平均 (Average)以产生此新增的第一主色度 CBma(CBma=0.5*CBmO+0.5*CBm2)。同理，其他所需新增的第一主色度及第二主色度 (如图 11中所示的 CRma, CBmb, Crmb, …等)可利用与上述相似或相同的方法产生。

请继续参阅图 10及图 11。由数据混合装置 88所产生的具有 4:4:4取样格式的混合影像数据具有一混合亮度 Yg、一第一混合色度 CBg、以及一第二混合色度 CRg。数据混合装置 88所执行的混合操作是将主亮度 Ym、第一主色度 CBm、以及第二主色度 CRm分别与副亮度 Ys、第一副色度 CBs、以及第二副色度 CRs经一数性合并 (Mathematical Combination)后，以产生此混合亮度 Yg、第一混合色度 CBg、以及第二混合色度 CRg。请参阅图 12, 图 12为图 10数据混合装置 88的一实施例的示意图。数据混合装置 88的主要技术特征即是将副画面影像数据与主画面影像数据加以混合，成为完整的影像数据，图中所标示的 A及 B分别代表副画面影像数据与主画面影像数据在混合影像数据中所占的比重，在一般的情况下， A与 B的值的总和为 1 ,即 A= (1 -B)，如此一来，混合亮度 Yg的值可用下列数学式表示： Yg=A*Ys+(l- A)*Ym; 第一混合色度 CBg的值可用下列数学式表示： CBg=A*CBs+(l-A)*CBm; 第二混合色度 CRg的值可用下列数学式表示： CRg=A*CRs+(l- A)*CRm。请参阅图 13, 图 13为图 10的影像数据处理装置 80在实际实施时的另一实施例的功能方块图。图 13实施例中的格式转换模块 85包含一 4:2··0至 4:2:2格式转换器 87及一 4:2:2至 4:4:4格式转换器 89, 4:2:0至 4:2:2格式转换器 87可将一以 4:2:0取样格式储存 (于一数字影磔，如 VCD或 DVD等)的主画面数字影像数据转换为前述具有 4:2:2取样格式的主画面影像数据，再经 4:2:2至 4:4:4格式转换器 89插补至具有 4:4:4取样格式的主画面影像数据。

依据上述图 10及图 13实施例的影像数据处理装置 80,本发明在实际实施时的一方法实施例可归纳于图 14中的下列步骤：

步骤 300 :分别接收一具有 4:2:2取样格式的主画面影像数据以及一具有

4:4:4取样格式的副画面影像数据；

步骤 301：将具有 4:2:2取样格式的主画面影像数据转换为该具有 4:4:4 取样格式的主画面影像数据；

步骤 302 : 将具有 4:4:4取样格式的主画面影像数据及具有 4:4:4取样格式的副画面影像数据加以混合后，输出一具有 4:4:4取样格式的混合影像数据；步骤 303 :将具有 4:4:4取样格式的混合影像数据转换为一电视视频信号信号。

请注意，在实际实施时，若使用者另设置一已知视频信号编码器 (如早先应用于动态影像压缩标准 MPEG- 1下的设备)，使得进入此已知视频信号编码器的影像数据须符合 4:2:2取样格式，图 10及图 13的影像数据处理装置 80可在数据混合装置 88之后再设置一 4:4:4至 4:2:2格式转换器，以便使用者切换使用。由上述的实施例可知，基于现今新型动态影像压缩标准

(MPEG-1, MPEG-2)解码器的技术，并为充分利用将视频信号编码器内建于 DVD (或 VCD)播放芯片系统中的好处，本发明主要的技术特征在于将副画面影像数据与主画面影像数据加以混合之前，此二影像数据皆确保在具有 4:4:4 取样格式 (最高取样频率色度格式)的情形下，而并非如图 4实施例的已知技术将此二影像数据以 :2:2取样格式下进行混合，以避免副画面影像数据在由 4:4:4取样格式转换至 4:²:2取样格式的过程中丟失了部分的色度信息，而导致颜色的失真。

上面所述仅为本发明的较佳实施例，凡依本发明权利要求书所做的均等变化与修饰，皆应属本发明专利的涵盖范围。

Claims

权利要求书

1. 一种用来转换及混合多个影像数据 (Video Data)的装置，该多个影像数据分别具有多种取样格式 (Sampling Format) ,该多种取样格式至少包含有一高取样频率色度 (Chrominance)格式以及一低取样频率色度格式，该装置包含有：

一第一数据接收端，用来接收一具有该低取样频率色度格式的第一影像数据；

一第二数据接收端，用接收一具有该高取样频率色度格式的第二影像数据；

' 一格式转换模块，电连接于该第一数据接收端，用来将具有该低取样频率色度格式的第一影像数据经一插补 (Up- sampling)处理后成为具有该高取样频率色度格式的第一影像数据；以及

一数据混合装置，电连接于该格式转换模块及该第二数据接收端，用来将具有该高取样频率色度格式的第一影像数据及具有该高取样频率色度格式的第二影像数据混合 (Mk)后，输出一具有该高取样频率色度格式的混合影像数据。
2. 如利要求 1所述的装置，其还包含一视频信号编码器 (TV Encoder) , 电连接于该数据混合装置，用来将具有该高色度取样格式的混合影像数据转换为一电视视频信号信号 (TV Video Signal)。
3. 如权利要求 1所述的装置，其是应用于一新型动态影像压缩标准 (MPEG-1, MPEG-2)和 JPEG的解码器 (Decoder)中，且该第一影像数据、该第二影像数据、该混合影像数据、该高取样频率色度格式、以及该低取样频率色度取样是皆符合 MPEG-1和 MPEG- 2的规格。
4. 如权利要求 3所述的装置，其中该第一影像数据是对应于一数字影碟

(VCD和 DVD)格式的主画面 (Main- Pictmre)影像数据，且该第二影像数据是对应于一数字影碟格式的副画面 (Sub-Picture, SP)影像数据或是一数字影; 5茱格式的屏幕影像设定 (〇n-sci-een Display, OSD)数据。
5. 如权利要求 3所述的装置，其中该高取样频率色度格式的一亮度色度取样比 (Luminance- Chrominance Ratio Format)为 4:4:4 , 而该低取样频率色度格式的亮度色度取样比为 4:2:0。
6. 如权利要求 5所迷的装置，其中该多种取样格式还包含有一中取样频率色度格式，该中取样频率色度格式的亮度色度取样比是为 4:2:2，该格式转换模块还包含有：

一第一中间格式转换器，用来将具有该低取样频率色度格式的第一影像数据经一第一插补处理后，成为具有该中取样频率色度格式的第一影像数据；以及

一第二中间格式转换器，电连接于该第一中间格式转换器，用来将具有该中取样频率色度格式的第一影像数据经一第二插补处理后，成为具有该高取样频率色度格式的第一影像数据。
7. 一种影像数据处理装置，其包含有：

一主画面数据接收端，用来接收一具有 4:2:2取样格式的主画面影像数据，其中该具有 4:²:2取样格式的主画面影像数据包含一主亮度值 (Luminance) 及一主色度值 (Chrominance)；

一副画面数据接收端，用来接收一具有 4:4:4取样格式的副画面影像数据，其中该具有 4:4:4取样格式的副画面影像数据包含一副亮度值、一第一副色度值、以及一第二副色度值；

一格式转换模块，电连接于该主画面数据接收端，用来将该具有 4:2:2 取样格式的主画面影像数据经一插补 (Up- samplin 处理后成为该具有 4:4:4取样格式的主画面影像数据，其中该具有 4:4:4取样格式的主画面影像数据包含一主亮度值、一第一主色度值、以及一第二主色度值; ·

一数据混合装置，电连接于该格式转採模块及该副画面数据接收端，用来将该具有 4:4:4取样格式的主画面影像数据及该具有 4:4:4取样格式的副画面影像数据经一混合操作 (Mixing Operation)后，输出一具有 4:4:4取样格式的混合影像数据；以及

一视频信号编码器 (TV Encoder) , 电连接于该数据混合装置，用来将该具有 4:4:4取样格式的混合影像数据转换为一电视视频信号信号 (TV Video Signal)。
8. 如权利要求 7所述的影像数据处理装置，其中该混合操作是将该主亮度值、该第一主色度值、以及该第二主色度值分别与该副亮度值、该第一副色度值、以及该第二副色度值经一数性合并 (Mathematical Combination)后，分别产生一混合 (Mixed)亮度值、一第一混合色度值、以及一第二混合色度值。
9. 如权利要求 8所述的影像数据处理装置，其中该具有 4:4:4取样格式的混合影像数据包含有该混合亮度值、该第一混合色度值、以及该第二混合色度值。
10. 如权利要求 7所述的影像数据处理装置，其还包含一信号格式转换器，电连接于该主画面数据接收端前，用来将一以 4:2:0取样格式储存的主画面数字影像数据转换为该具有 4:<sup>2</sup>:2取样格式的主画面影像数据。
11. 如权利要求 7所述的影像数据处理装置，其中该主画面影像数据是对应于一数字影碟 (VCD和 DVD)格式的主画面影像数据，且该副画面影像数据是对应于一数字影碟格式的副画面 (Sub- Picture, SP)影像数据或是一数字影碟格式的屏幕影像设定 (On- screen Display, OSD)数据。
12. 如权利要求 7所述的影像数据处理装置，其是符合一新型动态影像压缩标准 MPEG-1, MPEG- 2)和 JPEG的规格。
13. 一种用来转换及混合多个影像数据 (Video Signal)以防止数据漏失的方法，该多个影像数据分别具有多种取样格式 (Sampling Fotrmat；)，该多种取样格式至少包含有一高取样频率色度 (Chrominance)格式以及一低取样频率色度格式，该方法包含有：

分别接收一具有该低取样频率色度格式的第一影像数据以及一具有该高取样频率色度格式的第二影像数据；

将具有该低取样频率色度格式的第一影像数据转换为具有该高取样频率色度格式的第一影像数据；以及

将具有该高取样频率色度格式的第一影像数据及具有该高取样频率色度格式的第二影像数据混合 (Mix)后，输出一具有该高取样频率色度格式的混合影像数据。
14.如权利要求 13所述的方法，其是应用于一新型动态影像压縮标准 (MPEG-1, MPEG- 2)的解码器 (Decodeir)中，且该第一影像数据、该第二影像数据、该混合影像数据、该高取样频率色度格式、以及该低取样频率色度取样均符合 MPEG-1和 MPEG-2的规格。
15. 如权利要求 14所述的方法，其中该第一影像数据是对应于一数字影碟 (VCD , DVD)格式的主画面 (Main-Picture)影像数据，且该第二影像数据是对应于一数字影碟格式的副画面 (Sub-Picture, SP)影像数据或是一数字影磔格式的屏幕影像设定 (On-screen Display, OSD)数据。
16. 如权利要求 14所述的方法，其中该多种取样格式还包含有一中取样频率色度格式，该方法还包含有：

将具有该低取样频率色度格式的第一影像数据转换为具有该中取样频率色度格式的第一影像数据；以及

将具有该中取样频率色度格式的第一影像数据转换为具有该高取样频率色度格式的第一影像数据；

其中该中色度取样格式符合 MPEG- l, MPEG-2的规格。
17. 如权利要求 16所述的方法，其中该高取样频率色度格式的一亮度色度取样比 CLuminance-Cliirominance Ratio Format)为 4:4:4，该中取样频率色度格式的亮度色度取样比为 4:2:2; 该低取样频率色度格式的亮度色度取样比为 4:2:0。
18. 一种在一影像数据处理装置中处理影像数据的方法，该影像数据处理装置包含有一信号接收模块、一格式转换模块、以及一数据混合装置，该方法包含有：

使用该信号接收模块分別接收一具有 4:2:2取样格式的主画面影像数据以及一具有 4:4:4取样格式的副画面影像数据；

使用该格式转换模块将该具有 4:2:2取样格式的主画面影像数据转换为该具有 4:4:4取样格式的主画面影像数据；以及

使用该数据混合装置将该具有 4:4:4取样格式的主画面影像数据及该具有 4:4:4取样格式的副画面影像数据经一混合操作 (Mixing Operation)后，输出一具有 4:4:4取样格式的混合影像数据。
19.如权利要求 18所迷的方法，其中该影像数据处理装置还包含一视频信号编码器 (TV Encoder) , 电连接于该数据混合装置，该方法还包含：

使用该视频信号编码器将该具有 4:4:4取样格式的混合影像数据转换为一电视视频信号信号 (TV Video Signal)。
20. 如权利要求 18所迷的方法，其中该影像数据处理装置其还包含一信号格式转换器，电连接于该信号接收模块前，用来将一以 4:2:0取样格式储存的主画面数字影像数据转换为该具有 4:2:2取样格式的主画面影像数据。
21. 如权利要求 18所述的方法，其中该具有 4:2:2取样格式的主画面影像数据包含一主亮度值 (Luminance)及一主色度值 (ChtOminance) ; 该具有 4:4:4 取样格式的副画面影像数据包含一副亮度值、一第一副色度值、以及一第二副色度值；该具有 4:4:4取样格式的主画面影像数据包含一主亮度值、一第一主色度值、以及一第二主色度值；该具有 4:4:4取样格式的混合影像数据包含一混合 (Mixed)亮度值、一第一混合色度值、以及一第二混合色度值。
22. 如权利要求 21所迷的方法，其还包含有：

使用该格式转换模块将该主色度值经一插补 (Up- samHn^)处理后产生该第一主色度值及该第二主色度值；以及

使用该数据混合装置将该主亮度值、该第一主色度值、以及该第二主色度值分别与该副色度值、该第一副色度值、以及该第二副色度值经一数性合并 (Mathematical Combination)后，分别产生该混合亮度值、该第一混合色度值、以及该第二混合色度值。
23. 如权利要求 18所述的方法，其中该主画面影像数据是对应于一数字影碟 (VCD， DVD)格式的主画面影像数据，且该副画面影像数据是对应于一数字影碟格式的副画面 (Sub- Picture, SP)影像数据及一数字影碟格式的屏幕影像设定 (On-screen Display,〇SD)数据。
24.如权利要求 18所述的方法，其应用于一新型动态影像压缩标准

(MPEG-1, MPEG- 2)的解码器 (Decoder)中。