CN102572339A - 解码装置 - Google Patents

Abstract

本发明提供一种作为可同步于主图像显示副图像的编码图像信号的解码装置，具有：辅助信息分析单元，分析包含与该副图像的显示位置和/或显示大小有关的显示辅助信息和适用该显示辅助信息的适用时刻信息的辅助信息；基准时刻计数器，表示图像的解码·显示的基准时刻；比较单元，比较所述适用时刻信息和所述基准时刻计数器；显示画面形成单元，使用主图像和副图像来形成显示画面；和控制单元，控制所述显示画面形成单元，所述控制单元构成为：根据所述比较单元的输出结果，使用所述显示辅助信息来向所述画面形成单元发出指令而控制副图像的显示位置和/或显示大小。

Description

解码装置

(本申请是2006年4月19日递交的发明名称为“解码装置”的申请200610066683.6的分案申请)

技术领域

本发明涉及为显示编码图像信号而进行解码的解码技术。

背景技术

作为本发明的背景技术，有例如在专利文献的特开2000-134572号公报中记载的技术和在非专利文献的ISO/IEC13818-2(MPEG2Video)中记载的技术。在特开2000-134572号公报中记载了从“DVD播放器等的再现装置通过数字信号将图像、声音、子图像等输出到数字TV接收机”来作为发明要解决的技术问题。作为解决问题用的手段，记载了“将通过声音译码器11译码后的PCM声音信号通过显示引擎(presentation engine)17与提示时刻匹配后，通过PCM/1394包转换部27转换为包。将通过子图像译码器15译码后的子图像通过显示引擎17与提示时间匹配后，通过1394包转换部29转换为包。图像PES与SCR一起通过MPEG-PS/TS转换部25转换为TS后，通过MPEG-TS/1394包转换部31转换为包。各同步包经链路层33、物理层35送到数字TV”。另外，在上述ISO/IEC13818-2(MPEG2 Video)中记载了指定编码图像信号的显示位置和显示大小的技术。

最近，作为解码编码图像信号后进行显示的解码显示装置的一种，DVD(Digital Versatile Disc：数字通用盘)播放器很普及。在DVD播放器的情况下，从存储了编码图像信号的盘中读取比特流，并通过播放器内的解码器来解码图像信号后进行显示。

DVD中，除了主要的图像(下面称作主图像)之外，还可与称作子图像的副图像配合来进行再现。该副图像有时内容与主图像有密切的相关性，在这种情况下，最好使主图像和副图像同步进行显示。例如，在上述特开2000-134572号公报中，公开了使主图像和副图像同步显示的技术。

另一方面，在使主图像和副图像联合显示时，若可根据主图像的内容来改变副图像的位置和大小，就很方便。例如，在图2(a)中，为了避免副图像阻挡主图像内的人物，将副图像叠加在右上。另一方面，在图2(b)中，主图像的人物向图像内的右侧移动。这时，若副图像的位置仍为图2(a)那样，则阻挡了人物。因此，若根据主图像内的人物的移动，使副图像的显示位置如图2(b)那样可沿左侧移动，则不会阻挡人物。

在该例子的情况下，由于需要更好地考虑与主图像的匹配性来指定副图像的显示位置，所以若主图像的内容生成者有可指定显示位置的工具，就很方便。这时，需要可以以一帧单位的精度来指定显示位置和显示大小。另外，同样，对副图像的图像大小也适用。

指定编码图像信号的显示位置和显示大小的技术公开在ISO/IEC13818-2(MPEG2 Video)中。在该技术中，在编码图像信号中插入显示位置和显示大小的信息，显示位置可以以帧为单位来指定。

但是，这种显示位置和显示大小的所谓对副图像信号的附加信息其内容很强地依赖于原先的应用程序。即，DVD等的各种存储媒体、广播系统、基于互联网的分配等使用了编码图像信号的系统有各种种类，根据其需要的功能和添加信息的种类、格式、传送方法等一般上不同。

因此，在假设通过硬件来进行这种附加信息的分析、抽出的情况下，使其具有可对应于各种应用的灵活性很难。另外，在将来新的应用出现时，为对应于该情况，需要进行硬件的改变，花费成本。

另一方面，若用软件来进行附加信息的分析、抽出，则可以具有灵活性，与将来新的应用出现时的对应也比较容易。但是，在用软件进行处理的情况下，从处理速度方面还要考虑处理是否与期间不匹配的情况，可能不能保证上述的具有一帧单位的精度的指定。

发明内容

本发明所要解决的技术问题鉴于上述情况而产生，是可以实现可以以一帧单位的精度指定副图像(第二图像等)的显示位置和显示大小，且指定方法有灵活性的编码图像信号的解码装置。

本发明的目的是提供一种解决上述问题，且使使用的便利性提高的解码装置。

本发明是解决了该问题的技术。

即，本发明中，作为可同步于主图像来显示副图像的编码图像信号的解码装置，包括：辅助信息分析单元，分析包含与该副图像的显示位置和/或显示大小有关的显示辅助信息和适用该显示辅助信息的适用时刻信息的辅助信息；基准时刻计数器，表示图像的解码·显示的基准时刻；比较单元，比较上述适用时刻信息和上述基准时刻计数器；显示画面形成单元，使用主图像和副图像来形成显示画面；和控制单元，控制上述显示画面形成单元；上述控制单元通过根据上述比较单元的输出结果，使用上述显示辅助信息来向上述显示画面形成单元发出指令而控制副图像的显示位置和/或显示大小的结构。

另外，作为解码在各帧的编码信息中包含唯一识别各帧的帧ID的编码图像信号，并可同步于主图像来显示副图像的编码图像信号的解码装置，包括：辅助信息分析单元，分析包含与该副图像的显示位置和/或显示大小有关的显示辅助信息和适用该显示辅助信息的适用帧ID信息的辅助信息；帧ID分析单元，分析上述编码图像信号中包含的各帧的帧ID；比较单元，比较上述适用帧ID信息和上述各帧的帧ID；显示画面形成单元，使用主图像和副图像来形成显示画面；和控制单元，控制上述显示画面形成单元；上述控制单元通过根据上述比较单元的输出结果，使用上述显示辅助信息来向上述显示画面形成单元发出指令而控制副图像的显示位置和/或显示大小。

作为解码装置，为包括：第一输入部，输入第一编码图像信号；第二输入部，输入第二编码图像信号；第一解码部，解码所述第一编码图像信号；第二解码部，解码所述第二编码图像信号；输出部，为在显示单元上显示所述第一和第二解码部解码后的图像信号而输出；控制部，控制所述第二解码部解码的图像信号的与在所述显示单元上的显示位置和/或显示大小有关的信息；通过所述控制部的控制，将其控制为，使所述第二解码部解码后的图像信号与第一解码部解码后的图像信号同步，并加以显示。

根据本发明，可以使编码装置的使用便利性提高。

附图说明

图1是作为本发明的实施例的图像盘再现装置的框图；

图2是图1的实施例中的主图像和副图像叠加的说明图；

图3是图1的实施例中的辅助信息的说明图；

图4是作为本发明的另一实施例的图像盘再现装置的框图；

图5是图4的实施例中的辅助信息的说明图；

图6是图4的实施例中的辅助信息的说明图。

具体实施方式

下面，使用附图来说明本发明的实施例。

另外，DVD中的副图像(子图像等)和副图像(第二图像等)在下面方面不同。即，相对于DVD中的子图像为如OSD图像那样，与主图像相比，以灰度等级数较少，且图像的更新以秒为单位不定期进行的图像为对象，在下面的实施例中的副图像以与主图像相同的灰度等级数、且具有帧频的自然图像作为对象。另外，从上述的特性看DVD子图像以游长压缩那样的简单的编码方式就充分实用了，但是在下面的实施例中的副图像在使用与主图像相同、以MPEG等为代表的利用了帧间相关性的高度的运动图像压缩方式，需要与主图像相同的译码器方面与DVD子图像不同。

(第一实施例)

图1表示作为本发明的第一实施例的图像盘再现装置的框图。盘11上存储了主图像，本地存储器81中存储了副图像的编码图像信号和辅助信息。将从盘11读出的主图像的编码图像信号输入到译码器21中。在译码器21中进行所输入的编码图像信号的解码，并向显示画面形成部71输出作为其结果的主图像。

同样，将从本地存储器81读出的副图像的编码图像信号输入到译码器22。在译码器22中进行所输入的编码图像信号的解码，并向显示画面形成部71输出作为其结果的副图像。基准时刻计数部41计数进行解码的基准时刻，并对译码器21、22、显示画面形成部71、比较部51输出基准时刻。译码器21和22根据从基准时刻计数部41输出的上述基准时刻来进行解码处理。由此，可以使主图像和副图像同步地进行解码处理。

进步，从本地存储器81中读出辅助信息。将所读出的辅助信息送到辅助信息分析部31。在辅助信息分析部31中，进行辅助信息的分析，并抽出与副图像的显示位置和显示大小有关的显示辅助信息和适用该显示辅助信息的适用时刻信息。将所抽出的显示辅助信息送到控制部61。将所抽出的适用时刻信息送到比较部51。另外，由于上述辅助信息的分析可以在图像信号的解码处理之前进行，所以辅助信息的分析处理可以有裕量地进行。因此，在本实施例中，通过软件处理实现辅助信息分析部31中的处理的一部分。

进一步详细说明该辅助信息分析部31中的处理。图3表示了以比特流的形式供给辅助信息分析部31的辅助信息的一部分。辅助信息以包为单位进行划分，每个包插入包标题。将与副图像的显示位置有关的信息和与显示大小有关的信息分别存储到上述包中的预定的位置上，而可以通过CPU抽出各信息。另外，上述显示大小通过进行显示时的副图像的水平和垂直的各像素数的信息来构成。

接着，比较部51中，进行上述适用时刻信息和从基准时刻计数器41输入的基准时刻的比较，并将比较结果输出到控制部61。在控制部61中，在从比较部51输入的比较的结果表示“一致”的时刻，对显示画面形成部71使用从辅助信息分析部31输入的显示辅助信息，提供与副图像的显示位置和显示大小有关的指示。在显示画面形成部71中，合成主图像和副图像的画面，来形成显示画面。这时，根据来自控制部61的指示内容，进行副图像的缩小或放大，而转换为所指定的图像大小。进一步，根据来自控制部61的指示内容，在对主图像指定的位置上进行副图像的叠加。将所形成的显示画面作为图像输出从本图像盘再现装置中输出。并且，在从解码装置100的输出后，显示在显示装置200上。

这样，根据本第一实施例，可以将副图像的显示位置和显示大小高精度地在通过适用时刻信息指定的时刻使用。进一步，由于可通过软件实现辅助信息分析部31的处理的一部分，所以在根据各种应用假定改变了附加信息的种类和格式的情况下也可灵活对应。

另外，在上述说明中，表示了由进行显示时的副图像的水平和垂直的各像素数的信息来构成显示大小的信息的例子，但是也可代替像素数信息，而由显示时的图像大小相对副图像的编码图像大小的倍率的信息来构成。这时，可以省略通过计算副图像的编码图像大小和显示时的图像大小的比例求出对于副图像的缩小/放大率的处理。对于其他方面可以得到与本实施例大致相同的效果。

(第二实施例)

图4表示本发明的第二实施例的图像盘再现装置的框图。对于与上述第一实施例相同的部分省略说明。

另外，在本第二实施例中，与上述第一实施例不同，表示副图像和辅助信息与主图像一起记录在盘11上的例子。如本第二实施例那样，在盘11上记录副图像和辅助信息时，如后所述，在没有连接互联网的环境下也可享受副图像。另一方面，在如上述第一实施例那样，记录在本地存储器81中时，例如即使在盘11上没有记录副图像和辅助信号时，也可在之后经可取下的记录媒体和互联网取得了两信息后，来享受副图像。另外，在盘11上记录副图像和辅助信息时还有在之后取得了最新的两信息后可以享受最新的副图像等的优点。

在本第二实施例中，编码图像信号在各帧的编码信息中含有唯一识别各帧的帧ID。在译码器22中，在副图像的解码处理时，上述各帧的帧ID的抽出也相配合地进行，而输出到比较部52。

图5表示向辅助信息分析部31输入的辅助信息的一部分。在该图5中，代替上述图3中的适用时刻信息，插入了适用帧ID信息。抽出该适用帧ID，而输出到比较部52。比较部52中，进行上述适用帧ID信息和从译码器22输入的各帧的帧ID的比较，并将比较结果输出到控制部61。

通过以上的结构，在使用了在各帧的编码信息中包含唯一识别各帧的帧ID的系统的情况下，可以得到与实施例1相同的效果。

(第三实施例)

接着说明本发明的第三实施例。对于与上述第一实施例相同的内容省略说明。与上述第一实施例不同的是辅助信息的内容，在本第三实施例中，将辅助信息作为对于CPU的命令来提供。

图6表示向辅助信息分析部31供给的辅助信息的一部分。这样，对CPU作为例如JAVA(注册商标)语言等的命令来提供。在本第三实施例中，由于通过软件处理来进行辅助信息分析部31的处理的一部分，所以这样，可以有通过以命令的形式来供给辅助信息来平滑处理信息的优点。对于其他方面，可以得到与第一实施例相同的效果。

(第四实施例)

接着说明本发明的第四实施例。下面，仅说明与上述第一实施例的不同方面。

本第四实施例的特征是在辅助信息中包含与副图像的显示位置的移动有关的特殊效果信息。具体的，在辅助信息中包含每单位时间的副图像的水平方向的移动量dX、开始显示位置的适用的适用开始时刻t0、适用显示位置的移动的适用持续时间tLAST。由此，若将时刻t0的水平方向的副图像的显示位置设作x0，则可以用x0+t×dX来表示时刻t0+t(0≤t≤tLAST)的水平方向的副图像的显示位置。对于垂直方向也相同。另外，假定这里使用的时间信息具有至少可以以一帧单位以上的精度来指定时间的分辨能力。

本第四实施例的优点是在以一定速度来持续移动副图像的情况下，可以减少指定副图像的位置所需的辅助信息的编码量，因此，可以减少存储辅助信息用的盘容量。

另外，也可代替上述的时间·时刻的概念，用帧数来考虑。即，代替“每单位时间”、“适用开始时刻”、“适用持续时间”，而分别使用“每一帧”、“适用开始帧ID”、“适用持续帧数”的信息，也可得到相同的效果。

(第五实施例)

接着说明本发明的第五实施例。下面，仅说明与上述第一实施例不同的方面。

本第五实施例的特征是在辅助信息中包含与副图像的显示位置的移动有关的特殊效果信息。具体的，在辅助信息中包含每单位时间的副图像的水平方向的移动量dX，开始显示位置的使用的适用开始时刻t0和适用显示位置的移动的适用终止时刻tE。由此，若将时刻t0的水平方向的副图像的显示位置设作x0，则时刻t0+t(0≤t≤tE-t0)的水平方向的副图像的显示位置可以用x0+t×dX来表示。对于垂直方向也相同。

本第五实施例的优点是在副图像以一定速度持续移动的情况下，可以减少指定副图像的位置所需的辅助信息的编码量，因此，可以减少存储辅助信息用的盘容量。

另外，也可代替上述的时间·时刻的概念，用帧数来考虑。即，代替“每单位时间”、“适用开始时刻”、“适用结束时间”，而分别使用“每一帧”、“适用开始帧ID”、“适用结束帧ID”的信息，也可得到相同的效果。

(第六实施例)

接着说明本发明的第六实施例。下面，仅说明与上述第一实施例不同的方面。

本第六实施例的特征是在辅助信息中包含与副图像的显示大小的改变有关的特殊效果信息。具体的，在辅助信息中包含每单位时间的副图像的显示倍率的改变量dS、开始显示大小的改变的适用的适用开始时刻t0、适用显示大小改变的适用持续时间tLAST。由此，若将时刻t0的水平方向的副图像的显示大小(倍率)设作S0，则可以用S0+t×dS来表示时刻t0+t(0≤t≤tLAST)的显示大小(倍率)。

本第六实施例的优点是在以一定速度来持续放大(zoom in)或缩小(zoom out)副图像的情况，可以减小指定副图像的显示大小所需的辅助信息的编码量，因此，可以减少存储辅助信息用的盘容量。

另外，也可代替上述的时间·时刻的概念，用帧数来考虑。即，代替“每单位时间”、“适用开始时刻”、“适用持续时间”，而分别使用“每一帧”、“适用开始帧ID”、“适用持续帧数”的信息，也可得到相同的效果。

在以上的实施例中，说明了图像盘再现装置的情况，但是本发明并不限于此。例如，在编码图像通过电波或有线传送的接收机中也可期待相同的效果。另外，例如，在以图像等为例，再现对于主图像的图像主体编辑时，经网络取得与该主体编辑的场景有关的副图像，并在显示装置中进行了解码后，可以从作为与主体编辑同步或叠加主体编辑上，与该主体编辑有关的场景的第二图像享受图像。

作为上述实施例的又一实施例，解码装置具有：输入第一编码图像信号的第一输入部、输入第二编码图像信号的第二输入部、解码所述第一编码图像信号的第一解码部、解码所述第二编码图像信号的第二解码部、为将所述第一和第二解码部解码后的图像信号显示在显示单元上而输出的输出部、和控制所述第二解码部解码的图像信号的、与在所述显示单元上的显示位置和/或显示大小有关的信息的控制部，将其控制为，通过所述控制部的控制将所述第二解码部解码后的图像信号与第一解码部解码后的图像信号同步，并进行显示，可以使解码装置中的使用便利性提高。

另外，利用如下的解码图像显示装置：在与所述显示单元上的显示位置和/或显示大小有关的信息中包含与时间有关的信息，所述控制部按照如下方式进行控制，根据与所述时间有关的信息，将所述第二解码部解码后的图像信号与第一解码部解码后的图像信号同步，并加以显示，从而也可使解码显示装置的使用便利性提高。

另外，利用如下的解码方法，输入第一编码图像信号，输入第二编码图像信号，解码所述输入的第一编码图像信号，解码所述输入的第二编码图像信号，控制所述解码后的第二解码图像信号的、与在显示单元上的显示位置和/或显示大小有关的信息，并对应于与在所述显示单元上的显示位置和/或显示大小有关的信息，使所述第二解码图像信号同步于所述第一解码图像信号，来进行显示，从而可以使解码方法中的使用便利性提高。

另外，作为记录了第一编码图像信号和第二编码图像信号的盘型记录媒体，通过为了解码所述第一编码图像信号和所述第二编码图像信号，并使第二图像信号同步于第一图像信号地进行显示，而记录了所述第二图像信号的显示位置和/或显示大小以及与该定时有关的信息的盘型记录媒体，也可使解码装置的使用便利性提高。

另外，作为可与显示单元连接的解码装置，具有：解码第一编码图像的第一解码部，解码第二编码图像的第二解码部；在将所述第一解码图像输出到显示单元时，同步于所述第二解码图像而输出到显示单元的输出部；分析同步于所述第一解码图像在显示单元上输出所述第二解码图像时的、与所述第二解码图像在显示单元上的显示位置和/或显示大小及该适用时刻有关的辅助信息的分析部；表示所述第一解码图像的输出时刻的时刻计数器；比较所述适用时刻和所述计数器表示的输出时刻的比较部；和按照根据所述比较部的比较和所述辅助信息、同步于所述第一解码图像输出所述第二解码图像的方式而控制所述输出部的控制部，利用该解码装置来使使用的便利性提高。

另外，作为可与显示单元连接的解码装置，具有：解码第一编码图像的第一解码部；解码第二编码图像的第二解码部；同步于所述第一解码图像将所述第二解码图像输出到显示单元上的输出部；取得将所述第二解码图像向显示单元输出的、与位置、大小、适用时刻有关的信息的取得部；和控制所述输出部和所述取得部的控制部，所述控制部按照根据所述取得部取得的信息来将所述二解码图像叠加到所述第一解码图像上在显示单元上进行显示的方式而控制所述输出部，利用该解码装置可以使使用便利性提高。

另外，作为可与显示单元连接的解码装置，其特征在于，具有：解码第一编码图像的第一解码部；解码第二编码图像的第二解码部；处理与所述第二解码图像的位置、大小和适用时间有关的信息的处理部；将所述第二解码图像叠加到所述第一解码图像的显示画面形成部；根据所述处理部处理的信息来控制所述显示画面形成部的控制部；和输出由所述显示画面形成部形成的图像的输出部，利用该解码装置来使使用的便利性提高。

另外，作为可以与显示装置连接的盘装置，其特征在于，具有：从盘再现图像信号的再现部；解码由所述再现部再现的第一编码图像信号的第一解码部；解码第二编码图像的第二解码部；处理与第二解码图像的位置、大小和适用时间有关的信息的处理部；将所述第二解码图像叠加到所述第一解码图像的显示画面形成部；根据所述处理部处理后的信息来控制所述显示画面形成部的控制部；和输出由所述显示画面形成部形成的图像的输出部，即使利用该盘装置，也可使使用便利性提高。

从上可以提供可以以帧单位的精度来指定副图像的显示位置和显示大小，且指定方法有灵活性的编码图像信号的解码显示装置。

本发明可以在上述实施方式以外的其他方式下实施，而不脱离其精神或主要的特征。因此，上述实施方式的所有方面不过是本发明的仅仅一个示例，不应解释为限定。本发明的范围通过权利要求的范围(claim)来表示。进一步，属于该权利要求的范围的等价范围的变形和改变全部在本发明的范围内。

Claims (3)

1.一种在记录介质或本地存储器中记录信息的信息记录方法，其特征在于：

在所述记录介质中记录主图像的编码图像信号，

在所述记录介质或所述本地存储器中记录副图像的编码图像信号，

在所述记录介质或所述本地存储器中记录包含与所述副图像的显示位置有关的显示辅助信息和适用该显示辅助信息的适用时刻信息的辅助信息，其中，

所述适用时刻信息和所述显示辅助信息是用于以下的控制的信息：

在所述适用时刻信息与所述主图像进行再现的基准时刻相比较的结果是所述适用时刻信息与所述基准时刻信息一致的情况下，控制成使得所述副图像的显示位置基于所述显示辅助信息决定。

2.一种能够同步于主图像来显示副图像的编码图像信号的再现方法，其特征在于，包括：

辅助信息分析步骤，分析包含与该副图像的显示位置和/或显示大小有关的显示辅助信息和适用该显示辅助信息的适用时刻信息的辅助信息；

将所述主图像进行再现的基准时刻信息与所述适用时刻信息加以比较的比较步骤；和

使用主图像和副图像来控制显示画面的形成的控制步骤，

所述控制步骤还包括：根据所述比较步骤的输出结果和所述显示辅助信息来控制副图像的显示位置和/或显示大小的步骤。

3.一种能够由信息再现装置读取信息的记录介质，其特征在于，记录有：

主图像的编码图像信号；

副图像的编码图像信号；和

包含与所述副图像的显示位置有关的显示辅助信息和适用该显示辅助信息的适用时刻信息的辅助信息，

所述记录介质中记录的信息是用于以下控制的信息：

在所述适用时刻信息与所述主图像进行再现的基准时刻相比较的结果是所述适用时刻信息与所述基准时刻信息一致的情况下，控制成使得所述副图像的显示位置基于所述显示辅助信息决定。

Images