CN1297653A - 不同帧速率多流混合视频流的无缝译码装置 - Google Patents

Abstract

本发明涉及将具有不同帧速率的多种流(隔行扫描方式和逐行扫描方式的)混合的视频流(STv)以规定的译码时序(Vmc)进行译码后无缝再现的译码装置(VDA),该装置具备在对多个流(IS、PS)进行译码之前提取各帧速率的流解析器(Ddv、2),以及根据所提取的帧速率决定对视频流(STv)的片层(SL)进行译码的时序(Vmc)的视频译码控制部(CDV)。以所决定的时序(Vmc)对视频流(STv)进行译码,即使是在视频流(STv)中向具有不同的帧速率的流(IS、PS)切换时,也能够无缝再现。

Description

不同帧速率多流混合视频流的无缝译码装置

技术领域

本发明涉及使具有不同帧速率的多个流混合的视频流的无缝重现的译码装置，更详细地说，涉及隔行扫描流与逐行扫描流混合形成的数据流的译码装置。

背景技术

1994年在美国开始的卫星数字广播在1996年波及日本和欧洲诸国，进入了实用化阶段。在数字广播中，能够提供现有的模拟广播所没有的高图像质量、多频道，以及数据广播等各种各样的服务。在广播运营者方面，为了实现这样的新服务，使广播系统和接收装置发生了很大的变革。作为新的服务，对广播运营者的高清晰度广播固有服务和数字广播新服务进行了研究。在2000年的下半年，日本预定实现BS数字广播。

作为高图像质量化的途径，正在研究在日本国内CS(卫星)数字广播中采用日本邮政省第7号命令规定的逐行扫描方式。逐行扫描方式相对于已有的隔行扫描方式具有2倍的信息量，能够得到非常高的垂直清晰度。而且逐行扫描方式与已有的隔行扫描方式相比，不存在闪烁等隔行扫描操作带来的图像质量劣化，能够实现高图像质量的视像。

现有的视像的内容几乎都是用隔行扫描方式作成的。而可以想象，今后新作成的视像内容并不是说全部都是逐行扫描方式作成的，初期也会有用隔行扫描方式作成的，尔后逐行扫描方式作成的视像的比例逐渐增多。而且可以想象，曾经以隔行扫描方式作成的视像内容只要没有特别的理由是不会重新以逐行扫描方式制作的。

根据这样的事态，至少目前预定采用现有隔行扫描方式广播添加逐行扫描方式广播的称为混合编排的、同一节目中隔行扫描方式的流(下称“隔行扫描流IS”)与逐行扫描方式的流(下称“逐行扫描流PS”)混合的形态进行的广播。混合编排的比例将来会逐渐减少，但是可以认为在相当长的时间内不会消失。

这种混合编排不仅是数字广播，而且对于处理DVD等的MPEG流等的装置，可以说情况也相同。总之，可以预期，会将以隔行扫描方式作成的内容和以逐行扫描方式作成的内容混合编排而成的数字流记录于一枚DVD提供使用者。将该DVD再现时，情况和上述混合编排的数字广播相同。

收听收视上述混合编排的数字流广播时，或是重放将混合编排的数字流加以记录的DVD时，必须考虑在译码器一方按照隔行扫描方式和逐行扫描方式的要求，分别对帧速率不同的MPEG流进行相应的正确处理。否则，在进行隔行扫描方式/逐行扫描方式的切换时，如下面参照图27及图28所说明的那样，画面将会发生混乱。总之，或不以帧或场为单位显示画面，或显示不完整，在展开的画面上发生可以辨认出的程度的不连续，收视和收听的人们会有不舒服的感觉。

图27表示将从隔行扫描流IS变成逐行扫描流PS的混合编排流译码的已有的视频译码装置内的运作。在该图中图像显示期间(下面为了简化，根据需要简称为“期间”)T0～T4，P画面(picture)P9(期间T0)、B画面B7(期间T2)，以及B画面B8(期间T4)构成的隔行扫描流IS通过位流FIFO输入视频译码装置。

而在图像显示期间T6～T11，I画面I0(期间T6)、P画面P3(期间T7)、B画面B1(期间T8)、B画面B2(期间T9)、P画面P6(期间T10)，以及B画面B4(期间T11)构成的逐行扫描流PS通过位流FIFO输入视频译码装置。下面对各期间视频译码装置的运作加以说明。

还有，各画面的接尾词“P”是Predictive Picture(预测画面)的意思，“I”是Intra Picture(内部画面)的意思，而“B”是Bidirectionally Predictive Picture(双向预测画面)的意思。而各接尾词P、I及B上后续的数字则表示该画面的显示顺序。

包含于输入流中的隔行扫描流IS的各画面数据与对应的译码开始信号同步地开始译码，同时写入指定的帧存储器FMn。写入帧存储器FMn的译码的画面在规定的时刻从帧存储器FMn读出，与垂直同步信号同步地(垂直信号为高电平期间)按照显示奇偶性显示底(bottom)场或顶(top)场。

还有，在P画面及I画面的情况下，在写入帧存储器FMn起规定的时间之后从帧存储器FMn读出并显示，而在B画面的情况下则在写入帧存储器FMn的同时从帧存储器FMn读出并显示。

而且，即使是对于包含于输入流的逐行扫描流PS的画面数据，也与隔行扫描流IS的画面数据一样，进行译码后写入帧存储器FMn，然后从帧存储器FMn读出并显示。但是显示的不是场，而是与显示奇偶性无关地显示帧，下面对各图像显示期间从输入流的译码到显示的运作进行具体说明。

首先，在T0期间，在帧存储器FM2及帧存储器FM3分别写入T0期间之前在隔行扫描流IS中包含的P画面P6及B画面B5(未图示)的译码过的数据。然后一边输入P画面P9一边依序译码，写入帧存储器FM1。

然后，与显示用的垂直同步信号同步，并进而根据显示奇偶性从帧存储器FM2读出P画面P6的译码数据，根据显示的奇偶性开始显示底场。还有，在这里所示的已有例的情况下，隔行扫描流是底场优先。

在T1期间，T0期间里开始的P画面P6的底场显示结束之后，根据显示奇偶性开始显示P画面P6的顶场。

在T2期间，一边输入B画面B7一边依序进行译码，在写入帧存储器FM3的同时，再度读出，根据显示奇偶性开始显示底场。

在T3期间，T2期间里开始的B画面B7的底场显示结束之后，根据显示奇偶性开始显示B画面B7的顶场。

在T4期间，一边输入B画面B8一边依序进行译码，在写入帧存储器FM3的同时，再度读出，根据显示奇偶性开始显示底场。

在T5期间，T4期间里开始的B画面B8的底场显示结束之后，根据显示奇偶性开始显示B画面B8的顶场。

在T6期间，一边输入逐行扫描流PS的I画面I0一边依序进行译码，写入帧存储器FM2。同时从帧存储器FM1再度读出隔行扫描流IS的P画面P9的译码数据，根据显示奇偶性开始显示底场。

在T7期间，一边输入逐行扫描流PS的P画面P3一边依序进行译码，写入帧存储器FM1。而且从帧存储器FM2读出逐行扫描流PS的I画面I0，进行帧的显示。因此在T6期间开始的从帧存储器FM1读出的P画面P9的顶场不进行显示。这样，取代P画面P9的顶场进行的逐行扫描流PS的I画面I0的帧显示开始时，图像发生混乱(不连续)，使得听众和观众有不愉快的感觉。

在T8期间，一边输入逐行扫描流PS的B画面B1一边依序进行译码，写入帧存储器FM3，同时读出，显示B画面B1的帧。这样，作为隔行扫描流IS的最终显示数据的P画面P9没有完全显示却切换为逐行扫描流PS的显示。

在T9期间，一边输入B画面B2一边依序进行译码，写入帧存储器FM2，同时读出，显示B画面B2的帧。

在T10期间，一边输入P画面P6一边依序进行译码，写入帧存储器FM2。而且从帧存储器FM1读出P画面P3的译码数据，将该帧加以显示。

在T11期间，一边输入B画面B4一边依序进行译码，写入帧存储器FM3，同时读出，显示B画面B4的帧。

这样，在图像显示期间T5前后，广播从隔行扫描流IS切换为逐行扫描流PS的情况下，在图像显示期间T6～T7，保持不显示隔行扫描流IS的P画面P9的顶场的状态，而将下面的逐行扫描流PS的视像显示出来。

下面的图28表示将从逐行扫描流PS变成隔行扫描流IS的混合编排流译码的已有的视频译码装置(未图示)内的运作。在该图中图像显示期间T6～T11，P画面P6(期间T6)、B画面B4(期间T7)、B画面B5(期间T8)、P画面P9(期间T9)、B画面B7(期间T10)以及B画面B8(期间T11)构成的隔行扫描流IS通过位流FIFO输入视频译码装置。

而在图像显示期间T0～T4，I画面I0(期间T0)、P画面P3(期间T2)以及B画面B1(期间T4)构成的隔行扫描流IS通过位流FIFO输入视频译码装置。下面对各期间视频译码装置的运作加以说明。

在T6期间，一边输入逐行扫描流PS的P画面P6一边依序进行译码，写入帧存储器FM2。同时从帧存储器FM1读出逐行扫描流PS的先行的P画面P3的译码数据，然后开始显示。

在T7期间，一边输入B画面B4一边依序进行译码，写入帧存储器FM3，同时进行读出，显示B画面B4的帧。

在T8期间，一边输入B画面B5一边依序进行译码，写入帧存储器FM3，同时读出，显示B画面B5的帧。

在T9期间，一边输入P画面P9一边依序进行译码，写入帧存储器FM1，同时从帧存储器FM2读出P画面P6的译码数据，显示P画面P6的帧。

在T10期间，一边输入B画面B7一边依序进行译码，写入帧存储器FM3，同时进行读出，将B画面B7的帧加以显示。

在T11期间，一边输入B画面B8一边依序进行译码，写入帧存储器FM3，同时读出，显示B画面B8的帧。

在T0期间，一边输入隔行扫描流IS的I画面I0一边写入帧存储器FM2，而且同时从帧存储器FM1读出逐行扫描流PS的P画面P9的译码数据，将P画面P9的帧加以显示。

在T1期间，在T0期间显示的逐行扫描流PS的P画面P9的帧继续显示。

在T2期间，一边输入隔行扫描流IS的P画面P3一边依序进行译码，写入帧存储器FM1。同时再从帧存储器FM2读出隔行扫描流IS的I画面I0，根据显示奇偶性显不底场。

在T3期间，在T2期间里开始的I画面I0的底场结束之后，根据显示奇偶性显示I画面I0的顶场。

在T4期间，一边输入隔行扫描流IS的B画面B1一边依序进行译码，在写入帧存储器FM3的同时进行读出，根据显示奇偶性显示B画面B1的底场。

在T5期间，在T4期间里开始的B画面B1的底场结束之后，根据显示奇偶性显示B画面B1的顶场。

如上所述，在图像显示期间T11和T0之间，广播从逐行扫描流PS切换为隔行扫描流IS时，即使是隔行扫描流IS必须首先显示顶场的情况下，在图像显示期间T2～T3也是从底场首先显示。如果顶场与底场以相反顺序显示(帧存储器FMn的输出)，则场单元的图像时间关系发生偏差，变成看不清楚的图像。

其原因是，如果对于时间轴顶场应该先显示的视像从底场开始显示，则视像逆时间轴方向显示。因此，视频流STv的内容在从逐行扫描流PS向隔行扫描流IS迁移的情况下，识别是从顶场开始显示的，或是从底场开始显示的，然后使其与显示奇偶性一致这一点是很重要的。

还有，在以隔行扫描流IS的译码时序对逐行扫描流PS进行译码时，数据处理量为隔行扫描流IS处理时的2倍，因此发生溢出。另一方面，在以逐行扫描流PS的译码时序对隔行扫描方式进行译码时，反之，数据处理量为逐行扫描流PS处理时的一半，因此发生下溢。其结果是，译码处理失败。

在图27和图28所示的例子中，帧存储器组由分别存储作为流的图像数据的I画面或P画面的帧存储器FM1及帧存储器FM2和只存储B画面的帧存储器FM3构成。这样构成的帧存储器组中，在各帧存储器FMn(n=1、2、3)存储(即写入)图像数据的时间与为了显示而把写入的图像数据从帧存储器FMn读出的时间同步。

也就是说，应该存储于帧存储器FM1及FM2中的某一个的I画面或P画面译码时(例如存储于帧存储器FM1)，已经译码的画面(例如存储于帧存储器2)被读出并显示。然后，存储于帧存储器FM3的B画面译码时，一边将B画面译码一边显示。

例如在图27中图像显示期间T0的情况下，把P9图像译码于帧存储器FM1，因此显示帧存储器FM2存储的P6图像。然后，在图像显示期间T2的情况下，将B7图像译码于帧存储器FM2，因此显示B7图像。这是由于B画面为了进行帧之间的双向预测译码，参照前后的I画面及P画面，需要预先在帧存储器FM1及FM2保存各画面。

还有，图27及图28所示的输入的流中，关于译码与显示同时进行的B画面，必须根据显示进行的速度控制译码时间。即，有时B画面过大，其译码时间不能够包含于垂直同步信号的周期(16.7毫秒)内，会发生显示混乱。

根据上面所述，本发明的目的在于，提供对帧速率不同的多个视频数据构成的流中的帧速率、显示奇偶性(决定首先显示顶、底场中的哪一个的参数)进行分析，控制视频译码器的起动时刻，实现图像显示不发生混乱的无缝再现的视频译码装置。

发明内容

为了达到上述目的，本发明具有下面所述的特征。

本发明的第1种情况是，对具有不同帧速率的多个流混合的视频流以规定的时序译码后进行无缝再现的译码装置具有下述特征，具备

在对多个流进行译码之前提取各帧速率的帧速率提取器，以及

根据提取的帧速率决定对视频流的片层(slice)进行译码的时序的译码控制器，

以决定的时序对视频流进行译码，即使是在视频流中向具有不同的帧速率的流切换时，也能够无缝再现。

如上所述，在第1种情况中，根据在进行译码之前预先提取的译码的流的帧速率决定译码时序，因此能够准备好对要译码的流进行适当的处理。

第2种情况是在第1种情况中具有下述特征，帧速率提取器包含根据译码时序对视频流进行解析，将其分离为首部信息与压缩数据的流解析器。

第3种情况是在第2种情况中具有下述特征，译码控制器根据首部信息，相应于视频流中所包含的多个流的各流速率使由视频流的显示形式决定的垂直同步信号延迟规定的时间，从而生成规定译码时序的译码时序信号。

第4种情况是在第3种情况中具有下述特征，规定的时间比垂直同步信号的一个周期短。

第5种情况是在第4种情况中具有下述特征，规定的时间是垂直同步信号的半个周期。

第6种情况是在第1种情况中具有下述特征，译码器在对压缩数据的片层进行译码之后接着对后续的画面的画面层进行译码。

如上所述，在第6种情况中，接着对译码的画面的画面层进行译码，以此可以得到显示该画面用的信息，迅速显示该画面。

第7种情况是在第3种情况中具有下述特征，译码控制器包含

对视频流的隔行扫描流交互屏蔽译码时序信号，

对视频流的逐行扫描流将译码时序信号原封不动输出的译码时序修正器。

第8种情况是在第7种情况中具有下述特征，译码控制器在视频流从隔行扫描流切换为逐行扫描流的迁移中将译码时序信号加以屏蔽，使隔行扫描流的显示结束。

第9种情况是在第7种情况中具有下述特征，译码控制器在视频流从隔行扫描流切换为逐行扫描流的迁移中不将译码时序信号加以屏蔽，接着逐行扫描流的最后画面，对隔行扫描流的第1画面进行译码。

第10种情况是在第7种情况中具有下述特征，译码控制器在译码时视频流(STv)不处于迁移状态的情况下把表示视频流的迁移状态的多值的迁移状态参数设定为第1规定值，

在视频流从隔行扫描流迁移到逐行扫描流，即帧速率码(frame_rate_code)从小于7的数值变成7时，把迁移状态参数设定为第2规定值，

在视频流从逐行扫描流迁移到隔行扫描流，即帧速率码从7变成小于7的数值时，把迁移状态参数设定为第3规定值，

在接着的译码时刻把迁移状态参数选定为第1规定值。

第11种情况是在第10种情况中具有下述特征，译码控制器在视频流为隔行扫描流，从顶场起依序对照视像显示奇偶性进行视像显示时，将译码时序信号的顶场加以屏蔽，

在从底场起依序对照视像显示奇偶性进行视像显示时，将译码时序信号的底场加以屏蔽。

第12种情况是在第11种情况中具有下述特征，用具有2个数值的屏蔽信号parity_mask规定将译码时序信号的顶场与底场中的哪一个加以屏蔽。

第13种情况是在第12种情况中具有下述特征，译码控制器在parity_mask与视像显示奇偶性不相等，视频流的帧速率码小于7，并且参数top_field_first等于视像显示奇偶性的情况下，使parity_mask反转，进行奇偶性修正。

第14种情况是在第7种情况中具有下述特征，译码控制器在译码开始时通常把规定译码控制器的初始状态的具有两个数值的初始状态参数设定为第1值。

第15种情况是在第14种情况中具有下述特征，译码控制器在初始状态参数为第1值的情况下按照画面层、片层、画面层的顺序对后续流的第1画面进行译码。

第16种情况是在第7种情况中具有下述特征，译码控制器在译码开始时，通常在设定视频流是逐行扫描流之后执行休眠处理。

第17种情况是在第7种情况中具有下述特征，译码控制器在视频流从24帧的隔行扫描流切换为逐行扫描流和30帧的隔行扫描流中的某一个的第1迁移发生时，以及在与第1迁移时相反的方向进行视频信号流的切换的第2迁移时，进行帧速率修正，

在3∶2下拉时，把规定流的奇偶性的2值参数从一个数值设定为另一个数值，进行奇偶性修正。

第18种情况是在第15种情况中具有下述特征，画面层包含序列首部(sequenceheader)、GOP首部(GOP_header)、及画面首部(Picture_header)，

片层包含片层首部(slice_header)以下的位流，以画面层和片层构成一个图像。

第19种情况是在第7种情况中具有下述特征，译码控制器在对画面层进行译码时检测出sequence_end时结束译码处理，

在检测出视频流(STv)的sequence_end时按照画面层、片层、画面层的顺序进行译码之后，执行休眠处理。

第20种情况是在第14种情况中具有下述特征，译码控制器在初始状态参数为第1值的情况下不进行图像输出设定。

第21种情况是在第7种情况中具有下述特征，译码控制器在前面的译码时刻进行的译码处理没有结束的下溢情况下，在译码时刻首先显示已经译码的I画面或P画面。

第22种情况是在第17种情况中具有下述特征，译码控制器在下溢时，而且下溢是在B画面发生的情况下，接着下一个I画面及P画面中的某一个的画面层及片层的译码，依序对后续的画面层进行译码之后实施休眠处理。

附图概述

图1是本发明第1实施形态的视频流无缝译码装置的结构方框图。

图2是图1所示的视频流无缝译码装置的运作流程图。

图3是表示在图1所示的视频流无缝译码装置中观察到的各种信号的处理时序的时序图。

图4是输入图1所示的视频流无缝译码装置的视频流的结构的说明图。

图5是表示图1所示的视频流无缝译码装置的变形例的运作的流程图。

图6是表示在图1所示的视频流无缝译码装置的变形例中观察到的各种信号的处理时序的时序图。

图7是本发明第2实施形态的视频流无缝译码装置的结构方框图。

图8是图7所示的视频流无缝译码装置的运作流程图。

图9是表示在图7所示的视频流无缝译码装置中观察到的各种信号的处理时序的时序图。

图10是本发明第3实施形态的视频流无缝译码装置的结构方框图。

图11是图10所示的视频流无缝译码装置的运作流程图。

图12是表示图10所示的视频流无缝译码装置的中观察到的各种信号的处理时序的时序图。

图13是图10所示的视频流无缝译码装置的变形例的运作流程图。

图14是表示在图10所示的视频流无缝译码装置的变形例中观察到的各种信号的处理时序的时序图。

图15是表示在图10所示的视频流无缝译码装置的变形例中观察到的各种信号的处理时序的时序图。

图16是表示在图10所示的视频流无缝译码装置的变形例中观察到的各种信号的处理时序的时序图。

图17是本发明第4实施形态的视频流无缝译码装置的结构方框图。

图18是图17所示的视频流无缝译码装置的运作流程图。

图19是表示在图17所示的视频流无缝译码装置中观察到的各种信号的处理时序的时序图。

图20是本发明第5实施形态的视频流无缝译码装置的结构方框图。

图21是图20所示的视频流无缝译码装置的运作流程图。

图22是表示在图20所示的视频流无缝译码装置中观察到的各种信号的处理时序的时序图。

图20是本发明第5实施形态的视频流无缝译码装置的结构方框图。

图21是图20所示的视频流无缝译码装置的运作流程图。

图22是表示在图20所示的视频流无缝译码装置中观察到的各种信号的处理时序的时序图。

图23是本发明第6实施形态的视频流无缝译码装置的结构方框图。

图24是图23所示的视频流无缝译码装置的运作流程图。

图25是表示在图23所示的视频流无缝译码装置中观察到的各种信号的处理时序的时序图。

图26与图25相同，是表示在图23所示的视频流无缝译码装置中观察到的各种信号的处理时序的时序图。

图27是表示利用已有的视频流无缝译码装置进行视频流译码处理时观察到的各种信号的处理时序的时序图。

图28与图27相同，是表示利用已有的视频流无缝译码装置进行视频流译码处理时观察到的各种信号的处理时序的时序图。

本发明的最佳实施方式

为了对本发明详细加以说明，下面根据附图对其说明。

第1实施形态

首先参照图1、图2、图3及图4对本发明第1实施形态的视频流无缝译码装置加以说明。如图1的方框图所示，本例中的视频流译码装置(下面简称“视频译码装置VDA1”)大致由将作为输入的MPEG数据视频流STU译码并生成视频信号BSTV的视频译码部Ddv、视频编码器EV、译码开始信号生成器11及视频译码控制部CDV1构成。

视频译码部Ddv连接于外部的数字视频信号源(未图示出)，得到视频流STV的输入。关于视频流STV的具体结构下面将参考图4进行详细说明。而视频译码部Ddv对输入的视频流STV实施各种数字处理，进行译码，生成数字视频信号Bstv。

视频编码器EV为了在监控器上显示图象，将对每一种显示方式决定的垂直同步信号Vs及奇偶信号Vp输出到视频译码器控制部CDV1。又，视频编码器EV连接于视频编码器Ddv，接受数字视频信号Bstv的输入，利用由垂直同步信号Vs与奇偶信号决定的时序将数字视频信号Bstv编码，以输出对显示方式适合的视频信号Sv。该视频信号Sv分别利用对显示方式适合的显示装置显示图象。

译码开始信号生成器11依据从视频编码器EV输入的垂直同步信号Vs，生成以对输入的视频流STV的图象结构适合的时序译码用的译码开始信号Vsd。在这种意义上，可以把垂直同步信号Vs看作第1垂直同步信号，把译码开始信号Vsd看成第2垂直同步信号。

视频译码控制部CDV1还连接于视频译码部Ddv，接收在视频流STV的译码处理时提取的首部信息Ih和依据首部信息Ih生成的各种数据中的帧速率码(frame_ratecode，在图1中记为“Frc”)的输入。然后视频译码控制部CDV1依据视频编码器EV输入的垂直同步信号Vs及奇偶信号Vp和视频译码部Ddv输入的首部信息Ih及帧速率码，控制整个视频译码部Ddv的动作，以根据视频流STv的内容对其正确译码。

视频译码部Ddv包含位流FIF01、流解析器2、视频译码器3、首部信息存储器4、写入帧存储器选择器5(在图1中记为“写入FM选择器5”)、帧存储器组6以及显示帧存储器选择器7(在图1中记为“显示FM选择器7”)。位流FIF01暂时存储从外部的数字视频信号源输入的视频流STv。

流解析器2解析从位流FIF01输入的视频信号流STv中的首部信息，提取首部信息Ih，同时提取MPEG的压缩图象数据Mb。

视频译码器3将从流解析器2输入的压缩图象数据Mb加以译码，生成译码图象数据DMb，输出到写入帧存储器选择器5。另一方面，首部信息存储器4存储从流解析器2输入的首部信息Ih。而首部信息存储器4根据写入帧存储器选择器5及显示帧存储器选择器7来的要求，把存储的首部信息Ih中图象编码类型PCT(也就是表示图象是P、I及B的哪一个的参数)分别输出。而且首部信息存储器4根据图象译码控制器CDV1来的要求输出帧速率码。

写入帧存储器选择器5根据图象编码类型PCT生成表示是否把从视频译码器3输出的译码图象数据DMb的画面数据写入帧存储器FM1～FM3中的某一个的写入帧存储器指示信号Wf，输出到帧存储器组6。帧存储器组6由3个帧存储器6a、6b、6c构成这3个帧存储器组分别为第1帧存储器FM1、第2帧存储器FM2以及第3帧存储器FM3。帧存储器组6接收帧存储器识别信号Wf，在指定的帧存储器FMn(n为1、2或3中的某一个)以画面为单位(下称“画面数据”)写入从视频译码器3输出的译码图象数DMb。

显示帧存储器选择器7根据画面编码类型PCT生成表示分别对应于写入的画面数据(译码图象数据DMb)的帧存储器FMn的读出帧存储器指示信号Rf，输出到帧存储器组6。帧存储器组6从帧存储器指示信号Rf所表示的帧存储器FMn以规定的顺序读出译码图象数据DMb的画面数据，将数字视频信号Bstv输出到视频编码器EV。

视频编码控制部CDV1包含定序器(sequencer)10、译码时序屏蔽器(mask)12、第1 I/P切换器13及第2 I/P切换器14。

译码时序屏蔽器12连接于视频编码器EV、定序器10及译码开始信号发生器11，分别接收奇偶信号Vp、译码开始信号Vsd及I/P识别信号Sa的输入。I/P识别信号Sa是依据从视频译码控制部CDV1从视频译码部Ddv的首部信息提供的帧速率码，根据当前输入的视频流STv是隔行扫描流IS或是逐行扫描流PS，相应于切换决定是否要在画面单元进行译码的参数state与参数pimode的状态迁移信号IP1及IP2进行切换的二值信号。

译码时序屏蔽器12依据I/P识别信号Sa用奇偶性信号Vp屏蔽译码开始信号Vsd，输出第1译码开始信号Vm。定序器10生成依据第1译码开始信号Vm生成对第1 I/P切换器13进行控制的控制信号Sc3和对第2 I/P切换器14进行控制的控制信号Sc1。第1 I/P切换器13利用控制信号Sc3，依据帧速率码生成第1状态迁移信号IP1。

第2 I/P切换器14利用控制信号Sc1，生成第2状态迁移信号IP2。而定序器10依据第1状态迁移信号IP1及第2状态迁移信IP2判断在用第1译码开始信号Vm规定的时刻进行译码好不好，根据需要对第1译码开始信号Vm进行修正，生成第2译码开始信号Vmc。在这一意义上，可以说第2译码开始信号是规定实际译码开始的译码时序信号。还有，在下面，如参照图2的流程图及图3的时序图进行的说明所述，在本实施形态中，第2译码开始信号Vmc与第1译码开始信号Vm相同。

下面参照图4对视频流STv的结构加以说明。通常视频流STv如图4(a)所示，由序列层、GOP层、画面层PL、片层SL构成。序列层指定画面的格式，GOP层将画面层PL以下分组。画面层PL附加于每一显示画面，在片层SL的下方存在实际编码数据。还有，序列层在该图所示的例子中由序列首部、GOP首部以及图像首部构成。

如上所述，根据图像编码方法，电视画面有I画面、P画面、及B画面3类。在本说明书中，表示这3种画面的I、P和B上附有数字构成的接尾词，以分别识别包含于流中的画面。

如图4(c)所示，图像数据按照MPEG的规定以I0、P3、B1、B2、P6、B4、P9、B7、B8、…的顺序排列的视频流STv(图像数据Mb)被输入视频译码装置VDA1时，这些图像数据变换为在视频译码装置VDA1内重新排列为能够以I0、B1、B2、P3、B4、B5、P6、B7、B8、P9…的显示顺序显示的视频信号Sv(数字视频信号Bstv)输出。

又，如图4(b)所示，像隔行扫描流IS(30帧/秒)、逐行扫描流(60帧/秒)以及电影素材的隔行扫描流IS(24帧/秒)那样帧速率各不相同的流根据各流的序列首部层中记载的帧速率码参数的值(例如0010、0100、0111)进行识别。

为了对隔行扫描流IS进行译码，对每一顶场及底场(top/bottom_field)进行隔行扫描，而每一画面从帧存储器FMn输出的场是顶部在前或是底场在前的指定信息包含于其画面层PL。

还有，在上述图3所示的例子中，示出了在图像显示期间T0～T3将顶场(topfield)先显示的情况的例子。在这种情况下，作为内部变数，有参数top_field_first，在该参数top_field_first=1时把顶场(top_field)先输出。而在该参数top_fieldfirst=0时，把底场(bottom_field)先显示。

图像显示期间T8～T11，由于以帧单元输出，在这种情况下，序列层SL的参数progressive_sequence的值为1。这些参数所代表的流中的首部信息Ih存储于首部信息存储器4。

下面参照图2所示的流程图对图1所示的视频译码装置VDA1(主要是视频译码控制部)的运作加以说明。

视频译码装置VDA1一接通电源，译码开始信号生成器11就根据从视频编码器EV输入的垂直同步信号Vs开始生成译码开始信号Vsd的处理。

在步骤S1，视频译码控制部CDV1对是否正在从译码开始信号生成器11输出译码开始信号Vsd进行监视。而只是在作为第2垂直同步信号的译码开始信号Vsd正在输出的情况下判定为“是”，处理进入下一个步骤S3。如上所述，译码开始信号Vsd是决定对本发明中的流进行译码的基本时序的第2垂直同步信号。因此利用本步骤构成监视译码开始信号Vsd正在生成的情况的译码开始信号Vsd监视例行程序#100。

在步骤S3，判定表示视频流STv是处于从隔行扫描流IS切换到逐行扫描流PS或反向切换的迁移状态的参数state的值是否为8，也就是视频流STv是否正在从隔行扫描流IS迁移到逐行扫描流PS。而在视频流STv不是从隔行扫描流IS迁移到逐行扫描流PS的情况下，判定为“否”，处理进入下一个步骤S5。而在state的值为8的情况下，也就是视频流STv正在迁移的情况下，进入步骤S19。

在步骤S19,state复位为0后，处理回到步骤S1，进行休眠处理。又利用步骤S3及步骤S19构成第2 I/P切换例行程序#200。

在步骤S5，判断表示视频流STv是隔行扫描流IS还是逐行扫描流PS的标记pimode的值是否为P。而在pimode=I的情况下，也就是当前的视频流STv为隔行扫描流IS的情况下，判定为“否”，处理进入下一个步骤S7。

在步骤S7，判定表示从帧存储器FMn首先输出顶场还是底场的参数parity_mask的值是否与从视频编码器EV输入的奇偶信号Vp(显示奇偶性)的值相同。在不相同的情况下，判定为“否”，处理进入下一个步骤S9。

相同的情况下，则判定为“是”，返回步骤S1，进行休眠处理。还有，parity_mask是译码时序屏蔽器12依据奇偶性信号Vp(显示奇偶性)对从译码开始信号生成器11输入的译码开始信号Vsd进行屏蔽处理用的参数。

而在步骤S5，在“是”，也就是当前的视频流STv(图像数据Mb)是逐行扫描流PS的情况下，跳过步骤S7，进入步骤S9。这样，利用步骤S5和步骤S7，构成对译码开始信号Vsd进行屏蔽的屏蔽控制例行程序#300。

在步骤S9，表示视频流STv的迁移状态的参数state的值并不是0，也就是处于迁移状态时，判定为“否”，处理进入步骤S13。另一方面，在state的值为0，也就是并非迁移状态的情况下，判断为“是”，进入下一个步骤S11。

在步骤S11，判断表示视频流STv的帧速率的帧速率码的值是否小于7。即，在视频流STv不是逐行扫描流PS时，判定为“是”，处理进入下一个步骤S13。而在帧速率码的值大于7的情况下，判定为“否”，处理进入步骤S21。

在步骤S21，判断参数pimode的值是否为P。在判定为“是”的情况下，也就是判定为当前的视频流STv是逐行扫描流PS的情况下，处理进入步骤S13。而在判定为“否”的情况下，进入步骤S23。

在步骤S23，把参数pimode设定为P。于是处理进入下一个步骤S25。

在步骤S25，把参数state设定为8。于是处理进入下一个步骤S13。这样利用步骤S9、S11、S21、S23及S25构成第1 I/P切换例行程序#600。

在步骤S13，写入帧存储器选择器5及显示帧存储器选择器7执行根据画面编码类型PCT决定图像数据的写入及读出的帧存储器组6的各帧存储器的设定输出图像例行程序。然后，处理进入下一个步骤S15。

在步骤S15，执行SL译码例行程序。也就是将包含于1个图像的片层SL译码。然后，处理进入下一个步骤S17。

在步骤S17，执行PL译码例行程序。也就是将接在步骤S15译码的片层SL之后的画面的画面层PL译码。然后结束处理。

还有，如上所述在步骤S15及步骤S17中，在相同的图像显示期间内先对先行画面的片层SL进行译码，然后对后续的画面的画面层PL进行译码，这是为了赶快对需要显示的片层SL进行视频译码，在后面的显示时刻将视像无缝地加以显示。

总之，片层SL的译码需要的信息在前面进行译码时存储于首部信息存储器4，因此能够对片层SL迅速进行译码处理。特别是对于一边译码一边同时显示的B画面的译码非常有效。关于这一点，将在下面参照图3进行说明。

下面参照图3所示的时序图对视频流STv从隔行扫描流IS切换为逐行扫描流PS的情况下的视频译码装置VDA1的译码操作进一步作详细说明。本例中从T0期间到T4期间，P画面P9的片层SL和B画面B7的画面层PL(期间T0)、B画面B7的片层SL和B画面B8的画面层PL(期间T2)，以及B画面B8的片层SL(期间T4)构成的、作为隔行扫描层IS的图像数据Mb输入视频译码器3。

而在期间T4～T11，I画面I0的画面层PL(期间T4)、I画面I0的片层SL与P画面P3的画面层PL(期间6)、P画面P3的片层SL与B画面B1的画面层PL(期间T8)、B画面B1的片层SL与B画面B2的画面层PL(期间T9)、B画面B2的片层SL与P画面P6的画面层PL(期间T10)，以及P画面P6的片层SL与后续的画面的画面层PL(期间T11)构成的作为逐行扫描流PS的图像数据DMb输入视频译码器3。

还有，该图所示的Vsd、IP2、Vm及IP1的值分别对应于上述译码开始信号Vsd监视例行程序#100、第2 I/P切换例行程序#200、屏蔽控制例行程序#300以及第1 I/P切换例行程序#600的处理。

在视频译码装置VDA1中，依据从视频编码器EV输入的垂直同步信号Vs，响应译码开始信号生成器11生成的译码开始信号Vsd，执行图3中译码开始信号Vsd下面的栏中所示的译码处理。state变数的值通常为0，从隔行扫描方式切换为逐行扫描方式时为8。由于在图像显示期间T0～T4是通常的隔行扫描流IS，因而state=0。pimode变量在隔行扫描流IS时为I，而在逐行扫描流PS时为P。

Pimode=P时，由于是逐行扫描流PS，在垂直同步信号Vs的每一周期(脉冲)起动译码处理，而在隔行扫描流IS时则只要在垂直同步信号Vs的每两个周期一次起动译码处理即可。因此，对一种场奇偶性进行屏蔽处理。图3的隔行扫描流IS因为top_field_first=1，所以对顶场进行屏蔽(parity_mask=1)。

从图像显示期间T6起开始对逐行扫描流PS的I画面I0的片层SL进行译码。这时帧速率码=7。因此，在期间T6中，Pimode的值从I变成P，同时state的值从0变为8。

还有，在步骤S13的输出图像设定例行程序中，对3个帧存储器FM1、FM2及FM3指定写入/读出帧存储器FMn。实际上依据画面编码类型PCT对写入帧存储器选择器5及显示帧存储器选择器7进行控制。

在步骤S15的SL译码例行程序中，利用控制视频译器3的方法对片层SL以下的实际视频数据(图4(a))进行译码。

在步骤S17的PL译码例行程序中，利用流解析器2对序列层、GOP层、画面层的首部信息进行译码，把所得到的首部信息Ih存储于首部信息存储器4。

又，在本实施形态中，响应译码开始信号Vms(Vm、Vsd)，首先执行画面的片层SL的译码，然后对后续画面的画面层PL进行译码。这是为了能够以规定的显示时序对片层SL进行显示，而尽快预先对该片层SL进行视频译码。也就是说，包含于画面层PL的序列首部、GOP首部以及图像首部这类片层SL译码中所需的信息事先存储于首部信息存储器4，因此能够尽快进行译码处理。

下面就流解析器2、视频译码器3及图像数据Mb、译码图像数据DM6与帧存储器组6的关系对上述处理加以说明。

在图像显示期间T0中，在帧存储器FM2写入P画面P6的译码数据，在帧存储器FM3写入画面B5的译码数据。

定序器10依据前一图像显示期间对图像进行译码时得到的P画面P9的首部信息Ih，决定是否进行流解析。也就是相当于图2的#100～#600的处理。然后，在到达输出图像设定例行程序S13时，设定译码后存储的帧存储器FM和显示用的帧存储器FMn。步骤S15及S17的处理意味着利用定序器使视频译码部Ddv的流解析起动。

流解析器2对从位流FIFO1输入的视频流STv中的首部信息Ih进行解析及提取，同时提取MPEG的压缩图像数据Mb。也就是流解析器2在检测出图像数据中的P画面P9的片层SL时，将MPEG的压缩图像数据传送到视频译码器3。然后视频译码器3对P画面P9进行译码。P画面P9的进行过译码的数据依序写入帧存储器FM1。而且同时从帧存储器FM2读出P画面P6的译码数据，依照显示奇偶性(奇偶性信号Vp)开始进行对顶场的显示。

又，在流解析器2检测出画面层PL的首部信息时，进行译码后提取首部信息Ih，存储于首部信息存储器4。在期间T1，开始于期间T0的P画面P6的顶场的显示结束之后，依照显示奇偶性开始进行P画面P6的底场的显示。在期间T1，图像数据的译码处理没有进行，也就是进行上述休眠处理。

在期间T2，与期间T0一样，由流解析器2检测出B画面B7的片层SL，视频译码器3接着对片层的MPEG数据进行译码，画面B7的译码过的数据依序写入帧存储器FM3，同时读出，根据显示奇偶性开始对顶场进行显示。

而且，流解析器2对后续的B画面B7的画面层PL的首部信息进行译码后提取首部信息Ih，存储于首部信息存储器4。

在期间T3，期间T2开始的B画面B7的顶场的显示结束之后，依据显示奇偶性开始进行B画面B7的底场的显示。在期间T3，不进行图像数据的译码处理，也就是进行上述休眠处理。

在期间T4，与期间T2一样，由流解析器2检测出B画面B8的片层SL，视频译码器3接着对片层的MPEG数据进行译码，画面B8的译码过的数据依序写入帧存储器FM3，同时读出，根据显示奇偶性开始对顶场进行显示。

而且，流解析器2对后续的逐行扫描流PS的I画面I0的画面层PL的首部信息进行译码后提取首部信息Ih，存储于首部信息存储器4。

在期间T5，期间T4开始的B画面B8的顶场的显示结束之后，依据显示奇偶性开始进行B画面B8的底场的显示。在期间T5，不进行图像数据的译码处理，也就是进行上述休眠处理。

在期间T6，与期间T4一样，由流解析器2检测出I画面I0的片层SL，视频译码器3接着对片层的MPEG数据进行译码，从而将I画面I0译码。I画面I0的译码过的数据依序写入帧存储器FM2。同时从帧存储器FM1读出P画面P9的译码数据，根据显示奇偶性开始对顶场进行显示。

而且，流解析器2对后续的逐行扫描流PS的P画面P3的画面层PL的首部信息进行译码后提取首部信息Ih，存储于首部信息存储器4。

在期间T7，期间T6开始的P画面P9的顶场的显示结束之后，依据显示奇偶性开始进行P画面P9的底场的显示。在期间T7，不进行图像数据的译码处理，也就是进行上述休眠处理。而且上述期间T1、T3及T5的休眠处理因为视频流STv是隔行扫描流IS，所以如上所述每两个场进行一次。这样的休眠处理在逐行扫描流PS进行译码处理时本来是不要的。

但是，在从视频流STv从隔行扫描流IS变成逐行扫描流PS的那个交替时期，如果原封不动地对逐行扫描流PS进行译码，则隔行扫描流IS的最后的画面不能够显示，因此利用第2 I/P切换器14进行休眠处理。

在期间T8，与期间T4一样，由流解析器2检测出逐行扫描流PS的P画面P3的片层SL，视频译码器3接着对片层的MPEG数据进行译码，从而将P画面P3译码。P画面P3的译码过的数据依序写入帧存储器FM1。而且同时从帧存储器FM2读出I画面I0的译码数据，开始进行逐行扫描显示。

而且，流解析器2对后续的B画面B1的画面层PL的首部信息进行译码后提取首部信息Ih，存储于首部信息存储器4。

在期间T9，与期间T8一样，由流解析器2检测出逐行扫描流PS的B画面B1的片层SL，视频译码器3接着对片层的MPEG数据进行译码，从而将B画面B1译码。B画面B1的译码过的数据依序写入帧存储器FM3。而且同时从帧存储器FM3读出B画面B1的译码数据，开始进行逐行扫描显示。

而且，流解析器2对后续的B画面B2的画面层PL的首部信息进行译码后提取首部信息Ih，存储于首部信息存储器4。

在期间T10，与期间T9一样，由流解析器2检测出逐行扫描流PS的B画面B2的片层SL，视频译码器3接着对片层的MPEG数据进行译码，也就是将B画面B2译码。B画面B2的译码过的数据依序写入帧存储器FM3。而且同时从帧存储器FM3读出B画面B2的译码数据，开始进行逐行扫描显示。

而且，流解析器2对后续的P画面P6的画面层PL的首部信息进行译码后提取首部信息Ih，存储于首部信息存储器4。

在期间T11，与期间T10一样，由流解析器2检测出逐行扫描流PS的P画面P6的片层SL，视频译码器3接着对片层的MPEG数据，也就是对P画面P6进行译码。P画面P6的译码过的数据依序写入帧存储器FM2。而且同时从帧存储器FM1读出P画面P3的译码数据，开始进行逐行扫描显示。

而且，流解析器2对后续的画面(未图示)的画面层PL的首部信息进行译码后提取首部信息Ih，存储于首部信息存储器4。

如上所述，利用第1 I/P切换例行程序#600的处理，在图像显示期间T6，帧速率码的值从4变成7，state的值从从0变成8，而pimode的值从I变成P。但是在图像显示期间T7，利用第2 I/P切换器14，将state设定为state=0，利用向休眠转移，禁止P画面P3的处理。

借助于此，使在时间上与I画面I0重复的P画面P9的底场部分的显示成为可能。其结果是，译码时刻只移动1Vs。借助于此，能够实现从隔行扫描流IS(top_field_first=1)到逐行扫描流PS的没有掉帧的无缝再现。

在本发明中，如图像显示期间T10的典型的处理所示，不是从垂直同步信号Vs的1个周期前开始译码，而是从垂直同步信号Vs的半个周期左右之前开始进行译码，因此译码是在显示几乎一半结束，帧存储器FM有空的时刻进行的，所以能够减轻译码引起的帧存储器FM的盖写控制的负载。

下面参照图5和图6对本实施形态的变形例进行说明。本变形例的视频译码装置VDA1的结构保持图1所示的结构不变，但是视频译码控制部CDV1的控制动作不同。

如图5的流程图所示，在本变形例中图2所示的流程图中的第2 I/P切换例行程序#200以及第1 I/P切换例行程序#600分别改变，成为第2 I/P切换例行程序#210、屏蔽控制例行程序#310以及第1 I/P切换例行程序#610。

第2 I/P切换例行程序#210由新的步骤S28及步骤S30构成。步骤S28在state的值不是2的情况下将处理移到下面的屏蔽控制例行程序#300。在步骤S28判定为state的值为2的情况下，在步骤S30将state的值设定为0之后将处理移到屏蔽控制例行程序#300。

第1 I/P切换例行程序#610是从第1 I/P切换例行程序#600删除步骤S21、S23及S25，同时在步骤S11的“是”的一侧设置新的步骤S32、S34及S36得到的结构。在步骤S32，在pimode为P的情况下，在步骤S34将pimode设定为I之后在步骤S36将state设定为2。另一方面，在步骤S32，在pimode不是P的情况下将处理移到输出图像设定例行程序S13。

作为上述处理的结果，本例的译码处理如图6的时序图所示。

也就是说，在图像显示期间T4，存储对图像显示期间T3的I画面I0的画面层PL的首部层进行解析的结果的首部信息存储器4的帧速率码的值为4，所以使state的值从0变为2，使pimode的值从P变为I。

在图像显示期间T5，利用第2 I/P切换例行程序#610，使state的值从2变为0，向休眠转移，以禁止译码处理。借助于此，使得在图像显示期间T1～T6应该显示的I画面I0能够从顶场开始显示。

借助于此，能够实现从逐行扫描流PS到隔行扫描流IS(top_field_first=1)的显示奇偶性没有错误(亦即不从底场显示top_field_first=1的流)的无缝再现。

第2实施形态

下面参照图7、图8对本发明第2实施形态的视频流无缝译码装置(下面简称“视频译码装置VDA2”)加以说明。视频译码装置VDA2把图1所示的视频译码装置VDA1的视频译码控制部CDV1改变为视频译码控制部CDV2。

视频译码控制部CDV2具有在视频译码控制部CDV1新设置屏蔽修正器20的结构。屏蔽修正器20连接于视频编码器EV，接收奇偶信号Vp的输入，同时连接于视频信号译码部Ddv的首部信息存储器4，接收top_field_first(在图7中简称“Tff”)的输入。屏蔽修正器20根据输入的奇偶信号Vp和top_field_first，生成使parity_mask反转的控制信号MA，输出到译码时序屏蔽器12。

下面参照图8的流程图对视频译码装置VDA2的运作加以说明。在本实施形态中，图5所示的流程图的第2 I/P切换例行程序(routine)#210及第1 I/P切换例行程序#610变成第2 I/P切换例行程序#220及第1 I/P切换例行程序#620。又把新的屏蔽修正例行程序#400插入屏蔽控制例行程序#310及第1 I/P切换例行程序#620之间。

第2 I/P切换例行程序#220在第2 I/P切换例行程序#210的步骤S30的下面新设置步骤S40、步骤S42、步骤S44及步骤S46。

在步骤S40中，步骤S30把state的值设定为0之后，判断parity_mask的值是否与显示奇偶性(奇偶信号Vp)的值相同。在不相同的情况下，在步骤S44使parity_mask反转之后，进入步骤S42。另一方面，在相同的情况下，处理直接进入步骤S42。

在步骤S42，判断state的值是否为8，在该值为8的情况下，进入步骤46，将state的值设定为0之后，处理回到译码开始信号Vsd监视例行程序#100的步骤S1，进行休眠处理。另一方面，在不是8的情况下，处理进入屏蔽控制例行程序#310。

屏蔽修正例行程序#400由步骤S48、步骤S50及步骤S52构成。屏蔽控制例行程序#310的处理一旦结束，就在步骤S48判断帧速率码是否小于7。在不小于7的情况下，处理进入下面的第1 I/P切换例行程序#620。而在比7小的情况下则在步骤S50判断top_field_first是否与显示奇偶性(奇偶性信号Vp)相同。在不相同的情况下，处理进入第1 I/P切换例行程序#620。而在相同的情况下，则在步骤S52使paritymask反转之后处理进入译码开始信号Vcd监视例行程序#100的步骤S1，进行休眠处理。

第1 I/P切换例行程序#620由第1 I/P切换例行程序#600(图2)和第1 I/P切换例行程序#610(图5)组合构成。其结果是，

在步骤S11判定为“是”的情况下，和第1 I/P切换例行程序#620的情况一样，执行步骤S32、S34、及S36的处理。而在判定为“否”的情况下，和第1 I/P切换例行程序#610一样，执行步骤S21、S23、及S25的处理。

作为上述处理的结果，本例的译码处理如图9的时序图所示。本时序图中由于隔行扫描流IS的top_field_first的值为0，先显示底场。

因此，在从逐行扫描流PS迁移到隔行扫描流IS时，即在图像显示期间T9，利用第1 I/P切换例行程序#620把state的值从0变成2。

在图像显示期间T10，利用第2 I/P切换例行程序#220，在步骤S40判定paritymask的值与显示奇偶性(Vp)的值不相等。

其结果是，在步骤S44 parity_mask的电平反转。

还有，在屏蔽控制例行程序#310的步骤S7，判定parity_mask的值与显示奇偶性(Vp)的值相等，进入译码开始信号Vsd监视例行程序#100的步骤S11，进行休眠处理。

而在图像显示期间T11，在屏蔽修正例行程序#400的步骤S52中，使parity_mask反转(切换)，进入步骤S1，对片层进行处理。

这样一来，在2Vs期间不进行译码处理，从图像显示期间T12到T14，能够首先显示底场。其结果是，即使是视频流STv的内容变为隔行扫描流IS或逐行扫描流PS，也能够无缝地再现。

第3实施形态

下面参照图10、图11和图12对本发明第3实施形态的视频流无缝译码装置(以下简称“视频译码装置VDA3”)加以说明。视频译码装置VDA3将图7所示的视频译码装置VDA2的视频译码控制部CDV2变成视频译码控制部CDV3。

视频译码控制部CDV3具有在视频译码控制部CDV2新设起动控制器21的结构。起动控制器21连接于定序器10，与其相互交换设定vdec_mode的控制信号ST。vdec_mode是具有规定视频译码控制部CDV3的初始状态的两个值的初始状态参数。

下面参照图11所示的流程图对视频译码装置VDA3的运作加以说明。本实施形态的运作由作为已叙述的译码开始信号Vsd监视例行程序#100的变形的译码开始信号Vsd监视例行程序#110、已叙述过的第2 I/P切换例行程序#220、屏蔽控制例行程序#310、屏蔽修正例行程序#400、第1 I/P切换例行程序#620、输出图像设定例行程序S13、SL译码例行程序S15，以及PL译码例行程序S17构成。还有，在第1 I/P切换例行程序#620与输出图像设定例行程序S13之间新设起动控制例行程序#800。

译码开始信号Vsd监视例行程序#110由判断是生成译码开始信号Vsd信号，还是必须进行初始化的步骤S60与初始化步骤S62构成。

在步骤S60中，如果断定生成译码开始信号Vsd，则和译码开始信号Vsd监视例行程序#100的情况一样，处理进入第2 I/P切换例行程序#220。另一方面，在判断为必须初始化的情况下，在步骤S62把参数vdec_mode的值设定为0，status的值设定为0之后，使处理返回步骤S60，进行休眠处理。

还有，在译码开始信号Vsd监视例行程序#110中，最初的步骤不是步骤S1，而是步骤S60，因此，在本流程图中，为了进行休眠处理，各步骤使处理转移的目的处当然是步骤S60。

起动控制例行控制程序#800由步骤S64、S66、S67、S68、S70及S72构成。在第1 I/P切换例行程序#620的处理之后，在步骤S64判断vdec_mode是否为0。在判断为“否”的情况下，处理进入输出图像设定例行程序S13。而在判定为“是”的情况下，在下一步骤S66，vdec_mode设定为1，处理进入步骤S67。

在步骤S67，与所述的步骤S13的情况一样，进行输出图像设定。然后，在步骤S68，与PL译码例行程序S17中的情况一样对画面层PL进行译码后，处理进入步骤S70。

在步骤S70，与SL译码例行程序S15一样对片层SL进行译码后，处理进入步骤S72。

在步骤S72，还对画面层PL进行译码，而后处理回到译码开始信号Vsd监视例行程序#110的步骤S60，进行休眠处理。

作为上述处理的结果，本例中的译码处理如图12的时序图所示。

本时序图中，图像显示期间T3～T4进行初始化。借助于初始化，译码开始信号Vsd监视例行程序#110利用步骤S62在vdec_mode设定0，同时将state的值设定为0。

在图像显示期间T5，由起动控制器21在步骤S66将vdec_mode的值从0变为1。

借助于此，使频道切换等操作引起的初始化后的译码开始的起动成为可能。

下面参照图13、图14、图15及图16对本实施形态的变形例加以说明。本变形例中的视频译码装置VDA3的结构保持图10所示的结构，但是视频译码控制部CDV3的控制操作不同。

本变形例的流程图如图13所示，在图11所示的流程图中的译码开始信号Vsd监视例行程序#110追加新的步骤S74，变成译码开始信号Vsd监视例行程序#120。

即，在步骤S62把vdec_mode设定为0的同时，把state的值设定为0后，在步骤S74再把帧速率码的值设定为7，再使处理回到步骤S60进行休眠处理。

这意味着在图14所示的时序图中帧速率码为4的情况下，在隔行扫描流IS起动正常显示。

但是，在图15中，如果在初始化中把帧速率码设定为4，则在输入的流是逐行扫描流的情况下，图像显示期间T4～T5显示的I画面I0显示2次。

因此，将帧速率码设定为7，如图16(a)及图16(b)所示，不管是哪一种流的情况下起动都能够正常显示。

这样，在图15所示的例子中，在T4期间发生休眠操作的事态可以利用在图16(b)所示的例子中把帧速率码设定为7的方法加以防止。

作为上述处理的结果，本例中的译码处理如图14、图15、图16(a)及图16(b)的时序图所示。

第4实施形态

下面参照图17、图18及图19对本发明第4实施形态的视频流无缝译码装置(下面简称“视频译码装置VDA4”)加以说明。视频译码装置VDA4是对上述第3实施形态的视频译码装置VDA3的视频译码控制部CDV3再追加定序器10和更换设定修正比率的控制信号FL的帧速率修正器22作为视频译码控制部CDV4的。

下面对利用视频译码装置VDA4的、从24帧/SP的隔行扫描流IS向逐行扫描流PS迁移时的俗称3∶2下拉处理进行说明。

如图18所示，视频译码装置VDA4的流程图，图11所示的流程图的屏蔽修正例行程序#400经过修正，变成屏蔽修正例行程序#410。而且在屏蔽修正例行程序#410与第1 I/P切换例行程序#620之间新插入帧速率修正例行程序#500。又，译码开始信号Vsd监视例行程序#110被更换为图13所示的译码开始信号Vs监视例行程序#120。

屏幕修正例行程序#410具有在屏蔽修正例行程序#400中在步骤S48与步骤S50之间插入新的步骤S80的结构。总之，在步骤S48中判断为帧速率码小于7时，处理进入判断插入的Progressive_sequence的值是否为1的步骤S80。

在步骤S80，判断为“是”的情况下，处理进入下一个帧速率修正例行程序#500。这是表示帧图像是没有顶场、底场的区别的逐行扫描图像，因此没有必要由步骤50进行奇偶性核对。而在判断为“否”的情况下，处理进入步骤S52。此后的处理如同关于屏蔽修正程行程序#400所述的。

帧速率修正例行程序#500由步骤S82、S86、S88及S90构成。

在步骤S82中，判断帧速率码的值是否为2，在判断为“否”的情况下，处理进入第1 I/P切换例行程序#620。而在判断为“是”的情况下，则处理经过帧速率修正例行程序S86，进入判断修正的比率是否3∶2的步骤S88。

在步骤S88中判断为“否”的情况下，处理进入第1 I/P切换例行程序#620。而在判断为“是”的情况下，在步骤S90使Parity_mask电平反转后处理进入译码开始信号Vsd监视例行程序#120的步骤S60，进入休眠。

作为上述处理的结果，在本例中的译码处理如图19的时序图所示。

借助于此，对24P的隔行扫描流IS进行3∶2下拉处理后，对于后续于流的逐行扫描流也有可能无缝地再现。又，利用屏蔽修正例行程序#410与逐行扫描修正例行程序#500，可以如图像显示期间T0～T4所示，再现24P的隔行扫描流IS。

第5实施形态

下面参照图20、图21及图22对本发明第5实施形态的视频流无缝译码装置(下面简称“视频译码装置VDA5”)加以说明。视频译码装置VDA5是在上述第4实施形态的视频译码装置VDA4的视频译码控制部CDV4中再增加交换对序列的结束进行检测的控制信号SE的序列控制器23作为视频译码控制部CDV5的。

如图21所示，视频译码装置VDA5中的流程图在图11所示的第1 I/P切换例行程序#620与起动控制例行程序#800之间新插入序列结束检测例行程序#700。

序列结束检测例行程序#700由判断是否检测出序列结束的步骤S90、图像输出设定例行程序S92、对画面层PL进行译码的例行程序S94、对片层SL进行译码的例行程序S96，以及对画面层PL进行译码的例行程序S98构成。

在本实施形态中，在一旦检测出序列结束就使处理进入下一步骤这一点上具有其他实施形态没有的特征。

在步骤S90，如果没有检测出序列结束，就判定为“否”，处理就进入起动控制例行程序#800。另一方面，在判定为“是”的情况下，在步骤S92设定输出图像后，在步骤S94将画面层PL译码，再在步骤S96将片层SL译码，又在步骤S98将画面层PL译码。其后，处理进入译码开始信号Vsd监视例行程序#120的步骤S60，实施休眠处理。

作为上述处理的结果，在本例中的译码处理如图22的时序图所示。该时序图表示具有图4(d)所示结构的视频流STV输入时的运作。这主要是可以用于静止图像业务和I画面的特殊再现。

第6实施形态

下面参照图23、图24、图25及图26对本发明第6实施形态的视频流译码装置(下面简称“视频译码装置VDA6”)加以说明。视频译码装置VDA6是在上述第5实施形态的视频译码装置VDA5的视频译码控制部CDA5中增加定序器10和交换检测下溢的控制信号UF的下溢控制器24作为视频译码控制部CDV6的。

如图24所示，视频译码装置VDA6的流程图是相对于图21所示的流程图在第1I/P切换例行程序#620与序列结束检测例行程序#700之间新插入下溢控制例行程序#900。

下溢控制例行程序#900由判断检测出下溢与否的步骤S910、输出图像设定例行程序S920、转移到检测出I画面或D图像的例行程序S930、对画面层PL进行译码的例行程序S940、对片层SL进行译码的例行程序S950，以及对画面层PL进行译码的例行程序S960构成。

在步骤S910，如果没有检测出下溢，就判断为“否”，处理进入序列结束检测例行程序#700。而在判定为“是”的情况下，在步骤S920设定输出图像。

然后，在步骤S930持续对输入流进行检索，直到发现I画面或P画面。一旦发现I画面或P画面中的某一个，处理就进入步骤S940。

在步骤S940，在画面层PL译码后处理进入步骤S950。

在步骤S950，对片层SL进入译码。

然后，在步骤S960，对画面层PL进行译码。其后，处理进入Vsd生成/初始化例行程序#120的步骤S60，执行休眠处理。

作为上述处理的结果，在本例中的处理如图25、图26的时序图所示。

图25及图26表示从电影素材的24P的隔行扫描流IS切换为30P的隔行扫描流IS时，流的到达迟缓，发生下溢的情况的例子。图25中表示30P的隔行扫描层IS的到达延缓的情况，图26表示24P的隔行扫描流IS的最后的P画面的片层SL到达迟缓的情况。

首先对图25所示的情况加以叙述。在图像显示期间T0～T5，表示出对第4实施形态说明的24P隔行扫描流IS的3∶2下拉处理(T0～T5)。从图像显示期间T9以下，表示对第1实施形态说明的30P隔行扫描流IS的处理。

在期间T6～T7，表示出尚未检测出下一个流的状态。也就是以在期间T5开始的B画面B8的片层SL的译码，经过期间T6及T7尚未完成，当作检测出下溢。

在T7期间，由于下一显示还是24P流(P9)，在帧速率修正器进行3∶2下拉处理。

在期间T8，在下溢控制器24检测出下溢的时刻中止B8画面的译码，进行对下一I画面或P画面的搜索。又同时设定输出图像，以立即显示译码的I画面或P画面。这时，从期间T8结束到期间T9开始，I画面的首部的解析结束，进行片层SL的译码。

借助于此，即使在通常的隔行扫描流IS间的无缝再现、即从24P到30P的再现中途中断的情况下，也就是流中途中断的情况下，也能够平滑地再现。

如上所述，在本实施形态中检测出下溢的时刻，对下一个I画面或P画面进行搜索。在下溢产生于同一流的译码中的情况下，可以利用搜索下一个P画面的方法把下溢引起的图像再现中断时间抑制于最小限度。这是因为在视频流STV中P画面P比I画面排列间隔更密。

又在下一画面是I画面的情况下，也还是能够把下溢引起的图像再现中断时间抑制于最小限度。这是因为如果I画面为发生下溢后首先出现的画面数据，则没有必要特地搜索时间上排列于I画面之后的该P画面。又，即使视频流STV是例如包含隔行扫描流IS与逐行扫描流PS的混合编排流，或者即使是隔行扫描流IS也是帧速率不同的流构成的混合编排流，在该不同的流之间进行切换前片刻发生下溢的情况下，也能够利用搜索I画面的方法进行流的切换而没有任何问题。

工业应用性

如上所述，本发明能够有效地使用于数字广播和DVD等媒体上记录的数字式内容的译码装置上。

Claims (22)

1．一种译码装置，对具有不同帧速率的多个流混合的视频流以规定的时序译码后进行无缝再现，其特征在于，具备

在对所述多个流进行译码之前提取各帧速率的帧速率提取手段，以及

根据所述提取的帧速率决定对所述视频流的片层进行译码的时序的译码控制手段，

以所述决定的时序对所述视频流进行译码，即使是在该视频流中向具有不同的帧速率的流切换时，也能够无缝再现。

2．根据权利要求1所述的译码装置，其特征在于，所述帧速率提取手段包含根据所述译码时序对所述视频流进行解析，将其分离为首部信息与压缩数据的流解析手段。

3．根据权利要求2所述的译码装置，其特征在于，所述译码控制手段根据所述首部信息，相应于所述视频流中所包含的所述多个流的各流速率使由所述视频流的显示形式决定的垂直同步信号延迟规定的时间，从而生成规定所述译码时序的译码时序信号。

4．根据权利要求3所述的译码装置，其特征在于，所述规定的时间比所述垂直同步信号的一个周期短。

5．根据权利要求4所述的译码装置，其特征在于，所述规定的时间是所述垂直同步信号的半个周期。

6．根据权利要求1所述的译码装置，其特征在于，所述译码手段在对压缩数据的片层进行译码之后接着对后续画面的画面层进行译码。

7．根据权利要求3所述的译码装置，其特征在于，所述译码控制手段包含

对视频流的隔行扫描流交互屏蔽所述译码时序信号，

对视频流的逐行扫描流将所述译码时序信号原封不动输出的译码时序修正手段。

8．根据权利要求7所述的译码装置，其特征在于，所述译码控制手段在所述视频流从隔行扫描流切换为逐行扫描流的迁移中将所述译码时序信号加以屏蔽，使隔行扫描流的显示结束。

9．根据权利要求7所述的译码装置，其特征在于，所述译码控制手段在所述视频流从隔行扫描流切换为逐行扫描流的迁移中不将所述译码时序信号加以屏蔽，接着该逐行扫描流的最后画面，对该隔行扫描流的第1画面进行译码。

10．根据权利要求7所述的译码装置，其特征在于，所述译码控制手段在译码时所述视频流不处于迁移状态的情况下，把表示该视频流的迁移状态的多值的迁移状态参数设定为第1规定值，

在所述视频流从隔行扫描流迁移到逐行扫描流，即帧速率码从小于7的数值变成7时，把所述迁移状态参数设定为第2规定值，

在所述视频流从逐行扫描流迁移到隔行扫描流，即帧速率码从7变成小于7的数值时，把所述迁移状态参数设定为第3规定值，

在接着的译码时刻把所述迁移状态参数选定为第1规定值。

11．根据权利要求10所述的译码装置，其特征在于，所述译码控制手段在所述视频流为隔行扫描流，从顶场起依序对照视像显示奇偶性进行视像显示时，将所述译码时序信号的顶场加以屏蔽，

在从底场起依序对照视像显示奇偶性进行视像显示时，将所述译码时序信号的底场加以屏蔽。

12．根据权利要求11所述的译码装置，其特征在于，用具有2个数值的屏蔽信号parity_mask规定将所述译码时序信号顶场与底场中的哪一个加以屏蔽。

13．根据权利要求12所述的译码装置，其特征在于，所述译码控制手段在parity_mask与视像显示奇偶性不相等，所述视频流的帧速率码小于7，并且参数top_field_first等于视像显示奇偶性的情况下，使parity_mask反转，进行奇偶性修正。

14．根据权利要求7所述的译码装置，其特征在于，所述译码控制手段在译码开始时通常把规定该译码控制手段的初始状态的具有两个数值的初始状态参数设定为第1值。

15．根据权利要求14所述的译码装置，其特征在于，所述译码控制手段在所述初始状态参数为第1值的情况下按照画面层、片层、画面层的顺序对后续流的第1画面进行译码。

16．根据权利要求7所述的译码装置，其特征在于，所述译码控制手段在译码开始时，通常在设定所述视频流是逐行扫描流之后执行休眠处理。

17．根据权利要求7所述的译码装置，其特征在于，所述译码控制手段在所述视频流从24帧的隔行扫描流切换为逐行扫描流和30帧的隔行扫描流中的某一个的第1迁移发生时，以及在与第1迁移时相反的方向进行视频信号流的切换的第2迁移时，进行帧速率修正，

在3∶2下拉时，把规定所述流的奇偶性的2值的参数从一个数值设定为另一个数值，进行奇偶性修正。

18．根据权利要求15所述的译码装置，其特征在于，所述画面层包含序列首部、GOP首部及画面首部，

所述片层包含片层首部以下的位流，

以所述画面层和所述片层构成一个图像。

19．根据权利要求7所述的译码装置，其特征在于，所述译码控制手段在对所述画面层进行译码时检测出sequence_end时结束译码处理，

在检测出所述视频流的sequence_end时按照画面层、片层、画面层的顺序进行译码之后，执行休眠处理。

20．根据权利要求14所述的译码装置，其特征在于，所述译码控制手段在所述初始状态参数为第1值的情况下不进行输出图像设定。

21．根据权利要求7所述的译码装置，其特征在于，所述译码控制手段在前面的译码时刻进行的译码处理没有结束的下溢情况下，在译码时刻首先显示已经译码的I画面或P画面。

22．根据权利要求17所述的译码装置，其特征在于，所述译码控制手段在下溢时，而且下溢是在B画面发生的情况下，接着下一个I画面及P画面中的某一个的画面层及片层的译码，依序对后续的画面层进行译码之后实施休眠处理。

Images