CN102450016A - 运动图像处理装置和运动图像处理方法 - Google Patents

Abstract

本发明提供一种运动图像处理装置和运动图像处理方法，可对应时间直接模式及空间直接模式的任意一个，同时可降低临时保存的直接模式预测信息以抑制存储器总线带宽。该运动图像处理装置具备：运动信息生成部(105)，其结合锚块的运动向量及锚块的参照图像的序号，生成像素块的运动信息；静止判定部(106)，其基于锚块的运动向量及参照图像的序号，判定是否视为像素块处于静止；选择部(107)，将运动信息生成部(105)的输出及静止判定部(106)的判定结果的任意一方选择性地保存在存储器中，来作为像素块的直接模式预测信息；运动向量预测部(103)，基于在存储器(100)中保存的直接模式预测信息，使用直接模式预测像素块的运动向量。

Description

运动图像处理装置和运动图像处理方法

技术领域

本发明涉及运动图像流的处理装置，特别涉及以直接模式(direct mode)预测图像块的运动向量的运动图像处理装置和运动图像处理方法。

背景技术

在H.264/AVC等的运动图像压缩编码标准中，准备有直接模式，其根据已编码的像素块的运动向量来预测/生成像素块的运动向量。使用直接模式，可以不对编码对象的像素块的运动向量差值进行编码，能够提高运动图像的压缩效率。

在直接模式中具有时间直接模式和空间直接模式的两种模式。在时间直接模式中，在目标像素块所属的目标图像的L1方向将参照序号最小的图像设定为锚图像(anchor picture)，另外在锚图像中将与目标像素块处于相同空间位置处的像素块设定为锚块(anchor block)，锚块的参照图像(reference picture)为目标像素块的L0方向的参照图像。并且，按照目标图像与参照图像之间的时间间隔和目标图像与锚图像之间的时间间隔分别对锚块的运动向量进行比例分配，其结果成为目标像素块的L0方向及L1方向的运动向量。

另一方面，在空间直接模式中，在锚块的运动向量及其参照图像满足如下的条件时，视为目标像素块处于静止(colZeroFlag＝1)从而将其运动向量设为0。

(1)锚块的运动向量的水平/垂直方向的大小都为±1以下。

(2)锚块的参照图像的参照序号为0。

(3)在L0方向参照序号最小的图像为短时间参照图像。

另一方面，在满足上述条件时，在目标图像中，根据目标像素块(正确的是包含目标像素块的规定尺寸的宏块)的左邻接、上邻接以及右上邻接的各块的运动向量，计算目标像素块的L0方向以及L1方向的运动向量(例如，参照专利文献1)。

专利文献1：JP特开2005-244503号公报

使用时间直接模式来预测运动向量的情况下，除了目标图像的信息以外还需要按照每个目标像素块将锚块的运动向量和参照图像的序号临时保存在存储器中。另一方面，在使用空间直接模式来预测运动向量的情况下，除了目标图像的信息以外只要按照每个目标像素块将colZeroFlag临时保存在存储器中即可，存储器的使用量、带宽都大致只有三十分之一。特别在处理全高清视场角的运动图像等情况下该差异较大。

对于现有的运动图像处理装置而言，作为目标像素块的直接模式预测信息将锚块的运动向量和参照图像的序号临时保存在存储器中，从而无论是时间直接模式还是空间直接模式都可以对应，在编码装置的情况下作为直接模式预测信息仅将colZeroFlag临时保存在存储器中从而被限定在空间直接模式。在前者的情况下，不仅需要用于临时保存直接模式预测信息的大存储容量，而且在直接模式预测信息的传输中需要比较宽的存储器总线带宽，由此带来了成本增加。另一方面，在后者的方法中，虽然因为临时保存在存储器中的直接模式预测信息较少所以能够抑制数据传输速率从而实现低成本化，但是由于被限定在空间直接模式，因此有可能带来画质的劣化。还有在译码装置中无法采用后者的方法。

发明内容

鉴于上述问题，本发明的课题在于：时间直接模式以及空间直接模式都可对应，同时降低临时保存的直接模式预测信息从而抑制存储器总线带宽。

为了解决上述课题，本发明叙述了如下的机构。也就是说，作为运动图像处理装置及运动图像处理方法，其具备：运动信息生成部或对应于此的步骤，其结合与应该以直接模式预测运动向量的像素块不同时间且处于相同空间位置的锚块的运动向量及锚块的参照图像的序号，生成像素块的运动信息；静止判定部或对应于此的步骤，其基于锚块的运动向量及参照图像的序号，判定是否视为像素块处于静止；选择部或对应于此的步骤，将运动信息生成部的输出及静止判定部的判定结果的任意一方选择性地保存在存储器中，来作为像素块的直接模式预测信息；和运动向量预测部或对应于此的步骤，基于在存储器中保存的直接模式预测信息，使用直接模式预测像素块的运动向量。

据此，作为直接模式预测信息，信息量多的运动信息及信息量少的静止判定结果的任意一个被选择性地保存在存储器中。因此，在运动信息被保存的情况下能够以时间直接模式来预测运动向量，而在静止判定结果被保存的情况下限定在空间直接模式从而能够抑制存储器使用量及存储器总线带宽。

优选上述运动图像处理装置还具备数据检测部，该数据检测部在所输入的运动图像流中检测到规定的数据时，指示述选择部使其选择静止判定部的判定结果。进一步优选数据检测部在检测到规定的数据之前指示选择部使其选择运动信息生成部的输出。

由此，对于被插入了规定的数据的运动图像流判断为能被限定在空间直接模式进行处理，从而作为直接模式预测信息在存储器中保存静止判定结果，由此能够抑制存储器总线带宽。

还有，优选上述运动图像处理装置还具备数据传输带宽测量部，该数据传输带宽测量部测量存储器的数据传输带宽，在数据传输带宽小于阈值时，指示选择部使其选择运动信息生成部的输出，在数据传输带宽大于阈值时，指示选择部使其选择静止判定部的判定结果。

由此，在存储器总线带宽中有余量的期间可以对应时间直接模式及空间直接模式的任意一方，而如果存储器总线带宽不足，则切换至存储器中临时保存的直接模式预测信息较少的空间直接模式，由此能够抑制存储器总线带宽。

还优选：运动图像处理装置还具备：译码部，其对所输入的运动图像流进行译码处理；和错误检测部，在作为应该以时间直接模式预测运动向量的像素块的直接模式预测信息在存储器中保存了静止判定部的判定结果的情况下，检测为错误。然后，译码部在存在错误检测时进行错误隐藏处理。并且，译码部在有错误检测时，进行错误隐藏处理。具体而言，作为错误隐藏处理，译码部跳过包含错误检测所涉及的像素块的图像的译码而输出其他的已译码的图像、或者代以空间直接模式来对包含错误检测所涉及的像素块的图像进行译码。

据此，即便由于直接模式预测信息不足而无法以时间直接模式来预测运动向量也不会使运动图像流的译码处理停止能够持续进行。

还优选：上述运动图像处理装置还具备：编码部，其生成运动图像流；和直接模式指定部，针对选择部、运动向量预测部及编码部指定时间直接模式及空间直接模式的任意一个，在指定了空间直接模式时，选择部选择静止判定部的判定结果，在指定了空间直接模式时，编码部将规定的数据插入运动图像流中，该规定的数据表示运动图像流能够以空间直接模式进行译码。

据此，在生成运动图像流时，能够降低为了在直接模式中使用而临时保存的直接模式预测信息从而能够抑制存储器总线带宽。

发明效果

根据本发明，无论是时间直接模式还是空间直接模式都可对应，同时降低临时保存的直接模式预测信息从而抑制存储器总线带宽。

附图说明

图1是第1实施方式所涉及的运动图像处理装置的主要部分的结构图。

图2是由第1实施方式所涉及的运动图像处理装置进行的运动图像译码处理的流程图。

图3是第2实施方式所涉及的运动图像处理装置的主要部分的结构图。

图4是第3实施方式所涉及的运动图像处理装置的主要部分的结构图。

图5是第4实施方式所涉及的运动图像处理装置的主要部分的结构图。

图6是第5实施方式所涉及的运动图像处理装置的示意外观图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。此外，为了方便说明，下述的实施方式基于H.264/AVC标准，但本发明并不限定于此。

第1实施方式

图1表示第1实施方式所涉及的运动图像处理装置的主要部分的结构。具体而言，本实施方式所涉及的运动图像处理装置是对输入的运动图像流进行译码的运动图像译码装置。本实施方式所涉及的运动图像译码装置的主要部分可以集成化为LSI10。译码部101基于输入的运动图像流输出译码图像(decoded picture)预测误差、运动向量差值、及参照图像序号。运动向量差值与从运动向量预测部103输出的预测运动向量进行相加运算从而生成运动向量。运动向量被保存在运动向量存储器102中。运动向量预测部103从运动向量存储器102适当读出运动向量来生成预测运动向量。运动补偿部104基于运动向量以及从存储器100读出的运动补偿参照图像像素生成预测图像像素。预测图像像素与从译码部101输出的译码图像预测误差进行相加运算从而成为译码图像并保存在存储器100中。

运动信息生成部105接收在直接模式预测时所参照的锚块的运动向量和参照图像序号，结合这些生成目标像素块的运动信息。另一方面，静止判定部106同样接收锚块的运动向量和参照图像序号，判定目标像素块是否被视为静止。该判定条件如上述。选择部107选择性地将运动信息生成部105的输出及静止判定部106的判定结果的任意一方保存在存储器100中，来作为目标像素块的直接模式预测信息。作为静止判定部106的判定结果例如可以使用colZeroFlag。

在直接模式预测时，运动向量预测部103基于数据检测部109的输出，参照从存储器100被读出至直接模式预测信息存储器108中的直接模式预测信息来生成直接模式运动向量，作为预测运动向量。

选择部107的选择动作由数据检测部109来控制。数据检测部109在输入至运动图像译码装置中的运动图像流中检测到规定的数据时，对选择部107进行指示使其选择静止判定部106的判定结果。数据检测部109直到检测到规定的数据为止，对选择部107进行指示使其选择运动信息生成部105的输出。该规定的数据是表示能否以空间直接模式来预测运动向量的信息。规定的数据例如作为SEI(Supplemental Enhancement Information补充增强信息)包含在运动图像流中，或者包含在运动图像流中的PES(Packetized Elementary Stream打包基本流)的头数据、图像的头数据、及数据片段的头数据的任意一个当中。还有，作为规定的数据也可以使用包含在数据片段的头数据中的direct_spatial_mv_pred_flag。

图2表示由本实施方式所涉及的运动图像处理装置进行的运动图像译码处理流程。首先，判定译码模式是时间直接模式还是空间直接模式(S1)。如果是时间直接模式，则将运动信息生成部105生成的运动信息保存在存储器100中(S2)，使用时间直接模式来预测运动向量以进行运动图像译码处理(S3、S4)。另一方面，如果是空间直接模式，则将静止判定部106的判定结果保存在存储器100中(S5)，使用空间直接模式来预测运动向量以进行运动图像译码处理(S6、S4)。

以上，根据本实施方式，在所输入的运动图像流中表示该运动图像流限定在空间直接模式下能够译码的情况下，能够降低为了在直接模式中使用而临时保存的直接模式预测信息从而抑制存储器总线带宽。此外，这种运动图像流由后述的运动图像编码装置生成。

第2实施方式

图3表示第2实施方式所涉及的运动图像处理装置的主要部分的结构。本实施方式所涉及的运动图像处理装置也还是运动图像译码装置，代替图1的运动图像处理装置中的数据检测部109，而设置了数据传输带宽测量部110。数据传输带宽测量部110测量存储器100的数据传输带宽，在数据传输带宽小于阈值时，对选择部107进行指示使其选择运动信息生成部105的输出。另一方面，在数据传输带宽大于阈值时，对选择部107进行指示使其选择静止判定部106的判定结果。

以上，根据本实施方式，在存储器总线带宽中有余量的期间，通过使用时间直接模式及空间直接模式中适当的一方来预测运动向量，从而良好地保持译码图像的品质；在存储器总线带宽似乎不足时，使用临时保存的直接模式预测信息较少的空间直接模式来预测运动向量，从而能够抑制存储器总线带宽防止译码处理失败。

此外，也可以不在LSI10设置数据传输带宽测量部110，在存储器100中测量数据传输带宽。

第3实施方式

图4表示第3实施方式所涉及的运动图像处理装置的主要部分的结构。本实施方式所涉及的运动图像处理装置也还是运动图像译码装置，代替图1的运动图像处理装置中的数据检测部109而设置了错误检测部111。错误检测部111，在将静止判定部106的判定结果保存在存储器100中作为应该使用时间直接模式来预测运动向量的像素块的直接模式预测信息从而无法正确预测运动向量的情况下，检测出错误，对选择部107进行指示使其选择运动信息生成部105的输出。并且，在直至能够由时间直接模式进行译码为止的期间中，指示运动向量预测部103及译码部101，跳过含有该像素块的图像的译码，以完成译码的图像来代替该图像、或者由空间直接模式来代替进行译码等。由此，运动图像流的译码处理不会停止而能够持续地进行。

第4实施方式

图5表示第4实施方式所涉及的运动图像处理装置的主要部分的结构。具体而言，本实施方式所涉及的运动图像处理装置是对输入的运动图像信号进行编码的运动图像编码装置。本实施方式所涉及的运动图像编码装置的主要部分可以集成化为LSI20。运动检测部201对输入运动图像信号和从LSI20外部的存储器100读出的运动检测参照图像像素进行比较，输出运动向量及参照图像序号。运动向量被保存在运动向量存储器202中。运动向量预测部203，从运动向量存储器202读出目标像素块附近的像素块的运动向量，生成预测运动向量。此外，在直接模式预测时，运动向量预测部203参照从存储器100被读出至直接模式预测信息存储器204中的直接模式预测信息来生成直接模式运动向量，作为预测运动向量。运动补偿部205根据运动向量、预测运动向量及运动补偿参照图像像素生成预测图像像素。

编码部206根据作为运动向量与预测运动向量之间的差值的运动向量差值及参照图像序号，对作为输入运动图像信号与预测图像像素之间的差值的图像像素差值进行编码，进而再进行译码生成重构图像像素差值。并且最终编码部206生成运动图像流。重构图像像素差值与预测图像像素进行相加运算生成重构图像，并保存在存储器100中。在存储器100中保存的重构图像会作为运动检测参照图像及运动补偿参照图像来使用。

运动信息生成部207接收在直接模式预测时所参照的锚块的运动向量和参照图像序号，结合这些生成目标像素块的运动信息。另一方面，静止判定部208同样接收锚块的运动向量和参照图像序号，判定目标像素块是否被视为处于静止。该判定条件如上述。选择部209选择性地将运动信息生成部207的输出及静止判定部208的判定结果的任意一方保存在存储器100中，作为目标像素块的直接模式预测信息。作为静止判定部208的判定结果例如可以使用colZeroFlag。

直接模式指定部210对选择部209、运动向量预测部203及编码部206指定时间直接模式及空间直接模式的任意一方。例如，在直接模式指定部210指定了空间直接模式的情况下，选择部209选择静止判定部208的输出，另外运动向量预测部203使用空间直接模式来预测目标像素块的运动向量。此外，在直接模式指定部210指定了空间直接模式的情况下，编码部206在所生成的运动图像流中插入规定的数据，上述规定的数据表示该运动图像流能够采用空间直接模式进行译码。规定的数据例如可以作为SEI插入运动图像流中、或者插入PES、图像、及数据片段的任意一个的头数据中。此外，作为规定的数据可以使用包含在数据片段的头数据中的direct_spatial_mv_pred_flag。

以上，根据本实施方式，在生成运动图像流时，能够降低为了在直接模式中使用而临时保存的直接模式预测信息，由此抑制存储器总线带宽。此外，还可以面向第1实施方式这种的特定运动图像译码装置，生成插入了规定的数据的运动图像流。

此外，作为本实施方式的变形例，还可以追加图3中的数据传输带宽测量部110。在这种情况下，在存储器总线带宽中有余量时临时保存直接模式预测用的全部信息，指定时间直接模式和空间直接模式之中的恰当的模式；当存储器总线带宽似乎不足时，通过使用临时保存的直接模式预测信息可以较少的空间直接模式来预测运动向量，能够抑制存储器总线带宽，由此防止编码处理的失败。从在存储器总线带宽中没有余量的状态变化至有余量的状态的时，尽管伴随于此将临时保存的直接模式预测信息变更为全部信息，但是直至能够进行时间直接模式编码为止进行空间直接模式编码。

第5实施方式

图6表示第5实施方式所涉及的运动图像处理装置的示意外观。具体而言，本实施方式所涉及的运动图像处理装置是摄像机。该摄像机作为运动图像编码装置具备上述的LSI20、作为运动图像译码装置具备上述的LSI10、临时数据保存用的存储器100及数据流保存用的存储装置200。输入至摄像机中的运动图像被LSI20进行编码并存储在存储装置200中。另一方面，从存储装置200中读出的数据流由LSI10进行译码，并保存在存储器100中。此外，在存储器100中保存的视频数据经由视频输出300被输出至外部。一般的摄像机为了降低成本多数情况下没有搭载高速/大容量的存储器。因此，即便是具备比较廉价的存储器的摄像机，通过搭载上述的运动图像编码装置及运动图像译码装置，只要在存储器总线带宽中有余量便可使用时间直接模式进行高清晰记录/再现，如果存储器总线带宽不足则切换至空间直接模式，能够防止记录/再现处理的失败。

此外，图1至图4示出的各功能模块和图5的LSI10及LSI20是以典型的集成电路即LSI来实现的。这些既可以单独形成一个芯片，也可以按照包括一部分或全部的方式形成一个芯片。尽管为了实现存储器100等的大容量，有时使用外置于LSI的大容量的SDRAM等进行组装，但也可形成一个封装或一个芯片。

此外，这里虽然称作LSI，但由于集成度的不同有时也被称为IC、系统LSI、大规模LSI、超大规模LSI。另外，集成电路化的方法也并不限于LSI，也可以使用专用电路或通用处理器来实现。也可以利用在LSI制造后能够进行编程的FPGA(Field Programmable Gate Array)、或能够动态重构LSI内部的电路单元的连接和设定的可重构处理器。再有，如果由于半导体技术的进步或者派生出的其他技术出现了置换为LSI的集成电路化的技术，当然也可以采用该技术进行功能模块的集成化。也有可能会应用生物技术等。

(产业上的可利用性)

由于本发明所涉及的运动图像处理装置能够降低临时保存的直接模式预测信息从而抑制存储器总线带宽，因此对于高清画质的摄像机、记录器、播放器等是有用的。

附图符号说明：

100 存储器

101 译码部

103 运动向量预测部

105 运动信息生成部

106 静止判定部

107 选择部

109 数据检测部

110 数据传输带宽测量部

111 错误检测部

203 运动向量预测部

206 编码部

207 运动信息生成部

208 静止判定部

209 选择部

210 直接模式指定部

Claims (14)

1.一种运动图像处理装置，其具备：

运动信息生成部，其结合与应该以直接模式预测运动向量的像素块不同时间且处于相同空间位置的锚块的运动向量及所述锚块的参照图像的序号，生成所述像素块的运动信息；

静止判定部，其基于所述锚块的运动向量及所述参照图像的序号，判定是否视为所述像素块处于静止；

选择部，将所述运动信息生成部的输出及所述静止判定部的判定结果的任意一方选择性地保存在存储器中，来作为所述像素块的直接模式预测信息；和

运动向量预测部，基于在所述存储器中保存的直接模式预测信息，使用直接模式预测所述像素块的运动向量。

2.根据权利要求1所述的运动图像处理装置，其中，

所述运动图像处理装置还具备数据检测部，该数据检测部在所输入的运动图像流中检测到规定的数据时，指示所述选择部使其选择所述静止判定部的判定结果。

3.根据权利要求2所述的运动图像处理装置，其中，

所述数据检测部，直到检测到所述规定的数据为止，指示所述选择部使其选择所述运动信息生成部的输出。

4.根据权利要求1所述的运动图像处理装置，其中，

所述运动图像处理装置还具备数据传输带宽测量部，该数据传输带宽测量部测量所述存储器的数据传输带宽，在所述数据传输带宽小于阈值时，指示所述选择部使其选择所述运动信息生成部的输出，在所述数据传输带宽大于所述阈值时，指示所述选择部使其选择所述静止判定部的判定结果。

5.根据权利要求1所述的运动图像处理装置，其中，

所述运动图像处理装置还具备：

译码部，其对所输入的运动图像流进行译码处理；和

错误检测部，在作为应该以时间直接模式预测运动向量的像素块的直接模式预测信息在所述存储器中保存了所述静止判定部的判定结果的情况下，检测为错误，

所述译码部在存在所述错误检测时进行错误隐藏处理。

6.根据权利要求5所述的运动图像处理装置，其中，

作为所述错误隐藏处理，所述译码部跳过包含所述错误检测所涉及的像素块的图像的译码而输出其他的已译码的图像、或者代以空间直接模式来对包含所述错误检测所涉及的像素块的图像进行译码。

7.根据权利要求1所述的运动图像处理装置，其中，

所述运动图像处理装置还具备：

编码部，其生成运动图像流；和

直接模式指定部，针对所述选择部、运动向量预测部及编码部指定时间直接模式及空间直接模式的任意一个，

在指定了空间直接模式时，所述选择部选择所述静止判定部的判定结果，

在指定了空间直接模式时，所述编码部将规定的数据插入所述运动图像流中，该规定的数据表示所述运动图像流能够以空间直接模式进行译码。

8.根据权利要求2和7的任意一项所述的运动图像处理装置，其中，

所述规定的数据作为附加信息包含在所述运动图像流中。

9.根据权利要求8所述的运动图像处理装置，其中，

所述规定的数据作为补充增强信息SEI包含在所述运动图像流中。

10.根据权利要求8所述的运动图像处理装置，其中，

所述规定的数据包含在所述运动图像流中的打包基本流PES的头数据、图像的头数据、以及数据片段的头数据的任意一个当中。

11.根据权利要求2和7的任意一项所述的运动图像处理装置，其中，

所述规定的数据是每个数据片段的直接预测标志位。

12.根据权利要求11所述的运动图像处理装置，其中，

所述规定的数据是包含在数据片段的头数据中的direct_spatial_mv_pred_flag。

13.根据权利要求1所述的运动图像处理装置，其中，

所述静止判定部输出一位的判定结果。

14.一种运动图像处理方法，其包括如下步骤：

结合与应该以直接模式预测运动向量的像素块不同时间且处于相同空间位置的锚块的运动向量及所述锚块的参照图像的序号，生成所述像素块的运动信息；

基于所述锚块的运动向量及所述参照图像的序号，判定是否视为所述像素块处于静止；

将所述运动信息及所述判定结果的任意一方选择性地保存在存储器中，来作为所述像素块的直接模式预测信息；和

基于在所述存储器中保存的直接模式预测信息，使用直接模式预测所述像素块的运动向量。

Images