CN102474645A - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明公开了图像处理设备和图像处理方法。该图像处理设备和图像处理方法可以提高图像预测编码的编码效率。水平处理单元31执行水平填充作为水平处理，以操作按棋盘方式排列的第一间隔剔除过的图像和第二间隔剔除过的图像中的每一个的像素的水平方向排列，该第一间隔剔除过的图像和第二间隔剔除过的图像是通过在倾斜方向上按每隔一条线的方式间隔剔除第一图像及与第一图像不同的第二图像中的每一个的像素而获得的，其中第一和第二间隔剔除过的图像的像素被在水平方向上填充。混合单元33生成混合图像作为用作预测编码的对象的图像，混合图像是通过并排排列水平处理之后的水平处理后第一和第二间隔剔除过的图像而混合的。本发明可以应用于对第一和第二图像执行预测编码的情况，第一和第二图像例如是构成3D图像等的L(左)图像和R(右)图像。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及图像处理设备和图像处理方法，更具体而言，涉及例如可以提高图像的预测编码的编码效率的图像处理设备和图像处理方法。

背景技术

近年来，遵从诸如使用图像信息特有的冗余的MPEG(运动图片专家组)之类的格式的设备已被广泛地用于诸如广播台的信息分发和一般家庭中的信息接收两者，这些设备通过诸如离散余弦变换等的正交变换执行压缩且执行运动补偿，以在处理数字信号形式的图像信息的同时高效地传输及存储信息。

也就是说，以下编码设备和解码设备已被广泛使用：这些设备用于在例如经由诸如卫星广播、有线TV、因特网等的网络介质接收采用正交变换(例如离散余弦变换或Karhunen-Louève变换)和运动补偿的编码格式(例如MPEG或H.26x等)压缩的图像信息(比特流)时执行的处理，或者在处理诸如光盘或磁盘、闪存等的存储介质上的这类图像信息时执行的处理。

例如，MPEG2(ISO/IEC 13818-2)被定义为通用图像编码格式，并且是包含隔行扫描图像(隔行格式(interlace format)图像)和顺序扫描图像(逐行格式(progressive format))图像两者且包含标准分辨率图像和高分辨率图像两者的标准，并且当前广泛地用在专业用途和消费者用途应用的宽广范围中。使用MPEG2压缩格式使得可以实现的高压缩比和良好的图像质量，它是通过为具有720×480像素的水平×垂直大小的标准分辨率的隔行扫描图像分配4到8Mbps的码量(比特率)并且为具有1920×1088像素的水平×垂直大小的高分辨率的隔行扫描图像分配18到22Mbps的码量(比特率)来实现的。

MPEG2主要用于适合于广播的高图像质量编码，但是并不能应对低于MPEG1的码量(比特率)，即，具有更高压缩比的编码格式。人们认为：从现在起已广泛使用的蜂窝电话将增大对这种编码格式的需求，因此MPEG4编码格式已被标准化。关于图像编码方法，其标准在1998年12月被提出为国际标准ISO/IEC 14496-2。

另外，近年来，被称为H.264(ITU-TQ6/16VCEG)标准的标准化正在进行中，其最初意图用于视频会议的图像编码。已知的是H.264与诸如MPEG2或MPEG4之类的传统编码方法相比可以实现更高的编码效率，尽管其编码和解码需要更大的计算量。另外，当前，用于实现更高编码效率的基于H.264的标准化(包括H.264不支持的功能)正在进行中，作为MPEG4活动的一部分，作为增强压缩视频编码联合模型。

关于联合视频组正在标准化的编码格式(JVT编解码器)，正研究各种改进以提高编码效率使之高于诸如MPEG2或MPEG4等的现有技术。例如，在离散余弦变换中，对4×4像素块执行到整数变换系数的变换。另外，在运动补偿中，块大小是可变的，并且可以执行最优的运动补偿。然而，注意，用于编码的基本算法与诸如MPEG2或MPEG4等的现有技术相同。

现在，关于要经历诸如上述编码的图像内容，除了2维图像(2D图像)以外，还存在可通过立体方式观看的立体图像内容。

专用设备(下文中称为立体设备)被用于显示立体图像，这种立体设备的例子是由NHK(日本广播公司)开发的IP(集成照相)立体图像系统。

立体图像的图像数据由来自多个视点的图像数据(从多个视点拍摄的图像的图像数据)构成，并且存在的视点数越大，视点散布的范围就越广，就越能实现“可以看到内部的电视”(就好像确实能看到内部一样)，此时可以从各个方向看见对象。

现在，例如在PTL 1中描述了一种对立体图像的图像数据(即，多个视点的图像数据)编码和解码的方法。

在立体图像中，具有最少数目的视点的立体图像是其视点数为两个视点(立体图像)的3D(维度)图像，其中3D图像的图像数据由左眼图像的图像数据和右眼图像的图像数据构成，左眼图像是利用左眼观察的图像(下文中也称为L(左)图像)，右眼图像是利用右眼观察的图像(下文中也称为R(右)图像)。

如上所述，3D图像(立体图像)由L图像和R图像构成，因此对于显示3D图像的一个画面来说，L图像和R图像的相当两个画面(相当于显示2D图像的情况时的两个画面)的图像数据是必需的。

然而，取决于用于传送3D图像的传输路径的传输频带、用于记录3D图像的记录介质的存储容量、向记录介质的传送速率限制等等，存在以下情况：难以传送(包括记录到记录介质)用于显示3D图像一个画面的相当于两个画面的图像数据。

因此，已经提出了一种编码设备，其执行处理以通过在空间方向上执行构成3D图像的L图像和R图像中每一个的亚采样(间隔剔除)来将用于显示3D图像的一个画面的图像数据转换为相当于一个画面的图像数据，接着对图像数据进行编码。

图1是用于描述间隔剔除构成3D图像的L图像和R图像(的像素)的方法的示图。

图1中的A是图示L图像和R图像的示图。

L图像和R图像各自具有相当于2D图像(2维图像)的一个画面。

图1中的B图示了通过在垂直方向上按每隔一列的方式间隔剔除L图像和R图像中的每一个的像素而使得水平方向上的空间分辨率是原始图像的1/2的图像。

注意，为了在垂直方向上每隔一列间隔剔除，从L图像和R图像的左侧起或者奇数编号或者偶数编号的像素可能被间隔剔除，或者可以进行这样的布置，其中在L图像和R图像中，奇数编号和偶数编号像素之一对于L图像被间隔剔除，另一个对于R图像被间隔剔除。

图1中的C图示了通过在水平方向上按每隔一行的方式间隔剔除L图像和R图像中的每一个的像素而使得垂直方向上的空间分辨率是原始图像的1/2的图像。

注意，为了在水平方向上每隔一行间隔剔除，从L图像和R图像的顶部起或者奇数编号或者偶数编号的像素可能被间隔剔除，或者可以进行这样的布置，其中在L图像和R图像中，奇数编号和偶数编号像素之一对于L图像被间隔剔除，另一个对于R图像被间隔剔除。

图1中的D图示了通过在倾斜方向(或者朝向左上的倾斜方向、或者朝向右上的倾斜方向)上按每隔一条线的方式间隔剔除L图像和R图像中的每一个的像素而使得倾斜方向上的空间分辨率是原始图像的1/2的图像。

在图1的D中的间隔剔除之后的L图像和R图像是像素按棋盘方式排列的图像(由于倾斜方向上像素的间隔剔除)。

在倾斜方向上像素的间隔剔除中，要从L图像和R图像之一间隔剔除的像素可以是与要从另一图像中间隔剔除的像素相同的像素，或者可以是与要从另一图像中间隔剔除的像素不同的像素(在间隔剔除之后的另一图像中剩有像素的位置处的像素)。

对于图1中的B到图1中的D的任何间隔剔除，间隔剔除之后的L图像和R图像的像素数是原始图像的1/2，并且因此间隔剔除之后的L图像和R图像的总数据量(像素数)等于2D图像的相当于一个画面的图像数据的数据量。

注意，当间隔剔除像素时，滤波是必需的以切掉高频带分量，从而防止由于间隔剔除引起的混叠(aliasing)的发生，并且由于该滤波，在间隔剔除之后的L图像和R图像中发生模糊(blurring)。

与水平方向或垂直方向相比，人的视觉在倾斜方向上是不敏感的，因此通过执行倾斜方向上像素的间隔剔除，可以降低视觉上明显的模糊。

图2是图示传统编码设备的配置示例的框图，该传统编码设备执行如参考图1中的D所述的L图像和R图像中的每一个的像素在倾斜方向上每隔一条线的间隔剔除，并且对最终获得的间隔剔除过的L图像和间隔剔除过的R图像(其像素按棋盘方式排列)编码。

在图2的编码设备中，例如作为运动图像的3D图像(的图像数据被以单个画面为增量被提供给滤波器单元11。

也就是说，构成3D图像的一个画面的L图像和R图像被提供给滤波器单元11。

滤波器单元11执行滤波以切掉L图像和R图像的(倾斜方向空间频率的)高频带分量，以防止在通过间隔剔除L图像和R图像而获得的间隔剔除过的L图像和间隔剔除过的R图像中发生混叠。

也就是说，滤波器单元11由作为低通滤波器的滤波器11L和11R构成。

滤波器11L对输送至滤波器单元11的L图像执行滤波并输送给间隔剔除单元12。滤波器11R对输送至滤波器单元11的R图像执行滤波并输送给间隔剔除单元12。

间隔剔除单元12如参考图1中的D所述的在倾斜方向上按每隔一条线的方式对从滤波器单元11输送来的L图像的像素执行间隔剔除，从而来自滤波器单元11的L图像被转换为像素按棋盘方式排列的间隔剔除过的L图像。

另外，间隔剔除单元12以相同的方式在倾斜方向上对从滤波器单元11输送来的R图像的像素执行间隔剔除，从而来自滤波器单元11的R图像被转换为像素按棋盘方式排列的间隔剔除过的R图像。

也就是说，间隔剔除单元12由间隔剔除单元12L和12R构成。

间隔剔除单元12L如参考图1中的D所述的在倾斜方向上按每隔一条线的方式对从滤波器单元11输送来的L图像的像素执行间隔剔除，并将像素按棋盘方式(棋盘样式)排列的间隔剔除过的L图像提供给混合单元13。

间隔剔除单元12R如参考图1中的D所述的在倾斜方向上按每隔一条线的方式对从滤波器单元11输送来的R图像的像素执行间隔剔除，并将像素按棋盘方式排列的间隔剔除过的R图像提供给混合单元13。

也就是说，间隔剔除单元12R对R图像中的除了间隔剔除单元12L已对L图像执行间隔剔除的那些像素以外的像素执行间隔剔除。

因此，间隔剔除过的L图像(或者间隔剔除过的R图像)中具有的像素处于在间隔剔除过的R图像(或者间隔剔除过的L图像)中没有像素的位置上。

混合单元13混合从间隔剔除单元12输送来的间隔剔除过的L图像和间隔剔除过的R图像，生成等于2D图像的相当于一个画面的图像数据的数据量的混合图像，并将其提供给编码器14。

编码器14例如利用MPEG2格式或H.264/AVC格式等对从混合单元13送来的混合图像进行编码，并输出作为结果获得的编码数据。编码器14输出的编码数据经由传输介质传输，或者被记录在记录介质中。

图3是用于描述在图2中的混合单元13处对间隔剔除过的L图像和间隔剔除过的R图像的混合的示图。

图3中的A是图示要在混合单元13处混合的间隔剔除过的L图像和间隔剔除过的R图像的示图。

间隔剔除过的L图像和间隔剔除过的R图像使得像素(间隔剔除之后剩余的像素)按棋盘方式排列。

也就是说，我们将构成间隔剔除过的L图像的从左侧起的第x个、从顶部起的第y个像素表示为L_x，y，并将构成间隔剔除过的R图像的从左侧起的第x个、从顶部起的第y个像素表示为R_x，y。

另外，作为用A除以B的余数的C将被表示为表达式mod(A，B)＝C。

间隔剔除过的L图像是像素L_x，y位于满足表达式mod(x，2)＝mod(y，2)＝0的位置(x，y)处以及满足表达式mod(x，2)＝mod(y，2)＝1的位置(x，y)处的图像(或者位于满足表达式mod(x，2)＝1和表达式mod(y，2)＝0的位置(x，y)处以及位于满足表达式mod(x，2)＝0和表达式mod(y，2)＝1的位置(x，y)处的图像)。

另外，间隔剔除过的R图像是像素R_x，y位于满足表达式mod(x，2)＝1和表达式mod(y，2)＝0的位置(x，y)处以及位于满足表达式mod(x，2)＝0和表达式mod(y，2)＝1的位置(x，y)处的图像(或者位于满足表达式mod(x，2)＝mod(y，2)＝0的位置(x，y)处以及满足表达式mod(x，2)＝mod(y，2)＝1的位置(x，y)处的图像)。

图3中的B图示了通过在图2中所示的混合单元13处混合间隔剔除过的L图像和间隔剔除过的R图像而获得的混合图像。

混合单元13通过将间隔剔除过的R图像的像素R_x，y放置到间隔剔除过的L图像中没有排列间隔剔除过的L图像的像素L_x，y的位置处(就好像原来在那里一样)，来生成其中间隔剔除过的L图像的像素L_x，y和间隔剔除过的R图像的像素R_x，y按棋盘方式排列的混合图像。

也就是说，混合单元13将间隔剔除过的L图像的像素L_x，y定位在满足表达式mod(x，2)＝mod(y，2)＝0的位置(x，y)处以及满足表达式mod(x，2)＝mod(y，2)＝1的位置(x，y)处，并且还将间隔剔除过的R图像的像素R_x，y定位在满足表达式mod(x，2)＝1和表达式mod(y，2)＝0的位置(x，y)处以及满足表达式mod(x，2)＝0和表达式mod(y，2)＝1的位置(x，y)处，从而生成等于2D图像的相当于一个画面的图像数据的数据量的混合图像。

因此，如果我们将混合图像中位置(x，y)处的像素(的像素值)表示为C_x，y，则C_x，y等于间隔剔除过的L图像中在满足表达式mod(x，2)＝mod(y，2)＝0的位置(x，y)处以及满足表达式mod(x，2)＝mod(y，2)＝1的位置(x，y)处的像素L_x，y(C_x，y＝L_x，y)。

另外，C_x，y等于间隔剔除过的R图像中在满足表达式mod(x，2)＝1和表达式mod(y，2)＝0的位置(x，y)处以及满足表达式mod(x，2)＝0和表达式mod(y，2)＝1的位置(x，y)处的像素R_x，y(C_x，y＝R_x，y)。

图4是图示对从图2中的编码设备输出的编码数据进行解码的传统解码设备的配置示例的框图。

在图4的解码设备中，向解码器21输送编码设备输出的编码数据。

解码器21利用与图2中的编码器34执行编码的格式相对应的格式来执行解码。

也就是说，解码器21例如利用MPEG2格式或H.264/AVC格式对提供给其的编码数据进行解码，并将作为其结果获得的混合图像提供给3D显示设备22。

3D显示设备22是能够对图3的B中所示的其中间隔剔除过的L图像的像素L_x，y和间隔剔除过的R图像的像素R_x，y按棋盘方式排列的混合图像进行3D显示(显示为3D图像)的立体设备，并且通过例如根据来自解码器21的混合图像显示L图像和R图像来显示3D图像。

引文列表

专利文献

PTL1：日本未实审专利申请公布No.2008-182669

发明内容

技术问题

间隔剔除过的L图像和间隔剔除过的R图像是具有相异性的图像，并且在图2中的编码设备的混合单元13处获得的混合图像是其中间隔剔除过的L图像的像素L_x，y和间隔剔除过的R图像的像素R_x，y按棋盘方式排列的图像。

因此，与一个场景的2D图像相比，针对某一画面(一个画面的L图像和一个画面的R图像)从3D图像的一个画面获得的混合图像具有与该场景(或者构成该3D图像的L图像或R图像)相同的数据量(像素数)，但是图像的时间方向和空间方向相关性明显降低。

具体而言，例如在3D图像中存在在某一方向(例如垂直方向或水平方向等)上连续(平滑)延伸的边缘的情况下，3D图像内的连续边缘在通过参考图3所描述的通过混合具有相异性的间隔剔除过的L图像和间隔剔除过的R图像而获得的混合图像中表现为不连续的边缘。

结果，在混合图像中，空间方向相关性(混合图像的一个画面中的某一像素和围绕该像素的像素之间的相关性(具体而言，间隔剔除过的L图像中的一个像素和与该像素邻近的间隔剔除过的R图像中的像素之间的相关性))变低。

另外，例如在3D图像中存在以恒定速度运动的对象(运动对象)的情况下，在如参考图3所描述的其中具有相异性的间隔剔除过的L图像和间隔剔除过的R图像被混合的混合图像中，3D图像内恒定速度的对象的运动取决于像素表现为不同的运动。

结果，在混合图像中，时间方向相关性(某一画面和紧邻该画面的前一画面或后一画面之间的相关性)变低。

如上所述，混合图像在空间方向和时间方向上的相关性较低，因此，在要在图2中的编码设备的编码器14处执行预测编码的情况下(其中例如利用诸如MPEG2格式或H.264/AVC格式编码等的编码的时间方向或空间方向相关性来对图像编码)(例如，关于要编码的图像的一部分，在时间或空间上靠近该部分的部分被取作预测值，并且要编码的部分和预测值之差被编码)，混合图像的预测编码的编码效率恶化。

这种编码效率的恶化不仅在执行构成3D图像的L图像和R图像的预测编码的情况下发生，还在由任何两个不同图像生成混合图像并执行预测编码的情况下发生。

鉴于这种情形作出了本发明，本发明意图提高图像的预测编码的编码效率。

对问题的解决方案

根据本发明第一方面的图像处理设备包括水平处理装置和混合装置，水平处理装置被配置为将第一间隔剔除过的图像和第二间隔剔除过的图像取作处理对象并且执行水平填充，第一间隔剔除过的图像是通过在倾斜方向上间隔剔除第一图像的像素而获得的，第二间隔剔除过的图像是通过在倾斜方向上间隔剔除与第一图像不同的第二图像的像素而获得的，在水平填充中，作为用于操作像素在水平方向上的排列的水平处理，第一间隔剔除过的图像的像素和第二间隔剔除过的图像的像素被在水平方向上填充，混合装置被配置为生成混合图像作为用作预测编码的对象的编码对象图像，在混合图像中，经历了水平处理的水平填充的第一间隔剔除过的图像和第二间隔剔除过的图像并排排列。

根据本发明第一方面的图像处理方法包括以下步骤：图像处理设备将第一间隔剔除过的图像和第二间隔剔除过的图像取作处理对象并且执行水平填充，第一间隔剔除过的图像是通过在倾斜方向上间隔剔除第一图像的像素而获得的，第二间隔剔除过的图像是通过在倾斜方向上间隔剔除与第一图像不同的第二图像的像素而获得的，在水平填充中，作为用于操作像素在水平方向上的排列的水平处理，第一间隔剔除过的图像的像素和第二间隔剔除过的图像的像素被在水平方向上填充；并且图像处理设备生成混合图像作为用作预测编码的对象的编码对象图像，在混合图像中，经历了水平处理的水平填充的第一间隔剔除过的图像和第二间隔剔除过的图像并排排列。

在如上所述的第一方面中，利用通过在倾斜方向上间隔剔除第一图像的像素而获得的第一间隔剔除过的图像和通过在倾斜方向上间隔剔除与第一图像不同的第二图像的像素而获得的第二间隔剔除过的图像作为处理对象，执行水平填充，其中作为用于操作像素在水平方向上的排列的水平处理，第一间隔剔除过的图像的像素和第二间隔剔除过的图像的像素被在水平方向上填充，并且生成混合图像作为用作预测编码的对象的编码对象图像，在混合图像中，经历了水平处理的水平填充的第一间隔剔除过的图像和第二间隔剔除过的图像并排排列。

根据本发明第二方面的图像处理设备包括分离装置和逆水平处理装置，分离装置被配置为将混合图像分离为经历了水平处理的水平填充的第一间隔剔除过的图像和第二间隔剔除过的图像，混合图像是通过以下方式获得的：将第一间隔剔除过的图像和第二间隔剔除过的图像取作处理对象并且执行水平填充，第一间隔剔除过的图像是通过在倾斜方向上间隔剔除第一图像的像素而获得的，第二间隔剔除过的图像是通过在倾斜方向上间隔剔除与所述第一图像不同的第二图像的像素而获得的，在水平填充中，作为用于操作像素在水平方向上的排列的水平处理，第一间隔剔除过的图像的像素和第二间隔剔除过的图像的像素被在水平方向上填充，以及执行通过并排排列经历了水平处理的水平填充的第一间隔剔除过的图像和第二间隔剔除过的图像而混合的混合图像的预测编码，并且对这样获得的编码数据解码，逆水平处理装置被配置为执行逆水平处理，其中已被分离装置分离的经历了水平处理的水平填充的第一间隔剔除过的图像和第二间隔剔除过的图像被返回成第一间隔剔除过的图像和第二间隔剔除过的图像。

根据本发明第二方面的图像处理方法包括以下步骤：图像处理设备将混合图像分离为经历了水平处理的水平填充的第一间隔剔除过的图像和第二间隔剔除过的图像，混合图像是通过以下方式获得的：将第一间隔剔除过的图像和第二间隔剔除过的图像取作处理对象并且执行水平填充，第一间隔剔除过的图像是通过在倾斜方向上间隔剔除第一图像的像素而获得的，第二间隔剔除过的图像是通过在倾斜方向上间隔剔除与第一图像不同的第二图像的像素而获得的，在水平填充中，作为用于操作像素在水平方向上的排列的水平处理，第一间隔剔除过的图像的像素和第二间隔剔除过的图像的像素被在水平方向上填充，以及执行通过并排排列经历了水平处理的水平填充的第一间隔剔除过的图像和第二间隔剔除过的图像而混合的混合图像的预测编码，并且对这样获得的编码数据解码；以及图像处理设备执行逆水平处理，其中经历了水平处理的水平填充的第一间隔剔除过的图像和第二间隔剔除过的图像被返回成第一间隔剔除过的图像和第二间隔剔除过的图像。

在如上所述的第二方面中，执行分离以将混合图像分离为经历了水平处理的水平填充的第一间隔剔除过的图像和第二间隔剔除过的图像，混合图像是通过以下方式获得的：将第一间隔剔除过的图像和第二间隔剔除过的图像取作处理对象并且执行水平填充，第一间隔剔除过的图像是通过在倾斜方向上间隔剔除第一图像的像素而获得的，第二间隔剔除过的图像是通过在倾斜方向上间隔剔除与第一图像不同的第二图像的像素而获得的，在水平填充中，作为用于操作像素在水平方向上的排列的水平处理，第一间隔剔除过的图像的像素和第二间隔剔除过的图像的像素被在水平方向上填充，并且执行通过并排排列经历了水平处理的水平填充的第一间隔剔除过的图像和第二间隔剔除过的图像而混合的混合图像的预测编码，并且对这样获得的编码数据解码；以及执行逆水平处理，其中经历了水平处理的水平填充的第一间隔剔除过的图像和第二间隔剔除过的图像被返回成第一间隔剔除过的图像和第二间隔剔除过的图像。

注意，第一和第二方面的图像处理设备可以是独立设备，或者可以是构成单个设备的内部块。

另外，根据第一和第二方面的图像处理设备可以通过使计算机执行程序来实现。

另外，为了实现其中在第一图像处理设备处获得的混合图像已经历了预测编码的编码数据以及第一和第二方面的图像处理设备，要由计算机执行的程序可以通过经由传输介质传送或者记录在记录介质中来提供。

本发明的有利效果

根据本发明的第一和第二方面，可以提高图像的预测编码的编码效率。

附图说明

图1是描述用于间隔剔除构成3D图像的L图像和R图像的方法的示图。

图2是图示传统编码设备的配置示例的框图。

图3是用于描述在混合单元13处混合间隔剔除过的L图像和间隔剔除过的R图像的示图。

图4是图示传统解码设备的配置示例的框图。

图5是图示应用了本发明的编码设备的实施例的配置示例的框图。

图6是图示解码器34的配置示例的框图。

图7是用于描述编码设备的处理的流程图。

图8是用于描述水平处理单元31执行的并行处理的示图。

图9是用于描述在分离标志指示不分离的情况下的编码处理的示图。

图10是用于描述在垂直处理单元32处执行的垂直处理的示图。

图11是描述在混合单元33处执行的混合处理的示图。

图12是用于描述在垂直处理单元32处执行的垂直处理的示图。

图13是描述在混合单元33处执行的混合处理的示图。

图14是用于描述分离标志、垂直样式标志和布置样式标志的示图。

图15是用于描述遵循分离标志、垂直样式标志和布置样式标志执行的垂直处理和混合处理的细节的流程图。

图16是图示应用了本发明的解码器的实施例的配置示例的框图。

图17是图示解码器61的配置示例的框图。

图18是用于描述解码设备的处理的流程图。

图19是图示应用了本发明的编码设备的另一实施例的配置示例的框图。

图20是图示合成单元102的配置示例的框图。

图21是用于描述合成单元102的处理的示图。

图22是用于描述在L图像和R图像是隔行格式图像的情况下滤波器单元121和间隔剔除单元122的处理的示图。

图23是用于描述在L图像和R图像是隔行格式图像并且不执行预处理的情况下滤波器单元121和间隔剔除单元122的处理的示图。

图24是用于描述水平处理和垂直处理的示图。

图25是用于描述预处理的示图。

图26是用于描述作为交织混合处理的水平处理、垂直处理和混合处理的示图。

图27是用于描述第二格式的预处理的示图。

图28是用于描述利用L场奇数行图像和L场偶数行图像以及R场奇数行图像和R场偶数行图像来配置间隔剔除过的L图像和间隔剔除过的R图像的方法的示图。

图29是用于描述第一格式的预处理的流程图。

图30是用于描述第二格式的预处理的流程图。

图31是图示应用本发明的解码设备的另一实施例的配置示例的框图。

图32是图示3D图像配置设备141的配置示例的框图。

图33是用于描述第一格式的后处理的流程图。

图34是用于描述第二格式的后处理的流程图。

图35是图示应用本发明的计算机的配置示例的框图。

具体实施方式

<第一实施例>

[编码设备的实施例]

图5是图示应用了根据本发明的图像处理设备的编码设备的实施例的配置的框图。

在图5中，与图2中所示的编码设备相对应的部分用相同的标号表示，并且在下面将适当地省略其描述。

也就是说，图5中所示的编码设备与图2中的设备的相同之处在于具有滤波器单元11和间隔剔除单元12。

然而，注意图5中所示的编码设备与图2中的情况的不同之处具有水平处理单元31、垂直处理单元32和控制单元35。另外，图5中的编码设备具有分别取代混合单元13和编码器14的混合单元33和编码器34，这一点也与图2中的情况不同。

从间隔剔除单元12向水平处理单元31提供间隔剔除过的L图像和间隔剔除过的R图像(其像素以棋盘方式排列)，该L图像和R图像是通过在倾斜方向上按每隔一条线的方式间隔剔除L图像和R图像中的每一个的像素而获得的。

也就是说，在图5的编码设备中，构成3D图像的L图像和R图像在滤波器单元11和间隔剔除单元12处经历与图2中的情况相同的处理，并且作为其结果而获得的间隔剔除过的L图像和间隔剔除过的R图像被提供给水平处理单元31。

现在，尽管我们说构成3D图像的L图像和R图像的两个图像是编码设备的处理对象，但是编码设备的处理对象并不限于L图像和R图像。

也就是说，对于编码设备来说，除了构成3D图像的L图像和R图像以外的具有相异性的两个图像(具体例如，从某一位置A拍摄的某一主题的图像和在除了以该主题为起点并穿过位置A的中线上以外的任意位置拍摄的图像的两个图像)可以是处理对象。

另外，对于编码设备来说，任意的第一图像和不同于第一图像的第二图像(具体例如，某一运动图像的奇数帧和偶数帧的两个图像，或者从两个任意运动图像的起始起相同编号的帧的两个图像，等等)可以是处理对象。

水平处理单元31执行水平填充，以在水平方向上填充间隔剔除过的L图像和间隔剔除过的R图像的像素，这种处理是用于在水平方向上操作来自间隔剔除单元12的间隔剔除过的L图像和间隔剔除过的R图像中每一个的像素的位置的水平处理。

也就是说，水平处理单元31由水平处理单元31L和水平处理单元31R构成。

水平处理单元31L使来自间隔剔除单元12的间隔剔除过的L图像经历水平处理，并将作为其结果获得的图像(下文中也称为水平处理后L图像)提供给垂直处理单元32。

也就是说，间隔剔除过的L图像是像素以棋盘方式排列的图像，因此与相同大小的2D图像相比，其像素以棋盘方式排列且有间隙。

通过在水平方向上偏移间隔剔除过的L图像的像素以使得其中没有间隙，水平处理单元31L生成了处于间隔剔除过的L图像的像素被水平填充的状态中的图像，作为水平处理后L图像。

以与水平处理单元31L相同的方式，水平处理单元31R使来自间隔剔除单元12的间隔剔除过的R图像经历水平处理，并将作为其结果获得的图像(下文中也称为水平处理后R图像)提供给垂直处理单元32。

作为在垂直方向上操作来自水平处理单元31的水平处理后L图像和水平处理后R图像(经历水平处理的第一间隔剔除过的图像和经历水平处理的第二间隔剔除过的图像)中的每一个的像素的放置的垂直处理，垂直处理单元32执行处理以分离来自水平处理后L图像和水平处理后R图像的奇数行和偶数行，并生成多个垂直处理后图像，其包括仅排列有奇数行的图像和仅排列有偶数行的图像。

也就是说，垂直处理单元32由分离单元32L和32R构成。

分离单元32L从来自水平处理单元31的水平处理后L图像分离出奇数行和偶数行。

分离单元32R从来自水平处理单元31的水平处理后R图像分离出奇数行和偶数行。

现在，除了被提供来自水平处理单元31的水平处理后L图像和水平处理后R图像以外，垂直处理单元32还被提供来自控制单元35的分离(Separate)标志和垂直样式(Vertical pattern)标志。

分离标志是指示是否从水平处理后L图像和水平处理后R图像分离出奇数行和偶数行(指示奇数行和偶数行是否被从水平处理后L图像和水平处理后R图像中分离出来)的标志。

另外，垂直样式标志是指示在垂直处理单元32处获得的多个垂直处理后图像中、水平处理后L图像和水平处理后R图像的奇数行和偶数行的排列的标志。

在来自控制单元35的分离标志指示不从水平处理后L图像和水平处理后R图像中分离出奇数行和偶数行的情况下，来自水平处理单元31的水平处理后L图像和水平处理后R图像被原样提供给混合单元33作为多个垂直处理后图像，而不管来自控制单元35的垂直样式标志如何。

因此，在分离标志指示不从水平处理后L图像和水平处理后R图像中分离出奇数行和偶数行的情况下，在垂直处理单元32处不执行垂直处理，来自水平处理单元31的水平处理后L图像和水平处理后R图像被原样提供给混合单元33作为多个垂直处理后图像。

在来自控制单元35的分离标志指示从水平处理后L图像和水平处理后R图像中分离出奇数行和偶数行的情况下，垂直处理单元32使得分离单元32L从来自水平处理单元31的水平处理后L图像中分离出奇数行和偶数行，并且使得分离单元32R从来自水平处理单元31的水平处理后R图像中分离出奇数行和偶数行。

垂直处理单元32随后遵循来自控制单元35的垂直样式标志以生成四个图像或者两个图像作为多个垂直处理后图像，这四个图像是仅排列有水平处理后L图像的奇数行的图像、仅排列有水平处理后L图像的偶数行的图像、仅排列有水平处理后R图像的奇数行的图像、以及仅排列有水平处理后R图像的偶数行的图像，这两个图像是通过交织并排列水平处理后L图像和水平处理后R图像的奇数行而获得的垂直处理后奇数行图像以及通过交织并排列水平处理后L图像和水平处理后R图像的偶数行而获得的垂直处理后偶数行图像，并且垂直处理单元32将这些图像提供给混合单元33。

现在，在下文中，仅排列有水平处理后L图像的奇数行的图像也将被称为奇数行L图像，并且仅排列有水平处理后L图像的偶数行的图像也将被称为偶数行L图像。另外，仅排列有水平处理后R图像的奇数行的图像也将被称为奇数行R图像，并且仅排列有水平处理后R图像的偶数行的图像也将被称为偶数行R图像。

除了被提供来自垂直处理单元32的多个垂直处理后图像以外，混合单元33还被提供来自控制单元35的分离标志、垂直样式标志和排列样式(Arrange pattern)标志。

现在，布置样式标志是指示在多个垂直处理后图像是奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像并且这四个图像被排列为构成混合图像的情况下，这四个图像的排列样式的标志。

混合单元33遵循来自控制单元35的分离标志、垂直样式标志和布置样式标志来配置来自垂直处理单元32的多个垂直处理后图像并生成多个垂直处理后图像的混合图像(数据量与L图像或R图像的一个画面相同的相当于一个画面的图像)，该图像被输出作为要在下游编码器34处经历预测编码的图像。

现在，在分离标志指示不从水平处理后L图像和水平处理后R图像中分离出奇数行和偶数行的情况下，垂直处理单元32将水平处理后L图像和水平处理后R图像原样提供给混合单元33作为多个垂直处理后图像，如前所述。

在这种情况下，混合单元33通过以预定排列布置的方式排列作为多个垂直处理后图像从垂直处理单元32提供来的水平处理后L图像和水平处理后R图像，来生成混合图像。

另外，在来自控制单元35的分离标志指示从水平处理后L图像和水平处理后R图像中分离出奇数行和偶数行的情况下，混合单元33参考来自控制单元35的垂直样式标志以确认作为多个垂直处理后图像提供来的图像是奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像的四个图像，还是垂直处理后奇数行图像和垂直处理后偶数行图像的两个图像。

在从垂直处理单元32向混合单元33提供垂直处理后奇数行图像和垂直处理后偶数行图像的两个图像作为多个垂直处理后图像的情况下，混合单元33通过以预定排列布置作为多个垂直处理后图像的垂直处理后奇数行图像和垂直处理后偶数行图像，来生成混合图像。

另外，在从垂直处理单元32向混合单元33提供奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像的四个图像作为多个垂直处理后图像的情况下，混合单元33通过按照来自控制单元35的布置样式标志所指示的排列样式指示的排列来布置作为多个垂直处理后图像的奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像，从而生成混合图像。

向编码器34提供从混合单元33输出的混合图像以及从控制单元35输出的分离标志、垂直样式标志和布置样式标志。

编码器34根据例如MPEG2格式或H.264/AVC格式等执行从混合单元33输出的混合图像的预测编码，并且通过复用方式在作为预测编码的结果获得的编码数据中包括从控制单元35输出的分离标志、垂直样式标志和布置样式标志。

在编码器34处获得的包括分离标志、垂直样式标志和布置样式标志的编码数据经由传输介质来传送，或者被记录在记录介质中。

控制单元35遵循操作者(用户)操作等以设置分离标志、垂直样式标志和布置样式标志，并提供给混合单元33和编码器34。另外，控制单元35将分离标志和垂直样式标志提供给垂直处理单元32。

注意，在编码器34处，分离标志、垂直样式标志和布置样式标志可以被包括在例如编码数据的系统层或图片层的例如头部等中。具体而言，例如，在编码是在编码器34处以H.264/AVC格式执行的情况下，例如，分离标志、垂直样式标志和布置样式标志可以被包括在作为用户数据的SEI(补充增强信息)中。然而，注意，编码器34可以利用各种类型的方法传送编码数据以及分离标志、垂直样式标志和布置样式标志。也就是说，对于分离标志、垂直样式标志和布置样式标志的传送，除了上述编码数据以及分离标志、垂直样式标志和布置样式标志的传送(其中分离标志、垂直样式标志和布置样式标志被描述为编码数据内的语法，例如SEI等)以外，还可包括将编码数据以及分离标志、垂直样式标志和布置样式标志记录在记录介质中、并且分别传送编码数据以及分离标志、垂直样式标志和布置样式标志等等。

现在，在图5的编码设备中，其配置为准备分离标志、垂直样式标志和布置样式标志的三个标志，并且可以通过设置这三个标志来生成具有各种样式的像素排列的混合图像，但是在编码设备处生成的混合图像可以是像素排列为一种特定样式的图像。

也就是说，图5中的编码设备可以生成具有特定样式的像素排列的混合图像，这种特定样式的像素排列是在分离标志、垂直样式标志和布置样式标志被设置为特定值的情况下获得的。

在这种情况下，通过在编码数据中包括指示混合图像是否与传统图像(其中如参考图3所述，间隔剔除过的R图像的像素被适配到间隔剔除过的L图像的像素没有位于的位置(图3中的B))相同的标志，或者指示图像是否使得像素排列是特定样式的标志(取代分离标志、垂直样式标志和布置样式标志)，在对编码数据解码的解码设备处可以确认作为解码结果获得的混合图像是两个图像中的哪一个图像。

[编码器34的配置示例]

图6是图示图5中的编码器34的配置示例的框图。

编码器34是通过正交变换(例如离散余弦变换或者Karhunen-Louève变换)和运动补偿实现图像压缩的图像信息编码设备。

要编码的图像数据被提供给A/D(模/数)转换单元41。

现在，在本实施例中，提供给A/D转换单元41的要编码的图像数据是在混合单元33(图5)处生成的混合图像的图像数据。

在提供给其的图像数据是模拟信号的图像数据(信号)的情况下，A/D转换单元41执行图像数据的A/D转换，从而转换为数字信号的图像数据，该数字信号的图像数据被提供给画面重布置缓冲器42。

画面重布置缓冲器42临时存储来自A/D转换单元41的图像数据并且根据需要读出该数据，从而根据作为编码器34的输出的编码数据的GOP(图片组)结构执行重布置，其中图像数据的图片(帧)(场)被按编码的顺序重新布置。

在从画面重布置缓冲器42读出的图片中，要进行帧内编码的帧内图片被提供给计算单元43。

计算单元43根据需要从提供自画面重布置缓冲器42的帧内图片的像素值中减去提供自帧内预测单元54的预测图像的像素值，并且该结果被提供给正交变换单元44。

正交变换单元44对帧内图片(其像素值是减去预测图像后的减法值)执行正交变换(例如离散余弦变换或者Karhunen-Louève变换)，并将作为其结果获得的变换系数提供给量化单元45。

量化单元45执行来自正交变换单元44的变换系数的量化，并将作为其结果获得的量化值提供给无损编码单元46。

无损编码单元46对来自量化单元45的量化值执行诸如可变长度编码和算术编码等的无损编码，并将作为其结果获得的编码数据提供给存储缓冲器47。

存储缓冲器47临时存储来自无损编码单元46的编码数据，并利用预定速率输出该数据。

速率控制单元48监视存储缓冲器47中编码数据的存储量，并且基于其存储量控制量化单元45的行为，例如量化单元45的量化台阶等。

在量化单元45处获得的量化值被提供给无损编码单元46，并且还被提供给逆量化单元49。逆量化单元49将来自量化单元45的量化值逆量化为变换系数，并提供给逆正交变换单元50。

逆正交变换单元50执行来自逆量化单元49的变换系数的逆正交变换，并提供给计算单元51。

计算单元51根据需要将提供自帧内预测单元54的预测图像的像素值添加到提供自逆正交变换单元50的数据，从而获得帧内图片的经解码图像，该经解码图像被提供给解块滤波器52。

解块滤波器52使来自计算单元51的经解码图像经历滤波处理以减少块噪声，并将其提供给帧存储器53。

帧存储器53临时存储经由解块滤波器52提供自计算单元51的经解码图像，并且根据需要将该经解码图像提供给帧内预测单元54和运动预测/运动补偿单元55，作为要用于生成预测图像的参考图像。

帧内预测单元54根据作为计算单元43处的处理对象的一部分(一块)附近的像素(其已经存储在帧存储器53中)生成预测图像，并将其提供给计算单元43和51。

在如上所述预测图像被从帧内预测单元54提供给计算单元43的情况下，关于要对其执行帧内编码的图片，从计算单元43处从提供自画面重布置缓冲器42的图片中减去提供自帧内预测单元54的预测图像。

另外，在计算单元51处，在计算单元43处减去的预测图像被添加到提供自逆正交变换单元50的数据。

另一方面，要经历帧间编码的非帧内图片被从画面重布置缓冲器42提供给计算单元43和运动预测/运动补偿单元55。

运动预测/运动补偿单元55从帧存储器53读出在执行来自画面重布置缓冲器42的非帧内图片的运动预测时要参考的经解码图片。另外，运动预测/运动补偿单元55使用来自帧存储器53的参考图像来检测关于来自画面重布置缓冲器42的非帧内图片的运动向量。

运动预测/运动补偿单元55随后使参考图像经历遵循运动向量的运动补偿，从而生成用于非帧内图片的预测图像，该预测图像被提供给计算单元43和51。

在计算单元43处，提供自帧内预测单元54的预测图像被从提供自画面重布置缓冲器42的非帧内图片中减去，之后，以与帧内图片相同的方式执行编码。

注意，表示其中帧内预测单元54生成预测图像的模式的帧内预测模式被从帧内预测单元54提供给无损编码单元46。另外，在运动预测/运动补偿单元55处获得的运动向量，以及表示其中运动预测/运动补偿单元55执行运动补偿的模式的运动补偿预测模式被从运动预测/运动补偿单元55提供给无损编码单元46。

另外，从控制单元35(图5)提供给编码器34的分离标志、垂直样式标志和布置样式标志也被提供给无损编码单元46。

在无损编码单元46处，对帧内预测模式、运动向量、运动补偿预测模式和解码所必需的其他信息(例如，图片的图片类型等等)进行无损编码，并将其包括在编码数据的头部中。

另外，在无损编码单元46处，通过复用方式将分离标志、垂直样式标志和布置样式标志包括在编码数据中。

[编码设备的处理]

图7是用于描述图5中的编码设备的处理(作为编码处理的图像处理)的流程图。

在步骤S11中，控制单元35设置分离标志、垂直样式标志和布置样式标志，并提供给混合单元33和编码器34。另外，控制单元35将分离标志、垂直样式标志和布置样式标志提供给垂直处理单元32，并且处理从步骤S11前进到步骤S12。

在步骤S12中，滤波器单元11等待被供给构成3D图像的一个画面的L图像和R图像，并且接收L图像和R图像。滤波器单元11执行L图像和R图像中每一个的滤波，将其提供给间隔剔除单元12，并且处理从步骤S12前进到步骤S13。

在步骤S13中，间隔剔除单元12执行从提供自滤波器单元11的L图像和R图像中的每一个的像素的间隔剔除，并且向水平处理单元31提供其像素以棋盘方式排列的间隔剔除过的L图像和间隔剔除过的R图像。

随后，处理从步骤S13前进到步骤S14，此时水平处理单元31使来自间隔剔除单元12的间隔剔除过的L图像和间隔剔除过的R图像中的每一个经历水平处理。

水平处理单元31随后将作为水平处理的结果获得的水平处理后L图像和水平处理后R图像提供给垂直处理单元32，并且处理从步骤S14前进到步骤S15。

在步骤S15中，垂直处理单元32遵循提供自控制单元35的分离标志、垂直样式标志和布置样式标志使来自水平处理单元31的水平处理后L图像和水平处理后R图像经历垂直处理，从而生成多个垂直处理后图像。

垂直处理单元32随后将多个垂直处理后图像提供给混合单元33，并且处理从步骤S15前进到步骤S16。

在步骤S16中，混合单元33遵循提供自控制单元35的分离标志、垂直样式标志和布置样式标志排列来自垂直处理单元32的多个垂直处理后图像，从而执行混合处理以生成混合了这多个垂直处理后图像的混合图像。

另外，混合单元33将混合图像提供给编码器34，并且处理从步骤S16前进到步骤S17。

在步骤S17中，编码器34使从混合单元33输出的混合图像经历遵循MPEG2格式、H.264/AVC格式等的预测编码(编码)，作为编码对象。

另外，编码器34将从控制单元35送来的分离标志、垂直样式标志和布置样式标志包含在作为预测编码的结果而获得的编码数据中并且输出。

编码器34输出的编码数据被经由传输介质传送，或者被记录在记录介质中。

注意，步骤S11至S17的处理是对构成3D图像的画面的L图像和R图像执行的。

注意，在步骤S11中分离标志、垂直样式标志和布置样式标志的设置可以是例如针对用作某一运动图像的内容的3D图像的仅第一图像设置的。在这种情况下，遵循关于第一图像设置的分离标志、垂直样式标志和布置样式标志的处理被应用于用作内容的3D图像的所有画面。

[水平处理]

图8是用于描述图5中的水平处理单元31执行的水平处理的示图。

如上所述，水平处理单元31执行水平填充作为用于操作像素在水平方向上的排列的处理，在水平填充中，像素按棋盘方式排列的间隔剔除过的L图像和间隔剔除过的R图像在水平方向上被填充。

图8中的A图示了对间隔剔除过的L图像的水平处理。

注意，在图8中，LO表示间隔剔除过的L图像(扩展来说，L图像)中在其奇数行(从顶部计数起奇数(odd)编号的水平行)中的像素，并且LE表示间隔剔除过的L图像中在其偶数行(从顶部计数起偶数(even)编号的水平行)中的像素。这也适用于下面的描述。

在间隔剔除过的L图像中，与相同大小的2D图像相比，像素以棋盘方式排列，并且像素之间排列有间隙。

在对间隔剔除过的L图像的水平处理中，通过在水平方向上偏移间隔剔除过的L图像的像素(即，在图8的A中向左)，间隔剔除过的L图像的像素已被水平填充的图像被生成作为水平处理后L图像。

图8中的B图示了对间隔剔除过的R图像的水平处理。

注意，在图8中，RO表示间隔剔除过的R图像(扩展来说，R图像)中在其奇数行(从顶部计数起的奇数水平行)中的像素，并且RE表示间隔剔除过的R图像中在其偶数行(从顶部计数起的偶数水平行)中的像素。这也适用于下面的描述。

在间隔剔除过的R图像中，与相同大小的2D图像相比，像素以棋盘方式排列，并且像素之间排列有间隙。

在对间隔剔除过的R图像的水平处理中，通过在水平方向上偏移间隔剔除过的R图像的像素(即，在图8的B中向左)，间隔剔除过的R图像的像素已被水平填充的图像被生成作为水平处理后R图像。

[遵循分离标志、垂直样式标志和布置样式标志的处理]

图9图示了在分离标志指示不从水平处理后L图像和水平处理后R图像中分离出奇数行和偶数行(下文中也称为不分离)的情况下，在图5中的编码设备处执行的处理。

在分离标志指示不分离的情况下，垂直处理单元32将在水平处理单元31处生成的水平处理后L图像和水平处理后R图像不加改变地提供给混合单元33作为多个垂直处理后图像。

另外，在这种情况下，混合单元33通过按预定排列的方式布置作为多个垂直处理后图像从垂直处理单元32提供来的水平处理后L图像和水平处理后R图像，来生成混合图像。

也就是说，如图9所示，混合单元33将水平处理后L图像放置到左侧并将水平处理后R图像放置到右侧，从而生成混合图像。

如上所述，在分离标志指示不分离的情况下生成的混合图像中，水平处理后L图像被放置到左侧并且水平处理后R图像被放置到右侧。

水平处理后L图像是处于间隔剔除过的L图像的像素已被水平填充(通过在水平方向上被偏移)的状态中的图像，从而使得在其像素之间没有间隙。这也适用于水平处理后R图像。

因此，当关注混合图像的水平处理后L图像或者水平处理后R图像时，可以防止图像的空间方向和时间方向中的相关性的恶化，结果，与图3中所描述的图像的情况(其中间隔剔除过的R图像的像素被适配到间隔剔除过的L图像中间隔剔除过的L图像的像素未被排列的位置处)相比，可以提高混合图像的预测编码的编码效率。

也就是说，例如，在水平方向上连续延伸的L图像中存在边缘的情况下，该边缘的连续性在水平处理后L图像(其中间隔剔除过的L图像的像素被水平填充)中仍然得以维持。因此，包括在图像中水平方向上延伸的边缘的图像的空间方向和时间方向中的相关性得以维持，从而可以防止编码效率的恶化。

这对于R图像也同样成立。

另外，在图5的编码设备中，通过将L图像和R图像旋转90度并且将旋转之后的L图像和R图像取作处理对象，在垂直方向上连续延伸的边缘位于原始(旋转之前的)L图像和R图像中的情况下，可以维持具有垂直方向上延伸的边缘的空间方向和时间方向中像素的相关性，并且可以防止编码效率的恶化。

或者，即使在上述处理中将“水平”读为“垂直”并且将“垂直”读为“水平”的情况下，在L图像和R图像中存在垂直方向上连续延伸的边缘的情况下，也可以维持具有在垂直方向上延伸的边缘的空间方向和时间方向中像素的相关性，并且可以防止编码效率的恶化。

注意，在图9中，水平处理后L图像被放置到左侧并且水平处理后R图像被放置到右侧以生成混合图像，但是水平处理后L图像可以被放置到右侧并且水平处理后R图像可以被放置到左侧。

另外，是将水平处理后L图像和水平处理后R图像放置到混合图像的左侧还是右侧可以通过准备除了分离标志、垂直样式标志和布置样式标志以外的标志并且使用该标志来控制。注意，同样在这种情况下，该标志也需要被包括在编码数据中。

现在，在如图9所示通过排列作为多个垂直处理后图像的水平处理后L图像和水平处理后R图像来生成混合图像的情况下，在水平方向上延伸的边缘的连续性得以维持，但是在垂直方向上延伸的边缘的连续性将会丢失。

现在，图10是用于描述在分离标志指示要从水平处理后L图像和水平处理后R图像中分离出奇数行和偶数行(下文中也成为行分离)的情况下，在图5中的垂直处理单元32处执行的垂直处理的示图。

也就是说，图10是图示在分离标志指示行分离并且垂直样式标志指示多个垂直处理后图像的水平处理后L图像和水平处理后R图像的奇数行和偶数行的排列是非交织排列的情况下的垂直处理的示图。

现在，垂直样式标志指示的水平处理后L图像和水平处理后R图像的奇数行和偶数行的排列包括两种类型的排列：交织排列(interleaved array)和非交织排列(non-interleaved array)。非交织排列将参考图10描述，并且交织排列将在后面描述。

在分离标志指示行分离的情况下，垂直处理单元32从水平处理后L图像中分离出奇数行和偶数行，并且还从水平处理后R图像中分离出奇数行和偶数行。

另外，在分离标志指示行分离的情况下，垂直处理单元32参考垂直样式标志。

在垂直样式标志指示非交织排列的情况下，垂直处理单元32在垂直方向上偏移从水平处理后L图像和水平处理后R图像中的每一个分离出的奇数行和偶数行，从而生成四个图像作为多个垂直处理后图像：奇数L图像、偶数L图像、奇数R图像和偶数R图像。

也就是说，图10中的A是用于描述以水平处理后L图像作为对象的垂直处理的示图。

垂直处理单元32从水平处理后L图像中仅提取出奇数行(LO)并且还仅提取出偶数行(LE)，从而将奇数行与偶数行相分离。

仅由从水平处理后L图像中提取出的奇数行构成的图像是存在与偶数行相对应的间隙的图像。同样，仅由从水平处理后L图像中提取出的偶数行构成的图像是存在与奇数行相对应的间隙的图像。

垂直处理单元32在垂直方向上偏移由从水平处理后L图像中提取出的奇数行构成的图像的奇数行以便填充与偶数行相对应的间隙，从而生成处于奇数行已被垂直填充的状态中的图像，作为仅水平处理后L图像的奇数行(LO)被排列的奇数L图像。

另外，垂直处理单元32在垂直方向上偏移由从水平处理后L图像中提取出的偶数行构成的图像的偶数行以便填充与奇数行相对应的间隙，从而生成处于偶数行已被垂直填充的状态中的图像，作为仅水平处理后L图像的偶数行(LE)被排列的偶数L图像。

垂直处理单元32使水平处理后R图像也经历相同的垂直处理。

也就是说，图10中的B是用于描述以水平处理后R图像作为对象的垂直处理的示图。

垂直处理单元32从水平处理后R图像中仅提取出奇数行(RO)并且还仅提取出偶数行(RE)，从而将奇数行与偶数行相分离。

现在，仅由从水平处理后R图像中提取出的奇数行构成的图像是存在与偶数行相对应的间隙的图像。同样，仅由从水平处理后R图像中提取出的偶数行构成的图像是存在与奇数行相对应的间隙的图像。

垂直处理单元32在垂直方向上偏移由从水平处理后R图像中提取出的奇数行构成的图像的奇数行以便填充与偶数行相对应的间隙，从而生成处于奇数行已被垂直填充的状态中的图像，作为仅水平处理后R图像的奇数行(RO)被排列的奇数R图像。

另外，垂直处理单元32在垂直方向上偏移由从水平处理后R图像中提取出的偶数行构成的图像的偶数行以便填充与奇数行相对应的间隙，从而生成处于偶数行已被垂直填充的状态中的图像，作为仅水平处理后R图像的偶数行(RE)被排列的偶数R图像。

在分离标志指示行分离并且垂直样式标志指示非交织排列的情况下，垂直处理单元32生成奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像的四个图像，并将其提供给混合单元33(图5)作为多个垂直处理后图像。

图11是图示在分离标志指示行分离并且垂直样式标志指示非交织处理的情况下，在图5中的混合单元33处执行的混合处理的示图。

在分离标志指示行分离并且垂直样式标志指示非交织处理的情况下，奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像的四个图像被从垂直处理单元32提供给混合单元33作为多个垂直处理后图像。

在这种情况下，混合单元33通过以布置样式标志指示的排列样式的排列排列奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像的四个图像，来生成混合图像。

布置样式标志指示的排列样式的示例包括六个样式：样式#0、#1、#2、#3、#4和#5。

图11图示了作为布置样式标志指示的排列样式的样式#0至#5。

也就是说，分别地，图11中的A指示样式#0，图11中的B指示样式#1，图11中的C指示样式#2，图11中的D指示样式#3，图11中的E指示样式#4，并且图11中的F指示样式#5。

在布置样式标志指示样式#0的情况下，混合单元33生成以下混合图像，其中分别地，奇数行L图像(LO)被放置在左上，偶数行L图像(LE)被放置在左下，奇数行R图像(RO)被放置在右上，并且偶数行R图像(RE)被放置在右下，如图11中的A所示。

在布置样式标志指示样式#1的情况下，混合单元33生成以下混合图像，其中分别地，奇数行L图像(LO)被放置在左上，奇数行R图像(RO)被放置在左下，偶数行L图像(LE)被放置在右上，并且偶数行R图像(RE)被放置在右下，如图11中的B所示。

在布置样式标志指示样式#2的情况下，混合单元33生成以下混合图像，其中分别地，奇数行L图像(LO)被放置在左上，奇数行R图像(RO)被放置在左下，偶数行R图像(RE)被放置在右上，并且偶数行L图像(LE)被放置在右下，如图11中的C所示。

在布置样式标志指示样式#3的情况下，混合单元33生成以下混合图像，其中分别地，奇数行L图像(LO)被放置在左上，偶数行L图像(LE)被放置在左下，偶数行R图像(RE)被放置在右上，并且奇数行R图像(RO)被放置在右下，如图11中的D所示。

在布置样式标志指示样式#4的情况下，混合单元33生成以下混合图像，其中分别地，奇数行L图像(LO)被放置在左上，偶数行R图像(RE)被放置在左下，偶数行L图像(LE)被放置在右上，并且奇数行R图像(RO)被放置在右下，如图11中的E所示。

在布置样式标志指示样式#5的情况下，混合单元33生成以下混合图像，其中分别地，奇数行L图像(LO)被放置在左上，偶数行R图像(RE)被放置在左下，奇数行R图像(RO)被放置在右上，并且偶数行L图像(LE)被放置在右下，如图11中的F所示。

现在，奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像的混合图像中的排列样式并不限于图11中所示的六个样式。也就是说，对于奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像的四个图像的排列样式来说，存在24(＝4×3×2×1)种混合，因此可以采用24种样式中的最优样式作为奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像的混合图像中的排列样式。

注意，在生成排列有奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像的混合图像的情况下，从编码效率的角度看，相同图像的像素优选地被放置在附近。

因此，从间隔剔除过的L图像中获得的奇数行L图像(LO)和偶数行L图像(LE)优选地被放置为在垂直方向或水平方向上(而不是在倾斜方向上)并排。

这也适用于从间隔剔除过的R图像中获得的奇数行R图像和偶数行R图像。

如上所述，从水平处理后L图像，生成了仅由其奇数行构成的奇数行L图像和仅由其偶数行构成的偶数行L图像，并且从水平处理后R图像，生成了仅由其奇数行构成的奇数行R图像和仅由其偶数行构成的偶数行R图像，并且这些奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像被排列以生成混合图像，因此在构成混合图像的奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像的各个部分处，不会发生相位偏移(在原始L图像或R图像中位于不同行或列中的像素被排列在奇数行L图像等中的同一行或列中)。

因此，可以防止以下的情形，其中图像的空间方向和时间方向相关性由于出现在奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像的各个部分处的不连续边缘部分而恶化，并且还由于恒定速度的运动根据像素表现为不同的运动而恶化，因此即使与图9中的情况相比也可以提高混合图像的预测编码的编码效率，更不用说间隔剔除过的R图像的像素被适配到间隔剔除过的L图像中间隔剔除过的L图像的像素没有位于的位置处的情况(例如参考图3所述的情况)。

也就是说，例如，在例如奇数行L图像等中，以与参考图9所述相同的方式，除了具有在水平方向上延伸的边缘的像素以外，在具有在垂直方向上延伸的边缘的像素中，空间方向和时间方向相关性也得以维持。

具体而言，在从图8的A中所示的间隔剔除过的L图像中的左侧起的第一垂直方向上所排列的三个像素LO中存在在垂直方向上延伸的边缘的情况下，这三个像素LO是在从图10的A中所示的奇数行L图像中的左侧起的第一垂直方向上所排列的三个像素LO，因此在混合图像中间隔剔除过的L图像中的边缘的连续性得以维持。

因此，具有在垂直方向上延伸的边缘的像素的空间方向和时间方向中的相关性得以维持，从而可以防止编码效率的恶化。

注意，根据由本发明的发明人利用某一3D图像执行的仿真，已经确认由奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像构成的混合图像的编码数据变为图3中所示的混合图像的编码数据的数据量的大约1/4。

图12是用于描述在分离标志指示行分离并且垂直样式标志指示多个垂直处理后图像中水平处理后L图像和水平处理后R图像中的奇数行和偶数行的放置是交织排列的情况下的垂直处理的示图。

如参考图10所描述的，在分离标志指示行分离的情况下，垂直处理单元32从水平处理后L图像和水平处理后R图像中的每一个中分离出奇数行和偶数行，并且参考垂直样式标志。

在垂直样式标志指示交织排列的情况下，垂直处理单元32以交织方式排列从水平处理后L图像和水平处理后R图像中的每一个中分离出的奇数行和偶数行，从而生成垂直处理后奇数行图像和垂直处理后偶数行图像的两个图像作为多个垂直处理后图像。

也就是说，以与参考图10所述相同的方式，垂直处理单元32从水平处理后L图像和水平处理后R图像中提取出仅奇数行，从而将奇数行与偶数行相分离(图12)。

如图12所示，垂直处理单元32以交织方式排列水平处理后L图像的奇数行和水平处理后R图像的奇数行，从而生成水平处理后L图像的奇数行(LO)和水平处理后R图像的奇数行(RO)被交替排列的垂直处理后奇数行图像。

以相同的方式，垂直处理单元32以交织方式排列水平处理后L图像的偶数行和水平处理后R图像的偶数行，从而生成水平处理后L图像的偶数行(LE)和水平处理后R图像的偶数行(RE)被交替排列的垂直处理后偶数行图像。

在分离标志指示行分离并且垂直样式标志指示交织排列的情况下，垂直处理单元32这样生成垂直处理后奇数行图像和垂直处理后偶数行图像的两个图像，并提供给混合单元33(图5)作为多个垂直处理后图像。

注意，尽管图12在垂直处理后奇数行图像中示出了水平处理后L图像的奇数行(LO)位于从顶部起的奇数编号的位置处并且水平处理后R图像的奇数行(RO)位于从顶部起的偶数编号的位置处，但是可以进行这样的布置，其中水平处理后L图像的奇数行(LO)位于从顶部起的偶数编号的位置处并且水平处理后R图像的奇数行(RO)位于从顶部起的奇数编号的位置处。

以相同的方式，尽管图12在垂直处理后偶数行图像中示出了水平处理后L图像的偶数行(LE)位于从顶部起的奇数编号的位置处并且水平处理后R图像的偶数行(RE)位于从顶部起的偶数编号的位置处，但是可以进行这样的布置，其中水平处理后L图像的偶数行(LE)位于从顶部起的偶数编号的位置处并且水平处理后R图像的偶数行(RE)位于从顶部起的奇数编号的位置处。

然而，在将水平处理后L图像的奇数行(LO)定位在垂直处理后奇数行图像中的奇数编号的位置处(或者偶数编号的位置处)的情况下，水平处理后L图像的偶数行(LE)优选地位于垂直处理后偶数行图像中的奇数编号的位置处(或者偶数编号的位置处)。这对于水平处理后R图像中的奇数行(RO)和偶数行(RE)也成立。

图13是用于描述在分离标志指示行分离并且垂直样式标志指示交织排列的情况下，在图5中的混合单元33处执行的混合处理的示图。

在分离标志指示行分离并且垂直样式标志指示交织排列的情况下，图12中所示垂直处理后奇数行图像和垂直处理后偶数行图像的两个图像被从垂直处理单元32提供给混合单元33作为多个垂直处理后图像。

在这种情况下，混合单元33通过以预定排列排列作为多个垂直处理后图像从垂直处理单元32提供来的垂直处理后奇数行图像和垂直处理后偶数行图像，来生成混合图像。

也就是说，例如如图13所示，混合单元33将垂直处理后奇数行图像定位在左侧并且将垂直处理后偶数行图像定位在右侧，从而生成混合图像。

如上所述，在通过以交织方式排列从水平处理后L图像和水平处理后R图像中的每一个中分离出的奇数行和偶数行来生成垂直处理后奇数行图像和垂直处理后偶数行图像，并且垂直处理后奇数行图像和垂直处理后偶数行图像被排列以生成混合图像的情况下，编码器34(图5)以混合图像作为隔行格式图像来执行混合图像的预测编码。

也就是说，在分离标志指示行分离并且垂直样式标志指示交织排列的情况下，编码器34以混合图像作为隔行格式图像来执行混合图像的预测编码，即使该图像是逐行图像。

在这种情况下，我们说编码器34执行例如遵循H.264/AVC格式的预测编码，并且关注于在混合图像中的时间点t的第t个帧的奇数场(由奇数行构成的场)的偶数场和例如在第t个帧的偶数场的预测编码时的偶数场(由偶数行构成的场)，编码器34可以例如参考作为相同帧的第t个帧的奇数场和作为之前一帧的第t-1个帧的偶数场中的一个(其产生较小的预测误差)，以生成该偶数场的预测图像。

现在，如图13所示，在分离标志指示行分离并且垂直样式标志指示交织排列的情况下的混合图像是通过水平地排列垂直处理后奇数行图像和垂直处理后偶数行图像(其是通过以交织方式排列从水平处理后L图像和水平处理后R图像中分离出的奇数行和偶数行而获得的)而获得的图像。

因此，在混合图像的奇数场中，间隔剔除过的L图像的奇数行(LO)和偶数行(LE)被排列在水平方向上，因此混合图像的奇数场是图10的A中所示的奇数行L图像和偶数行L图像被排列在水平方向上的图像。

以相同的方式，在混合图像的偶数场中，间隔剔除过的R图像的奇数行(RO)和偶数行(RE)被排列在水平方向上，因此混合图像的偶数场是图10的B中所示的奇数行R图像和偶数行R图像被排列在水平方向上的图像。

结果，在执行混合图像的第t个场的偶数场的预测编码时，在之前一帧的第t-1个帧的偶数场要被参考的情况下，可以实现与如图11中所示的混合图像的情况(其由奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像)相同的编码效果。

另外，在编码器34中，如果在执行混合图像的第t个场的偶数场的预测编码时，参考第t个帧的奇数场相比于参考之前一帧的第t-1个帧的偶数场可以减少预测误差，则可以参考第t个帧的奇数场。

因此，在分离标志指示行分离并且垂直样式标志指示交织排列的情况下，通过编码器34以混合图像作为隔行格式图像来执行混合图像的预测编码，可以实现与混合图像由奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像构成的情况(如图11所示)的编码效率相同或更大的编码效率。

注意，在图13中，通过将垂直处理后奇数行图像定位在左侧并且将垂直处理后偶数行图像定位在右侧来生成混合图像，但是在生成混合图像时，垂直处理后奇数行图像可以被定位在右侧并且垂直处理后偶数行图像可以被定位在左侧。

另外，可以准备与分离标志、垂直样式标志和布置样式标志不同的标志，利用该标志来控制混合图像的左侧和右侧中的哪一个分别定位垂直处理后奇数行图像和垂直处理后偶数行图像。然而，注意，在这种情况下，该标志也需要被包括在编码数据中。

[分离标志、垂直样式标志和布置样式标志]

图14是用于描述分离标志、垂直样式标志和布置样式标志的示图。

分离标志(separate flag)指示不分离或行分离，即，是否从水平处理后L图像和水平处理后R图像中分离出奇数行和偶数行。

例如，在分离标志为0的情况下，这表示不分离，而如果分离标志为1，这表示行分离。

垂直样式(vertical pattern)标志表示在多个垂直处理后图像中水平处理后L图像和水平处理后R图像的奇数行和偶数行的排列。

垂直样式标志表示的排列是非交织排列和交织排列。

例如，在垂直样式标志为0的情况下，这表示非交织排列(图10)，而如果垂直样式标志为1，这表示交织排列(图12)。

在分离标志为指示行分离的1并且垂直样式标志为指示非交织排列的0的情况下，垂直处理单元32(图5)从水平处理后L图像中分离出奇数行和偶数行，并且还从水平处理后R图像中分离出奇数行和偶数行，如参考图10所描述的。

另外，如参考图10所述，垂直处理单元32在垂直方向上偏移从水平处理后L图像和水平处理后R图像中的每一个分离出的奇数行和偶数行中的每个，从而生成奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像的四个图像，作为多个垂直处理后图像。

另外，在分离标志为指示行分离的1并且垂直样式标志为指示交织排列的1的情况下，垂直处理单元32从水平处理后L图像中分离出奇数行和偶数行，并且还从水平处理后R图像中分离出奇数行和偶数行，如参考图12所描述的。

另外，如参考图12所述，垂直处理单元32执行从水平处理后L图像和水平处理后R图像中分离出的奇数行和偶数行中的每个的交织排列，从而生成垂直处理后奇数行图像和垂直处理后偶数行图像的两个图像作为多个垂直处理后图像。

布置样式标志(arrange pattern)表示在多个垂直处理后图像是奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像的四个图像的情况下，在混合图像中这四个图像的排列样式。

在本实施例中，布置样式标志呈现0至5的整数值。在布置样式标志为整数值i的情况下，混合单元33排列奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像，以便匹配图11中样式#i的排列，从而生成混合图像。

[垂直处理和混合处理的细节]

图15是用于描述遵循分离标志、垂直样式标志和布置样式标志执行的图7的步骤S15的垂直处理和步骤S16的混合处理的细节的流程图。

在步骤S31中，图5中的垂直处理单元32和混合单元33判定从控制单元35提供来的分离标志是0和1中的哪个。

在步骤S31中，在确定分离标志为0的情况下，处理前进到步骤S32，此时垂直处理单元32将从水平处理单元31提供来的水平处理后L图像和水平处理后R图像不加改变地提供给混合单元33，作为多个垂直处理后图像。

混合单元33在水平方向上排列作为多个垂直处理后图像从垂直处理单元32提供来的水平处理后L图像和水平处理后R图像，如图9所示。

另一方面，在步骤S31中确定分离标志为1的情况下，处理前进到步骤S33，此时垂直处理单元32从来自水平处理单元31的水平处理后L图像中分离出奇数行和偶数行，并且从来自水平处理单元31的水平处理后R图像中分离出奇数行和偶数行。

处理随后从步骤S33前进到步骤S34，此时垂直处理单元32和混合单元33判定从控制单元35提供来的垂直样式标志是0和1中的哪个。

在步骤S34中，在确定垂直样式标志为0的情况下，处理前进到步骤S35，此时垂直处理单元32在垂直方向上偏移从水平处理后L图像和水平处理后R图像中的每一个分离出的奇数行和偶数行中的每个，从而生成奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像的四个图像，作为多个垂直处理后图像。

垂直处理单元32随后将奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像提供给混合单元33作为多个垂直处理后图像，并且处理从步骤S35前进到步骤S36。

在步骤S36中，混合单元33以根据从控制单元35提供来的布置样式标志指示的排列样式的排列来排列作为来自垂直处理单元32的多个垂直处理后图像的奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像，从而生成参考图11所述的混合图像。

另一方面，在步骤S34中确定垂直样式标志为1的情况下，处理前进到步骤S37，此时垂直处理单元32执行从水平处理后L图像和水平处理后R图像中分离出的奇数行和偶数行中的每个的交织排列(如参考图12所描述的)，从而生成垂直处理后奇数行图像和垂直处理后偶数行图像的两个图像作为多个垂直处理后图像。

垂直处理单元32随后向混合单元33提供作为多个垂直处理后图像的垂直处理后奇数行图像和垂直处理后偶数行图像，并且处理从步骤S37前进到步骤S38。

在步骤S38中，混合单元33以预定排列排列作为多个垂直处理后图像从垂直处理单元32提供来的垂直处理后奇数行图像和垂直处理后偶数行图像，从而生成参考图13所述的混合图像。

在步骤S32、S36或S38中生成的混合图像被从混合单元33提供给编码器34(图5)，并且经历如参考图7中的步骤S17描述的预测编码。

[解码设备的实施例]

图16是图示应用了根据本发明的图像处理设备的解码设备的实施例的配置示例的框图。

从图5中的编码设备输出的编码数据被提供给解码设备的解码器61。

解码器61接受(接收)提供给其的编码数据，提取出包括在编码数据中的分离标志、垂直样式标志和布置样式标志，并提供给分离单元62。注意，如上所述，编码数据以及分离标志、垂直样式标志和布置样式标志在某些情况下可以分开传送(包括从记录介质播放)，在这种情况下，解码器61接受分开传送的编码数据以及分离标志、垂直样式标志和布置样式标志，并将分离标志、垂直样式标志和布置样式标志提供给分离单元62。

另外，解码器61将分离标志、垂直样式标志和布置样式标志提供给逆垂直处理单元63。

另外，解码器61利用与编码器34的编码格式相同的格式对编码数据解码，并将作为其结果获得的混合图像提供给分离单元62。

分离单元62遵循分离标志、垂直样式标志和布置样式标志来将来自解码器61的混合图像分离为多个垂直处理后图像，并提供给逆垂直处理单元63。

逆垂直处理单元63具有合成单元63L和63R。逆垂直处理单元63执行逆正交变换以将来自分离单元62的多个垂直处理后图像返回成水平处理后L图像和水平处理后R图像，并将作为其结果获得的水平处理后L图像和水平处理后R图像提供给逆水平处理单元64。

现在，在编码数据中包括的分离标志指示不分离的情况下，混合图像是作为多个垂直处理后图像的水平处理后L图像和水平处理后R图像已被排列在水平方向上(如图9所示)的图像。

因此，在从解码器61提供来的分离标志指示不分离的情况下，分离单元62从来自解码器61的混合图像中分离出如图9所示排列的作为多个垂直处理后图像的水平处理后L图像和水平处理后R图像，并提供给逆垂直处理单元63。

在从解码器61提供来的分离标志指示不分离的情况下，逆垂直处理单元63随后将作为多个垂直处理后图像从分离单元62提供来的水平处理后L图像和水平处理后R图像原样提供给逆水平处理单元64。

另外，在编码数据中包括的分离标志指示行分离并且编码数据中包括的垂直样式标志指示非交织排列的情况下，混合图像是作为多个垂直处理后图像的奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像的四个图像已被遵循编码数据中包括的垂直样式标志而排列的图像(如参考图11所描述的)。

因此，在从解码器61提供来的分离标志指示行分离并且从解码器61提供来的垂直样式标志指示非交织排列的情况下，分离单元62以相同的方式遵循来自解码器61的布置样式标志从来自解码器61的混合图像中区分并分离出如图11所示排列的奇数行L图像、偶数行L图像、奇数行R图像和偶数行R图像，并提供给逆垂直处理单元63。

在逆垂直处理单元63中，合成单元63L合成来自分离单元62的奇数行L图像和偶数行L图像并解码出水平处理后L图像。

也就是说，合成单元63L在水平处理后L图像的奇数行处排列来自分离单元62的奇数行L图像的多行(水平方向行)，并且在水平处理后L图像的偶数行处排列偶数行L图像的多行，从而解码出水平处理后L图像。

另外，在逆垂直处理单元63中，合成单元63R合成来自分离单元62的奇数行R图像和偶数行R图像并解码出水平处理后R图像。

也就是说，合成单元63R在水平处理后R图像的奇数行处排列来自分离单元62的奇数行R图像的多行，并且在水平处理后R图像的偶数行处排列偶数行R图像的多行，从而解码出水平处理后R图像。

另外，在编码数据中包括的分离标志指示行分离并且编码数据中包括的垂直样式标志表示交织排列的情况下，混合图像是其中作为多个垂直处理后图像的垂直处理后奇数行图像和垂直处理后偶数行图像被排列在水平方向上的图像(如参考图13所描述的)。

现在，在从解码器61提供来的分离标志指示行分离并且从解码器61提供来的垂直样式标志表示交织排列的情况下，分离单元62从来自解码器61的混合图像中分离出如图13所示排列的垂直处理后奇数行图像和垂直处理后偶数行图像，并提供给逆垂直处理单元63。

在逆垂直处理单元63中，合成单元63L合成来自分离单元62的垂直处理后奇数行图像和垂直处理后偶数行图像的一部分，并解码出水平处理后L图像。

也就是说，从已参考图12所描述的得知，垂直处理后奇数行图像包括水平处理后L图像的奇数行(LO)，并且垂直处理后偶数行图像包括水平处理后L图像的偶数行(LE)。

合成单元63L从来自分离单元62的垂直处理后奇数行图像和垂直处理后偶数行图像中提取出水平处理后L图像的奇数行(LO)和偶数行(LE)，并且将奇数行(LO)和偶数行(LE)返回成它们的原始位置，从而解码出水平处理后L图像。

另外，在逆垂直处理单元63中，合成单元63R合成来自分离单元62的垂直处理后奇数行图像和垂直处理后偶数行图像的剩余行，并解码出水平处理后R图像。

也就是说，从已参考图12所描述的得知，垂直处理后奇数行图像包括水平处理后R图像的奇数行(RO)，并且垂直处理后偶数行图像包括水平处理后R图像的偶数行(RE)。

合成单元63R从来自分离单元62的垂直处理后奇数行图像和垂直处理后偶数行图像中提取出水平处理后R图像的奇数行(RO)和偶数行(RE)，并且将奇数行(RO)和偶数行(RE)返回成它们的原始位置，从而解码出水平处理后R图像。

逆水平处理单元64执行逆水平处理以将来自逆垂直处理单元63的水平处理后L图像和水平处理后R图像返回成间隔剔除过的L图像和间隔剔除过的R图像。

也就是说，逆水平处理单元64由逆水平处理单元64L和64R构成。

逆水平处理单元64L在与图5中的水平处理单元31L相反的方向上偏移来自逆垂直处理单元63的水平处理后L图像的像素，从而解码出间隔剔除过的L图像，该间隔剔除过的L图像被提供给插值单元65。

逆水平处理单元64R在与图5中的水平处理单元31R相反的方向上偏移来自逆垂直处理单元63的水平处理后R图像的像素，从而解码出间隔剔除过的R图像，该间隔剔除过的R图像被提供给插值单元65。

插值单元65由插值单元65L和65R构成。

插值单元65L对从逆水平处理单元64提供来的间隔剔除过的L图像执行经图5中的间隔剔除单元12L间隔剔除的像素的插值，并将插值后图像(下文中也称为经插值L图像)提供给滤波器单元66。

插值单元65R对从逆水平处理单元64提供来的间隔剔除过的R图像执行经图5中的间隔剔除单元12R间隔剔除的像素的插值，并将插值后图像(下文中也称为经插值R图像)提供给滤波器单元66。

滤波器单元66由作为低通滤波器的滤波器66L和66R构成。

滤波器66L执行来自插值单元65的经插值L图像的滤波，从而解码出L图像，并提供给3D格式转换单元67。

滤波器66R执行来自插值单元65的经插值R图像的滤波，从而解码出R图像，并提供给3D格式转换单元67。

3D格式转换单元67将来自滤波器单元66的L图像和R图像(的图像数据)转换为与显示3D图像的下游3D显示设备68相对应的格式的信号，并将其提供给3D显示设备68。

3D显示设备68根据来自3D格式转换单元67的信号显示3D图像。

现在，在3D显示设备68是与图4中的3D显示设备22一样应对混合图像(其中间隔剔除过的L图像的像素L_x，y和间隔剔除过的R图像的像素R_x，y以棋盘方式排列，如图3中的B所示)的3D显示的立体设备的情况下，3D格式转换单元67例如执行与图2中的滤波器单元11、间隔剔除单元12和混合单元13相同的处理，从而来自滤波器单元66的L图像和R图像被转换为与在3D显示设备68处显示3D图像相对应的格式的信号。

[解码器61的配置示例]

图17是图示图16中的解码器61的配置示例的框图。

解码器61是用于对利用编码器34(图6)获得的编码数据解码的图像信息解码设备，编码器34是例如通过正交变换(例如离散余弦变换或Karhunen-Louève变换)和运动补偿来实现图像压缩的图像信息编码设备。

向解码器61提供从图5中的编码设备输出的编码数据，作为要解码的编码数据。

要解码的编码数据被存储在存储缓冲器71中。存储缓冲器71临时存储提供给其的编码数据，并将其提供给无损解码单元72。

无损解码单元72基于编码数据的格式使来自存储缓冲器71的编码数据经历诸如可变长度解码、算术解码等的处理，从而对解码图像所必需的信息解码，例如量化值、编码数据的头部中包括的帧内预测模式、运动向量、运动补偿预测模式，等等。

在无损解码单元72处获得的量化值被提供给逆量化单元73，并且在帧内预测模式的情况下被提供给帧内预测单元78。另外，在无损解码单元72处获得的运动向量(MV)、运动补偿预测模式和图片类型被提供给运动预测/运动补偿单元79。

另外，无损解码单元72从编码数据中提取出分离标志、垂直样式标志和布置样式标志，并将其提供给分离单元62(图16)。另外，无损解码单元72将分离标志和垂直样式标志提供给逆垂直处理单元63(图16)。

逆量化单元73、逆正交变换单元74、计算单元75、解块滤波器76、帧存储器77、帧内预测单元78和运动预测/运动补偿单元79各自执行与逆量化单元49、逆正交变换单元50、计算单元51、解块滤波器52、帧存储器53、帧内预测单元54和运动预测/运动补偿单元55相同的处理，从而对图像解码(获得经解码图像)。

也就是说，逆量化单元73将来自无损解码单元72的量化值逆量化为变换系数，并提供给逆正交变换单元74。

逆正交变换单元74执行来自逆量化单元73的变换系数的逆正交变换，并提供给计算单元75。

在提供自逆正交变换单元74的数据中，关于帧内图片数据，计算单元75根据需要向其添加提供自帧内预测单元78的预测图像的像素值，从而获得帧内图片的经解码图像。另外，在提供自逆正交变换单元74的数据中，关于非帧内图片数据，计算单元75向其添加提供自运动预测/运动补偿单元79的预测图像的像素值，从而获得非帧内图片的经解码图像。

在计算单元75处获得的经解码图像被提供给解块滤波器76。

解块滤波器76使来自计算单元75的经解码图像经历与图6中的解块滤波器52相同的滤波处理，根据需要提供给帧存储器77，并且提供给图像重布置缓冲器80。

帧存储器77临时存储经由解块滤波器76从计算单元75提供来的经解码图像，并且根据需要将经解码图像提供给帧内预测单元78和运动预测/运动补偿单元79作为要用于生成预测图像的参考图像。

在要在计算单元75处处理的数据是帧内图片数据的情况下，帧内预测单元78根据需要使用来自帧存储器77的用作参考图像的经解码图像来生成帧内图片的预测图像，并提供给计算单元75。

也就是说，帧内预测单元78遵循来自无损解码单元72的帧内预测模式来根据要由计算单元75处理的部分(块)附近的像素中、已经存储在帧存储器77中的像素生成预测图像，并提供给计算单元75。

另一方面，在要在计算单元75处处理的数据是非帧内图片数据的情况下，运动预测/运动补偿单元79生成用于该非帧内图片的预测图像，并提供给计算单元75。

也就是说，运动预测/运动补偿单元79遵循来自无损解码单元72的图片类型从帧存储器77中读取要用于生成预测图像的经解码图像的图片作为参考图像。另外，运动预测/运动补偿单元79使来自帧存储器77的参考图像经历遵循来自无损解码单元72的运动向量和其运动补偿预测模式的运动补偿，从而生成被提供给计算单元75的预测图像。

在计算单元75处，如上所述提供自帧内预测单元78或运动预测/运动补偿单元79的预测图像被添加到提供自逆正交变换单元74的数据，从而解码出图片(的像素值)。

图像重布置缓冲器80临时存储并读出经由解块滤波器76从计算单元75提供来的图片(经解码图像)，从而将图片的顺序重布置为原始顺序(显示顺序)，并提供给D/A(数/模)转换器81。

在需要将来自图像重布置缓冲器80的经解码图像作为模拟信号输出的情况下，D/A转换器81使经解码图像经历D/A转换并输出。

[解码设备的处理]

图18是用于描述图16中的解码设备的处理(作为解码处理的图像处理)的流程图。

注意，遵循图18中的流程图的处理是对3D图像的一个画面的编码数据执行的处理。

在步骤S51中，解码器61等待被供给3D图像的一个画面的编码数据，并且接收该编码数据。解码器61随后从编码数据中提取出分离标志、垂直样式标志和布置样式标志，并提供给分离单元62。

另外，解码器61将分离标志和垂直样式标志提供给逆垂直处理单元63。

另外，解码器61对编码数据解码(译码)，并将作为其结果获得的混合图像提供给分离单元62，并且处理从步骤S51前进到步骤S52。

在步骤S52中，分离单元62遵循分离标志、垂直样式标志和布置样式标志来将来自解码器61的混合图像分离为多个垂直处理后图像，提供给逆垂直处理单元63，并且处理前进到步骤S53。

在步骤S53中，逆垂直处理单元63遵循来自解码器61的分离标志和垂直样式标志来执行逆垂直处理以将来自分离单元62的多个垂直处理后图像返回成水平处理后L图像和水平处理后R图像。

另外，在步骤S53中，逆垂直处理单元63将通过逆垂直处理获得的水平处理后L图像和水平处理后R图像提供给逆水平处理单元64，并且处理前进到步骤S54。

在步骤S54中，逆水平处理单元64执行逆水平处理以将来自逆垂直处理单元63的水平处理后L图像和水平处理后R图像返回成间隔剔除过的L图像和间隔剔除过的R图像。

另外，在步骤S54中，逆水平处理单元64将通过逆水平处理获得的间隔剔除过的L图像和间隔剔除过的R图像提供给插值单元65，并且处理前进到步骤S55。

在步骤S55中，插值单元65执行提供自逆水平处理单元64的间隔剔除过的L图像和间隔剔除过的R图像的像素的插值，并提供给滤波器单元66。

滤波器单元66执行来自插值单元65的图像的滤波，从而解码出L图像和R图像，并提供给3D格式转换单元67，并且处理从步骤S55前进到步骤S56。

在步骤S56中，3D格式转换单元67将来自滤波器单元66的L图像和R图像转换为用于在3D显示设备68处显示3D图像的格式的信号，并提供给3D显示设备68。

随后，在3D显示设备68处，根据来自3D格式转换单元67的信号来显示3D图像。

注意，图16中的解码设备可以被配置成没有3D显示设备68，并且另外没有3D格式转换单元67。

另外，除了不包括3D显示设备68和3D格式转换单元67以外，图16中的解码设备还可以被配置成不包括插值单元65和滤波器单元66。

另外，图5中的编码设备和图16中的解码设备不仅可应用于以棋盘方式排列的间隔剔除过的L图像和间隔剔除过的R图像，还可以应用于其中水平方向上的空间分辨率已经改变到原始大小的1/2的图像(如图1的B中所示)，以及其中垂直方向上的空间分辨率已经改变到原始大小的1/2(并且旋转90度)的图像(如图1的C中所示)。

<第二实施例>

[编码设备的另一实施例]

图19是图示应用了根据本发明的图像处理设备的编码设备的另一实施例的配置示例的框图。

在图19中，与图5中的编码设备相对应的部分用相同的标号表示，并且将适当地省略其描述。

也就是说，在具有编码器34的方面，编码设备19与图5中的情况是共同的。

然而，注意，图19中的编码设备与图5中的情况的不同之处在于具有成像装置101L和101R。另外，图19中的编码设备与图5中的情况的不同之处在于具有取代滤波器单元11、间隔剔除单元12、水平处理单元31、垂直处理单元32、混合单元33和控制单元35的合成单元102。

在上述图5的编码设备中，无论L图像和R图像是逐行(非隔行格式)图像还是隔行格式图像都可以执行编码，但是在隔行格式图像的情况下，图19中的编码设备适合于对作为隔行格式图像的L图像和R图像编码。

成像装置101L和101R是用于对隔行格式图像成像的摄像机，从而具有相异性的图像被成像并被提供给合成单元102。

也就是说，成像装置101L对作为L图像的隔行格式图像成像并提供给合成单元102。

成像装置101R与成像装置101L对L图像的成像同步地对作为R图像的隔行格式图像成像并提供给合成单元102。

合成单元102执行来自成像装置101L的L图像的像素的间隔剔除并执行后面描述的预处理从而生成间隔剔除过的L图像，并且执行来自成像装置101R的R图像的像素的间隔剔除并执行后面描述的预处理从而生成间隔剔除过的R图像。

另外，在分离标志、垂直样式标志和布置样式标志都为1的情况下，合成单元102使间隔剔除过的L图像和间隔剔除过的R图像经历与图5中的水平处理单元31、垂直处理单元32和混合单元33执行的水平处理、垂直处理和混合处理相同的处理，从而生成混合图像，该混合图像被提供给编码器34。

现在，在分离标志为指示行分离的1并且垂直样式标志为指示交织排列的1的情况下，在图5中的编码设备处，如参考图12和图14所描述的，在水平处理单元31处的水平处理之后，在垂直处理中，垂直处理单元32从水平处理后L图像中分离出奇数行和偶数行并且还从水平处理后R图像中分离出奇数行和偶数行，并且以交织方式排列从水平处理后L图像和水平处理后R图像中分离出的奇数行和偶数行，从而生成垂直处理后奇数行图像和垂直处理后偶数行图像。

混合单元33随后排列垂直处理后奇数行图像和垂直处理后偶数行图像，以生成混合图像。

如上所述，在分离标志和垂直样式标志两者都为1的情况下，在图5中的水平处理单元31、垂直处理单元32和混合单元33中的每一个处执行的水平处理、垂直处理和混合处理将在下文中统称为交织混合处理。

[合成单元102的配置示例]

图20是图示图19中的合成单元102的配置示例的框图。

合成单元102包括滤波器单元121、间隔剔除单元122、预处理单元123、交织混合处理单元124和控制单元125。

来自成像装置101L的L图像和来自成像装置101R的R图像被提供给滤波器单元121。

以与图5中的滤波器单元11相同的方式，滤波器单元121执行滤波以切掉L图像和R图像的高频带分量以防止在间隔剔除过的L图像和间隔剔除过的R图像(其中像素已经从L图像和R图像中间隔剔除)中发生混叠。

现在，在滤波器单元121下游的间隔剔除单元122中，以与图5中的间隔剔除单元12相同的方式，在倾斜方向上间隔剔除像素，因此在滤波器单元121处，执行用于切掉倾斜方向高频分量的滤波。

另外，滤波器单元121对构成L图像和R图像的帧的奇数场和偶数场中的每一个执行隔行格式L图像和R图像的滤波。

也就是说，构成隔行格式图像的一帧的奇数场和偶数场已在不同的时间点被成像。

因此，如果对由这种奇数场和偶数场构成的帧执行滤波，则奇数场和偶数场中一个场的像素的滤波(例如，利用数字滤波器的积-和操作)利用在与该场不同的时间点成像的另一场的像素来执行，并且由于这些像素的影响，与仅使用一场的像素的情况相比，通过滤波获得的像素被模糊。

因此，在滤波器单元121中，隔行格式L图像和R图像的滤波是利用被划分为组分奇数场和偶数场的帧执行的。

滤波器单元121向间隔剔除单元122提供构成L图像的帧的奇数场和偶数场以及构成R图像的帧的奇数场和偶数场的滤波结果。

现在，构成L图像的帧的奇数场和偶数场以及构成R图像的帧的奇数场和偶数场也将被称为L奇数场、L偶数场、R奇数场和R偶数场。

以与图5中的间隔剔除单元12间隔剔除L图像的像素相同的方式，间隔剔除单元122在倾斜方向上间隔剔除L奇数场的每隔一条线的像素，从而将L奇数场转换为其中像素已被以棋盘方式排列的场(下文中也称为间隔剔除过的L奇数场)。

另外，以与图5中的间隔剔除单元12间隔剔除L图像的像素相同的方式，间隔剔除单元122在倾斜方向上间隔剔除L偶数场的每隔一条线的像素，从而将L偶数场转换为其中像素已被以棋盘方式排列的场(下文中也称为间隔剔除过的L偶数场)。

另外，以与图5中的间隔剔除单元12间隔剔除R图像的像素相同的方式，间隔剔除单元122在倾斜方向上间隔剔除R奇数场和R偶数场的每隔一条线的像素，从而将R奇数场和R偶数场转换为其中像素已被以棋盘方式排列的场。

现在，由具有在间隔剔除单元122处间隔剔除的像素的R奇数场和R偶数场获得的场也将被称为间隔剔除过的R奇数场和间隔剔除过的R偶数场。

间隔剔除单元122将间隔剔除过的L奇数场和间隔剔除过的L偶数场以及间隔剔除过的R奇数场和间隔剔除过的R偶数场提供给预处理单元123。

预处理单元123使用从间隔剔除单元122提供来的间隔剔除过的L奇数场和间隔剔除过的L偶数场以及间隔剔除过的R奇数场和间隔剔除过的R偶数场来执行预处理以构造间隔剔除过的L图像和间隔剔除过的R图像的帧。

也就是说，预处理单元123执行以下处理作为预处理：该处理将其中排列有间隔剔除过的L奇数场(第一间隔剔除过的奇数场)和间隔剔除过的L偶数场(第一间隔剔除过的偶数场)的图像构造为间隔剔除过的L图像(第一间隔剔除过的图像)，其中该间隔剔除过的L奇数场和间隔剔除过的L偶数场是通过在倾斜方向上按每隔一条线的方式间隔剔除构成由成像装置101L成像的隔行格式L图像的一帧的奇数场和偶数场中每一个的像素而获得的。

另外，预处理单元123执行以下处理作为预处理：该处理将其中排列有间隔剔除过的R奇数场(第二间隔剔除过的奇数场)和间隔剔除过的R偶数场(第二间隔剔除过的偶数场)的图像构造为间隔剔除过的R图像(第二间隔剔除过的图像)，其中该间隔剔除过的R奇数场和间隔剔除过的R偶数场是通过在倾斜方向上按每隔一条线的方式间隔剔除构成来自间隔剔除单元122的间隔剔除过的R奇数场和间隔剔除过的R偶数场(即，构成由成像装置101R成像的隔行格式R图像的一帧)的奇数场和偶数场中每一个的像素而获得的。

预处理单元123随后将作为预处理的结果获得的间隔剔除过的L图像和间隔剔除过的R图像提供给交织混合处理单元124。

交织混合处理单元124具有水平处理单元131、垂直处理单元132和混合单元133，并且执行交织混合处理。

也就是说，间隔剔除过的L图像和间隔剔除过的R图像(的帧)被从预处理单元123提供给水平处理单元131。

以与图5中的水平处理单元31相同的方式，水平处理单元131使来自预处理单元123的间隔剔除过的L图像和间隔剔除过的R图像(的帧)各自经历水平处理，并将作为其结果获得的水平处理后L图像和水平处理后R图像提供给垂直处理单元132。

除了从水平处理单元131提供来的水平处理后L图像和水平处理后R图像以外，还向垂直处理单元132提供来自控制单元125的指示行分离的分离标志和指示交织排列的垂直样式标志。

以与图5中的垂直处理单元32相同的方式，垂直处理单元132遵循分离标志和垂直样式标志来使来自水平处理单元131的水平处理后L图像和水平处理后R图像经历垂直处理。

也就是说，垂直处理单元132遵循来自控制单元125的指示行分离的分离标志来从来自水平处理单元131的水平处理后L图像和水平处理后R图像(的帧)中分离出奇数行和偶数行。

另外，垂直处理单元132遵循来自控制单元125的指示交织排列的垂直样式标志来生成两个图像作为多个垂直处理后图像，该多个垂直处理后图像被提供给混合单元133，这两个图像是通过以交织方式排列水平处理后L图像和水平处理后R图像的奇数行而获得的垂直处理后奇数行图像，以及通过以交织方式排列水平处理后L图像和水平处理后R图像的偶数行而获得的垂直处理后偶数行图像。

向混合单元133提供来自垂直处理单元132的作为多个垂直处理后图像的垂直处理后奇数行图像和垂直处理后偶数行图像，并且还提供来自控制单元125的分离标志、垂直样式标志和布置样式标志。

以与图5中的混合单元33相同的方式，混合单元133遵循来自控制单元125的分离标志、垂直样式标志和布置样式标志来排列来自垂直处理单元132的多个垂直处理后图像，从而生成混合有多个垂直处理后图像的混合图像，其被输出到编码器34作为要经历预测编码的图像。

现在，如上所述，这里，来自控制单元125的分离标志指示行分离，并且垂直样式标志指示交织排列。

因此，以与图5中的混合单元33相同的方式，混合单元133遵循指示行分离的分离标志和指示交织排列的垂直样式标志来识别出作为多个垂直处理后图像从垂直处理单元132提供来的图像是垂直处理后奇数行图像和垂直处理后偶数行图像的两个图像，并且垂直处理后奇数行图像和垂直处理后偶数行图像被排列在预先确定的位置处(无论布置样式标志如何)，从而生成混合图像。

控制单元125分别将分离标志设置为指示行分离的1，将垂直样式标志设置为指示交织排列的1，并将布置样式标志设置为任意值(或者默认值)，并且提供给混合单元133和编码器34。另外，控制单元125将分离标志和垂直样式标志提供给垂直处理单元132。

[合成单元102的处理]

图21是用于描述在L图像和R图像是逐行图像的情况下，图20中的合成单元102的处理的示图。

注意，如在图8中所描述的，在图21中，分别地，LO表示L图像的(帧的)奇数行的像素，LE表示L图像的偶数行的像素，RO表示R图像的(帧的)奇数行的像素，并且RE表示R图像的偶数行的像素。

另外，在图21中，由阴影指示的像素表示从左起偶数编号的列的像素，并且未加阴影的像素表示从左起奇数编号的列的像素。这也适用于下面的示图。

在L图像和R图像是逐行图像的情况下，滤波器单元121(图20)对L图像和R图像的帧执行逐行L图像和R图像的滤波，并提供给间隔剔除单元122。

间隔剔除单元122(图20)如图21所示在倾斜方向上按每隔一条线的方式间隔剔除来自滤波器单元121的L图像和R图像的帧，从而将L图像和R图像的帧转换为像素以棋盘方式排列的间隔剔除过的L图像和间隔剔除过的R图像，其被提供给预处理单元123。

在L图像和R图像是逐行的情况下，预处理单元123(图20)并不执行预处理，而是将来自间隔剔除单元122的间隔剔除过的L图像和间隔剔除过的R图像的帧不加改变地提供给交织混合处理单元124的水平处理单元131。

水平处理单元131(图20)执行水平填充以在水平方向上偏移来自预处理单元123的间隔剔除过的L图像和间隔剔除过的R图像(其像素以棋盘方式排列)中的每一个的像素作为水平处理，从而生成图21中所示的水平处理后L图像和水平处理后R图像(的帧)，其被提供给垂直处理单元132。

垂直处理单元132(图20)从来自水平处理单元131的水平处理后L图像和水平处理后R图像中的每一个中分离出奇数行和偶数行。

另外，如图21所示，垂直处理单元132执行水平处理后L图像的奇数行(LO)和水平处理后R图像的奇数行(RO)的交织排列，从而生成垂直处理后奇数行图像(的帧)，其中水平处理后L图像的奇数行(LO)和水平处理后R图像的奇数行(RO)被以交替方式排列。

另外，如图21所示，垂直处理单元132执行水平处理后L图像的偶数行(LE)和水平处理后R图像的偶数行(RE)的交织排列，从而生成垂直处理后偶数行图像(的帧)，其中水平处理后L图像的偶数行(LE)和水平处理后R图像的偶数行(RE)被以交替方式排列。

垂直处理单元132随后将垂直处理后奇数行图像和垂直处理后偶数行图像提供给混合单元133。

例如，如参考图13所描述的，混合单元133(图20)将垂直处理后奇数行图像定位在左侧并且将垂直处理后偶数行图像定位在右侧，从而生成混合图像(的帧)，其被提供给编码器34。

因此，在L图像和R图像是逐行图像的情况下，在作为混合图像的左半部分的垂直处理后奇数行图像处，奇数场(奇数行)由仅L图像的奇数行(LO)的像素构成，并且偶数场(偶数行)由仅R图像的奇数行(RO)的像素构成。

另外，在作为混合图像的右半部分的垂直处理后偶数行图像处，奇数场由仅L图像的偶数行(LE)的像素构成，并且偶数场由仅R图像的偶数行(RE)的像素构成。

因此，通过以混合图像作为隔行格式图像来执行预测处理，可以实现高的编码效率，如在图13中所描述的。

图22至图24是用于描述在L图像和R图像是隔行格式图像的情况下，图20中的合成单元102的处理的示图。

也就是说，图22是用于描述在L图像和R图像是隔行格式图像的情况下，滤波器单元121和间隔剔除单元122的处理的示图。

注意，在图22中，分别地，LOO指示L图像(的帧)的奇数场(L奇数场)，LOE指示L奇数场的偶数行，LEO指示L图像的偶数场(L偶数场)的奇数行，LEE指示L偶数场的偶数行，ROO指示R图像(的帧)的奇数场(R奇数场)，ROE指示R奇数场的偶数行，REO指示R图像的偶数场(R偶数场)的奇数行，并且REE指示R偶数场的偶数行。这也适用于下面的示图。

在L图像和R图像是隔行格式图像的情况下，滤波器单元121(图20)对L图像和R图像的场执行隔行格式L图像和R图像的滤波，并提供给间隔剔除单元122。

也就是说，如图22所示，滤波器单元121执行构成L图像的帧的L奇数场和L偶数场以及构成R图像的帧的R奇数场和R偶数场中的每一个的滤波，并提供给间隔剔除单元122。

间隔剔除单元122(图20)如图22所示在倾斜方向上按每隔一条线的方式间隔剔除来自滤波器单元121的L奇数场和L偶数场以及R奇数场和R偶数场中的每一个的像素，从而分别将L奇数场和L偶数场以及R奇数场和R偶数场转换为像素以棋盘方式排列的间隔剔除过的L奇数场和间隔剔除过的L偶数场以及间隔剔除过的R奇数场和间隔剔除过的R偶数场，其被提供给预处理单元123。

现在，在L图像和R图像是逐行图像的情况下，预处理单元123不执行预处理(如参考图21所描述的)，而是将来自间隔剔除单元122的间隔剔除过的L图像和间隔剔除过的R图像不加改变地提供给交织混合处理单元124的水平处理单元131。

现在，将描述在以下情况下通过交织混合处理单元124的交织混合处理获得的混合图像：以与L图像和R图像是逐行图像相同的方式，预处理单元123不执行预处理，而是将来自间隔剔除单元122的间隔剔除过的L奇数场和间隔剔除过的L偶数场以及间隔剔除过的R奇数场和间隔剔除过的R偶数场不加改变地提供给交织混合处理单元124(的水平处理单元131)。

图23是图示在L图像和R图像是隔行格式图像并且预处理单元123不执行预处理的情况下，从预处理单元123提供给交织混合处理单元124的水平处理单元131的间隔剔除过的L图像和间隔剔除过的R图像的帧的示图。

间隔剔除过的L图像的帧是以间隔剔除过的L奇数场作为奇数场并且以间隔剔除过的L偶数场作为偶数场的帧。另外，间隔剔除过的R图像的帧是以间隔剔除过的R奇数场作为奇数场并且以间隔剔除过的R偶数场作为偶数场的帧。

因此，在这种情况下，在间隔剔除过的L图像的帧处，两个像素被每两个像素地排列在垂直(垂直方向)方向上(如图23所示)，并且像素没有以棋盘方式排列。

另外，在间隔剔除过的L图像的帧处，在奇数场中共存有仅由L奇数场奇数行(LOO)的像素构成的行和仅由L奇数场偶数行(LOE)的像素构成的行，并且在偶数场中共存有仅由L偶数场奇数行(LEO)的像素构成的行和仅由L偶数场偶数行(LEE)的像素构成的行。

也就是说，在间隔剔除过的L图像的帧中，分别地，第4n+1行(第4n+1(n＝0，1，2，..)水平行)单独由L奇数场奇数行(LOO)的像素构成，第4n+2行单独由L偶数场奇数行(LEO)的像素构成，第4n+3行单独由L奇数场偶数行(LOE)的像素构成，并且第4n+4行单独由L偶数场偶数行(LEE)的像素构成。

以相同的方式，在间隔剔除过的R图像的帧处，两个像素被每两个像素地排列在垂直方向上(如图23所示)，并且像素没有以棋盘方式排列。

另外，如图23所示，在间隔剔除过的R图像的帧处，在奇数场中共存有仅由R奇数场奇数行(ROO)的像素构成的行和仅由R奇数场偶数行(ROE)的像素构成的行，并且在偶数场中共存有仅由R偶数场奇数行(REO)的像素构成的行和仅由R偶数场偶数行(REE)的像素构成的行。

也就是说，在间隔剔除过的R图像的帧中，分别地，第4n+1行(第4n+1(n＝0，1，2，..)水平行)单独由R奇数场奇数行(ROO)的像素构成，第4n+2行单独由R偶数场奇数行(REO)的像素构成，第4n+3行单独由R奇数场偶数行(ROE)的像素构成，并且第4n+4行单独由R偶数场偶数行(REE)的像素构成。

图24是用于描述分别在图20中的水平处理单元131和垂直处理单元132处对图23中的间隔剔除过的L图像和间隔剔除过的R图像执行的水平处理和垂直处理的示图。

水平处理单元131(图20)执行水平填充以在水平方向上填充来自预处理单元123的间隔剔除过的L图像和间隔剔除过的R图像的像素作为水平处理，从而生成图24中所示的水平处理后L图像和水平处理后R图像(的帧)，其被提供给垂直处理单元132。

现在，如上所述，在间隔剔除过的L图像的帧中，分别地，第4n+1行单独由L奇数场奇数行(LOO)的像素构成，第4n+2行单独由L偶数场奇数行(LEO)的像素构成，第4n+3行单独由L奇数场偶数行(LOE)的像素构成，并且第4n+4行单独由L偶数场偶数行(LEE)的像素构成。

另外，在间隔剔除过的R图像的帧中，分别地，第4n+1行单独由R奇数场奇数行(ROO)的像素构成，第4n+2行单独由R偶数场奇数行(REO)的像素构成，第4n+3行单独由R奇数场偶数行(ROE)的像素构成，并且第4n+4行单独由R偶数场偶数行(REE)的像素构成。

因此，同样在水平处理后L图像中，分别地，第4n+1行单独由L奇数场奇数行(LOO)的像素构成，第4n+2行单独由L偶数场奇数行(LEO)的像素构成，第4n+3行单独由L奇数场偶数行(LOE)的像素构成，并且第4n+4行单独由L偶数场偶数行(LEE)的像素构成。

以相同的方式，同样在水平处理后R图像中，分别地，第4n+1行单独由R奇数场奇数行(ROO)的像素构成，第4n+2行单独由R偶数场奇数行(REO)的像素构成，第4n+3行单独由R奇数场偶数行(ROE)的像素构成，并且第4n+4行单独由R偶数场偶数行(REE)的像素构成。

垂直处理单元132(图20)从来自水平处理单元131的水平处理后L图像和水平处理后R图像中的每一个中分离出奇数行和偶数行。

另外，如图24所示，垂直处理单元132以交织方式排列水平处理后L图像的帧的奇数行和水平处理后R图像的帧的奇数行，从而生成垂直处理后奇数行图像(的帧)。

水平处理后L图像的奇数行包括第4n+1行和第4n+3行，并且如上所述，分别地，第4n+1行仅由L奇数场奇数行(LOO)的像素构成，并且第4n+3行仅由L奇数场偶数行(LOE)的像素构成。

另外，水平处理后R图像的奇数行包括第4n+1行和第4n+3行，并且如上所述，分别地，第4n+1行仅由R奇数场奇数行(ROO)的像素构成，并且第4n+3行仅由R奇数场偶数行(ROE)的像素构成。

因此，在如图24所示通过以交织方式排列这种水平处理后L图像的奇数行和这种水平处理后R图像的奇数行而生成的垂直处理后奇数行图像的帧中，分别地，第4n+1行仅由L奇数场奇数行(LOO)的像素构成，第4n+2行仅由R奇数场奇数行(ROO)的像素构成，第4n+3行仅由L奇数场偶数行(LOE)的像素构成，并且第4n+4行仅由R奇数场偶数行(ROE)的像素构成。

另外，如图24所示，预处理单元123以交织方式排列水平处理后L图像的帧的偶数行和水平处理后R图像的帧的偶数行，从而生成垂直处理后偶数行图像(的帧)。

水平处理后L图像的偶数行包括第4n+2行和第4n+4行，并且如上所述，第4n+2行仅由L偶数场奇数行(LEO)的像素构成，并且第4n+4行仅由L偶数场偶数行(LEE)的像素构成。

另外，水平处理后R图像的偶数行包括第4n+2行和第4n+4行，并且如上所述，分别地，第4n+2行仅由R偶数场奇数行(REO)的像素构成，并且第4n+4行仅由R偶数场偶数行(REE)的像素构成。

因此，在如图24所示通过以交织方式排列这种水平处理后L图像的偶数行和这种水平处理后R图像的偶数行而生成的垂直处理后偶数行图像的帧中，分别地，第4n+1行仅由L偶数场奇数行(LEO)的像素构成，第4n+2行仅由R偶数场奇数行(REO)的像素构成，第4n+3行仅由L偶数场偶数行(LEE)的像素构成，并且第4n+4行仅由R偶数场偶数行(REE)的像素构成。

垂直处理单元132将这种垂直处理后奇数行图像和垂直处理后偶数行图像提供给混合单元133。

如参考图13所描述的，混合单元133(图20)将垂直处理后奇数行图像定位在左侧并且将垂直处理后偶数行图像定位在右侧，从而生成混合图像(的帧)，其被提供给编码器34。

因此，在L图像和R图像是隔行格式图像并且预处理单元123不执行预处理的情况下，L奇数场奇数行(LOO)和L奇数场偶数行(LOE)在作为混合图像的左半部分的垂直处理后奇数行图像的奇数场(奇数行)中交替。

另外，R奇数场奇数行(ROO)和R奇数场偶数行(ROE)在作为混合图像的左半部分的垂直处理后奇数行图像的偶数场(偶数行)中交替。

在图24中，在构成垂直处理后奇数行图像的奇数场的L奇数场奇数行(LOO)和L奇数场偶数行(LOE)中，L奇数场奇数行(LOO)的像素未加阴影，因此如在图21中所描述的，这些是L奇数场中奇数编号的列的像素，并且L奇数场偶数行(LOE)的像素被加阴影，因此如在图21中所描述的，这些是L奇数场中偶数编号的列的像素。

因此，构成垂直处理后奇数行图像的奇数场的L奇数场奇数行(LOO)和L奇数场偶数行(LOE)的像素是其水平方向(水平方向)上的相位(位置)被偏移了相当一个像素的像素，因此(空间)相关性较低(像素值的改变不连续，并且高频分量发生)。

以相同的方式，构成垂直处理后奇数行图像的偶数场的R奇数场奇数行(ROO)和R奇数场偶数行(ROE)的像素是其水平方向上的相位被偏移了相当一个像素的像素，因此相关性较低。

另外，这对于作为混合图像的右半部分的垂直处理后偶数行图像来说也是相同的。

也就是说，在L图像和R图像是隔行格式图像并且预处理单元123不执行预处理的情况下，L偶数场奇数行(LEO)和L偶数场偶数行(LEE)在作为混合图像的右半部分的垂直处理后偶数行图像的奇数场中交替，并且R偶数场奇数行(REO)和R偶数场偶数行(REE)在偶数场中交替。

因而，构成作为混合图像的右半部分的垂直处理后奇数行图像的奇数场的L偶数场奇数行(LEO)和L偶数场偶数行(LEE)的像素在相关性上较低，并且构成偶数场的R偶数场奇数行(REO)和R偶数场偶数行(REE)的像素也较低。

因此，即使以混合图像作为隔行格式图像来执行预测编码，也难以实现高的编码效率。

另外，如图23所示，在间隔剔除过的L图像和间隔剔除过的R图像的帧中，两个像素按照每两个像素地排列在垂直方向上，并且像素没有以棋盘方式排列，因此与像素以棋盘方式排列的情况相比，空间分辨率恶化。

因此，在L图像和R图像是隔行格式图像的情况下，合成单元102(图20)在预处理单元123处执行预处理。

[预处理]

图25是用于描述预处理单元123执行的预处理的示图。

如图25所示，预处理单元123执行以下处理作为预处理：该处理将其中间隔剔除过的L奇数场和间隔剔除过的L偶数场例如排列在垂直方向上的图像构造为间隔剔除过的L图像的帧。

另外，如图25所示，预处理单元123执行以下处理作为预处理：该处理将其中间隔剔除过的R奇数场和间隔剔除过的R偶数场例如排列在垂直方向上的图像构造为间隔剔除过的R图像的帧。

预处理单元123随后将作为预处理的结果获得的间隔剔除过的L图像和间隔剔除过的R图像提供给交织混合处理单元124。

在图25中的间隔剔除过的L图像处，间隔剔除过的L奇数场位于上侧(上半部分)并且间隔剔除过的L偶数场位于下侧(下半部分)。以相同的方式，在间隔剔除过的R图像处，间隔剔除过的R奇数场位于上侧(上半部分)并且间隔剔除过的R偶数场位于下侧(下半部分)。

图26是用于描述作为在图20中的交织混合处理单元124处执行的交织混合处理的水平处理、垂直处理和混合处理(其是对图25中的间隔剔除过的L图像和间隔剔除过的R图像执行的处理)的示图。

水平处理单元131(图20)执行水平填充以在水平方向上填充来自预处理单元123的间隔剔除过的L图像和间隔剔除过的R图像的像素作为水平处理，从而生成图26中所示的水平处理后L图像和水平处理后R图像(的帧)，其被提供给垂直处理单元132。

现在，如上所述，在通过预处理获得的间隔剔除过的L图像的帧中，间隔剔除过的L奇数场位于上侧并且间隔剔除过的L偶数场位于下侧，并且在通过预处理获得的间隔剔除过的R图像的帧中，间隔剔除过的R奇数场位于上侧并且间隔剔除过的R偶数场位于下侧。

因此，如图26所示，在水平处理后L图像的帧处，L奇数场奇数行(LOO)和偶数行(LOE)在上侧交替，并且L偶数场奇数行(LEO)和偶数行(LEE)在下侧交替。

也就是说，在水平处理后L图像的上侧，奇数行是L奇数场奇数行(LOO)并且偶数行是L奇数场偶数行(LOE)。

另外，在水平处理后L图像的下侧，奇数行是L偶数场奇数行(LEO)并且偶数行是偶数行(LEE)。

另外，如图26所示，在水平处理后R图像的帧处，R奇数场奇数行(ROO)和偶数行(ROE)在上侧交替，并且R偶数场奇数行(REO)和偶数行(REE)在下侧交替。

也就是说，在水平处理后R图像的上侧，奇数行是R奇数场奇数行(ROO)并且偶数行是R奇数场偶数行(ROE)。

另外，在水平处理后R图像的下侧，奇数行是R偶数场奇数行(REO)并且偶数行是偶数行(REE)。

垂直处理单元132(图20)从来自水平处理单元131的水平处理后L图像和水平处理后R图像中的每一个中分离出奇数行和偶数行。

另外，如图26所示，垂直处理单元132以隔行方式排列水平处理后L图像的帧的奇数行(LOO和LEO)以及水平处理后R图像的帧的奇数行(ROO和REO)以便生成垂直处理后奇数行图像(的帧)，并且还以隔行方式排列水平处理后L图像的帧的偶数行(LOE和LEE)以及水平处理后R图像的帧的偶数行(ROE和REE)以便生成垂直处理后偶数行图像(的帧)。

因此，如图26所示，在垂直处理后奇数行图像中，L奇数场奇数行(LOO)和R奇数场奇数行(ROO)在上侧交替，并且L偶数场奇数行(LEO)和R偶数场奇数行(REO)在下侧交替。

也就是说，在垂直处理后奇数行图像的帧的上侧，奇数行是L奇数场奇数行(LOO)并且偶数行是R奇数场奇数行(ROO)。

另外，在垂直处理后奇数行图像的帧的下侧，奇数行是L偶数场奇数行(LEO)并且偶数行是R偶数场奇数行(REO)。

另一方面，如图26所示，在垂直处理后偶数行图像中，L奇数场偶数行(LOE)和R奇数场偶数行(ROE)在上侧交替，并且L偶数场偶数行(LEE)和R偶数场偶数行(REE)在下侧交替。

也就是说，在垂直处理后偶数行图像的帧的上侧，奇数行是L奇数场偶数行(LOE)并且偶数行是R奇数场偶数行(ROE)。

另外，在垂直处理后偶数行图像的下侧，奇数行是L偶数场偶数行(LEE)并且偶数行是R偶数场偶数行(REE)。

垂直处理单元132将诸如上述的垂直处理后奇数行图像和垂直处理后偶数行图像提供给混合单元133。

混合单元133(图20)以与图13的情况相同的方式将垂直处理后奇数行图像定位在左侧(如图26所示)，并且还将垂直处理后偶数行图像定位在右侧，从而生成混合图像(的帧)，其被提供给编码器34。

因此，在L图像和R图像是隔行格式图像的情况下，在预处理单元123处执行预处理的情况下，在作为混合图像的左半部分的垂直处理后奇数行图像的上侧，即，在混合图像的左上1/4区域处，奇数行是L奇数场奇数行(LOO)并且偶数行是R奇数场奇数行(ROO)，如图26所示。

另外，在作为混合图像的左半部分的垂直处理后奇数行图像的下侧，即，在混合图像的左下1/4区域处，奇数行是L偶数场奇数行(LEO)并且偶数行是R偶数场奇数行(REO)，如图26所示。

另外，在作为混合图像的右半部分的垂直处理后偶数行图像的上侧，即，在混合图像的右上1/4区域处，奇数行是L奇数场偶数行(LOE)并且偶数行是R奇数场偶数行(ROE)，如图26所示。

另外，在作为混合图像的右半部分的垂直处理后偶数行图像的下侧，即，在混合图像的右下1/4区域处，奇数行是L偶数场偶数行(LEE)并且偶数行是R偶数场偶数行(REE)，如图26所示。

因此，在混合图像的奇数场(奇数行)中，分别地，左上1/4区域仅由L奇数场奇数行(LOO)的像素构成，左下1/4区域仅由L偶数场奇数行(LEO)的像素构成，右上1/4区域仅由L奇数场偶数行(LOE)的像素构成，并且右下1/4区域仅由L偶数场偶数行(LEE)的像素构成。

另外，在偶数场(偶数行)中，分别地，左上1/4区域仅由R奇数场奇数行(ROO)的像素构成，左下1/4区域仅由R偶数场奇数行(REO)的像素构成，右上1/4区域仅由R奇数场偶数行(ROE)的像素构成，并且右下1/4区域仅由R偶数场偶数行(REE)的像素构成。

如上所述，混合图像的奇数场和偶数场被划分为左上、左下、右上和右下的四个区域，其中L图像和R图像之一的相同场(奇数场或偶数场)的相同行(奇数行或偶数行)的像素被集中，因此通过以混合图像作为隔行格式图像来执行预测编码，可以实现高的编码效率。

注意，在图25中，已经进行了这样的布置，其中具有排列在垂直方向上的间隔剔除过的L奇数场和间隔剔除过的L偶数场的图像被构造为间隔剔除过的L图像帧，并且具有排列在垂直方向上的间隔剔除过的R奇数场和间隔剔除过的R偶数场的图像被构造为间隔剔除过的R图像帧，但是可以采用这样的布置，其中间隔剔除过的L奇数场和间隔剔除过的L偶数场被排列在水平方向上并且被取作间隔剔除过的L图像帧，并且具有间隔剔除过的R奇数场和间隔剔除过的R偶数场的图像被排列在垂直方向上并且被取作间隔剔除过的R图像帧。

然而，在这种情况下，在混合单元133处，混合图像不是通过在水平方向上排列垂直处理后奇数行图像和垂直处理后偶数行图像(将垂直处理后奇数行图像定位在左侧并且将垂直处理后偶数行图像定位在右侧)来生成的，而是通过在垂直方向上排列垂直处理后奇数行图像和垂直处理后偶数行图像来生成混合图像。

另外，在预处理单元123处可以进行这样的布置，其中，例如，间隔剔除过的L奇数场和间隔剔除过的L偶数场被排列在垂直方向上以构造间隔剔除过的L图像(的帧)，并且间隔剔除过的R奇数场和间隔剔除过的R偶数场被排列在垂直方向上以构造间隔剔除过的R图像。

另外，在预处理单元123中，可以进行这样的布置，其中，构造八个图像，即，其中仅收集了间隔剔除过的L奇数场奇数行(LOO)的L奇数场奇数行图像、其中仅收集了间隔剔除过的L奇数场偶数行(LOE)的L奇数场偶数行图像、其中仅收集了间隔剔除过的L偶数场奇数行(LEO)的L偶数场奇数行图像、其中仅收集了间隔剔除过的L偶数场偶数行(LEE)的L偶数场偶数行图像、其中仅收集了间隔剔除过的R奇数场奇数行(ROO)的R奇数场奇数行图像、其中仅收集了间隔剔除过的R奇数场偶数行(ROE)的R奇数场偶数行图像、其中仅收集了间隔剔除过的R偶数场奇数行(REO)的R偶数场奇数行图像、以及其中仅收集了间隔剔除过的R偶数场偶数行(REE)的R偶数场偶数行图像，并且这八个图像被用于构造间隔剔除过的L图像和间隔剔除过的R图像。

现在，通过在垂直方向上排列间隔剔除过的L奇数场和间隔剔除过的L偶数场并且在垂直方向上排列间隔剔除过的R奇数场和间隔剔除过的R偶数场来生成间隔剔除过的L图像的预处理也将被称为第一方法的预处理。

另外，构造八个图像(L奇数场奇数行图像、L奇数场偶数行图像、L偶数场奇数行图像、L偶数场偶数行图像、R奇数场奇数行图像、R奇数场偶数行图像、R偶数场奇数行图像以及R偶数场偶数行图像)并且利用这八个图像构造间隔剔除过的L图像和间隔剔除过的R图像的预处理也将被称为第二方法的预处理。

图27是用于描述第二方法的预处理的示图。

在第二方法的预处理中，预处理单元123仅收集间隔剔除过的L奇数场奇数行(LOO)来构造L奇数场奇数行图像，并且仅收集L奇数场偶数行(LOE)来构造L奇数场偶数行图像。

另外，预处理单元123仅收集L偶数场奇数行(LEO)来构造L偶数场奇数行图像，并且仅收集L偶数场偶数行(LEE)来构造L偶数场偶数行图像。

另外，预处理单元123仅收集R奇数场奇数行(ROO)来构造R奇数场奇数行图像，并且仅收集R奇数场偶数行(ROE)来构造R奇数场偶数行图像。

另外，预处理单元123仅收集R偶数场奇数行(REO)来构造R偶数场奇数行图像，并且仅收集R偶数场偶数行(REE)来构造R偶数场偶数行图像。

预处理单元123随后在垂直方向上排列L奇数场奇数行(LOO)和L偶数场奇数行(LEO)以构造L场奇数行图像，其中仅间隔剔除过的L奇数场和间隔剔除过的L偶数场的奇数行被排列。

预处理单元123还在垂直方向上排列L奇数场偶数行(LOE)和L偶数场偶数行(LEE)以构造L场偶数行图像，其中仅间隔剔除过的L奇数场和间隔剔除过的L偶数场的偶数行被排列。

预处理单元123随后在垂直方向上排列R奇数场奇数行(ROO)和R偶数场奇数行(REO)以构造R场奇数行图像，其中仅间隔剔除过的R奇数场和间隔剔除过的R偶数场的奇数行被排列。

预处理单元123还在垂直方向上排列R奇数场偶数行(ROE)和R偶数场偶数行(REE)以构造R场偶数行图像，其中仅间隔剔除过的R奇数场和间隔剔除过的R偶数场的偶数行被排列。

因而，预处理单元123构造其中仅间隔剔除过的L奇数场和间隔剔除过的L偶数场的奇数行被排列的L场奇数行图像(第一奇数行场)、其中仅间隔剔除过的L奇数场和间隔剔除过的L偶数场的偶数行被排列的L场偶数行图像(第一偶数行场)、其中仅间隔剔除过的R奇数场和间隔剔除过的R偶数场的奇数行被排列的R场奇数行图像(第二奇数行场)、其中仅间隔剔除过的R奇数场和间隔剔除过的R偶数场的偶数行被排列的R场偶数行图像(第二偶数行场)，并且随后利用这些L场奇数行图像、L场偶数行图像、R场奇数行图像和R场偶数行图像来构造间隔剔除过的L图像和间隔剔除过的R图像。

也就是说，图28是用于描述利用L场奇数行图像、L场偶数行图像、R场奇数行图像和R场偶数行图像来构造间隔剔除过的L图像和间隔剔除过的R图像的方法的示图。

预处理单元123构造一帧，其中L场奇数行图像是奇数场并且L场偶数行图像是偶数行，从而构造其中间隔剔除过的L奇数场和间隔剔除过的L偶数场已被排列的图像(图25)作为间隔剔除过的L图像(的帧)。

另外，预处理单元123构造一帧，其中R场奇数行图像是奇数场并且R场偶数行图像是偶数行，从而构造其中间隔剔除过的R奇数场和间隔剔除过的R偶数场已被排列的图像(图25)作为间隔剔除过的R图像(的帧)。

图29是用于描述第一方法的预处理的流程图。

在从间隔剔除单元122供给间隔剔除过的L奇数场和间隔剔除过的L偶数场以及间隔剔除过的R奇数场和间隔剔除过的R偶数场后，在步骤S101中，预处理单元123(图20)在垂直方向上配置间隔剔除过的L奇数场和间隔剔除过的L偶数场，从而构造间隔剔除过的L图像(的帧)。

另外，在步骤S101中，预处理单元123在垂直方向上配置来自间隔剔除单元122的间隔剔除过的R奇数场和间隔剔除过的R偶数场，从而构造间隔剔除过的R图像(的帧)，如图25所示。

预处理单元123随后将间隔剔除过的L图像和间隔剔除过的R图像提供给交织混合处理单元124。

图30是用于描述第二方法的预处理的流程图。

在从间隔剔除单元122供给间隔剔除过的L奇数场和间隔剔除过的L偶数场以及间隔剔除过的R奇数场和间隔剔除过的R偶数场后，在步骤S111中，预处理单元123(图20)仅收集间隔剔除过的L奇数场奇数行(LOO)来构成L奇数场奇数行图像(LOO)，并且还仅收集间隔剔除过的L奇数场偶数行(LOE)来构成L奇数场偶数行图像(LOE)，如图27所示。

另外，预处理单元123仅收集间隔剔除过的L偶数场奇数行(LEO)来构造L偶数场奇数行图像(LEO)，并且还仅收集间隔剔除过的L偶数场偶数行(LEE)来构造L偶数场偶数行图像(LEE)，如图27所示。

另外，预处理单元123(图20)仅收集间隔剔除过的R奇数场奇数行(ROO)来构造间隔剔除过的R奇数场奇数行图像(ROO)，并且还仅收集间隔剔除过的R奇数场偶数行(ROE)来构造R奇数场偶数行图像(ROE)，如图27所示。

另外，预处理单元123仅收集间隔剔除过的R偶数场奇数行(REO)来构造R偶数场奇数行图像(REO)，并且还仅收集间隔剔除过的R偶数场偶数行(REE)来构造R偶数场偶数行图像(REE)，如图27所示，并且处理从步骤S111前进到步骤S112。

在步骤S112中，如图27所示，预处理单元123通过在垂直方向上排列L奇数场奇数行(LOO)和L偶数场奇数行(LEO)来构造L场奇数行图像。

另外，如图27所示，预处理单元123通过在垂直方向上排列L奇数场偶数行(LOE)和L偶数场偶数行(LEE)来构造L场偶数行图像。

另外，如图27所示，预处理单元123通过在垂直方向上排列R奇数场奇数行(ROO)和R偶数场奇数行(REO)来构造R场奇数行图像。

另外，如图27所示，预处理单元123通过在垂直方向上排列R奇数场偶数行(ROE)和R偶数场偶数行(REE)来构造R场偶数行图像，并且流程从步骤S112前进到S113。

在步骤S113中，如图28所示，预处理单元123构造以L场奇数行图像作为奇数场并且以L场偶数行图像作为偶数场的一帧，从而构造其中间隔剔除过的L奇数场和间隔剔除过的L偶数场被排列的图像(图25)作为间隔剔除过的L图像的帧。

另外，如图28所示，预处理单元123构造以R场奇数行图像作为奇数场并且以R场偶数行图像作为偶数场的一帧，从而构造其中间隔剔除过的R奇数场和间隔剔除过的R偶数场被排列的图像(图25)作为间隔剔除过的R图像的帧。

预处理单元123随后将间隔剔除过的L图像和间隔剔除过的R图像提供给交织混合处理单元124(图20)。

[解码设备的另一实施例]

图31是图示应用了根据本发明的图像处理设备的解码设备的另一实施例的配置示例的框图。

在图31中，与图16中的解码设备相对应的部分用相同的标号表示，并且将适当地省略其描述。

也就是说，图31中的解码设备在具有解码器61和3D显示设备68方面与图16中的情况是共同的。

然而，图31中的解码设备与图16中的情况的不同之处在于具有取代分离单元62、逆垂直处理单元63、逆水平处理单元64、插值单元65、滤波器单元66和3D格式转换单元67的3D图像构造设备141。

图18中的编码设备输出的编码数据被提供给解码设备的解码器61，解码器61将编码数据解码为混合图像，该混合图像被输出到3D图像构造设备141。

3D图像构造设备141根据来自解码器61的混合图像来构造由L图像和R图像构成的3D图像，并将其提供给3D显示设备68。

[3D图像构造设备141的配置示例]

图32是图示3D图像构造设备141的配置示例的框图。

3D图像构造设备141包括分离单元151、后处理单元152、插值单元153、滤波器单元154和3D格式转换单元155。

分离单元151包括分离单元161、逆垂直处理单元162和逆水平处理单元163，并且将来自解码器61的混合图像(它是通过图20中的交织混合处理单元124的交织混合处理获得的)分离为间隔剔除过的L图像和间隔剔除过的R图像。

也就是说，解码器61提取出提供给其的编码数据中包括的分离标志、垂直样式标志和布置样式标志，并将其提供给分离单元161。

另外，解码器61将分离标志和垂直样式标志提供给逆垂直处理单元162。

另外，解码器61利用与编码器34(图19)的编码格式相同的格式对编码数据解码，并将作为其结果获得的混合图像(即，通过图20中的交织混合处理单元124的交织混合处理获得的混合图像)提供给分离单元161。

以与图16中的分离单元62相同的方式，分离单元161遵循分离标志、垂直样式标志和布置样式标志来执行分离处理以将来自解码器61的混合图像分离为多个垂直处理后图像，并将作为其结果获得的多个垂直处理后图像提供给逆垂直处理单元162。

以与图16中的逆垂直处理单元63相同的方式，逆垂直处理单元162执行逆垂直处理以将多个垂直处理后图像返回成水平处理后L图像和水平处理后R图像，并将作为其结果获得的水平处理后L图像和水平处理后R图像提供给逆水平处理单元163。

现在，如上所述，来自图19中的编码设备的编码数据中包括的分离标志和垂直样式标志分别表示行分离和交织排列，并且混合图像是其中用作多个垂直处理后图像的垂直处理后奇数行图像和垂直处理后偶数行图像的两个图像被排列在水平方向上的图像，如参考图26所描述的。

在这种情况下，分离单元161遵循提供自解码器61的分离标志和垂直样式标志来从来自解码器61的混合图像中分离出如图26所示排列的垂直处理后奇数行图像和垂直处理后偶数行图像，其被提供给逆垂直处理单元162。

逆垂直处理单元162合成来自分离单元161的垂直处理后奇数行图像和垂直处理后偶数行图像的多行的一部分以解码出水平处理后L图像，并且还对来自分离单元161的垂直处理后奇数行图像和垂直处理后偶数行图像的剩余行解码以解码出水平处理后R图像。

也就是说，如参考图26所描述的，垂直处理后奇数行图像是其中水平处理后L图像的奇数行(LOO和LEO)和水平处理后R图像的奇数行(ROO和REO)被以交织方式排列的图像。

以相同的方式，垂直处理后偶数行图像是其中水平处理后L图像的偶数行(LOE和LEE)和水平处理后R图像的偶数行(ROE和REE)被以交织方式排列的图像。

逆垂直处理单元162分别从来自分离单元161的垂直处理后奇数行图像和垂直处理后偶数行图像中提取出来自水平处理后L图像的奇数行(LOO和LEO)和偶数行(LOE和LEE)，并且将奇数行(LOO和LEO)和偶数行(LOE和LEE)返回成它们的原始位置，从而解码出水平处理后L图像(的帧)。

另外，逆垂直处理单元162分别从来自分离单元161的垂直处理后奇数行图像和垂直处理后偶数行图像中提取出来自水平处理后R图像的奇数行(ROO和REO)和偶数行(ROE和REE)，并且将奇数行(ROO和REO)和偶数行(ROE和REE)返回成它们的原始位置，从而解码出水平处理后R图像(的帧)。

以与图16中的逆水平处理单元64相同的方式，逆水平处理单元163执行逆水平处理以将来自逆垂直处理单元162的水平处理后L图像和水平处理后R图像返回成间隔剔除过的L图像和间隔剔除过的R图像，并将作为其结果获得的间隔剔除过的L图像和间隔剔除过的R图像提供给后处理单元152。

现在，如上所述，在分离标志和垂直样式标志分别指示行分离和交织排列的情况下在分离单元161、逆垂直处理单元162和逆水平处理单元163处执行的分离处理、逆垂直处理和逆水平处理在下文中也将被称为交织分离处理。

如参考图25所述，作为分离单元151(的分离单元161、逆垂直处理单元162和逆水平处理单元163)处的交织分离处理的结果而获得的间隔剔除过的L图像(的帧)是其中间隔剔除过的L奇数场位于上侧并且间隔剔除过的L偶数场位于下侧的图像。

另外，作为交织分离处理的结果而获得的间隔剔除过的R图像(的帧)是其中间隔剔除过的R奇数场位于上侧并且间隔剔除过的R偶数场位于下侧的图像。

后处理单元152执行将来自分离单元151(的逆水平处理单元163)的间隔剔除过的L图像(的帧)返回成间隔剔除过的L奇数场和间隔剔除过的L偶数场的处理，并且执行将来自分离单元151的间隔剔除过的R图像(的帧)返回成间隔剔除过的R奇数场和间隔剔除过的R偶数场的处理。

注意，关于后处理单元152执行的后处理，存在第一方法的后处理和第二方法的后处理，第一方法的后处理是所谓第一方法的预处理的逆处理，第二方法的后处理是第二方法的预处理的逆处理。

后处理单元152将通过后处理获得的间隔剔除过的L奇数场和间隔剔除过的L偶数场以及间隔剔除过的R奇数场和间隔剔除过的R偶数场提供给插值单元153。

插值单元153针对来自后处理单元152的间隔剔除过的L奇数场和间隔剔除过的L偶数场以及间隔剔除过的R奇数场和间隔剔除过的R偶数场中的每一者执行经图20中的间隔剔除单元122的间隔剔除的像素的补偿，并将作为其结果获得的图像提供给滤波器单元154，作为经插值的L奇数场和经插值的L偶数场以及经插值的R奇数场和经插值的R偶数场。

与图16中的滤波器单元66一样，滤波器单元154执行经插值的L奇数场和经插值的L偶数场以及经插值的R奇数场和经插值的R偶数场中的每一者的滤波，从而解码出L奇数场和L偶数场以及R奇数场和R偶数场(图22)。

滤波器单元154随后向3D格式转换单元155提供隔行格式L图像(其L奇数场和L偶数场分别是奇数场和偶数场)和隔行格式R图像(其R奇数场和R偶数场分别是奇数场和偶数场)。

以与图16中的3D格式转换单元67相同的方式，3D格式转换单元155将来自滤波器单元154的L图像和R图像(的图像数据)转换为用于供3D显示设备68显示3D图像的格式的信号，并提供给3D显示设备68。

[后处理]

图33是用于描述第一方法的后处理的流程图。

在被供给来自分离单元151(的逆水平处理单元163)的其中间隔剔除过的L奇数场和间隔剔除过的L偶数场被排列在垂直方向上的间隔剔除过的L图像(的帧)和其中间隔剔除过的R奇数场和间隔剔除过的R偶数场被排列在垂直方向上的间隔剔除过的R图像(如图25所示)后，在步骤S131中，后处理单元152在垂直方向上分割(分离)来自分离单元151的间隔剔除过的L图像，并解码出间隔剔除过的L奇数场和间隔剔除过的L偶数场。

另外，后处理单元152在垂直方向上分割来自分离单元151的间隔剔除过的R图像，并解码出间隔剔除过的R奇数场和间隔剔除过的R偶数场。

后处理单元152随后将间隔剔除过的L奇数场和间隔剔除过的L偶数场以及间隔剔除过的R奇数场和间隔剔除过的R偶数场提供给插值单元153。

图34是用于描述根据第二方法的后处理的流程图。

在被供给来自分离单元151的其中间隔剔除过的L奇数场和间隔剔除过的L偶数场被排列在垂直方向上的间隔剔除过的L图像(的帧)和其中间隔剔除过的R奇数场和间隔剔除过的R偶数场被排列在垂直方向上的间隔剔除过的R图像(如图25所示)后，在步骤S141中，后处理单元152将来自分离单元151的间隔剔除过的L图像分离为作为奇数场的L场奇数行图像和作为偶数场的L场偶数行图像。

另外，后处理单元152将来自分离单元151的间隔剔除过的R图像分离为图28中所示的作为奇数场的R场奇数行图像和作为偶数场的R场偶数行图像。

处理随后顺序地从步骤S141前进到步骤S142，此时后处理单元152将L场奇数行图像(第一奇数行场)和L场偶数行图像(第一偶数行场)返回成间隔剔除过的L奇数场(第一间隔剔除过的奇数场)和间隔剔除过的L偶数场(第一间隔剔除过的偶数场)，并且还将R场奇数行图像(第二奇数行场)和R场偶数行图像(第二偶数行场)返回成间隔剔除过的R奇数场(第二间隔剔除过的奇数场)和间隔剔除过的R偶数场(第二间隔剔除过的偶数场)。

也就是说，在步骤S142中，根据L场奇数行图像、L场偶数行图像、R场奇数行图像和R场偶数行图像，后处理单元152解码出图27中的L奇数场奇数行图像、L奇数场偶数行图像、L偶数场奇数行图像、L偶数场偶数行图像、R奇数场奇数行图像、R奇数场偶数行图像、R偶数场奇数行图像和R偶数场偶数行图像。

如参考图28所描述的，分别地，L场奇数行图像是L奇数场奇数行图像(LOO)和L偶数场奇数行图像(LEO)被垂直排列的图像，L场偶数行图像是L奇数场偶数行图像(LOE)和L偶数场偶数行图像(LEE)被垂直排列的图像，R场奇数行图像是R奇数场奇数行图像(ROO)和R偶数场奇数行图像(REO)被垂直排列的图像，并且R场偶数行图像是R奇数场偶数行图像(ROE)和R偶数场偶数行图像(REE)被垂直排列的图像。

因此，后处理单元152垂直地分割L场奇数行图像并解码出L奇数场奇数行图像(LOO)和L偶数场奇数行图像(LEO)，并且还垂直地分割L场偶数行图像并解码出L奇数场偶数行图像(LOE)和L偶数场偶数行图像(LEE)。

另外，后处理单元152垂直地分割R场奇数行图像并解码出R奇数场奇数行图像(ROO)和R偶数场奇数行图像(REO)，并且还垂直地分割R场偶数行图像并解码出R奇数场偶数行图像(ROE)和R偶数场偶数行图像(REE)。

随后，处理从步骤S142前进到步骤S143，并且后处理单元152以交织方式排列L奇数场奇数行图像(LOO)和L奇数场偶数行图像(LOE)的行(水平行)，并解码出图27中的间隔剔除过的L奇数场。

另外，后处理单元152以交织方式排列L偶数场奇数行图像(LEO)和L偶数场偶数行图像(LEE)的行，并解码出图27中的间隔剔除过的L偶数场。

另外，后处理单元152以交织方式排列R奇数场奇数行图像(ROO)和R偶数场奇数行图像(REO)的行，并解码出图27中的间隔剔除过的R奇数场。

另外，后处理单元152以交织方式排列R奇数场偶数行图像(ROE)和R偶数场偶数行图像(REE)的行，并解码出图27中的间隔剔除过的R偶数场。

后处理单元152随后将间隔剔除过的L奇数场和间隔剔除过的L偶数场以及间隔剔除过的R奇数场和间隔剔除过的R偶数场提供给插值单元153。

如上所述，在L图像和R图像是隔行格式图像的情况下，在编码设备(图20)处，L图像奇数场(L奇数场)和偶数场(L偶数场)以及R图像奇数场(R奇数场)和偶数场(R偶数场)的像素被间隔剔除，然后经历预处理，接着执行交织混合处理，并且在解码设备(图32)处，在交织划分处理后执行后处理，接着执行其像素已被间隔剔除的L奇数场(间隔剔除过的L奇数场)、L偶数场(间隔剔除过的L偶数场)、R奇数场(间隔剔除过的R奇数场)和R偶数场(间隔剔除过的R偶数场)的插值，从而实现了隔行格式3D图像的高编码效率，同时防止了空间分辨率的恶化。

[应用本发明的计算机的描述]

上述处理序列可以通过硬件执行，或者可以通过软件执行。在通过软件执行处理序列的情况下，构成软件的程序被安装在通用计算机等中。

现在，图35是图示已安装了利用程序执行上述处理序列的程序的计算机的实施例的配置示例的框图。

该程序可以预先存储在作为记录介质构造在计算机内的硬盘205或ROM 203中。

或者，该程序可以存储(记录)在可移动存储介质211中。这种可移动存储介质211可以被提供为所谓的封装软件。可移动存储介质211的示例包括柔性盘、CD-ROM(致密盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘、半导体存储器等等。

注意，除了如上所述被从可移动存储介质211安装到计算机以外，该程序可以经由通信网络或广播网络下载到计算机并安装到内部硬盘205。也就是说，该程序可以经由用于数字卫星广播的卫星无线地从下载站点传送到计算机，经由诸如LAN(局域网)或因特网之类的网络传送到计算机，等等。

计算机内建有CPU(中央处理单元)202，其中输入/输出接口210经由总线201连接到CPU 202。

在通过用户操作输入单元207等命令被输入到CPU 202后，存储在ROM(只读存储器)203中的程序被执行。或者，CPU 202将存储在硬盘205中的程序加载到RAM(随机访问存储器)204以供执行。

因此，CPU 202执行遵循上述流程图的处理，或者由上述框图中的结构执行的处理。CPU 202随后取得其处理结果，并且根据需要例如经由输入/输出接口210从输出单元206输出，或者从通信单元208传送，或者还存储在硬盘205等中。

注意，输入单元207由键盘、鼠标、麦克风等构成。另外，输出单元206由LCD(液晶显示器)、扬声器等构成。

现在，在本说明书中，计算机遵循程序执行的处理并不一定要遵循描述为流程图的顺序按照时序执行。也就是说，计算机遵循程序执行的处理包括并行地或者分开地执行的处理(例如，并行处理或者按对象的处理)。

另外，该程序可以被一个计算机(处理器)执行，或者可以分布在多个计算机中处理。另外，该程序可以被传送到远程计算机并执行。

另外，本发明的实施例并不限于上述实施例，而是可以在不脱离本发明的实质的情况下进行各种修改。

附图标记列表

11：滤波器单元

11L、11R：滤波器

12、12L、12R：间隔剔除单元

13：混合单元

14：编码器

21：解码器

22：3D显示设备

31、31L、31R：水平处理单元

32：垂直处理单元

32L、32R：分离单元

33：混合单元

34：编码器

35：控制单元

41：A/D转换单元

42：画面重布置缓冲器

43：计算单元

44：正交变换单元

45：量化单元

46：无损编码单元

47：存储缓冲器

48：速率控制单元

49：逆量化单元

50：逆正交变换单元

51：计算单元

52：解块滤波器

53：帧存储器

54：帧内预测单元

55：运动预测/运动补偿单元

61：解码器

62：分离单元

63：逆垂直处理单元

63L、63R：合成单元

64、64L、64R：逆水平处理单元

65、65L、65R：插值单元

66：滤波器单元

66L、66R：滤波器

67：3D格式转换单元

68：3D显示设备

71：存储缓冲器

72：无损解码单元

73：逆量化单元

74：逆正交变换单元

75：计算单元

76：解块滤波器

77：帧存储器

78：帧内预测单元

79：运动预测/运动补偿单元

80：图像重布置缓冲器

81：D/A转换单元

101L、101R：成像装置

102：合成单元

121：滤波器单元

122：间隔剔除单元

123：预处理单元

124：交织混合处理单元

125：控制单元

131：水平处理单元

132：垂直处理单元

133：混合单元

141：3D图像构造设备

151：分离单元

152：后处理单元

153：插值单元

154：滤波器单元

155：3D格式转换单元

161：分离单元

162：逆垂直处理单元

163：逆水平处理单元

201：总线

202：CPU

203：ROM

204：RAM

205：硬盘

206：输出单元

207：输入单元

208：通信单元

209：驱动器

210：输入/输出接口

211：可移动存储介质

Claims (20)

1.一种图像处理设备，包括：

水平处理装置，被配置为将第一间隔剔除过的图像和第二间隔剔除过的图像取作处理对象并且执行水平填充，所述第一间隔剔除过的图像是通过在倾斜方向上间隔剔除第一图像的像素而获得的，所述第二间隔剔除过的图像是通过在倾斜方向上间隔剔除与第一图像不同的第二图像的像素而获得的，在所述水平填充中，作为用于操作像素在水平方向上的排列的水平处理，所述第一间隔剔除过的图像的像素和所述第二间隔剔除过的图像的像素被在水平方向上填充；以及

混合装置，被配置为生成混合图像作为用作预测编码的对象的编码对象图像，在所述混合图像中，经历了所述水平处理装置的水平填充的所述第一间隔剔除过的图像和所述第二间隔剔除过的图像并排排列。

2.如权利要求1所述的图像处理设备，还包括：

垂直处理装置，被配置为将经历了所述水平处理装置的水平填充的所述第一间隔剔除过的图像和所述第二间隔剔除过的图像取作处理对象，从经历了所述水平处理装置的水平填充的所述第一间隔剔除过的图像和所述第二间隔剔除过的图像中分离出奇数行和偶数行，并且生成包括其中仅所述奇数行被排列的图像和其中仅所述偶数行被排列的图像的垂直处理后图像，作为操作像素的垂直方向排列的垂直处理；

其中所述混合装置通过并排排列所述垂直处理后图像来生成所述混合图像。

3.如权利要求2所述的图像处理设备，还包括：

编码装置，被配置为通过对由所述混合装置生成的混合图像执行预测编码来生成编码数据；

标志生成装置，被配置为生成分离标志，所述分离标志指示是否从经历了所述水平处理装置的水平填充的所述第一间隔剔除过的图像和所述第二间隔剔除过的图像中分离出奇数行和偶数行；以及

传送装置，被配置为传送由所述编码装置生成的编码数据和由所述标志生成装置生成的分离标志。

4.如权利要求2所述的图像处理设备，其中所述垂直处理装置生成以下图像作为所述垂直处理后图像：

第一奇数图像，其中仅排列有经历了所述水平处理装置的水平填充的所述第一间隔剔除过的图像的奇数行，

第一偶数图像，其中仅排列有经历了所述水平处理装置的水平填充的所述第一间隔剔除过的图像的偶数行，

第二奇数图像，其中仅排列有经历了所述水平处理装置的水平填充的所述第二间隔剔除过的图像的奇数行，以及

第二偶数图像，其中仅排列有经历了所述水平处理装置的水平填充的所述第二间隔剔除过的图像的偶数行。

5.如权利要求4所述的图像处理设备，还包括：

编码装置，被配置为通过对由所述混合装置生成的混合图像执行预测编码来生成编码数据；

标志生成装置，被配置为生成布置样式标志，所述布置样式标志指示所述第一奇数图像和所述第一偶数图像以及所述第二奇数图像和所述第二偶数图像的排列样式；以及

传送装置，被配置为传送由所述编码装置生成的编码数据和由所述标志生成装置生成的布置样式标志。

6.如权利要求2所述的图像处理设备，其中所述垂直处理装置生成以下图像作为所述垂直处理后图像：

垂直处理后奇数行图像，其中经历了所述水平处理装置的水平填充的所述第一间隔剔除过的图像的奇数行和所述第二间隔剔除过的图像的奇数行按交织方式排列，以及

垂直处理后偶数行图像，其中经历了所述水平处理装置的水平填充的所述第一间隔剔除过的图像的偶数行和所述第二间隔剔除过的图像的偶数行按交织方式排列。

7.如权利要求6所述的图像处理设备，其中所述第一图像和所述第二图像是隔行格式图像，

所述图像处理设备还包括：

预处理装置，被配置为：

构造一图像并且输出该图像作为所述第一间隔剔除过的图像，在该图像中，第一间隔剔除过的奇数场和第一间隔剔除过的偶数场并排排列，所述第一间隔剔除过的奇数场是通过在倾斜方向上间隔剔除构成所述第一图像的帧的奇数场的像素而获得的，所述第一间隔剔除过的偶数场是通过在倾斜方向上间隔剔除构成所述第一图像的该帧的偶数场的像素而获得的，以及

构造一图像并且输出该图像作为所述第二间隔剔除过的图像，在该图像中，第二间隔剔除过的奇数场和第二间隔剔除过的偶数场并排排列，所述第二间隔剔除过的奇数场是通过在倾斜方向上间隔剔除构成所述第二图像的帧的奇数场的像素而获得的，所述第二间隔剔除过的偶数场是通过在倾斜方向上间隔剔除构成所述第二图像的该帧的偶数场的像素而获得的。

8.如权利要求7所述的图像处理设备，其中所述预处理装置构造以下场：

第一奇数行场，其中仅排列有所述第一间隔剔除过的奇数场的奇数行和所述第一间隔剔除过的偶数场的奇数行，

第一偶数行场，其中仅排列有所述第一间隔剔除过的奇数场的偶数行和所述第一间隔剔除过的偶数场的偶数行，

第二奇数行场，其中仅排列有所述第二间隔剔除过的奇数场的奇数行和所述第二间隔剔除过的偶数场的奇数行，以及

第二偶数行场，其中仅排列有所述第二间隔剔除过的奇数场的偶数行和所述第二间隔剔除过的偶数场的偶数行；

并且所述预处理装置

通过构造其中所述第一奇数行场被取作奇数场并且所述第一偶数行场被取作偶数场的帧来构造其中所述第一间隔剔除过的奇数场和所述第一间隔剔除过的偶数场并排排列的图像；以及

通过构造其中所述第二奇数行场被取作奇数场并且所述第二偶数行场被取作偶数场的帧来构造其中所述第二间隔剔除过的奇数场和所述第二间隔剔除过的偶数场并排排列的图像。

9.如权利要求2所述的图像处理设备，其中所述垂直处理装置生成以下四个图像或者两个图像作为所述垂直处理后图像，

所述四个图像是其中仅排列有经历了所述水平处理装置的水平填充的所述第一间隔剔除过的图像的奇数行的图像、其中仅排列有经历了所述水平处理装置的水平填充的所述第一间隔剔除过的图像的偶数行的图像、其中仅排列有经历了所述水平处理装置的水平填充的所述第二间隔剔除过的图像的奇数行的图像、以及其中仅排列有经历了所述水平处理装置的水平填充的所述第二间隔剔除过的图像的偶数行的图像，

所述两个图像是其中经历了所述水平处理装置的水平填充的所述第一间隔剔除过的图像的奇数行和所述第二间隔剔除过的图像的奇数行按交织方式排列的垂直处理后奇数行图像，以及其中经历了所述水平处理装置的水平填充的所述第一间隔剔除过的图像的偶数行和所述第二间隔剔除过的图像的偶数行按交织方式排列的垂直处理后偶数行图像，

所述图像处理设备还包括：

编码装置，被配置为执行所述混合图像的预测编码并生成编码数据；

标志生成装置，被配置为生成垂直样式标志，所述垂直样式标志指示在由所述垂直处理装置生成的垂直处理后图像中、经历了所述水平处理装置的水平填充的所述第一间隔剔除过的图像的奇数行和所述第二间隔剔除过的图像的奇数行以及所述第一间隔剔除过的图像的偶数行和所述第二间隔剔除过的图像的偶数行的排列；以及

传送装置，被配置为传送由所述编码装置生成的编码数据和由所述标志生成装置生成的垂直样式标志。

10.一种图像处理方法，包括以下步骤：

图像处理设备

将第一间隔剔除过的图像和第二间隔剔除过的图像取作处理对象并且执行水平填充，所述第一间隔剔除过的图像是通过在倾斜方向上间隔剔除第一图像的像素而获得的，所述第二间隔剔除过的图像是通过在倾斜方向上间隔剔除与所述第一图像不同的第二图像的像素而获得的，在所述水平填充中，作为用于操作像素在水平方向上的排列的水平处理，所述第一间隔剔除过的图像的像素和所述第二间隔剔除过的图像的像素被在水平方向上填充；以及

生成混合图像作为用作预测编码的对象的编码对象图像，在所述混合图像中，经历了所述水平处理装置的水平填充的所述第一间隔剔除过的图像和所述第二间隔剔除过的图像并排排列。

11.一种图像处理设备，包括：

分离装置，被配置为将混合图像分离为经历了水平处理的水平填充的第一间隔剔除过的图像和第二间隔剔除过的图像，所述混合图像是通过以下方式获得的：

将第一间隔剔除过的图像和第二间隔剔除过的图像取作处理对象并且执行水平填充，所述第一间隔剔除过的图像是通过在倾斜方向上间隔剔除第一图像的像素而获得的，所述第二间隔剔除过的图像是通过在倾斜方向上间隔剔除与所述第一图像不同的第二图像的像素而获得的，在所述水平填充中，作为用于操作像素在水平方向上的排列的水平处理，所述第一间隔剔除过的图像的像素和所述第二间隔剔除过的图像的像素被在水平方向上填充，以及

执行通过并排排列经历了所述水平处理的水平填充的所述第一间隔剔除过的图像和所述第二间隔剔除过的图像而混合的混合图像的预测编码，并且对这样获得的编码数据进行解码；以及

逆水平处理装置，被配置为执行逆水平处理，其中已被所述分离装置分离的经历了所述水平处理的水平填充的所述第一间隔剔除过的图像和所述第二间隔剔除过的图像被返回成所述第一间隔剔除过的图像和所述第二间隔剔除过的图像。

12.如权利要求11所述的图像处理设备，其中所述混合图像是通过以下方式获得的图像：

执行以下处理作为操作所述像素的垂直方向排列的垂直处理：将经历了所述水平处理的水平填充的第一间隔剔除过的图像和第二间隔剔除过的图像取作对象，从经历了所述水平处理的水平填充的所述第一间隔剔除过的图像和所述第二间隔剔除过的图像中分离出奇数行和偶数行，并且生成包括其中仅排列有所述奇数行的图像和其中仅排列有所述偶数行的图像的垂直处理后图像，以及

排列所述垂直处理后图像；

其中所述分离装置将所述混合图像分离为所述垂直处理后图像；

所述图像处理设备还包括：

逆垂直处理装置，被配置为执行逆垂直处理以将所述分离装置分离出的所述垂直处理后图像返回成经历了所述水平处理的水平填充的第一间隔剔除过的图像和第二间隔剔除过的图像。

13.如权利要求12所述的图像处理设备，还包括：

接收装置，被配置为接收所述编码数据和分离标志，所述分离标志指示是否已从经历了所述水平处理的水平填充的所述第一间隔剔除过的图像和所述第二间隔剔除过的图像中分离出奇数行和偶数行；

其中，在由所述接收装置接收的分离标志指示已从经历了所述水平处理的水平填充的所述第一间隔剔除过的图像和所述第二间隔剔除过的图像中分离出奇数行和偶数行的情况下，所述逆垂直处理装置执行所述逆垂直处理。

14.如权利要求12所述的图像处理设备，其中所述垂直处理后图像是：

第一奇数图像，其中仅排列有经历了所述水平处理的水平填充的所述第一间隔剔除过的图像的奇数行，

第一偶数图像，其中仅排列有经历了所述水平处理的水平填充的所述第一间隔剔除过的图像的偶数行，

第二奇数图像，其中仅排列有经历了所述水平处理的水平填充的所述第二间隔剔除过的图像的奇数行，以及

第二偶数图像，其中仅排列有经历了所述水平处理的水平填充的所述第二间隔剔除过的图像的偶数行；

并且其中所述分离装置将所述混合图像分离为所述第一奇数图像、所述第一偶数图像、所述第二奇数图像和所述第二偶数图像；

并且所述逆垂直处理装置将所述分离装置分离出的所述第一奇数图像、所述第一偶数图像、所述第二奇数图像和所述第二偶数图像返回成经历了所述水平处理的水平填充的所述第一间隔剔除过的图像和所述第二间隔剔除过的图像。

15.如权利要求14所述的图像处理设备，还包括：

接收装置，被配置为接收所述编码数据和布置样式标志，所述布置样式标志指示所述第一奇数图像、所述第一偶数图像、所述第二奇数图像和所述第二偶数图像的排列样式；

其中，基于由所述接收装置接收的布置样式标志，所述分离装置区分并从所述混合图像中分离出所述第一奇数图像、所述第一偶数图像、所述第二奇数图像和所述第二偶数图像。

16.如权利要求12所述的图像处理设备，其中所述垂直处理后图像是：

垂直处理后奇数行图像，其中经历了所述水平处理的水平填充的所述第一间隔剔除过的图像的奇数行和所述第二间隔剔除过的图像的奇数行按交织方式排列，以及

垂直处理后偶数行图像，其中经历了所述水平处理的水平填充的所述第一间隔剔除过的图像的偶数行和所述第二间隔剔除过的图像的偶数行按交织方式排列；

其中所述分离装置将所述混合图像分离为所述垂直处理后奇数行图像和所述垂直处理后偶数行图像；

并且其中所述逆垂直处理装置将所述分离装置分离出的所述垂直处理后奇数行图像和所述垂直处理后偶数行图像返回成经历了所述水平处理的水平填充的所述第一间隔剔除过的图像和所述第二间隔剔除过的图像。

17.如权利要求16所述的图像处理设备，其中所述第一图像和所述第二图像是隔行格式图像；

并且其中所述第一间隔剔除过的图像是其中第一间隔剔除过的奇数场和第一间隔剔除过的偶数场并排排列的图像，所述第一间隔剔除过的奇数场是通过在倾斜方向上间隔剔除构成所述第一图像的帧的奇数场的像素而获得的，所述第一间隔剔除过的偶数场是通过在倾斜方向上间隔剔除构成所述第一图像的该帧的偶数场的像素而获得的，

并且其中所述第二间隔剔除过的图像是其中第二间隔剔除过的奇数场和第二间隔剔除过的偶数场并排排列的图像，所述第二间隔剔除过的奇数场是通过在倾斜方向上间隔剔除构成所述第二图像的帧的奇数场的像素而获得的，所述第二间隔剔除过的偶数场是通过在倾斜方向上间隔剔除构成所述第二图像的该帧的偶数场的像素而获得的；

所述图像处理设备还包括：

后处理装置，被配置为

将通过所述逆水平处理获得的所述第一间隔剔除过的图像返回成所述第一间隔剔除过的奇数场和所述第一间隔剔除过的偶数场，以及

将通过所述逆水平处理获得的所述第二间隔剔除过的图像返回成所述第二间隔剔除过的奇数场和所述第二间隔剔除过的偶数场。

18.如权利要求17所述的图像处理设备，其中所述后处理装置

将所述第一间隔剔除过的图像分离为第一奇数行场和第一偶数行场，所述第一奇数行场是所述第一间隔剔除过的图像的奇数场并且其中仅排列有所述第一间隔剔除过的奇数场的奇数行和所述第一间隔剔除过的偶数场的奇数行，所述第一偶数行场是所述第一间隔剔除过的图像的偶数场并且其中仅排列有所述第一间隔剔除过的奇数场的偶数行和所述第一间隔剔除过的偶数场的偶数行，

并且将所述第二间隔剔除过的图像分离为第二奇数行场和第二偶数行场，所述第二奇数行场是所述第二间隔剔除过的图像的奇数场并且其中仅排列有所述第二间隔剔除过的奇数场的奇数行和所述第二间隔剔除过的偶数场的奇数行，所述第二偶数行场是所述第二间隔剔除过的图像的偶数场并且其中仅排列有所述第二间隔剔除过的奇数场的偶数行和所述第二间隔剔除过的偶数场的偶数行，

将所述第一奇数行场和所述第一偶数行场返回成所述第一间隔剔除过的奇数场和所述第一间隔剔除过的偶数场，以及

将所述第二奇数行场和所述第二偶数行场返回成所述第二间隔剔除过的奇数场和所述第二间隔剔除过的偶数场。

19.如权利要求14所述的图像处理设备，还包括：

接收装置，被配置为接收所述编码数据和垂直样式标志，所述垂直样式标志指示在所述垂直处理后图像中、经历了所述水平处理的水平填充的所述第一间隔剔除过的图像的奇数行和所述第二间隔剔除过的图像的奇数行以及所述第一间隔剔除过的图像的偶数行和所述第二间隔剔除过的图像的偶数行的排列；

其中所述垂直处理后图像是以下四个图像或者两个图像，

所述四个图像是其中仅排列有经历了所述水平处理的水平填充的所述第一间隔剔除过的图像的奇数行的图像、其中仅排列有经历了所述水平处理的水平填充的所述第一间隔剔除过的图像的偶数行的图像、其中仅排列有经历了所述水平处理的水平填充的所述第二间隔剔除过的图像的奇数行的图像、以及其中仅排列有经历了所述水平处理的水平填充的所述第二间隔剔除过的图像的偶数行的图像，

所述两个图像是其中经历了所述水平处理的水平填充的所述第一间隔剔除过的图像的奇数行和所述第二间隔剔除过的图像的奇数行按交织方式排列的垂直处理后奇数行图像，以及其中经历了所述水平处理的水平填充的所述第一间隔剔除过的图像的偶数行和所述第二间隔剔除过的图像的偶数行按交织方式排列的垂直处理后偶数行图像；

其中所述分离装置基于由所述接收装置接收的垂直样式标志来将所述混合图像分离为所述四个图像或者所述两个图像；

并且其中所述逆垂直处理装置基于所述垂直样式标志将所述四个图像或者所述两个图像返回成被所述水平处理水平填充的所述第一间隔剔除过的图像和所述第二间隔剔除过的图像。

20.一种图像处理方法，包括以下步骤：

图像处理设备

将混合图像分离为经历了水平处理的水平填充的第一间隔剔除过的图像和第二间隔剔除过的图像，所述混合图像是通过以下方式获得的：

将第一间隔剔除过的图像和第二间隔剔除过的图像取作处理对象并且执行水平填充，所述第一间隔剔除过的图像是通过在倾斜方向上间隔剔除第一图像的像素而获得的，所述第二间隔剔除过的图像是通过在倾斜方向上间隔剔除与所述第一图像不同的第二图像的像素而获得的，在所述水平填充中，作为用于操作像素在水平方向上的排列的水平处理，所述第一间隔剔除过的图像的像素和所述第二间隔剔除过的图像的像素被在水平方向上填充，以及

执行通过并排排列经历了所述水平处理的水平填充的所述第一间隔剔除过的图像和所述第二间隔剔除过的图像而混合的混合图像的预测编码，并且对这样获得的编码数据进行解码；以及

执行逆水平处理，其中经历了所述水平处理的水平填充的所述第一间隔剔除过的图像和所述第二间隔剔除过的图像被返回成所述第一间隔剔除过的图像和所述第二间隔剔除过的图像。

Images