CN103348685A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本技术涉及图像处理装置和图像处理方法，用于在发送具有降低了的分辨率的深度图像时在接收侧实现精确的深度图像变形操作。视差图像生成单元降低视差图像B1'和C1'的分辨率。边界信息生成单元生成关于视差图像B1'和C1'的边界信息。复用单元发送包含具有降低了的分辨率的视差图像B1'和C1'以及边界信息的复用流。本技术可以被应用于例如对无眼镜3D图像进行编码的编码装置。

Description

图像处理装置和图像处理方法

技术领域

本技术涉及图像处理装置和图像处理方法，更具体地，涉及用于在发送具有降低了的分辨率的深度图像时在接收侧实现精确的深度图像变形操作（warping operation）的图像处理装置和图像处理方法。

背景技术

作为用于观看3D图像的流行技术，当前有这样一种技术，通过该技术，观看者观看交替地显示的两个视点的图像。在观看这两个视点的图像时，观看者佩戴在显示两个视点的图像中的一个图像时打开用于左眼的快门且在显示所述图像中的另一个图像时打开用于右眼的快门的眼镜（在下文中被称为涉及眼镜的技术）。

但是，采用这种涉及眼镜的技术，观看者需要购买眼镜以及3D图像显示装置，并且这降低观看者的购买兴趣。此外，在观看时需要佩戴眼镜对观看者来说是麻烦的。因此，日益地需要一种观看者可以不用眼镜就能观看3D图像的观看技术（在下文中被称为无眼镜技术）。

通过无眼镜技术，以如下的方式显示三个或更多个视点的图像，可观看的角度在各个视点处改变，并且观看者可以通过用左右眼看见任何两个视点的每一个图像而不用眼镜观看3D图像。

例如，提供无眼镜观看的解码装置从两个视点的图像生成并显示三个或更多个视点的图像（三个或更多个视点将在下文中被称为“多视点”）。具体地，编码装置确定两个视点的图像的视差（深度）值，并且向解码装置发送以亮度值等的形式表示视差值的视差图像（深度图像）。解码装置通过对接收到的两个视点的图像的视差图像执行变形操作来生成多视点视差图像。使用多视点视差图像，解码装置通过对两个视点的图像执行变形操作来生成多视点图像，并且合成多视点图像以供显示。

应该注意，变形操作是将预定视点的视差图像（或图像）中的每一个像素的视差值（或像素值）改变为与虚拟视点的视差图像（或图像）中的像素相对应的像素的视差值（或像素值）的操作。

传统的图像编码技术的例子包括AVC（高级视频编码）和MVC（多视点视频编码）。此外，提出了用于编码多视点图像的技术（例如，参见专利文献1）。

引文列表

专利文献

专利文献1：日本特开2008-182669号公报

发明内容

本发明所解决的问题

在与提供无眼镜观看的解码装置兼容的编码装置通过降低视差图像的分辨率来降低视差图像的数据量的情况下，解码装置需要提高接收到的视差图像的分辨率，以生成分辨率尚未降低的视差图像。

但是，难以提高分辨率曾经被降低的视差图像的分辨率并生成分辨率尚未降低的视差图像。尤其是，在视差值大幅地改变的边界位置，在分辨率降低之前的视差值和分辨率降低之后的视差值之间存在大的差。结果，解码装置不能执行精确的视差图像变形操作。

鉴于这些情形而作出了本技术，本技术的目的在于在发送具有降低了的分辨率的深度图像时在接收侧实现精确的深度图像变形操作。

问题的解决方案

本技术的第一方面的图像处理装置是这样的图像处理装置，该图像处理装置包括：分辨率降低单元，该分辨率降低单元降低深度图像的分辨率；生成单元，该生成单元生成指示与深度图像中的像素值改变的边界位置相邻的像素的边界信息；以及发送单元，该发送单元发送具有由分辨率降低单元降低的分辨率的深度图像和由生成单元生成的边界信息。

本技术的第一方面的图像处理方法与本技术的第一方面的图像处理装置对应。

在本技术的第一方面中，降低了深度图像的分辨率，生成指示与深度图像中的像素值改变的边界位置相邻的像素的边界信息，并发送具有降低了的分辨率的深度图像和该边界信息。

本技术的第二方面的图像处理装置是这样的图像处理装置，该图像处理装置包括：接收单元，该接收单元接收具有降低了的分辨率的深度图像和指示与深度图像中的像素值改变的边界位置相邻的像素的边界信息；分辨率提高单元，该分辨率提高单元提高由接收单元接收到的深度图像的分辨率；以及深度图像变形单元，该深度图像变形单元基于由接收单元接收到的边界信息和虚拟视点的位置，通过对具有由分辨率提高单元提高的分辨率的深度图像执行变形操作来生成所述虚拟视点的深度图像。

本技术的第二方面的图像处理方法与本技术的第二面的图像处理装置对应。

在本技术的第二方面中，接收具有降低了的分辨率的深度图像和指示与深度图像中的像素值改变的边界位置相邻的像素的边界信息。提高接收到的深度图像的分辨率。基于接收到的边界信息和虚拟视点的位置，对具有提高了的分辨率的深度图像执行变形操作，并且由此生成所述虚拟视点的深度图像。

第一方面的图像处理装置和第二方面的图像处理装置可以通过使计算机执行程序得以实现。

此外，为了实现第一方面的图像处理装置和第二方面的图像处理装置，可以经由传输介质来发送和提供要由计算机执行的程序，或者可以提供在记录介质上记录的程序。

本发明的效果

根据本技术的第一方面，可以发送具有降低了的分辨率的深度图像，使得可以在接收侧执行精确的深度图像变形操作。

根据本技术的第二方面，可以在发送具有降低了的分辨率的深度图像时执行精确的深度图像变形操作。

附图说明

图1是示出应用了本技术的编码装置的第一实施例的示例结构的框图。

图2是示出边界信息的例子的示图。

图3是用于解释由图1中示出的编码装置进行的编码操作的流程图。

图4是用于解释由图1中示出的编码装置进行的编码操作的另一流程图。

图5是用于详细地解释图4的边界信息生成操作的流程图。

图6是示出与图1中示出的编码装置兼容的解码装置的示例结构的示图。

图7是示出图6中示出的3D图像生成单元的具体示例结构的框图。

图8是用于解释虚拟视点的图像的生成的示图。

图9是用于解释视差图像变形操作的示图。

图10是示出分辨率尚未被降低的视差图像和对该视差图像执行的变形操作的结果的示图。

图11是示出具有降低了的分辨率的视差图像、具有提高了的分辨率的视差图像、经过了变形操作的视差图像、以及视差图像变形操作的结果的示图。

图12是示出分辨率提高了的视差图像和对该视差图像执行的变形操作的结果的示图。

图13是用于解释由图6中示出的解码装置进行的解码操作的流程图。

图14是用于详细地解释图13的多视点图像生成操作的流程图。

图15是示出应用了本技术的编码装置的第二实施例的示例结构的框图。

图16是用于详细地解释由图15中示出的编码装置进行的边界信息生成操作的流程图。

图17是示出与图15中示出的编码装置兼容的解码装置的示例结构的示图。

图18是示出图17中示出的3D图像生成单元的具体示例结构的框图。

图19是用于解释基于边界信息和左侧边界信息的视差图像变形操作的示图。

图20是用于详细地解释由图17中示出的解码装置进行的多视点图像生成操作的流程图。

图21是示出应用了本技术的编码装置的第三实施例的示例结构的框图。

图22是用于解释视差图像的分辨率降低的示图。

图23是用于解释由图21中示出的编码装置进行的编码操作的流程图。

图24是用于解释由图21中示出的编码装置进行的编码操作的另一流程图。

图25是示出与图21中示出的编码装置兼容的解码装置的示例结构的示图。

图26是示出图25中示出的3D图像生成单元的具体示例结构的框图。

图27是用于解释视差图像的分辨率提高的示图。

图28是用于解释由图25中示出的解码装置进行的解码操作的流程图。

图29是用于详细地解释图28的多视点图像生成操作的流程图。

图30是用于解释视差和深度的示图。

图31是示出计算机的实施例的示例结构的示图。

图32是示意性地示出应用了本技术的电视设备的结构的示图。

图33是示意性地示出应用了本技术的便携式电话装置的结构的示图。

图34是示意性地示出应用了本技术的记录/再现装置的结构的示图。

图35是示意性地示出应用了本技术的成像装置的结构的示图。

具体实施方式

<本说明书中的深度图像（视差图像）的说明>

图30是用于解释视差和深度的示图。

如图30所示，当对象M的彩色图像由位于位置C1的相机c1和位于位置C2的相机c2拍摄时，对象M具有深度Z，该深度Z是在深度方向上距相机c1（相机c2）的距离，并且由下式（a）定义。

Z＝(L/d)×f

···(a)

这里，L表示位置C1与位置C2之间的水平距离（在下文中称为相机间距离）。同时，d表示通过将水平距离u2从水平距离u1减去而获得的值，其中水平距离u2是在相机c2捕获的图像中的物体M的位置与捕获的图像的中心之间的距离，水平距离u1是在相机c1捕获的图像中的物体M的位置与捕获的图像的中心之间的距离。也就是说，d表示视差。此外，f表示相机c1的焦距，并且在公式（a）中，相机c1和相机c2的焦距是相同的。

如公式（a）所示，视差d和深度Z可以被唯一地转换。因此，在本说明中，表示视差d的图像和表示由相机c1和相机c2捕获的两个视点的彩色图像的深度Z的图像被统称为深度图像（视差图像）。

深度图像（视差图像）是表示视差d或深度Z的图像，并且在深度图像（视差图像）中的像素值不是视差d或深度Z，而可以是通过归一化视差d而获得的值、通过归一化深度Z的倒数1/Z而获得的值，等等。

通过归一化具有8比特（0到255）的像差d而获得的值I可以根据下面示出的公式（b）来计算。这里，视差d的归一化比特数不限于8，并且可以是任意的其它数目，诸如10或12。

$I=\frac{255\&times;(d-D_{\min })}{D_{\max }-D_{\min }}\&CenterDot;\&CenterDot;\&CenterDot;\left(b\right)$

在公式（b）中，D_max表示视差d的最大值，D_min表示视差d的最小值。最大值D_max和最小值D_min可以针对每一个画面来设置，或者可以每几个画面设置一次。

通过归一化具有8比特（0到255）的深度Z的倒数1/Z而获得的值y可以根据下面示出的公式（c）来确定。这里，深度Z的倒数1/Z的归一化比特数不限于8，并且可以是任意的其它数目，诸如10或12。

$y=255\&times;\frac{\frac{1}{Z}-\frac{1}{Z_{\mathrm{far}}}}{\frac{1}{Z_{\mathrm{near}}}-\frac{1}{Z_{\mathrm{far}}}}\&CenterDot;\&CenterDot;\&CenterDot;\left(c\right)$

在公式（c）中，Z_far表示深度Z的最大值，Z_near表示深度Z的最小值。最大值Z_far和最小值Z_near可以针对每一个画面来设置，或者可以每几个画面设置一次。

如上所述，在本说明书中，由于视差d和深度Z可以被唯一地转换，因此具有通过归一化视差d获得的像素值I的图像以及具有通过归一化深度Z的倒数1/Z获得的像素值y的图像被统称为深度图像（视差图像）。深度图像（视差图像）的颜色格式为YUV420或YUV400格式，但是也可以是某种其它的颜色格式。

当注意力集中到作为信息的值I或值y上，而不是深度图像（视差图像）中的像素值上时，值I或值y被设置为深度信息（视差信息）。此外，通过映射值I或值y而形成的映射图被设置为深度映射图（视差映射图）。

<第一实施例>

[编码装置的第一实施例的示例结构]

图1是示出应用了本技术的作为图像处理装置的编码装置的第一实施例的示例结构的框图。

图1中示出的编码装置50包括：成像单元51A到51C、图像转换单元52、视差图像生成单元53、图像信息生成单元54、兼容性信息生成单元55、成像信息生成单元56、视差图像复用信息生成单元57、边界信息生成单元58、编码器59和复用单元60。

编码装置50降低视差图像的分辨率，并且对视差图像进行编码。作为指示像素是否邻近视差图像的视差值大幅改变的边界位置的信息，边界信息（is_depth_edge）被添加到编码的视差图像，然后编码的视差图像被发送。

具体地，在编码装置50中，成像单元51A捕获预定视点的HD（高清）图像作为视点图像A1，并且将视点图像A1供应到图像转换单元52、视差图像生成单元53和成像信息生成单元56。在水平方向上距成像单元51A的距离为Δd1_AB的位置，成像单元51B捕获与视点图像A1的视点不同的视点的HD图像作为视点图像B1，并且将视点图像B1供应到图像转换单元52、视差图像生成单元53和成像信息生成单元56。在与成像单元51A相反的水平方向上距成像单元51A的距离为Δd1_AC的位置，成像单元51C捕获与视点图像A1和视点图像B1的视点不同的视点的HD图像作为视点图像C1，并且将视点图像C1供应到图像转换单元52、视差图像生成单元53和成像信息生成单元56。

对应于视点图像B1和视点图像C1的视点是可以被感知为3D图像的图像的视点中的外侧视点。因此，使用视点图像A1到C1，通过内插与视点图像B1和视点图像C1的视点相比位于更内侧的视点的图像，与编码装置50兼容的解码装置可以生成多视点图像。结果，能够以比使用内侧视点的图像来内插外侧视点的图像的情况更高的精确度，生成多视点图像。距离Δd1_AB和距离Δd1_AC可以恒定，或者可以随时间改变。

当从水平方向上的成像单元51A到51C中最内侧的成像单元51A供应视点图像A1时，图像转换单元52将视点图像A1确定为兼容图像。在多视点图像中，兼容图像是通过传统编码技术进行编码以确保与传统编码装置的兼容性的图像。图像转换单元52将把视点图像A1指定为兼容图像的信息供应到兼容性信息生成单元55，并将视点图像A1作为兼容图像直接供应到编码器59。

图像转换单元52还将作为除视点图像A1以外的视点图像的视点图像B1和视点图像C1确定为辅助图像。辅助图像是用于通过使用兼容图像来生成比兼容图像的视点数目更多的视点的图像的图像。根据预定的复用技术，图像转换单元52降低作为辅助图像的视点图像B1和视点图像C1的分辨率，并由此复用这些视点图像。具体地，例如，在复用技术是并排（Side By Side）技术的情况下，图像转换单元52将视点图像B1和视点图像C1的分辨率减半。然后，图像转换单元52复用其分辨率减半的视点图像B1（在下文中称为1/2分辨率视点图像B1）和其分辨率减半的视点图像C1（在下文中称为1/2分辨率视点图像C1），从而使得1/2分辨率视点图像B1转变为画面的左半边的图像，1/2分辨率视点图像C1转变为画面的右半边的图像。图像转换单元52将作为复用的结果而获得的复用图像供应到编码器59，并将指示用于复用辅助图像的复用技术的信息供应到图像信息生成单元54。

使用从成像单元51A到51C供应的视点图像A1到C1，视差图像生成单元53检测视点图像A1到C1的各个像素的视差值。视差图像生成单元53生成指示作为兼容图像的视点图像A1的每个像素的视差值的视差图像A1’，并将视差图像A1’供应到编码器59。

视差图像生成单元53还生成指示作为辅助图像的视点图像B1的每个像素的视差值的视差图像B1’、以及指示作为辅助图像的视点图像C1的每个像素的视差值的视差图像C1’，并将这些视差图像供应到边界信息生成单元58。视差图像生成单元53还充当分辨率降低单元，并且根据预定的复用技术，降低视差图像B1’和视差图像C1’的分辨率。然后，将得到的复用图像供应到编码器59。视差图像生成单元53将指示用于复用辅助图像的视差图像的复用技术的信息供应到视差图像复用信息生成单元57。

基于从图像转换单元52供应的信息，图像信息生成单元54生成指示用于辅助图像的复用技术等的信息作为关于兼容图像和辅助图像的图像信息，并将该图像信息供应到编码器59。

基于从图像转换单元53供应的信息，兼容性信息生成单元55生成指定兼容图像和兼容模式的信息作为关于兼容性的兼容性信息，并将该兼容性信息供应到编码器59。

应当注意，兼容模式是指示针对兼容图像的编码方法的模式。例如，兼容模式可以是指示用于通过AVC技术对单视点的兼容图像进行编码的编码方法的单（mono）模式、指示用于通过AVC技术对两个视点的兼容图像进行复用并对复用的图像进行编码的编码方法的帧封装（frame packing）模式、指示用于通过MVC技术对两个视点的兼容图像进行编码的编码方法的立体（stereo）模式等。

使用从图像单元51A到51C供应的视点图像A1到C1，成像信息生成单元56检测在视点图像A1到C1中的两个视点图像的视点之间的距离（在下文中称为视点间距离）。具体地，成像信息生成单元56检测作为在水平方向上的成像单元51A与成像单元51B之间的距离Δd1_AB以及在水平方向上的成像单元51A与成像单元51C之间的距离Δd1_AC的视点间距离。

成像信息生成单元56从成像单元51A到51C获得成像单元51A到51C的内部参数以及用于变形操作的旋转矩阵。内部参数包括：焦距、作为图像中心的主点（透镜的光学中心）的位置以及在径向方向上的畸变系数（distortion coefficient）。成像信息生成单元56生成作为关于视点间距离、所述内部参数以及用于变形操作的旋转矩阵的信息的成像信息，并将该成像信息供应到编码器59。

基于从视差图像生成单元53供应的信息，视差图像复用信息生成单元57生成作为关于视差图像的复用的信息（诸如，指示用于辅助图像的视差图像的复用技术的信息）的视差图像复用信息，并将该视差图像复用信息供应到编码器59。

边界信息生成单元58充当边界检测单元，并从供应自视差图像生成单元53的视差图像B1’和视差图像C1’检测各个边界位置。然后，边界信息生成单元58充当生成单元，并且基于检测到的边界位置生成关于每个像素或每个宏块的边界信息。该边界信息被供应到编码器59。应当注意，“宏块”是用于编码的单位。

编码器59由兼容编码器61和辅助编码器62形成。兼容编码器61通过传统的AVC技术对从图像转换单元52供应的兼容图像的复用图像进行编码，并将各种信息添加到编码的图像。得到的编码流被作为兼容流供应到复用单元60。

辅助编码器62充当编码单元，并且通过预定技术对来自图像转换单元52的辅助图像的复用图像以及来自视差图像生成单元53的兼容图像的视差图像A1’和辅助图像的视差图像的复用图像进行编码。由辅助编码器62使用的编码技术可以是AVC技术、MVC技术、MPEG2（运动图像专家组阶段2）技术等。

辅助编码器62将来自图像信息生成单元54的图像信息、来自兼容性信息生成单元55的兼容性信息、来自成像信息生成单元56的成像信息、来自视差图像复用信息生成单元57的视差图像复用信息、来自边界信息生成单元58的边界信息等添加到作为编码的结果获得的编码图像。这样，生成了编码流。辅助编码器62将编码流作为辅助流供应到复用单元60。

复用单元60从供应自兼容编码器61的兼容流和供应自辅助编码器62的辅助流生成TS（传输流），并对TS进行复用。复用单元60充当发送单元，并发送作为复用的结果获得的复用流。

[边界信息的例子]

图2是示出边界信息的例子的示图。

在图2中，小圆形表示像素，圆形中的图案表示视差值。

在图2中示出的视差图像中，位于画面中央的圆形区域中的视差值与该圆形区域以外的区域中的视差值有极大的不同，如图2的左侧部分所示。因此，在画面的中央存在的圆形区域与该圆形区域以外的区域之间的边界上存在边界位置。

在基于像素生成边界信息的情况下，关于与边界位置相邻的两个像素的边界信息为1，这表示对象像素与边界位置相邻，例如，如图2的右上部所示。关于除了两个相邻像素以外的像素的边界信息为0，这表示该像素与边界位置不相邻。

在基于宏块生成边界信息的情况下，关于包含与边界位置相邻的两个像素的宏块（MB）的边界信息为1，这表示对象像素与边界位置相邻，例如，如图2的右下部所示。关于除了上述宏块以外的宏块的边界信息为0，这表示对象像素与边界位置不相邻。

[编码装置的操作的说明]

图3和图4是用于解释由图1中示出的编码装置50进行的编码操作的流程图。例如，当视点图像A1到C1被从成像单元51A到51C输出时该编码操作开始。

在图3的步骤S10中，成像信息生成单元56从成像单元51A到51C获得成像单元51A到51C的内部参数以及用于变形操作的旋转矩阵。

在步骤S11中，使用从成像单元51A到51C供应的视点图像A1到C1，成像信息生成单元56检测在视点图像A1到C1中每两个视点图像之间的视点间距离。

在步骤S12中，成像信息生成单元56生成作为关于视点间距离、内部参数以及用于变形操作的旋转矩阵的信息的成像信息，并将该成像信息供应到编码器59。

在步骤S13中，图像转换单元52确定视点图像A1为兼容图像（视点图像A1被从在水平方向上的成像单元51A到51C的最内侧的成像单元51A供应），并确定用于辅助图像的复用技术。图像转换单元52将把视点图像A1指定为兼容图像的信息供应到兼容性信息生成单元55，并将针对辅助图像的复用技术供应到图像信息生成单元54。

在步骤S14中，基于从图像转换单元52供应的信息，兼容性信息生成单元55生成作为将视点图像A1指定为兼容图像并指定诸如单模式的兼容模式的信息的兼容性信息，并将该兼容性信息供应到编码器59。

在步骤S15中，基于从图像转换单元52供应的信息，图像信息生成单元54生成指示用于辅助图像的复用技术等的信息作为图像信息，并将该图像信息供应到编码器59。

在步骤S16中，图像转换单元52将辅助图像确定为作为除视点图像A1以外的视点图像的视点图像B1和视点图像C1。基于在步骤S13中确定的辅助图像复用技术，然后辅助图像的分辨率被降低，并且辅助图像被复用。这样，形成了辅助图像的复用图像。

在步骤S17中，图像转换单元52将作为兼容图像的视点图像A1和辅助图像的复用图像输入到编码器59。

在图4中的步骤S18中，使用从成像单元51A到51C供应的视点图像A1到C1，视差图像生成单元53检测视点图像A1到C1的各个像素的视差值，并生成视差图像A1’到C1’。然后，视差图像生成单元53将视差图像B1’和视差图像C1’供应到边界信息生成单元58。

在步骤S19中，边界信息生成单元58执行边界信息生成操作，以生成关于从视差图像生成单元53供应的视差图像B1’和视差图像C1’的边界信息。稍后将参考图5详细描述该边界信息生成操作。

在步骤S20中，边界信息生成单元58将在步骤S19中生成的边界信息输入到编码器59。

在步骤S21中，视差图像生成单元53确定针对辅助图像的视差图像的复用技术，并将指示该复用技术的信息供应到视差图像复用信息生成单元57。

在步骤S22中，基于从视差图像生成单元53供应的信息，视差图像复用信息生成单元57生成作为指示针对辅助图像的视差图像的复用技术的信息的视差图像复用信息，并将该视差图像复用信息输入到编码器59。

在步骤S23中，基于在步骤S21中确定的针对辅助图像的视差图像的复用技术，视差图像生成单元53降低辅助图像的视差图像B1’和视差图像C1’的分辨率，并复用这些视差图像，以获得辅助图像的视差图像的复用图像。

在步骤S24中，视差图像生成单元53将兼容图像的视差图像A1’和辅助图像的视差图像的复用图像输入到编码器59。

在步骤S25中，编码器59的兼容编码器61通过传统的AVC技术对从图像转换单元52供应的作为兼容图像的视点图像A1进行编码，并将得到的编码流作为兼容流供应到复用单元60。

在步骤S26中，辅助编码器62通过预定技术对来自图像转换单元52的辅助图像的复用图像以及来自视差图像生成单元53的兼容图像的视差图像A1’和辅助图像的视差图像的复用图像进行编码。

在步骤S27中，辅助编码器62将来自图像信息生成单元54的图像信息、来自兼容性信息生成单元55的兼容性信息、来自成像信息生成单元56的成像信息、来自视差图像复用信息生成单元57的视差图像复用信息、来自边界信息生成单元58的边界信息等添加到作为在步骤S26中执行的编码的结果而获得的编码图像。这样，生成了编码流。辅助编码器62将该编码流作为辅助流供应到复用单元60。

在步骤S28中，复用单元60从供应自兼容编码器61的兼容流和供应自辅助编码器62的辅助流生成TS（传输流），并复用该TS以用于发送。然后，操作结束。

图5是用于详细地解释图4的步骤S19的边界信息生成操作的流程图。在图5中，边界信息生成操作被执行，以基于像素生成边界信息。此外，图5的边界信息生成操作针对每个视差图像来执行。

在图5的步骤S41中，边界信息生成单元58获取从视差图像生成单元53供应的视差图像。

在步骤S42中，在视差图像中的水平方向上彼此相邻的像素中，边界信息生成单元58确定彼此相邻并且还没有进行步骤S42中的操作的像素之间的视差值差。

在步骤S43中，边界信息生成单元58确定在步骤S42中确定的视差值差是否大于预定阈值。

如果在步骤S43中该视差值差被确定大于预定阈值，那么在步骤S44中，边界信息生成单元58检测作为进行步骤42的操作的两个相邻像素之间的位置的边界位置，并将关于这两个像素的边界信息设置为1。

如果在步骤S43中视差值差被确定不大于预定阈值，那么，另一方面，在步骤S45中，边界信息生成单元58将关于进行步骤42的操作的两个相邻像素的边界信息中不为1的边界信息设置为0。

在步骤S44或步骤S45的处理后，在步骤S46中，边界信息生成单元58确定在视差图像中在水平方向上彼此相邻的每两个像素之间的视差值差是否已经被确定。

如果在步骤S46中确定在视差图像中在水平方向上彼此相邻的每两个像素之间的视差值差还未被确定，那么操作返回步骤S42，并且步骤S42到S46的处理被重复，直到在视差图像中在水平方向上彼此相邻的每两个像素之间的视差值差被确定。

如果在步骤S46中确定在视差图像中在水平方向上彼此相邻的每两个像素之间的视差值差已经被确定，那么操作返回到图4的步骤S19，然后继续前进到步骤S20。

在基于宏块生成边界信息的情况下，边界信息生成单元58在图5的边界信息生成操作中基于宏块执行步骤S42到S46的处理。

具体地，在步骤S42中，边界信息生成单元58确定在视差图像中在预定宏块中在水平方向上彼此相邻的像素之间的视差值差，并且在步骤S43中，确定是否其中的至少一个视差值差大于预定阈值。如果至少一个视差值差被确定大于预定阈值，那么，在步骤S44中，边界信息生成单元58将关于对应于该差的宏块的边界信息设置为1。如果所有的视差值差被确定等于或小于预定阈值，那么，另一方面，在步骤S45中，边界信息生成单元58将关于对应于所述差的宏块的边界信息中未被设置为1的边界信息设置为0。

如上所述，编码装置50降低视差图像的分辨率，并发送具有降低的分辨率和边界信息的视差图像。因此，基于边界信息，稍后描述的解码装置可以对辅助图像的视差图像执行变形操作。结果，如稍后所描述的，解码装置可以对辅助图像的视差图像执行精确的变形操作。

此外，编码装置50降低辅助图像和辅助图像的视差图像的分辨率。因此，可使要编码的信息的量变得更少，并且用于编码操作和解码操作的处理成本可以比在没有分辨率降低的情况下执行编码的情况更低。结果，可以防止由解码装置进行的解码操作大幅地影响多视点图像的图像质量。

此外，编码装置50将兼容图像确定为多视点图像中单视点图像，并通过传统的编码技术执行编码。因此，可以确保与对2D图像进行编码的传统编码装置的兼容性。

此外，编码装置50生成视差图像，并发送含有该视差图像的编码流。因此，与编码装置50兼容的解码装置不需要生成用于生成多视点图像的视差图像，并且可以降低解码装置上的处理负荷。结果，解码装置的成本可以被降低。此外，可以防止由解码装置进行的视差检测操作极大地影响多视点图像的图像质量。

[解码装置的示例结构]

图6是示出对从图1中示出的编码装置50发送来的复用流进行解码的解码装置的示例结构的示图，该解码装置是应用了本技术的图像处理装置。

在图6中示出的解码装置120包括：分离单元121、解码器122、图像信息获取单元123、成像信息获取单元124、视差图像复用信息获取单元125、兼容性信息获取单元126、边界信息获取单元127和图像生成单元128。解码装置120对从编码装置50发送的复用流进行解码，通过基于边界信息执行视差图像变形操作来生成多视点图像，并使得显示装置（未示出）显示生成的图像。

具体地，解码装置120的分离单元121充当接收单元，接收从编码装置50发送的复用流，并将TS相互分离。分离单元121从分离的TS提取兼容流和辅助流，并将提取的流供应到解码器122。

解码器122由兼容解码器131和辅助解码器132形成。基于从辅助解码器132供应的兼容性信息，解码器122的兼容解码器131从供应自分离单元121的兼容流和辅助流识别出兼容流。基于兼容性信息，兼容解码器131通过与AVC技术兼容的技术对包含在兼容流中的编码的兼容图像进行解码。兼容解码器131将作为解码的结果而获得的视点图像A1供应到图像生成单元128。

辅助解码器132将包含在从分离单元121供应的辅助流中的兼容性信息供应到兼容解码器131。基于该兼容性信息，辅助解码器132从供应自分离单元121的兼容流和辅助流识别出辅助流。辅助解码器132充当解码单元，并通过与图1中示出的辅助编码器62兼容的技术对已经被编码并且被包含在从分离单元121供应的辅助流中的辅助图像的复用图像、兼容图像的视差图像以及辅助图像的视差图像的复用图像进行解码。

辅助解码器132将作为解码的结果获得的辅助图像的复用图像、兼容图像的视差图像以及辅助图像的视差图像的复用图像供应到图像生成单元128。此外，辅助解码器132将包含在辅助流中的图像信息供应到图像信息获取单元123，并将成像信息供应到成像信息获取单元124。此外，辅助解码器132将包含在辅助流中的视差图像复用信息供应到视差图像复用信息获取单元125，并将兼容性信息供应到兼容性信息获取单元126。辅助解码器132还将包含在辅助流中的边界信息供应到边界信息获取单元127。

图像信息获取单元123获取从辅助解码器132供应的图像信息，并将该图像信息供应到图像生成单元128。成像信息获取单元124获取从辅助解码器132供应的成像信息，并将该成像信息供应到图像生成单元128。

视差图像复用信息获取单元125获取从辅助解码器132供应的视差图像复用信息，并将该视差图像复用信息供应到图像生成单元128。兼容性信息获取单元126获取从辅助解码器132供应的兼容性信息，并将该兼容性信息供应到图像生成单元128。边界信息获取单元127获取从辅助解码器132供应的边界信息，并将该边界信息供应到图像生成单元128。

图像生成单元128由2D图像生成单元141和3D图像生成单元142形成。根据来自观看者的2D图像显示指令，图像生成单元128的2D图像生成单元141输出作为从兼容解码器131供应的兼容图像的视点图像A1，并使得显示装置（未示出）显示该图像。这使得观看者能够观看2D图像。

同时，使用从解码器122供应的视点图像A1、辅助图像的复用图像、兼容图像的视差图像A1’和辅助图像的视差图像的复用图像，3D图像生成单元142基于图像信息、成像信息、视差图像复用信息、兼容性信息、边界信息等，生成具有与显示装置（未示出）兼容的三个或更多个视点并且具有与兼容图像相同的分辨率的图像。然后，3D图像生成单元142将生成的多视点图像的分辨率转换为通过将兼容图像和辅助图像的分辨率除以视点的数量而计算出的分辨率，并合成生成的图像。得到的图像被显示在显示装置（未示出）上。

此时，合成的多视点图像被显示，在各个视点处可视角度不同。通过用左右眼来看任意两个视点的图像，观看者可以在不佩戴眼镜的情况下观看3D图像。

[3D图像生成单元的具体示例结构]

图7是示出图6中示出的3D图像生成单元142的具体示例结构的框图。

如图7所示，3D图像生成单元142包括：虚拟视点位置确定单元160、视差图像分离单元161、视差图像分辨率提高单元162、视差图像变形单元163、视差图像变形单元164、视点图像变形单元165、视点图像变形单元166、视点图像分离单元167、视点图像分辨率提高单元168、多视点图像生成单元169和多视点图像合成单元170。

基于包含在从成像信息获取单元124供应的成像信息中的视点间距离和与显示装置（未示出）兼容的视点的数量，3D图像生成单元142的虚拟视点位置确定单元160将虚拟视点的位置确定为被生成的多视点图像的视点的位置。基于各个虚拟视点的位置，虚拟视点位置确定单元160针对视差图像变形单元163和视差图像变形单元164中的每一个生成视差图像识别信息。视差图像识别信息在生成虚拟视点的图像时要被使用，并且被用于识别位于虚拟视点的外侧的视点的视差图像。对于每个虚拟视点，被供应到视差图像变形单元163的视差图像识别信息不同于被供应到视差图像变形单元164的视差图像识别信息。

虚拟视点位置确定单元160还将各个虚拟视点的位置以及对应的视差图像识别信息供应到视差图像变形单元163和视差图像变形单元164。

基于从兼容性信息获取单元126供应的兼容性信息，视差图像分离单元161将从解码器122供应的兼容图像的视差图像A1’直接供应到视差图像分辨率提高单元162。基于从视差图像复用信息获取单元125供应的视差图像复用信息，视差图像分离单元161还将从解码器122供应的辅助图像的视差图像的复用图像进行分离。然后，视差图像分离单元161将作为结果获得并且具有兼容图像的一半分辨率的视点图像B1和视点图像C1的视差图像供应到视差图像分辨率提高单元162。

视差图像分辨率提高单元162充当分辨率提高单元，并提高从视差图像分离单元161供应并具有兼容图像的一半分辨率的视点图像B1和视点图像C1的各个视差图像的分辨率。结果，视差图像分辨率提高单元162获得具有与兼容图像相同的分辨率的视点图像B1和视点图像C1的视差图像。然后，视差图像分辨率提高单元162将获得的视点图像B1和视点图像C1的视差图像以及从视差图像分离单元161供应的视差图像A1’供应到视差图像变形单元163和视差图像变形单元164。

视差图像变形单元163充当视差图像变形单元。具体地，基于从虚拟视点位置确定单元160供应的视差图像识别信息，视差图像变形单元163针对每个虚拟视点从供应自视差图像分辨率提高单元162的视点图像B1和视点图像C1的视差图像以及视差图像A1’中选择一个图像。基于来自成像信息获取单元124的成像信息、来自边界信息获取单元127的边界信息以及来自虚拟视点位置确定单元160的虚拟视点的位置，视差图像变形单元163对针对每个虚拟视点选择的视差图像执行变形操作。视差图像变形单元163将通过变形操作生成的每个虚拟视点的视差图像供应到视点图像变形单元165。

视差图像变形单元164充当视差图像变形单元，执行与视差图像变形单元163的操作相同的操作，并将得到的各个虚拟视点的视差图像供应到视点图像变形单元166。

视点图像变形单元165充当视点图像变形单元。具体地，基于从视差图像变形单元163供应的每个虚拟视点的视差图像，视点图像变形单元165针对每个虚拟视点对从视点图像分辨率提高单元168供应的视点图像执行变形操作，该视点图像对应于所述视差图像。结果，包括遮挡区域（稍后详细描述）的每个虚拟视点的图像被生成。视点图像变形单元165将包括遮挡区域的每个虚拟视点的图像供应到多视点图像生成单元169。

遮挡区域是由于虚拟视点与实际形成的视点图像的视点之间的差别而形成的区域。这样的遮挡区域存在于虚拟视点的图像中，但是不存在于与在生成虚拟视点的视差图像时使用的视差图像对应的视点图像中。

视点图像变形单元166充当视点图像变形单元，并基于从视差图像变形单元164供应的各个虚拟视点的视差图像来执行与视点图像变形单元165的操作相同的操作。

基于从兼容性信息获取单元126供应的兼容性信息，视点图像分离单元167将从解码器122供应的作为兼容图像的视点图像A1直接供应到视点图像分辨率提高单元168。基于从图像信息获取单元123供应的图像信息，视点图像分离单元167将从解码器122供应的辅助图像的复用图像分离。视点图像分离单元167将得到的均具有兼容图像的一半分辨率的视点图像B1和视点图像C1供应到视点图像分辨率提高单元168。

视点图像分辨率提高单元168通过对从视点图像分离单元167供应的具有兼容图像的一半分辨率的视点图像B1和视点图像C1中的每一个执行内插操作来提高分辨率。通过这样做，视点图像分辨率提高单元168获得了具有与兼容图像相同的分辨率的视点图像B1和视点图像C1。然后，视点图像分辨率提高单元168将获得的视点图像B1和视点图像C1的视差图像以及从视点图像分离单元167供应的视点图像A1供应到视点图像变形单元165和视点图像变形单元166。

多视点图像生成单元169充当内插单元，并且针对每个虚拟视点，对于从视点图像变形单元165和166中的一个供应的虚拟视点图像的遮挡区域，利用与从视点图像变形单元165和166中的另一个供应的虚拟视点图像进行内插。多视点图像生成单元169将各个得到的虚拟视点图像作为多视点图像供应到多视点图像合成单元170。

多视点图像合成单元170将从多视点图像生成单元169供应的多视点图像的分辨率转变为通过将兼容图像和辅助图像的分辨率除以虚拟视点的数量而计算出的分辨率，并且合成得到的多视点图像，以显示在显示装置（未示出）上。

[虚拟视点图像的生成的说明]

图8是用于解释通过在图7中示出的3D图像生成单元142生成虚拟视点的图像的示图。

如图8所示，基于视差图像识别信息，视差图像变形单元163和视差图像变形单元164选择彼此不同的视差图像。在图8中示出的例子中，视差图像变形单元163选择这样的视差图像，该视差图像由位于画面的左侧部分并且具有除了0以外的预定视差值的圆形区域以及除了该圆形区域以外并且具有为0的视差值的区域形成（在下文中称为视差图像#1）。同时，视差图像变形单元164选择这样的视差图像，该视差图像由位于画面的右侧部分并且具有除了0以外的预定视差值的圆形区域以及除了该圆形区域以外并且具有为0的视差值的区域形成（在下文中称为视差图像#2）。

基于虚拟视点的位置和成像信息，视差图像变形单元163和164中的每一个都对选择的视差图像执行变形操作。结果，例如，在视差图像#1中的圆形区域向右移动，并且，如图8所示，生成虚拟视点视差图像#1，其中被显示为图中的黑色区域的遮挡区域被形成于圆形区域的左侧。同时，在视差图像#2中的圆形区域向左移动，并且，生成虚拟视点视差图像#2，其中被显示为图中的黑色区域的遮挡区域被形成于圆形区域的右侧。应当注意，在虚拟视点视差图像#1中的圆形区域的位置与在虚拟视点视差图像#2中的圆形区域的位置一致。例如，每个遮挡区域由黑色区域表示。

基于虚拟视点视差图像#1，视点图像变形单元165对与视差图像#1对应的视点图像#1执行变形操作。在图8中示出的例子中，在视点图像#1中具有除了0以外的预定视差值的圆形区域是其颜色与视差值为0的其它区域的颜色不同的区域。因此，在变形后视点图像#1中，其颜色与周围区域的颜色不同的圆形区域从变形前视点图像#1中的圆形区域的位置向右移动了，并且遮挡区域存在于圆形区域的左侧。

同时，基于虚拟视点视差图像#2，视点图像变形单元166对与视差图像#2对应的视点图像#2执行变形操作。在图8中示出的例子中，在视点图像#2中具有除了0以外的预定视差值的圆形区域是其颜色与视差值为0的其它区域的颜色不同的区域。因此，在变形后视点图像#2中，其颜色与周围区域的颜色不同的圆形区域从变形前视点图像#2中的圆形区域的位置向左移动了，并且遮挡区域存在于圆形区域的右侧。

多视点图像生成单元169对于变形后视点图像#1和#2的其中之一的遮挡区域，利用这些视点图像中的另一个进行内插。具体地，由于视差图像识别信息是用于识别在虚拟视点的外侧的视点的视点图像的信息，因此存在于变形后视点图像#1和#2的其中之一中的遮挡区域的图像存在于这些视点图像中的另一个中。因此，多视点图像生成单元169对于存在于变形后视点图像#1和#2的其中之一中的遮挡区域的图像，利用存在于这些视点图像中的另一个中的遮挡区域的图像进行内插。结果，如图8所示，生成其中不存在任何遮挡区域的虚拟视点图像。

[视差图像变形操作的说明]

图9是用于解释视差图像变形操作的示图。

在视差图像变形操作中，如图9所示，在选择位置t（t_x，t_y，t_z）的视点的视差图像中的每个像素的位置m（x，y，z）首先经由三维空间与位置t’（t’_x，t’_y，t’_z）的虚拟视点的视差图像中的位置m’（x’，y’，z’）相关联。

具体地，根据下面示出的公式（1），与在位置t（t_x，t_y，t_z）的视点的视差图像中的视差值Z的像素的位置m（x，y，z）对应的三维空间中的位置M（X，Y，Z）被确定，并且在位置t’（t’_x，t’_y，t’_z）的虚拟视点的视差图像中与位置M（X，Y，Z）对应的位置m’（x’，y’，z’）被确定。

(X,Y,Z)^T=RA^-1(x,y,1)^TZ+(t_x,t_y,t_z)^T

s(x',y',1)^T=A’R'^-1[(X,Y,Z)^T-(t'_x,t'_y,t'_z)^T]

···(1)

在公式（1）中，R表示用于捕获视差图像的成像单元51A到51C的变形操作的旋转矩阵，并且由下面的公式（2）来表示：

$R=\left[\begin{array}{ccc}r\_11& r\_12& r\_13\\ r\_21& r\_22& r\_23\\ r\_31& r\_32& r\_33\end{array}\right]\&CenterDot;\&CenterDot;\&CenterDot;\left(2\right)$

在公式（2）中，r_11到r_13、r_21到r_23以及r_31到r_33为预定值。

在公式（1）中，A表示含有捕获视差图像的成像单元51A到51C的内部参数的矩阵，并且由下面的公式（3）来表示：

$A=\left[\begin{array}{ccc}\mathrm{focal}\_\mathrm{lenth}\_x& \mathrm{radial}\_\mathrm{distortion}& \mathrm{principal}\_\mathrm{point}\_x\\ 0.0& \mathrm{focal}\_\mathrm{length}\_y& \mathrm{principal}\_\mathrm{point}\\ 0.0& 0.0& 1.0\end{array}\right]\&CenterDot;\&CenterDot;\&CenterDot;\left(3\right)$

在公式（3）中，“focal_length_x”和“focal_length_y”分别表示包括在内部参数中的x方向焦距和y方向焦距。“principal_point_x”和“principal_point_y”分别表示包括在内部参数中的主点的x方向位置和y方向位置。“radial_distortion”表示包括在内部参数中的径向畸变系数。

此外，在公式（1）中，R’以与R相同的方式来表达，并且表示用于捕获虚拟视点视差图像的虚拟成像单元的变形操作的旋转矩阵。A’以与A相同的方式来表达，并且表示含有捕获虚拟视点视差图像的虚拟成像单元的内部参数的矩阵。此外，在公式（1）中，s表示缩放因子（scaling factor）。

在以上述方式进行了关联后，基于对应于每个像素的位置m（x，y，z）的位置m’（x’，y’，z’），对应于在选择的视差图像中的各个像素的像素在虚拟视点视差图像中被确定。在两个或更多的像素与虚拟视点视差图像中的预定像素相关联的情况下，在该两个或更多的像素中具有最大视差值的像素或者对应于在前侧的物体的像素被设置为对应于在虚拟视点视差图像中的预定像素的像素。在选择的视差图像中的每个像素的视差值被设置为对应于虚拟视点视差图像中的像素的像素的视差值，并且作为结果，生成了虚拟视点视差图像。

[基于边界信息的视差图像变形操作的说明]

图10到图12是用于解释基于边界信息由图7的视差图像变形单元163和视差图像变形单元164执行的视差图像变形操作的示图。在图10到图12中，小圆形表示像素，圆形中的图案表示视差值。

图10是示出其分辨率尚未由编码装置50的视差图像生成单元53降低的视差图像以及对该视差图像执行的变形操作的结果的示图。

在图10中示出的例子中，如图10的A所示，其分辨率尚未被降低的视差图像是这样的视差图像，其中，位于画面中央的圆形区域具有极大地不同于0的预定视差值，并且除了该圆形区域以外的其它区域的视差值为0。在这种情况下，当对其分辨率尚未被降低的视差图像执行变形操作时，在作为变形操作的结果获得的虚拟视点视差图像中，例如，该圆形区域向左移动了等于10个像素的距离，如图10的B所示。

图11是示出其分辨率由编码装置50的视差图像生成单元53降低的视差图像、其分辨率由视差图像分辨率提高单元162提高的视差图像、进行了变形操作的视差图像以及视差图像变形操作的结果的示图。

在视差图像生成单元53通过将其分辨率尚未被降低的图10的A的视差图像中在水平方向上彼此相邻的两个像素之间的平均视差值设置为其分辨率被降低的视差图像中与这两个像素相对应的像素的视差值的情况下，其分辨率被降低的视差图像如图11的A中所示。

在图11中，由具有垂直线阴影的圆形表示的像素的视差值是由具有网格状图案阴影的圆形表示的像素的视差值与由灰色圆形表示的像素的视差值之间的平均值。为了易于解释，在图11的A中，其分辨率尚未被降低的像素由圆形表示，并且通过分辨率降低要去除的像素由没有阴影的圆形来表示。

在这种情况下，在其分辨率尚未被降低的图10的A的视差图像中，关于与圆形区域（其中视差值是除了0以外的预定值）和具有视差值0的其它区域之间的边界相邻的像素的边界信息被设置为1，并且关于除了这些像素以外的像素的边界信息被设置为0。

当其分辨率被降低的图11的A的视差图像被供应时，视差图像分辨率提高单元162通过对其分辨率被提高的视差图像中的各个像素的视差值进行线性内插来执行分辨率提高，例如，通过使用其分辨率被降低的图11的A的视差图像中在水平方向上彼此相邻的两个像素的视差值，该两个像素对应于这些像素。结果，生成其分辨率提高的图11的B的视差图像。在图11的B中，由具有水平线阴影的圆形表示的像素的视差值是在由具有网格状图案阴影的圆形表示的像素的视差值和由具有垂直线阴影的圆形表示的像素的视差值的范围内的值。这同样适用于图12的A，其将在稍后描述。

如图11的C所示，基于边界信息，视差图像变形单元163（164）将与指示像素与边界位置相邻的边界信息对应的像素的视差值，改变为其分辨率被提高的图11的B中示出的视差图像中的与那些像素相邻的像素的视差值。

例如，在其分辨率被提高的图11的B的视差图像中对应于基于像素的边界信息的两个相邻像素之间，视差图像变形单元163（164）将左侧的像素的视差值改变为位于该像素左侧的相邻像素的视差值。视差图像变形单元163（164）还将右侧的像素的视差值改变为位于该像素右侧的相邻像素的视差值。

在对具有以上述方式改变的视差值的视差图像执行变形操作后，在作为变形操作的结果获得的虚拟视点视差图像中，具有除了0以外的预定视差值的圆形区域被向左移动了等于10个像素的距离，如图11的D所示。

如上所述，基于边界信息，视差图像变形单元163（164）将其分辨率被提高的视差图像中的与边界位置相邻的每个像素的视差值改变为与该像素相邻的像素的视差值，然后，对得到的图像进行变形操作。因此，与进行变形操作的视差图像中的边界位置相邻的像素的视差值变得更接近其分辨率尚未被降低的视差图像中的视差值。这样，对辅助图像的视差图像可以执行更精确的变形操作。

另一方面，在通过使用与图11的B相同的如图12中所示其分辨率被提高的图12的A的视差图像执行变形操作的情况下，如图12的B所示，视差值与作为变形操作的结果获得的虚拟视点视差图像中的遮挡区域相关联。

具体地，由具有水平线阴影的圆形表示的像素需要如图10的B所示向左移动等于10个像素的距离，但是，例如，如图12的B所示，仅向左移动等于5个像素的距离。也就是说，未执行精确的变形操作。结果，应该不与视差值相关联的遮挡区域与视差值相关联，并且未获得恰当的虚拟视点图像。

[对解码装置的操作的说明]

图13是用于解释由图6中示出的解码装置120进行的解码操作的流程图。例如，当从图1中示出的编码装置50发送的复用流被输入到解码装置120时该解码操作开始。

在图13的步骤S61中，解码装置120的分离单元121接收从编码装置50发送来的复用流，并将TS相互分开。分离单元121从分离的TS提取兼容流和辅助流，并将提取的流供应到解码器122。解码器122的辅助解码器132将包含在从分离单元121供应的辅助流中的兼容性信息供应到兼容解码器131。

在步骤S62中，基于从辅助解码器132供应的兼容性信息，兼容解码器131从供应自分离单元121的兼容流和辅助流识别出兼容流。

在步骤S63中，基于兼容性信息，兼容解码器131通过与AVC技术兼容的技术对包含在兼容流中的兼容图像进行解码，并将得到的视点图像A1供应到图像生成单元128。

在步骤S64中，图像生成单元128确定是否已经从观看者发出了2D图像显示指令。如果在步骤S64中确定未从观看者发出2D图像显示指令，或者如果无眼镜3D图像显示指令已经从观看者发出，那么辅助解码器132基于兼容性信息从供应自分离单元121的兼容流和辅助流识别辅助流。

在步骤S65中，辅助解码器132通过与图1中示出的辅助编码器62兼容的技术对已经进行了编码并且被包含在辅助流中的辅助图像的复用图像、兼容图像的视差图像A1’以及辅助图像的视差图像的复用图像进行解码。辅助解码器132将作为解码的结果获得的辅助图像的复用图像、兼容图像的视差图像A1’以及辅助图像的视差图像的复用图像供应到图像生成单元128。此外，辅助解码器132将包含在辅助流中的图像信息供应到图像信息获取单元123，并将成像信息供应到成像信息获取单元124。此外，辅助解码器132将包含在辅助流中的视差图像复用信息供应到视差图像复用信息获取单元125，并将兼容性信息供应到兼容性信息获取单元126。辅助解码器132还将包含在辅助流中的边界信息供应到边界信息获取单元127。

在步骤S66中，图像信息获取单元123获取从辅助解码器132供应的图像信息，并将该图像信息输入到图像生成单元128。在步骤S67中，成像信息获取单元124获取从辅助解码器132供应的成像信息，并将该成像信息输入到图像生成单元128。

在步骤S68中，视差图像复用信息获取单元125获取从辅助解码器132供应的视差图像复用信息，并将该视差图像复用信息输入到图像生成单元128。在步骤S69中，兼容性信息获取单元126获取从辅助解码器132供应的兼容性信息，并将该兼容性信息输入到图像生成单元128。

在步骤S70中，边界信息获取单元127获取从辅助解码器132供应的边界信息，并将该边界信息输入到图像生成单元128。

在步骤S71中，图像生成单元128的3D图像生成单元142执行多视点图像生成操作，以生成多视点图像的合成图像。稍后将参考图14详细描述多视点图像生成操作。

在步骤S72中，3D图像生成单元142的多视点图像合成单元170将通过步骤S71的处理生成的多视点图像的合成图像输出到显示装置（未示出），并使得该显示装置显示该合成图像，从而使得在各个视点处可视角度不同。然后，操作结束。

如果在步骤S64中确定已经从观看者发出2D图像显示指令，那么另一方面，在步骤S73中，图像生成单元128的2D图像生成单元141将作为从兼容解码器131供应的兼容图像的视点图像A1输出到显示装置（未示出），并使得该显示装置显示视点图像A1。然后，操作结束。

图14是用于详细地解释图13的步骤S71的多视点图像生成操作的流程图。

在图14中的步骤S90中，基于包含在从成像信息获取单元124供应的成像信息中的视点间距离和与显示装置（未示出）兼容的视点的数量，3D图像生成单元142的虚拟视点位置确定单元160（图7）确定各个虚拟视点的位置。基于各个虚拟视点的位置，虚拟视点位置确定单元160针对视差图像变形单元163和视差图像变形单元164中的每一个生成视差图像识别信息。虚拟视点位置确定单元160还将各个虚拟视点的位置以及对应的视差图像识别信息供应到视差图像变形单元163和视差图像变形单元164。

在步骤S91中，视差图像分离单元161获取从辅助编码器132供应的兼容图像的视差图像A1’和辅助图像的视差图像的复用图像。

在步骤S92中，基于从视差图像复用信息获取单元125供应的视差图像复用信息，视差图像分离单元161将辅助图像的视差图像的复用图像进行分离。然后，视差图像分离单元161将得到的作为辅助图像并且具有兼容图像的一半分辨率的视点图像B和视点图像C的视差图像供应到视差图像分辨率提高单元162。基于从兼容性信息获取单元126供应的兼容性信息，视差图像分离单元161将视差图像A1’直接供应到视差图像分辨率提高单元162。

在步骤S93中，视差图像分辨率提高单元162提高从视差图像分离单元161供应的作为辅助图像并且具有兼容图像的一半分辨率的视点图像B和视点图像C的视差图像的分辨率。结果，视差图像分辨率提高单元162获得具有与兼容图像相同的分辨率的视点图像B1和视点图像C1的视差图像。然后，视差图像分辨率提高单元162将获得的视点图像B1和视点图像C1的视差图像以及从视差图像分离单元161供应的视差图像A1’供应到视差图像变形单元163和视差图像变形单元164。

在步骤S94中，基于从虚拟视点位置确定单元160供应的视差图像识别信息，视差图像变形单元163针对每个虚拟视点从供应自视差图像分辨率提高单元162的视点图像B1和视点图像C1的视差图像以及视差图像A1’中选择一个图像。视差图像变形单元164执行与视差图像变形单元163的操作相同的操作。

在步骤S95到S98中，视差图像变形单元163和164均对选择的视差图像执行变形操作。

具体地，对于边界信息中的每个单位，选择的视差图像中对应于边界信息的像素被设置为要进行视差图像变形操作的像素（在下文中称为目标像素），并且进行步骤S95到S97的处理。

也就是说，在步骤S95中，视差图像变形单元163（164）确定关于目标像素的边界信息是否为1。如果在步骤S95中确定关于目标像素的边界信息为1，那么操作继续前进到步骤S96。

在步骤S96中，视差图像变形单元163（164）将目标像素的视差值改变为位于目标像素的左侧或右侧的相邻像素的视差值，并且操作继续前进到步骤S97。

如果在步骤S95中确定关于目标像素的边界信息不为1，或者如果关于目标像素的边界信息被确定为0，那么操作继续前进到步骤S97。

在步骤S97中，对于每个虚拟视点，基于虚拟视点的位置、成像信息和目标像素的视差值，视差图像变形单元163（164）根据上述的公式（1）确定在虚拟视点视差图像中对应于目标像素的像素。如果关于目标像素的边界信息为1，那么这里使用的目标像素的视差值是在步骤S97中被改变的视差值。如果关于目标像素的边界信息为0，那么另一方面，这里使用的目标像素的视差值是在步骤S94中选择的视差图像中的目标像素的视差值。

在步骤S98中，基于在步骤S97中确定的像素，视差图像变形单元163（164）针对每个虚拟视点，从选择的视差图像生成虚拟视点视差图像。具体地，针对每个虚拟视点，视差图像变形单元163（164）将在选择的视差图像中的每个像素的视差值设置为在虚拟视点视差图像中在步骤S97中确定的像素的视差值。然后，视差图像变形单元163（164）将每个得到的虚拟视点视差图像供应到视点图像变形单元165（166）。

在步骤S99中，基于从图像信息获取单元123供应的图像信息，视点图像分离单元167将从辅助解码器132供应的辅助图像的复用图像分离。然后，视点图像分离单元167将得到的具有兼容图像的一半分辨率的视点图像B1和C1供应到视差图像分辨率提高单元162。基于从兼容性信息获取单元126供应的兼容性信息，视点图像分离单元167将从兼容解码器131供应的作为兼容图像的视点图像A1直接供应到视点图像分辨率提高单元168。

在步骤S100中，视点图像分辨率提高单元168提高从视点图像分离单元167供应的作为辅助图像并且具有兼容图像的一半分辨率的视点图像B1和视点图像C1的分辨率。通过这样做，视点图像分辨率提高单元168获得了具有与兼容图像相同的分辨率的视点图像B1和视点图像C1。然后，视点图像分辨率提高单元168将获得的视点图像B1和视点图像C1以及从视点图像分离单元167供应的视点图像A1供应到视点图像变形单元165和视点图像变形单元166。

在步骤S101中，基于从视差图像变形单元163供应的每个虚拟视点的视差图像，视点图像变形单元165针对每个虚拟视点对从视点图像分辨率提高单元168供应的视点图像执行变形操作，该视点图像对应于所述视差图像。结果，包括遮挡区域的每个虚拟视点的图像被生成。视点图像变形单元165将包括遮挡区域的每个虚拟视点的图像供应到多视点图像生成单元169。视点图像变形单元166基于从视差图像变形单元164供应的各个虚拟视点的视差图像来执行与视点图像变形单元165的操作相同的操作。

在步骤S102中，针对每个虚拟视点，多视点图像生成单元169对于从视点图像变形单元165和166中的其中之一供应的虚拟视点图像的遮挡区域，利用从视点图像变形单元165和166中的另一个供应的虚拟视点图像进行内插。多视点图像生成单元169将各个得到的虚拟视点图像作为多视点图像供应到多视点图像合成单元170。

在步骤S103中，多视点图像合成单元170将从多视点图像生成单元169供应的多视点图像的分辨率转变为通过将兼容图像和辅助图像的分辨率除以虚拟视点的数量而计算出的分辨率，并且合成得到的多视点图像，以生成多视点图像的合成图像。操作返回到图13的步骤S71，然后继续前进到步骤S72。

如上所述，基于从编码装置50发送来的边界信息，解码装置120对辅助图像的视差图像执行变形操作。因此，通过将与其分辨率提高的每个辅助图像的视差图像中的边界位置相邻的像素的视差值改变为与边界位置相邻的像素相邻的像素的视差值，并对每个改变的视差图像进行变形操作，解码装置120可以将进行变形操作的每个视差图像改变为其分辨率尚未被降低的视差图像。结果，对辅助图像的视差图像可以执行精确的变形操作。

<第二实施例>

[编码装置的第二实施例的示例结构]

图15是示出应用了本技术的作为图像处理装置的编码装置的第二实施例的示例结构的框图。

在图15中示出的结构中，与图1中的部件相同的部件以与图1的附图标记相同的附图标记来标注。已经做出的说明将不再重复。

在图15中示出的编码装置200的结构与在图1中示出的结构的不同主要在于边界信息生成单元58由边界信息生成单元201代替，并且编码器59由编码器202代替。

编码器200发送左侧边界信息（is_left_edge），该左侧边界信息指示与指示该像素是否邻近边界位置的边界信息相对应的像素是否位于边界位置的左侧。

具体地，编码装置200的边界信息生成单元201从供应自视差图像生成单元53的视差图像B1’和视差图像C1’检测各个边界位置。然后，边界信息生成单元201充当生成单元，并且基于检测到的边界位置，生成基于像素的边界信息和左侧边界信息。边界信息和左侧边界信息被供应到编码器202。

编码器202由兼容编码器61和辅助编码器211形成。

与图1中示出的辅助编码器62相同，编码器202的辅助编码器211通过预定技术对来自图像转换单元52的辅助图像的复用图像、以及来自视差图像生成单元53的兼容图像的视差图像A1’和辅助图像的视差图像的复用图像进行编码。

辅助编码器211还将来自图像信息生成单元54的图像信息、来自兼容性信息生成单元55的兼容性信息、来自成像信息生成单元56的成像信息、来自视差图像复用信息生成单元57的视差图像复用信息、来自边界信息生成单元201的边界信息和左侧边界信息等添加到作为编码的结果的编码图像。这样，生成了编码流。辅助编码器211将编码流作为辅助流供应到复用单元60。

[编码装置的操作的说明]

除了在图4的步骤S20中左侧边界信息以及边界信息被输入到编码器202，以及执行不同的边界信息生成操作外，由图15中示出的编码装置200执行的编码操作与在图3和图4中示出的编码操作相同。因此，在下面仅描述边界信息生成操作。

图16是用于详细地解释由图15中示出的编码装置200进行的边界信息生成操作的流程图。

图16的步骤S121到S124、S129和S130的处理与图5的步骤S41到S46的处理相同。

在图16的步骤S124的处理之后，操作继续前进到步骤S125，并且针对在步骤S124的处理中设置了边界信息的两个像素中的每一个执行后面的步骤S125到S128的处理。

在步骤S125中，边界信息生成单元201计算在步骤S124的处理中设置了边界信息的像素和与该像素相邻的右侧和左侧像素之间的视差值差。

在步骤S126中，边界信息生成单元201确定在步骤S125中确定的相对于左侧相邻像素的差是否小于与右侧相邻像素的差。

如果在步骤S126中确定与左侧相邻像素的差小于与右侧相邻像素的差，那么操作继续前进到步骤S127。在步骤S127中，边界信息生成单元201将关于在步骤S124的处理中设置了边界信息的像素的左侧边界信息设置为1。然后，操作继续前进到步骤S130。

如果在步骤S126中确定与左侧相邻像素的差不小于与右侧相邻像素的差，那么另一方面，边界信息生成单元201将关于在步骤S124的处理中设置了边界信息的像素的左侧边界信息设置为0。然后，操作继续前进到步骤S130。

如上所述，编码装置200发送左侧边界信息以及边界信息，从而使得稍后描述的解码装置可以基于边界信息和左侧边界信息对辅助图像的视差图像执行变形操作。结果，如稍后所描述的，解码装置可以对辅助图像的视差图像执行更精确的变形操作。

[解码装置的示例结构]

图17是示出对从图15中示出的编码装置200发送来的复用流进行解码的解码装置的示例结构的示图，该解码装置是应用了本技术的图像处理装置。

在图17中示出的结构中，与图6中的部件相同的部件以与图6的附图标记相同的附图标记来标注。已经做出的说明将不再重复。

图17中示出的解码装置220的结构不同于图6中示出的结构，不同主要在于解码器122、边界信息获取单元127和图像生成单元128由解码器221、边界信息获取单元222和图像生成单元223代替。解码装置220对从编码装置200发送的复用流进行解码，通过基于边界信息和左侧边界信息执行视差图像变形操作来生成多视点图像，并使得显示装置（未示出）显示生成的图像。

具体地，解码装置220的解码器221由兼容解码器131和辅助解码器231形成。与图6中示出的辅助解码器132相同，解码器221的辅助解码器231将包含在从分离单元121供应的辅助流中的兼容性信息供应到兼容解码器131。与辅助解码器132相同，基于该兼容性信息，辅助解码器231从供应自分离单元121的兼容流和辅助流识别出辅助流。辅助解码器231通过与图15中示出的辅助编码器211兼容的技术，对已经进行了编码并且被包含在从分离单元121供应的辅助流中的辅助图像的复用图像、兼容图像的视差图像以及辅助图像的视差图像的复用图像进行解码。

辅助解码器231将作为解码的结果获得的辅助图像的复用图像、兼容图像的视差图像以及辅助图像的视差图像的复用图像供应到图像生成单元223。此外，与辅助解码器132相同，辅助解码器231将包含在辅助流中的图像信息供应到图像信息获取单元123，并将成像信息供应到成像信息获取单元124。此外，与辅助解码器132相同，辅助解码器231将包含在辅助流中的视差图像复用信息供应到视差图像复用信息获取单元125，并将兼容性信息供应到兼容性信息获取单元126。辅助解码器231还将包含在辅助流中的边界信息和左侧边界信息供应到边界信息获取单元222。

边界信息获取单元222获取从辅助解码器231供应的边界信息和左侧边界信息，并将该边界信息和左侧边界信息供应到图像生成单元223。

图像生成单元223由2D图像生成单元141和3D图像生成单元241形成。使用从解码器221供应的视点图像A1、辅助图像的复用图像、兼容图像的视差图像A1’和辅助图像的视差图像的复用图像，图像生成单元223的3D图像生成单元241基于图像信息、成像信息、视差图像复用信息、兼容性信息、边界信息、左侧边界信息等，生成具有与显示装置（未示出）兼容的三个或更多的视点并且具有与兼容图像相同的分辨率的图像。与图6中示出的3D图像生成单元142相同，然后，3D图像生成单元241将生成的多视点图像的分辨率转换为通过将兼容图像和辅助图像的分辨率除以视点的数量而计算出的分辨率，并合成多视点图像。得到的图像被显示在显示装置（未示出）上。

此时，合成的多视点图像被显示，其中在各个视点处可视角度不同。通过用左右眼来看任意两个视点的图像，观看者可以在不佩戴眼镜的情况下观看3D图像。

[3D图像生成单元的具体示例结构]

图18是示出图17中示出的3D图像生成单元241的具体示例结构的框图。

在图18中示出的结构中，与图7中的部件相同的部件以与图7的附图标记相同的附图标记来标注。已经做出的说明将不再重复。

在图18中示出的3D图像生成单元241的结构不同于在图7中示出的结构，不同在于，视差图像变形单元163和视差图像变形单元164被视差图像变形单元251和视差图像变形单元252所代替。

3D图像生成单元241的视差图像变形单元251充当视差图像变形单元。具体地，与图7中示出的视差图像变形单元163相同，基于从虚拟视点位置确定单元160供应的视差图像识别信息，视差图像变形单元251针对每个虚拟视点从供应自视差图像分辨率提高单元162的视点图像B1和视点图像C1的视差图像以及视差图像A1’选择一个图像。基于来自成像信息获取单元124的成像信息、来自边界信息获取单元127的边界信息和左侧边界信息以及来自虚拟视点位置确定单元160的各个虚拟视点的位置，视差图像变形单元163对针对每个虚拟视点选择的视差图像执行变形操作。视差图像变形单元163将通过变形操作生成的每个虚拟视点的视差图像供应到视点图像变形单元165。

视差图像变形单元252执行与视差图像变形单元251的操作相同的操作，并将得到的各个虚拟视点的视差图像供应到视点图像变形单元166。

[基于边界信息和左侧边界信息的视差图像变形操作的说明]

图19是用于解释基于边界信息和左侧边界信息由图18中示出的视差图像变形单元251（252）执行的视差图像变形操作的示图。在图19中，小圆形表示像素，圆形中的图案表示视差值。

如图19所示，在供应在图11的A中示出的具有降低的分辨率的视差图像的情况下，视差图像分辨率提高单元162提高视差图像的分辨率，并生成在图19的上部示出的具有提高的分辨率的视差图像。

视差图像变形单元251（252）将在图19的上部的具有提高的分辨率的视差图像中边界信息为1且左侧边界信息为1的每个像素的视差值改变为位于该像素左侧的相邻像素的视差值。视差图像变形单元251（252）还将边界信息为1且左侧边界信息为0的每个像素的视差值改变为位于该像素右侧的相邻像素的视差值。然后，视差图像变形单元251（252）对具有以上述方式改变的视差值的视差图像执行变形操作。因此，在作为变形操作的结果获得的虚拟视点视差图像中，具有除了0以外的预定视差值的圆形区域向左移动了等于10个像素的距离，如图19的下部所示。

如上所述，基于边界信息和左侧边界信息，视差图像变形单元251（252）将提高了分辨率的辅助图像的视差图像中与边界位置相邻的每个左侧像素的视差值改变为位于该像素的左侧的相邻像素的视差值，并将与边界位置相邻的每个右侧像素的视差值改变为位于该像素的右侧的相邻像素的视差值。得到的视差图像被进行变形操作。因此，与进行了变形操作的视差图像中的边界位置相邻的像素的视差值变得更接近其分辨率尚未被降低的视差图像中的视差值。这样，对辅助图像的视差图像可以执行更精确的变形操作。

[解码装置的操作的说明]

除了在图13的步骤S70中左侧边界信息以及边界信息被输入到图像生成单元223，并且执行不同的多视点图像生成操作外，在图17中示出的解码装置220的解码操作与在图13中示出的解码操作相同。因此，在下面仅描述多视点图像生成操。

图20是用于详细地解释由图17中示出的解码装置220进行的多视点图像生成操作的流程图。

图20的步骤S140到S144的处理与图14的步骤S90到S94的处理相同，因此，在这里不重复对其的解释。

在步骤S145到S150中，视差图像变形单元251和252均对选择的视差图像执行变形操作。

具体地，在选择的视差图像中对应于边界信息的像素被设置为目标像素，并且执行步骤S145到S149的处理。

也就是说，在步骤S145中，视差图像变形单元251（252）确定关于目标像素的边界信息是否为1。如果在步骤S145中确定关于目标像素的边界信息为1，那么操作继续前进到步骤S146。

在步骤S146中，视差图像变形单元251（252）确定关于目标像素的左侧边界信息是否为1。如果在步骤S146中确定关于目标像素的左侧边界信息为1，那么操作继续前进到步骤S147。

在步骤S147中，视差图像变形单元251（252）将目标像素的视差值改变为位于目标像素的左侧的相邻像素的视差值，并且操作继续前进到步骤S149。

如果在步骤S146中确定关于目标像素的左侧边界信息不为1，或者如果关于目标像素的左侧边界信息为0，那么操作继续前进到步骤S148。

在步骤S148中，视差图像变形单元251（252）将目标像素的视差值改变为位于目标像素的右侧的相邻像素的视差值，并且操作继续前进到步骤S149。

如果在步骤S145中确定关于目标像素的边界信息不为1，或者如果关于目标像素的边界信息被确定为0，那么操作继续前进到步骤S149。

在步骤S149中，对于每个虚拟视点，基于虚拟视点的位置、成像信息和目标像素的视差值，视差图像变形单元251（252）根据上述的公式（1）确定在虚拟视点视差图像中对应于该目标像素的像素。如果关于目标像素的边界信息为1，那么这里使用的目标像素的视差值是在步骤S147或S148中被改变的视差值。如果关于目标像素的边界信息为0，那么这里使用的目标像素的视差值是在步骤S144中选择的视差图像中的目标像素的视差值。

然后，操作继续前进到步骤S150，并且执行与图14的步骤S98到S103的处理相同的步骤S150到S155的处理。

如上所述，基于从编码装置200发送的边界信息和左侧边界信息，解码装置220对具有提高的分辨率的辅助图像的视差图像执行变形操作。因此，通过将其分辨率提高的每个辅助图像的视差图像中与边界位置相邻的左侧像素的视差值改变为位于与边界位置相邻的像素的左侧的相邻像素的视差值，将与边界位置相邻的右侧像素的视差值改变为位于与边界位置相邻的像素的右侧的相邻像素的视差值，并且对每个改变的视差图像进行变形操作，解码装置220可以将进行了变形操作的每个视差图像改变为与其分辨率尚未降低的视差图像类似的视差图像。结果，对辅助图像的视差图像可以执行更精确的变形操作。

<第三实施例>

[编码装置的第三实施例的示例结构]

图21是示出应用了本技术的作为图像处理装置的编码装置的第三实施例的示例结构的框图。

在图21中示出的结构中，与图1中的部件相同的部件以与图1的附图标记相同的附图标记来标注。已经做出的解释将不再重复。

在图21中示出的编码装置300的结构与图1中示出的结构不同，不同在于视差图像生成单元53和编码器59由视差图像生成单元301和编码器303代替，并且新添加了视差图像转换信息生成单元302。编码装置300发送指示用于降低视差图像的分辨率的方法的视差图像转换信息（Subsample_type）（分辨率转换信息）。

具体地，与图1中示出的视差图像生成单元53相同，编码装置300的视差图像生成单元301使用从成像单元51A到51C供应的视点图像A1到C1来检测在视点图像A1到C1中的各个像素的视差值。与视差图像生成单元53相同，视差图像生成单元301生成作为兼容图像的视点图像A1的视差图像A1’，并将视差图像A1’供应到编码器303。

与视差图像生成单元53相同，视差图像生成单元301还生成作为辅助图像的视点图像B1的视差图像B1’以及作为辅助图像的视点图像C1的视差图像C1’，并将这些视差图像供应到边界信息生成单元58。视差图像生成单元301还充当分辨率降低单元，并且通过预定的分辨率降低方法来降低视差图像B1’和视差图像C1’的分辨率。然后，视差图像生成单元301通过预定的复用技术对具有降低的分辨率的视差图像进行复用，并将得到的复用图像供应到编码器303。与视差图像生成单元53相同，视差图像生成单元301将指示用于复用辅助图像的视差图像的复用技术的信息供应到视差图像复用信息生成单元57。

视差图像生成单元301还将用于降低视差图像的分辨率的方法通知视差图像转换信息生成单元302。分辨率降低方法可以是下面方法中的一种：间隔剔除（thinning）方法、Lanczos方法、双三次方法、双线性方法、最近邻居方法等，这些方法在分辨率降低中涉及有无滤波器，涉及不同种类的滤波器，或者涉及具有不同强度的滤波器。

基于从视差图像生成单元301通知的用于降低视差图像的分辨率的方法，视差图像转换信息生成单元302生成视差图像转换信息，并将该视差图像转换信息供应到编码器303。

编码器303由兼容编码器61和辅助编码器311形成。与图1中示出的辅助编码器62相同，辅助编码器311通过预定技术对来自图像转换单元52的辅助图像的复用图像、以及来自视差图像生成单元53的兼容图像的视差图像A1’和辅助图像的视差图像的复用图像进行编码。

辅助编码器311还将来自图像信息生成单元54的图像信息、来自兼容性信息生成单元55的兼容性信息、来自成像信息生成单元56的成像信息、来自视差图像复用信息生成单元57的视差图像复用信息、来自边界信息生成单元58的边界信息、来自视差图像转换信息生成单元302的视差图像转换信息等添加到作为编码的结果获得的编码图像。这样，生成了编码流。与辅助编码器62相同，辅助编码器311将编码流作为辅助流供应到复用单元60。

[视差图像分辨率降低的说明]

图22是用于解释由在图21中示出的视差图像生成单元301执行的视差图像分辨率降低的示图。

在图22中，小圆形表示像素，圆形中的图案表示视差值。为了易于解释，在图22中，其分辨率尚未被降低的像素由圆形表示，并且，通过分辨率降低要去除的像素由没有阴影的圆形来表示。

在视差图像生成单元301通过间隔剔除方法在视差图像中执行分辨率降低的情况下，如图22的右上部所示，在其分辨率尚未降低的视差图像中在水平方向上彼此相邻的两个像素的视差值的其中之一被留下，另一个视差值被去除。在这时，例如，如图22所示，指示间隔剔除方法的0被生成作为视差图像转换信息。

在视差图像生成单元301通过双线性方法在视差图像中执行分辨率降低的情况下，如图22的右下部所示，在其分辨率尚未降低的视差图像中在水平方向上彼此相邻的两个像素的视差值的其中之一被设置为这两个像素的视差值之间的平均值，并且另一个视差值被去除。在这时，例如，如图22所示，指示双线性方法的1被生成作为视差图像转换信息。

[编码装置的操作的说明]

图23和图24是用于解释由图21中示出的编码装置300进行的编码操作的流程图。例如，当视点图像A1到C1被从成像单元51A到51C输出时该编码操作开始。

图23的步骤S200到图24的步骤S210的处理与图3的步骤S10到图4的步骤S20的处理相同，因此，在这里不重复对其的解释。

在步骤S210的处理之后，在步骤S211中，视差图像生成单元301确定用于复用辅助图像的视差图像的复用技术以及用于降低视差图像的分辨率的方法。视差图像生成单元301将指示确定的复用技术的信息供应到视差图像复用信息生成单元57，并将确定的分辨率降低方法供应到视差图像转换信息生成单元302。

在步骤S212中，基于从视差图像生成单元53供应的信息，如图4的步骤S22那样，视差图像复用信息生成单元57生成视差图像复用信息，并将视差图像复用信息输入到编码器303。

在步骤S213中，基于从视差图像生成单元53供应的分辨率降低方法，视差图像转换信息生成单元302生成视差图像转换信息，并将该视差图像转换信息供应到编码器303。

在步骤S214中，视差图像生成单元301通过在步骤S211中确定的分辨率降低方法来降低辅助图像的视差图像B1’和视差图像C1’的分辨率，并通过复用技术对得到的辅助图像的视差图像进行复用。结果，视差图像生成单元301获得辅助图像的视差图像的复用图像。

步骤S215到S219的处理与图4的步骤S24到S28的处理相同，因此，在这里不重复对其的解释。

如上所述，编码装置300通过预定的分辨率降低方法来降低辅助图像的视差图像的分辨率，并且发送具有降低的分辨率的视差图像、视差图像转换信息和边界信息。基于视差图像转换信息，稍后描述的解码装置通过对应于由视差图像转换信息指示的方法的方法，通过提高具有降低的分辨率的视差图像的分辨率，可以获得与其分辨率尚未被降低的视差图像更类似的视差图像。然后，基于边界信息，解码装置可以对更类似于其分辨率尚未被降低的视差图像的辅助图像的视差图像执行变形操作。结果，解码装置可以对辅助图像的视差图像执行更精确的变形操作。

[解码装置的示例结构]

图25是示出对从图21中示出的编码装置300发送来的复用流进行解码的解码装置的示例结构的示图，该解码装置是应用了本技术的图像处理装置。

在图25中示出的结构中，与图6中的部件相同的部件以与图6的附图标记相同的附图标记来标注。已经做出的解释将不再重复。

在图25中示出的解码装置350的结构与图6中示出的结构不同，不同在于解码器122和图像生成单元128由解码器351和图像生成单元353代替，并且新提供了视差图像转换信息获取单元352。解码装置350对从编码装置300发送来的复用流进行解码。解码装置350基于视差图像转换信息来提高视差图像的分辨率，并基于边界信息来对具有提高的分辨率的视差图像执行变形操作。

具体地，解码装置350的解码器351由兼容解码器131和辅助解码器361形成。与图6中示出的辅助解码器132相同，辅助解码器361将包含在从分离单元121供应的辅助流中的兼容性信息供应到兼容解码器131。与辅助解码器132相同，基于该兼容性信息，辅助解码器361从供应自分离单元121的兼容流和辅助流识别出辅助流。辅助解码器361通过与图21中示出的辅助编码器311兼容的技术，对已经进行了编码并且被包含在从分离单元121供应的辅助流中的辅助图像的复用图像、兼容图像的视差图像以及辅助图像的视差图像的复用图像进行解码。

与辅助解码器132相同，辅助解码器361将作为解码的结果获得的辅助图像的复用图像、兼容图像的视差图像以及辅助图像的视差图像的复用图像供应到图像生成单元128。此外，与辅助解码器132相同，辅助解码器361将包含在辅助流中的图像信息供应到图像信息获取单元123，并将成像信息供应到成像信息获取单元124。此外，与辅助解码器132相同，辅助解码器361将包含在辅助流中的视差图像复用信息供应到视差图像复用信息获取单元125，并将兼容性信息供应到兼容性信息获取单元126。辅助解码器361还将包含在辅助流中的边界信息供应到边界信息获取单元127，并将视差图像转换信息供应到视差图像转换信息获取单元352。

视差图像转换信息获取单元352获取从辅助解码器361供应的视差图像转换信息，并将该视差图像转换信息供应到图像生成单元353。

图像生成单元353由2D图像生成单元141和3D图像生成单元371形成。使用从解码器351供应的视点图像A1、辅助图像的复用图像、兼容图像的视差图像A1’和辅助图像的视差图像的复用图像，3D图像生成单元371基于图像信息、成像信息、视差图像复用信息、兼容性信息、边界信息、视差图像转换信息等，生成具有与显示装置（未示出）兼容的三个或更多的视点并且具有与兼容图像相同的分辨率的图像。与图6中示出的3D图像生成单元142相同，然后，3D图像生成单元371将生成的多视点图像的分辨率转换为通过将兼容图像和辅助图像的分辨率除以视点的数量而计算得到的分辨率，并合成这些多视点图像。得到的图像被显示在显示装置（未示出）上。

此时，合成的多视点图像被显示，其中在各个视点处可视角度不同。通过使用左右眼来看任意两个视点的图像，观看者可以在不佩戴眼镜的情况下观看3D图像。

[图像生成单元的具体示例结构]

图26是示出图25中示出的3D图像生成单元371的具体示例结构的框图。

在图26中示出的结构中，与图7中的部件相同的部件以与图7的附图标记相同的附图标记来标注。已经做出的解释将不再重复。

在图26中示出的3D图像生成单元371的结构不同于图7中示出的结构，不同在于视差图像分辨率提高单元162由视差图像分辨率提高单元391代替。

3D图像生成单元371的视差图像分辨率提高单元391充当分辨率提高单元，并且基于来自视差图像转换信息获取单元352的视差图像转换信息，提高从视差图像分离单元161供应的视点图像B1和视点图像C1的各个视差图像的分辨率。具体地，通过对应于由视差图像转换信息指示的分辨率降低方法的方法，视差图像分辨率提高单元391提高视点图像B1和视点图像C1的各个视差图像的分辨率。结果，视差图像分辨率提高单元391获得具有与兼容图像相同的分辨率的视点图像B1和视点图像C1的视差图像。然后，视差图像分辨率提高单元391将获得的视点图像B1和视点图像C1的视差图像以及从视差图像分离单元161供应的视差图像A1’供应到视差图像变形单元163和视差图像变形单元164。

[视差图像分辨率提高的说明]

图27是用于解释由在图26中示出的视差图像分辨率提高单元391执行的视差图像分辨率提高的示图。

在图27中，小圆形表示像素，圆形中的图案表示视差值。为了易于解释，在图27中，其分辨率尚未被降低的像素由圆形表示，并且，通过分辨率降低要去除的像素由没有阴影的圆形来表示。

如图27的上部所示，在通过间隔剔除方法降低视差图像的分辨率并且0被生成为视差图像转换信息的情况下，视差图像分辨率提高单元391在保持其分辨率降低的视差图像的视差值的同时，通过执行内插，执行分辨率提高。也就是说，在通过间隔剔除方法降低视差图像的分辨率的情况下，分辨率降低后的各个像素的视差值与对应于其分辨率尚未降低的视差图像中的各个像素的像素的视差值相同。因此，各个像素的视差值被保持。具体地，视差图像分辨率提高单元391将其分辨率降低的视差图像中的各个像素的视差值设置为与各个像素对应的像素的视差值，并且通过加权内插等，对除了这些像素以外的其它像素的视差值进行内插。

另一方面，在通过双线性方法降低视差图像的分辨率并且1被生成为视差图像转换信息的情况下，通过执行如图27的下部所示的线性内插，视差图像分辨率提高单元391执行分辨率提高。具体地，使用与其分辨率降低的视差图像中的各个像素对应的像素的视差值，视差图像分辨率提高单元391线性地内插在其分辨率提高的视差图像中的各个像素的视差值。

如上所述，通过与由视差图像生成单元301使用的分辨率降低方法兼容的方法，视差图像分辨率提高单元391执行分辨率提高。因此，使得其分辨率提高的视差图像类似于其分辨率尚未降低的视差图像。

[解码装置的操作的说明]

图28是用于解释由图25中示出的解码装置350进行的解码操作的流程图。例如，当从图21中示出的编码装置300发送的复用流被输入到解码装置350时该解码操作开始。

图28的步骤S231到S240的处理与图13的步骤S61到S70的处理相同，因此，在这里不重复对其的解释。

在图28的步骤S241中，视差图像转换信息获取单元352将视差图像转换信息输入到图像生成单元353。

在步骤S242中，图像生成单元353执行多视点图像生成操作。稍后将参考图29详细描述该多视点图像生成操作。

步骤S243和S244的处理与图13的步骤S72和S73的处理相同，因此，在这里不重复对其的解释。

图29是用于详细地解释图28的步骤S242的多视点图像生成操作的流程图。

除了图14的步骤S93的处理由步骤S263的处理代替，图29的步骤S260到S273的处理与图14中示出的多视点图像生成操作的处理相同。

在步骤S263的处理中，基于从视差图像转换信息获取单元352供应的视差图像转换信息，视差图像分辨率提高单元391提高作为从视差图像分离单元161供应的辅助图像的视点图像B1和视点图像C1的各个视差图像的分辨率。

如上所述，基于从编码装置300发送的视差图像转换信息，解码装置350提高具有降低的分辨率的辅助图像的视差图像的分辨率。因此，具有提高的分辨率的视差图像更类似于其分辨率尚未降低的视差图像。基于边界信息，然后，解码装置350可以对类似于其分辨率尚未被降低的视差图像的、辅助图像的视差图像执行变形操作。这样，对辅助图像的视差图像可以执行更精确的变形操作。

在第三实施例中，与第一实施例相同，只有边界信息被从编码装置300发送到解码装置350。但是，左侧边界信息也可以如第二实施例那样被发送。

此外，在第一到第三实施例中，要被捕获的视点图像的视点的数量为三，但是视点的数量并不限于此。尽管视点间距离由成像信息生成单元56来检测，视点间距离也可以从成像单元51A到51C获取。

此外，在第一到第三实施例中，边界信息仅被用于视差图像变形操作。但是，边界信息也可以被用于解码、提高分辨率等。在第一到第三实施例中，与边界位置相邻的像素的视差值与位于这些像素的左侧或右侧的相邻像素的视差值相同。但是，与边界位置相邻的像素的视差值可以通过对位于右侧和左侧的相邻像素的视差值执行加权加法来计算。在这种情况下，在第二实施例中，与边界位置相邻的左侧像素的视差值被改变为通过以使得位于这些像素的左侧的相邻像素的权重大于位于右侧的相邻像素的权重的方式执行加权加法而获得的视差值。此外，与边界位置相邻的右侧像素的视差值被改变为通过以使得位于这些像素的右侧的相邻像素的权重大于位于左侧的相邻像素的权重的方式执行加权加法而获得的视差值。

本技术的图像处理装置还可以被应用于显示装置或再现装置，诸如电视接收机。在本技术中，与边界位置相邻的像素的数量并不限于两个，并且与边界位置相邻的像素可以包括与边界位置相邻并位于边界位置的左侧的多个像素，以及与边界位置相邻并位于边界位置的右侧的多个像素。

此外，图像信息、成像信息、视差图像复用信息、兼容性信息、边界信息、左侧边界信息和视差图像转换信息可以不进行编码，并且可以通过与编码流不同的路径发送。或者，图像信息、成像信息、视差图像复用信息、兼容性信息、边界信息、左侧边界信息和视差图像转换信息可以被编码，然后通过与编码流不同的路径发送。

此外，图像信息、成像信息、视差图像复用信息、兼容性信息、边界信息、左侧边界信息和视差图像转换信息可以不进行编码，并且可以被写入编码流中的预定区域中，或者可以被编码并被写入编码流中的预定区域中。

<第四实施例>

[应用了本技术的计算机的说明]

上述的一系列操作可以用硬件来执行，也可以用软件来执行。在这一系列操作用软件来执行的情况下，形成该软件的程序被安装到通用计算机等中。

鉴于此，图31示出安装有用于执行上述的一系列操作的程序的计算机的实施例的示例结构。

该程序可以预先被记录到作为记录介质在计算机中提供的存储单元808或ROM（只读存储器）802中。

或者，该程序可以被存储（记录）在可移动介质811中。这样的可移动介质811可以作为所谓的封装软件来提供。这里，可移动介质811例如可以是软盘、CD-ROM（压缩盘只读存储器）、MO（磁光）盘、DVD（数字多功能盘）、磁盘或半导体存储器。

该程序可以经由驱动器810从上述可移动介质811安装到计算机中，但是也可以经由通信网络或广播网络下载到计算机中并安装到内部存储单元808中。也就是说，该程序可以从例如下载网站经由用于数字卫星广播的人造卫星无线地传输到计算机，或者可以经由诸如LAN（局域网）或互联网的网络通过线缆传输到计算机。

计算机包括CPU（中央处理单元）801，并且输入/输出接口805经由总线804连接到CPU801。

当用户经由输入/输出接口805操作输入单元806等输入指令时，CPU801相应地执行存储在ROM802中的程序。或者，CPU801将存储在存储单元808中的程序载入RAM（随机存取存储器）803中，并执行该程序。

通过这样做，CPU801执行根据上述的流程图的操作，或者使用在上述框图中示出的结构来执行操作。在需要时，例如，经由输入/输出接口805，CPU801从输出单元807输出操作结果或者将操作结果从通信单元809发送，并进一步将操作结果存储到存储单元808中。

输入单元806由键盘、鼠标、麦克风等形成。输出单元807由LCD（液晶显示器）、扬声器等形成。

在本说明书中，由计算机依照该程序执行的操作不一定按照符合在流程图中示出的序列的时间顺序来执行。也就是说，由计算机依照该程序执行的操作包括并行或彼此独立地执行的操作（诸如并行操作或基于对象的操作）。该程序可以由一台计算机（处理器）执行，或者可以由多于一台的计算机以分布式方式执行。此外，该程序可以被传送到远程计算机，并且在那里被执行。

本技术可以被应用于编码装置和解码装置，其被用于经由诸如卫星广播、有线TV（电视）、互联网或便携式电话装置的网络介质的接收，或者用于在诸如光或磁盘或闪存的存储介质中处理。

上述编码装置和解码装置还可以被应用于任何电子设备。下面是对这样的例子的说明。

<第五实施例>

[电视设备的示例结构]

图32示意性地示出应用了本技术的电视设备的示例结构。电视设备900包括：天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908和外部接口单元909。电视设备900还包括：控制单元910、用户接口单元911等。

调谐器902从天线901接收到的广播波信号选择想要的频道，并执行解调。得到的编码比特流被输出到解复用器903。

解复用器903从编码比特流提取要观看的节目的视频包和音频包，并将提取的包的数据输出到解码器904。解复用器903还将诸如EPG（电子节目指南）的数据的包供应到控制单元910。在执行了加扰的情况下，解复用器等解除加扰。

解码器904执行包解码操作，并将通过解码操作生成的视频数据输出到视频信号处理单元905，并将音频数据输出到音频信号处理单元907。

视频信号处理单元905根据用户设置对视频数据进行噪声去除和视频处理等。视频信号处理单元905生成要在显示单元906上显示的节目的视频数据，或者通过基于经由网络供应的应用的操作生成图像数据等。视频信号处理单元905还生成用于显示用于项目选择的菜单画面等的视频数据，并将该视频数据叠加到节目的视频数据上。基于以这种方式生成的视频数据，视频信号处理单元905生成驱动显示单元906的驱动信号。

基于来自视频信号处理单元905的驱动信号，显示单元906驱动显示装置（例如，液晶显示器元件）来显示节目的视频。

音频信号处理单元907对音频数据进行诸如噪声去除的预定处理，并对处理后的音频数据执行D/A转换操作和放大操作。得到的音频数据被作为音频输出供应到扬声器908。

外部接口单元909是用于连接外部装置或网络的接口，并发送和接收诸如视频数据和音频数据的数据。

用户接口单元911被连接到控制单元910。用户接口单元911由操作开关、遥控信号接收单元等形成，并将根据用户操作的操作信号供应到控制单元910。

控制单元910由CPU（中央处理单元）、存储器等形成。存储器存储要由CPU执行的程序、CPU执行操作所需的各种类型的数据、EPG数据、经由网络获得的数据等。在诸如激活电视设备900的时间的预定时间，存储在存储器中的程序由CPU读取并执行。CPU执行该程序以控制各个部件，从而使得电视设备900根据用户操作进行工作。

在电视设备900中，提供总线912以将调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909等连接到控制单元910。

在具有这样的结构的电视设备中，本发明的图像处理装置（图像处理方法）的功能在解码器904中提供。因此，当通过对包含其分辨率降低的视差图像的编码比特流进行解码来生成多视点图像时，可以执行精确的视差图像变形操作。

<第六实施例>

[便携式电话装置的示例结构]

图33示意性地示出应用了本技术的便携式电话装置的示例结构。便携式电话装置920包括：通信单元922、音频编解码器923、相机单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930和控制单元931。这些部件经由总线933相互连接。

此外，天线921被连接到通信单元922，并且扬声器924和麦克风925被连接到音频编解码器923。此外，操作单元932被连接到控制单元931。

在诸如音频通信模式和数据通信模式的各种模式下，便携式电话装置920执行各种操作，诸如音频信号的发送和接收、电子邮件和图像数据的发送和接收、图像捕获和数据记录。

在音频通信模式中，在麦克风925处产生的音频信号被转换为音频数据，并且该数据在音频编解码器923处被压缩。压缩的数据被供应到通信单元922。通信单元922对音频数据执行调制操作、频率转换操作等，以生成传输信号。通信单元922还将传输信号供应到天线921，并且该传输信号被发送到基站（未示出）。通信单元922还放大在天线921处接收到的信号，并执行频率转换操作、解调操作等。得到的音频数据被供应到音频编解码器923。音频编解码器923对音频数据解压缩，并将该音频数据转换为模拟音频信号，以被输出到扬声器924。

当在数据通信模式中执行邮件发送时，控制单元931接收通过操作操作单元932输入的文本数据，并且输入的文本被显示在显示单元930上。根据通过操作单元932的用户指令等，控制单元931生成邮件数据并将其供应到通信单元922。通信单元922对邮件数据执行调制操作、频率转换操作等，并将得到的传输信号从天线921发送。通信单元922还放大在天线921处接收到的信号，并执行频率转换操作、解调操作等，以恢复邮件数据。该邮件数据被供应到显示单元930，并且邮件的内容被显示。

便携式电话装置920可以使记录/再现单元929将接收到的邮件数据存储到存储介质中。该存储介质是可重写存储介质。例如，该存储介质可以是诸如RAM或内部闪存的半导体存储器、硬盘或诸如磁盘、磁光盘、光盘、USB存储器或记忆卡的可移动介质。

当在数据通信模式下发送图像数据时，在相机单元926处生成的图像数据被供应到图像处理单元927。图像处理单元927对该图像数据执行编码操作，以生成编码数据。

复用/分离单元928通过预定技术对在图像处理单元927处生成的编码数据和从音频编解码器923供应的音频数据进行复用，并将复用的数据供应到通信单元922。通信单元922对复用数据执行调制操作、频率转换操作等，并将得到的传输信号从天线921发送。通信单元922还放大在天线921处接收到的信号，并执行频率转换操作、解调操作等，以恢复复用数据。该复用数据被供应到复用/分离单元928。复用/分离单元928将复用数据分离，并将编码数据供应到图像处理单元927，将音频数据供应到音频编解码器923。图像处理单元927对编码数据执行解码操作，以生成图像数据。该图像数据被供应到显示单元930，以显示接收到的图像。音频编解码器923将音频数据转换为模拟音频信号，并将模拟音频信号供应到扬声器924，从而使得接收到的声音被输出。

在具有这样的结构的便携式电话装置中，本发明的图像处理装置（图像处理方法）的功能在图像处理单元927中提供。因此，当通过在图像数据通信中对包含其分辨率降低的视差图像的编码数据进行解码来生成多视点图像时，可以执行精确的视差图像变形操作。

<第七实施例>

[记录/再现装置的示例结构]

图34示意性地示出应用了本技术的记录/再现装置的示例结构。记录/再现装置940将接收到的广播节目的音频数据和视频数据记录在例如记录介质上，并且将记录的数据在根据来自用户的指令的时间提供给用户。记录/再现装置940还可以从例如另一个装置获得音频数据和视频数据，并将这些数据记录在记录介质上。此外，记录/再现装置940对记录在记录介质上的音频数据和视频数据进行解码并输出，从而使得监视器装置等可以显示图像并输出声音。

记录/再现装置940包括：调谐器941、外部接口单元942、编码器943、HDD（硬盘驱动器）单元944、盘驱动器945、选择器946、解码器947、OSD（在屏显示）单元948、控制单元949和用户接口单元950。

调谐器941从在天线（未示出）处接收到的广播信号选择想要的频道。调谐器941对接收到的想要的频道的信号进行解调，并将得到的编码比特流输出到选择器946。

外部接口单元942由IEEE1394接口、网络接口单元、USB接口、闪存接口等中的至少一个形成。外部接口单元942是用于与外部装置、网络、存储卡等进行连接的接口，并且接收要记录的诸如视频数据和音频数据的数据等。

编码器943对从外部接口单元942供应并且未被编码的视频数据和音频数据执行预定的编码，并将编码比特流输出到选择器946。

HDD单元944将诸如视频和声音的内容数据、各种节目、其它数据等记录在内部硬盘上，并且在再现等之时从硬盘读取数据。

盘驱动器945对安装的光盘执行信号记录和再现。光盘例如可以是DVD盘（诸如，DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW）或蓝光盘。

选择器946在视频和音频记录之时从调谐器941或编码器943选择编码比特流，并将编码比特流供应到HDD单元944或盘驱动器945。选择器946还在视频和音频再现之时将从HDD单元944或盘驱动器945输出的编码比特流供应到解码器947。

解码器947对编码比特流执行解码操作。解码器947将通过执行解码生成的视频数据供应到OSD单元948。解码器947还将通过执行解码生成的音频数据输出。

OSD单元948生成用于显示用于项目选择的菜单画面等的视频数据，并将该视频数据叠加到从解码器947输出的视频数据上。

用户接口单元950被连接到控制单元949。用户接口单元950由操作开关、遥控信号接收单元等形成，并将根据用户操作的操作信号供应到控制单元949。

控制单元949由CPU、存储器等形成。存储器存储由CPU执行的程序，以及CPU进行操作所需的各种数据。在诸如激活记录/再现装置940的时间的预定时间，存储在存储器中的程序由CPU读取并执行。CPU执行该程序以控制各个部件，从而使得记录/再现装置940根据用户操作进行工作。

在具有上述结构的记录/再现装置中，编码器943具有本发明的图像处理装置（图像处理方法）的功能。因此，包含具有降低的分辨率的视差图像的编码比特流可以被输出，从而使得在解码侧可以执行精确的视差图像变形操作。

<第八实施例>

[成像装置的示例结构]

图35示意性地示出应用了本技术的成像装置的示例结构。成像装置960捕获物体的图像，并使得显示单元显示该物体的图像或者将该图像作为图像数据记录在记录介质上。

成像装置960包括：光学块961、成像单元962、相机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970。用户接口单元971被连接到控制单元970。此外，图像数据处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969、控制单元970等经由总线972连接。

光学块961由聚焦透镜、光圈等形成。光学块961在成像单元962的成像表面上形成物体的光学像。由CCD或CMOS图像传感器形成的成像单元962通过光电转换根据光学像生成电信号，并将该电信号供应到相机信号处理单元963。

相机信号处理单元963对从成像单元962供应的电子信号执行各种相机信号处理，诸如拐点校正（knee correction）、伽马校正和颜色校正。相机信号处理单元963将进行了相机信号处理的图像数据供应到图像数据处理单元964。

图像数据处理单元964对从相机信号处理单元963供应的图像数据执行编码操作。图像数据处理单元964将通过执行编码操作生成的编码数据供应到外部接口单元966和介质驱动器968。图像数据处理单元964还对从外部接口单元966和介质驱动器968供应的编码数据执行解码操作。图像数据处理单元964将通过执行解码操作生成的图像数据供应到显示单元965。图像数据处理单元964还执行操作，以将从相机信号处理单元963供应的图像数据供应到显示单元965，或者将从OSD单元969获得的显示数据叠加到图像数据上，并将该图像数据供应到显示单元965。

OSD单元969生成由符号、字符或图形形成的菜单画面或图标的显示数据，并将该数据输出到图像数据处理单元964。

外部接口单元966由例如USB输入/输出端子等形成，并且当执行图像打印时被连接到打印机。当需要时驱动器也被连接到外部接口单元966，并且诸如磁盘或光盘的可移动介质被恰当地安装到驱动器上。当需要时，从这样的可移动盘读取的计算机程序被安装。此外，外部接口单元966包括连接到诸如LAN或互联网的预定网络的网络接口。控制单元970根据例如来自用户接口单元971的指令从存储器单元967读取编码数据，并且可以将来自外部接口单元966的编码数据供应到经由网络连接的另一个装置。控制单元970还可以经由外部接口单元966获得经由网络从另一个装置供应的编码数据或图像数据，并将该编码数据或图像数据供应到图像数据处理单元964。

由介质驱动器968驱动的记录介质可以是可读/可重写的可移动介质，诸如磁盘、磁光盘、光盘或半导体存储器。记录介质可以是任何类型的可移动介质，或者可以是磁带装置、盘或存储卡。当然，记录介质可以是非接触式IC卡等。

或者，介质驱动器968和记录介质可以被集成，或者可以由诸如内部硬盘驱动器或SSD（固态驱动器）的固定存储介质形成。

控制单元970由CPU、存储器等形成。存储器存储由CPU执行的程序、以及CPU执行操作所需的各种数据等。在诸如激活成像装置960的时间的预定时间，存储在存储器中的程序由CPU读取并执行。CPU执行该程序以控制各个部件，从而使得成像装置960根据用户操作进行工作。

在具有上述结构的成像装置中，图像数据处理单元964具有本发明的图像处理装置（图像处理方法）的功能。因此，当在图像数据通信中通过对记录在存储器单元967、记录介质等中并且包含具有降低的分辨率的视差图像的编码数据进行解码而生成多视点图像时，可以执行精确的的视差图像变形操作。

应当注意，本技术的实施例并不限于上述实施例，在不脱离本技术的范围的情况下，可以对它们做出各种变型。

附图标记列表

50编码装置、53视差图像生成单元、58边界信息生成单元、60复用单元、62辅助编码器、120解码装置、121分离单元、132辅助解码器、162视差图像分辨率提高单元、163、164视差图像变形单元、165、166视点图像变形单元、169多视点图像生成单元、200编码装置、201边界信息生成单元、211辅助编码器、220解码装置、231辅助解码器、251、252视差图像变形单元、300编码装置、301视差图像生成单元、311辅助编码器、350解码装置、361辅助解码器、391视差图像分辨率提高单元

Claims (20)

1.一种图像处理装置，包括：

分辨率降低单元，被配置为降低深度图像的分辨率；

生成单元，被配置为生成指示与所述深度图像中的像素值发生改变的边界位置相邻的像素的边界信息；以及

发送单元，被配置为发送由分辨率降低单元降低了分辨率的深度图像和由生成单元生成的边界信息。

2.根据权利要求1所述的图像处理装置，其中

生成单元生成基于像素的边界信息，并且生成指示由边界信息指示的像素中的位于边界位置的左侧的像素的左侧边界信息，并且

发送单元发送由分辨率降低单元降低了分辨率的深度图像、边界信息和左侧边界信息。

3.根据权利要求1所述的图像处理装置，其中

分辨率降低单元通过预定的分辨率降低方法来降低深度图像的分辨率，并且

发送单元发送由分辨率降低单元降低了分辨率的深度图像、边界信息和指示分辨率降低方法的分辨率转换信息。

4.根据权利要求1所述的图像处理装置，还包括

边界检测单元，被配置为基于深度图像中的彼此相邻的像素之间的像素值差来检测边界位置，

其中，生成单元基于由边界检测单元检测到的边界位置来生成所述边界信息。

5.根据权利要求1所述的图像处理装置，还包括

编码单元，被配置为对由分辨率降低单元降低了分辨率的深度图像进行编码，该编码是基于块执行的，

其中

生成单元生成基于像素或基于块的边界信息，并且

发送单元发送由编码单元编码的深度图像以及由生成单元生成的基于像素或基于块的边界信息。

6.根据权利要求1所述的图像处理装置，其中，发送单元发送视点图像、由分辨率降低单元降低了分辨率的深度图像、以及由生成单元生成的边界信息。

7.一种图像处理方法，包括：

分辨率降低步骤，降低深度图像的分辨率；

生成步骤，生成指示与该深度图像中的像素值发生改变的边界位置相邻的像素的边界信息；以及

发送步骤，发送在分辨率降低步骤中降低了分辨率的深度图像和在生成步骤中生成的边界信息，

这些步骤由图像处理装置执行。

8.一种图像处理装置，包括：

接收单元，被配置为接收被降低了分辨率的深度图像和指示与深度图像中的像素值发生改变的边界位置相邻的像素的边界信息；

分辨率提高单元，被配置为提高由接收单元接收到的深度图像的分辨率；以及

深度图像变形单元，被配置为基于由接收单元接收到的边界信息和虚拟视点的位置，通过对由分辨率提高单元提高了分辨率的深度图像执行变形操作来生成所述虚拟视点的深度图像。

9.根据权利要求8所述的图像处理装置，其中，基于边界信息，深度图像变形单元通过在由分辨率提高单元提高了分辨率的深度图像中将由边界信息指示的像素的像素值改变为与该像素相邻的像素的像素值来执行变形操作。

10.根据权利要求8所述的图像处理装置，其中

接收单元接收被降低了分辨率的深度图像、基于像素的边界信息、以及指示由边界信息指示的像素中的位于边界位置的左侧的像素的左侧边界信息，并且

基于边界信息、左侧边界信息和虚拟视点的位置，深度图像变形单元对由分辨率提高单元提高了分辨率的深度图像执行变形操作。

11.根据权利要求10所述的图像处理装置，其中，基于边界信息和左侧边界信息，深度图像变形单元通过在由分辨率提高单元提高了分辨率的深度图像中将由边界信息和左侧边界信息指示的像素的像素值改变为与该像素的左侧相邻像素的像素值来执行变形操作。

12.根据权利要求11所述的图像处理装置，其中，深度图像变形单元通过将未由边界信息和左侧边界信息指示的像素的像素值改变为与该像素的右侧相邻像素的像素值来执行变形操作。

13.根据权利要求8所述的图像处理装置，其中

接收单元接收被降低了分辨率的深度图像、边界信息和指示用于分辨率降低的方法的分辨率转换信息，并且

分辨率提高单元通过与由分辨率转换信息指示的分辨率降低方法对应的分辨率提高方法来提高由接收单元接收到的深度图像的分辨率。

14.根据权利要求13所述的图像处理装置，其中，当分辨率降低方法是间隔剔除方法时，分辨率提高单元通过用被降低了分辨率的深度图像中的每个像素的像素值对被提高了分辨率的深度图像中的每个像素的像素值进行内插来提高深度图像的分辨率。

15.根据权利要求13所述的图像处理装置，其中，当分辨率降低方法是双线性方法时，分辨率提高单元通过对被降低了分辨率的深度图像执行线性内插来提高深度图像的分辨率。

16.根据权利要求8所述的图像处理装置，还包括

解码单元，被配置为对通过对被降低了分辨率的深度图像编码而形成的编码深度图像进行解码，该编码是基于块执行的，

其中

接收单元接收所述编码深度图像和基于像素或基于块的边界信息，

解码单元对由接收单元接收到的编码深度图像进行解码，该解码是基于块执行的，并且

分辨率提高单元提高由解码单元解码的编码深度图像的分辨率。

17.根据权利要求8所述的图像处理装置，还包括

视点图像变形单元，被配置为基于由深度图像变形单元生成的虚拟视点的深度图像，通过执行视点图像变形操作来生成虚拟视点的视点图像。

18.根据权利要求17所述的图像处理装置，还包括

内插单元，被配置为对由视点图像变形单元生成的虚拟视点的视点图像中的遮挡区域进行内插，该遮挡区域是存在于虚拟视点的视点图像中的区域，同时是不存在于与在生成虚拟视点的深度图像时使用的深度图像相对应的视点图像中的区域。

19.根据权利要求18所述的图像处理装置，其中

接收单元接收第一视点的第一视点图像、第二视点的第二视点图像、被降低了分辨率的深度图像和边界信息，

深度图像变形单元基于关于第一视点的边界信息和虚拟视点的位置通过对被提高了分辨率的第一视点的深度图像执行变形操作来生成虚拟视点的第一深度图像，并且基于关于第二视点的边界信息和虚拟视点的位置通过对被提高了分辨率的第二视点的深度图像执行变形操作来生成虚拟视点的第二深度图像，

视点图像变形单元基于由深度图像变形单元生成的虚拟视点的第一深度图像通过对第一视点的视点图像执行变形操作来生成虚拟视点的第一视点图像，并且基于第二深度图像通过对第二视点的视点图像执行视点图像变形操作来生成虚拟视点的第二视点图像，并且

内插单元对于由视点图像变形单元生成的虚拟视点的第一视点图像和第二视点图像中的一个的遮挡区域，利用第一视点图像和第二视点图像中的另一个的遮挡区域进行内插。

20.一种图像处理方法，包括：

接收步骤，接收被降低了分辨率的深度图像和指示与该深度图像中的像素值改变的边界位置相邻的像素的边界信息；

分辨率提高步骤，提高在接收步骤中接收到的深度图像的分辨率；以及

深度图像变形步骤，基于在接收步骤中接收到的边界信息和虚拟视点的位置，通过对具有在分辨率提高步骤中提高的分辨率的深度图像执行变形操作来生成所述虚拟视点的深度图像，

这些步骤由图像处理装置执行。

Images