CN102457753A - 图像处理方法及图像处理装置 - Google Patents

Abstract

提供图像处理方法及图像处理装置，对由水平方向或垂直方向压缩为1/2大小的两图像构成的一组立体图像，进行和帧间综合型高析像度化处理相比简单、基于动作推测的高析像度化处理，获得高画质、本来大小的立体图像，垂直轮廓判断部(11)判断是否存在和输入SBS图像的被高析像度化图像垂直的轮廓，当不存在时，y_r参照搜索部(13)使用中间像素构成的块，在参照图像上矢量搜索图形一致处，上述中间像素由输入SBS图像的被高析像度化图像的像素生成，y_r候选值决定部(14)根据y_r参照搜索部的搜索结果，将对应参照图像的像素的像素值，决定为中间像素y_r的候选，y_r内插处理部(15)根据中间像素y_r的像素值，生成将输入SBS图像解码的立体图对。

Description

图像处理方法及图像处理装置

技术领域

本发明涉及一种图像处理方法及图像处理装置，尤其涉及一种进行用于解码立体影像格式的图像的图像处理的图像处理方法及图像处理装置。

背景技术

近年来随着对立体影像(3D影像)的关注度的提高，与立体影像的传送/记录的格式相关的研讨也变得盛行。其中，并排(Side-by-Side；SBS)格式和上下(Above-Below；AB)格式中，将两个画面分别水平/垂直压缩的图像作为一个画面传送，因此其优点是，除了可直接使用现有的传送系统外，无需考虑左右通路的同步。尤其是，SBS格式正变为播放/发送系统的3D内容的标准规格之一。

并且，近年来随着显示装置的大型化/高精细化，对影像内容也希望实现高析像度化。因此，对于将用现有的非高析像度制作的内容以高析像度化的形式视听的装置，称为“超析像度”技术，在很多电视装置等中被应用。由低析像度图像生成高析像度图像的尝试一直在进行，其中，对于综合具有多帧位置偏移的低析像度图像、生成高析像度图像的方法，展开了极广泛的研究。专利文献1～4公开了由低析像度动画制作高精细动画的方法。

专利文献1：特开2004-56789号公报

专利文献2：特开2007-205号公报

专利文献3：特开2007-257042号公报

专利文献4：特开2008-17241号公报

发明内容

SBS格式和AB格式通过将两个画面分别水平/垂直压缩的工序，水平/垂直像素数变为一半，因此对于通过一般的双线性方式、双立体方式解码为原来大小的两个图像，存在水平/垂直方向的析像度分别变低的问题。

而上述专利文献1～4所述的发明分别对提高画质/提高处理效率的帧间综合型的高析像度化作出了研究。但作为这种帧间综合型的高析像度化整体的问题，当帧间不存在对应部分时，存在画质未被改善的问题。进一步，在帧间综合型的高析像度化中，在较大范围精密进行新追加的每个标本点的详细的动作推测时，为进行搜索，存在需要较大计算成本的问题。

本发明鉴于以上问题而出现，其目的在于提供一种对由水平方向或垂直方向上压缩为1/2大小的两个图像构成的一组立体图像，进行和帧间综合型高析像度化处理相比简单的、基于动作推测的高析像度化处理，获得高画质的、本来大小的立体图像的图像处理方法及图像处理装置。

为实现上述目的，本发明的图像处理方法特征在于包括以下步骤：搜索步骤，对于将一组立体图像分别在水平方向上压缩为1/2大小而获得的压缩立体图像在水平方向上排列而形成一个图像的输入图像的、左半部分区域的图像和右半部分区域的图像中的一方区域的图像，将其作为实施了基于像素内插的析像度提高处理的被高析像度化图像，将另一方区域的图像作为用于提高析像度的参照图像，构成由被高析像度化图像中的内插对象位置周边的预定个数的像素形成的块，并且搜索该构成的块以及在参照图像中进行图形匹配的参照块；候选值决定步骤，在通过搜索步骤搜索到的参照块中，将被高析像度化图像的内插对象位置所对应的像素的像素值决定为内插像素候选值；以及内插处理步骤，将通过候选值决定步骤决定的内插像素候选值适用于被高析像度化图像的内插对象位置的被高析像度化图像以及参照图像，作为立体图像输出。

在此，其特征还在于，上述搜索步骤中，将上述被高析像度化图像的在上述块内的水平方向上相邻的两个像素的中心位置作为内插对象位置，对这些内插对象位置通过使用由搜索用像素和实际的像素形成的块进行在水平方向上以实际的像素间距换算为1/2像素间距的搜索，其中该搜索用像素配置在这些内插对象位置且将上述相邻的两个像素的像素值的平均值作为像素值。

并且，为实现上述目的，本发明的图像处理方法的特征在于包括以下步骤：搜索步骤，对于将一组立体图像分别在垂直方向上压缩为1/2大小而获得的压缩立体图像在垂直方向上排列而形成一个图像的输入图像的、上半部分区域的图像和下半部分区域的图像中的一方区域的图像，将其作为实施了基于像素内插的析像度提高处理的被高析像度化图像，将另一方区域的图像作为用于提高析像度的参照图像，构成由上述被高析像度化图像中的内插对象位置周边的预定个数的像素形成的块，并且搜索该构成的块以及在上述参照图像中进行图形匹配的参照块；候选值决定步骤，在通过上述搜索步骤搜索到的上述参照块中，将上述被高析像度化图像的上述内插对象位置所对应的像素的像素值决定为内插像素候选值；以及内插处理步骤，将通过上述候选值决定步骤决定的上述内插像素候选值适用于上述被高析像度化图像的内插对象位置的上述被高析像度化图像以及上述参照图像，作为上述立体图像输出。

在此，其特征还在于，上述搜索步骤中，将上述被高析像度化图像的在上述块内的垂直方向上相邻的两个像素的中心位置作为内插对象位置，对这些内插对象位置通过使用由搜索用像素和实际的像素形成的块进行在垂直方向上以实际的像素间距换算为1/2像素间距的搜索，其中该搜索用像素配置在这些内插对象位置且将上述相邻的两个像素的像素值的平均值作为像素值。

并且，为实现上述目的，本发明的图像处理装置的特征在于具有：搜索单元，对于将一组立体图像分别在水平方向上压缩为1/2大小而获得的压缩立体图像在水平方向上排列而形成一个图像的输入图像的、左半部分区域的图像和右半部分区域的图像中的一方区域的图像，将其作为实施了基于像素内插的析像度提高处理的被高析像度化图像，将另一方区域的图像作为用于提高析像度的参照图像，构成由上述被高析像度化图像中的内插对象位置周边的预定个数的像素形成的块，并且搜索该构成的块以及在上述参照图像中进行图形匹配的参照块；候选值决定单元，在通过上述搜索单元搜索到的上述参照块中，将上述被高析像度化图像的上述内插对象位置所对应的像素的像素值决定为内插像素候选值；以及内插处理单元，将通过上述候选值决定单元决定的上述内插像素候选值适用于上述被高析像度化图像的内插对象位置的上述被高析像度化图像以及上述参照图像，作为上述立体图像输出。

在此，其特征还在于，上述搜索单元中，将上述被高析像度化图像的在上述块内的水平方向上相邻的两个像素的中心位置作为内插对象位置，对这些内插对象位置通过使用由搜索用像素和实际的像素形成的块进行在水平方向上以实际的像素间距换算为1/2像素间距的搜索，其中该搜索用像素配置在这些内插对象位置且将上述相邻的两个像素的像素值的平均值作为像素值。

并且，为实现上述目的，本发明的图像处理装置的特征在于具有：搜索单元，对于将一组立体图像分别在垂直方向上压缩为1/2大小而获得的压缩立体图像在垂直方向上排列而形成一个图像的输入图像的、上半部分区域的图像和下半部分区域的图像中的一方区域的图像，将其作为实施了基于像素内插的析像度提高处理的被高析像度化图像，将另一方区域的图像作为用于提高析像度的参照图像，构成由上述被高析像度化图像中的内插对象位置周边的预定个数的像素组成的块，并且搜索该构成的块以及在上述参照图像中进行图形匹配的参照块；候选值决定单元，在通过上述搜索单元搜索的上述参照块中，将上述被高析像度化图像的上述内插对象位置所对应的像素的像素值决定为内插像素候选值；以及内插处理单元，将通过上述候选值决定单元决定的上述内插像素候选值适用于上述被高析像度化图像的内插对象位置的上述被高析像度化图像以及上述参照图像，作为上述立体图像输出。

在此，其特征还在于，上述搜索单元中，将上述被高析像度化图像的在上述块内的垂直方向上相邻的两个像素的中心位置作为内插对象位置，对这些内插对象位置通过使用由搜索用像素和实际的像素形成的块进行在垂直方向上以实际的像素间距换算为1/2像素间距的搜索，其中该搜索用像素配置在这些内插对象位置且将上述相邻的两个像素的像素值的平均值作为像素值。

本发明对由水平方向或垂直方向上压缩为1/2大小的两个图像构成的一组立体图像，进行和帧间综合型高析像度化处理相比简单的、基于动作推测的高析像度化处理，可获得高画质的、本来大小的立体图像。

附图说明

图1是本发明的图像处理装置的第1实施方式的框图。

图2是本发明的图像处理方法的第1实施方式的流程图。

图3是表示立体图对的一例的图。

图4是表示SBS图像的一例的图。

图5是表示图1及图2的内插像素的配置的图。

图6是表示矢量搜索中使用的像素组的配置的图。

图7是表示y_r的矢量搜索中使用的块的图。

图8是本发明的图像处理装置的第2实施方式的框图。

图9是本发明的图像处理方法的第2实施方式的流程图。

图10是表示AB图像的一例的图。

图11是表示图8及图9的内插像素的配置的图。

图12是表示y_b的矢量搜索中使用的块的图。

具体实施方式

接着参照附图详细说明本发明的实施方式。

(第1实施方式)

图1表示本发明的图像处理装置的第1实施方式的框图，图2表示本发明的图像处理方法的第1实施方式的流程图。

如图1所示，本实施方式的图像处理装置10由垂直轮廓判断部11、y_r双立体内插值计算部12、y_r参照搜索部13、y_r候选值决定部14、y_r内插处理部15构成，对输入的低析像度的SBS(并列)格式的图像(以下称为SBS图像)进行高析像度处理，解码两个本来大小的立体图像(立体图对)。

其中，SBS图像是：将图3所示的1帧的左眼用图像1L及1帧的右眼用图像1R这二帧(即一组立体图像)分别在水平方向上压缩为1/2大小所获得的、图4所示的压缩左眼用图像2L及压缩右眼用图像2R，分别在水平方向上排列并作为1帧传送的图像。并且，上述y_r是：在将输入SBS图像左右各一半分割的各分割区域中，当各像素为y[i，j]时，如图5所示，在水平方向上相邻的两个像素y[i，j]和像素y[i+1，j]的中间的标本点的像素(以下称为中间像素)。

图像处理装置10进行根据输入SBS图像决定上述中间像素y_r的图像处理。其中，图像处理仅说明对辉度进行的处理，也可适用色差、原色系。并且，图像处理装置10中，将输入SBS图像的左通路相当部分(将SBS图像左右对半分割时的左侧分割区域的图像)作为实施了基于像素内插的提高析像度处理的被高析像度化图像时，将右通路相当部分(将SBS图像左右对半分割时的右侧分割区域的图像)作为用于提高析像度的参照图像处理，将右通路相当部分作为被高析像度化图像时，将左通路相当部分作为参照图像处理。

其中，图像处理装置10以如下方式交互进行替换内插处理：在以通常的光栅扫描顺序处理一个SBS图像的基础上、左侧分割区域的图像及右侧分割区域的图像中的一方是被高析像度化图像时，另一方成为参照图像。

垂直轮廓判断部11判断输入SBS图像的被高析像度化图像中是否存在垂直轮廓。垂直轮廓例如在相邻的水平方向的两个像素的像素值有规定值以上的差(绝对值)时，判断为有垂直轮廓。y_r双立体内插值计算部12对输入SBS图像的被高析像度化图像进行公知的双立体内插，生成中间像素的像素值。

y_r参照搜索部13按照输入SBS图像的被高析像度化图像中的内插对象位置周边的预定个数的中间像素所构成的每个块，在参照图像中进行图形匹配，搜索在参照图像上图形一致的参照块。y_r候选值决定部14在通过y_r参照搜索部13搜索的参照块中，将被高析像度化图像的内插对象位置所对应的像素的像素值直接作为中间像素y_r的候选(即内插像素候选值)决定。y_r内插处理部15根据通过y_r双立体内插值计算部12和y_r候选值决定部14分别获得的中间像素y_r的像素值，生成将输入SBS图像解码的立体图对。

接着同时参照图2的流程图来说明本实施方式的图像处理装置10的动作。

首先，图像处理装置10通过垂直轮廓判断部11判断输入SBS图像的被高析像度化图像中是否存在鲜明的垂直轮廓(步骤S1)。具体而言如下决定：水平方向上相邻的像素y[i+1，j]和像素y[i，j]的两个像素值的差的绝对值是否超过实际图像中的评估所决定的阈值。垂直轮廓判断部11在上述两个像素值的差的绝对值超过上述阈值时，判断存在鲜明的垂直轮廓，在上述阈值以下时判断不存在鲜明的垂直轮廓。

y_r双立体内插值计算部12在垂直轮廓判断部11中判断存在鲜明的垂直轮廓时，在基于下述矢量搜索的内插中，当产生错误时会出现轮廓紊乱的情况，因此进行公知的双立体内插，计算像素y[i+1，j]和像素y[i，j]的中间像素y_r的像素值(步骤S2)。

另一方面，y_r参照搜索部13在垂直轮廓判断部11中判断不存在鲜明的垂直轮廓时，使用以被高析像度化图像的多个像素为基础构成的块，在参照图像上搜索图形一致的地方(即图形匹配的参照块)(步骤S3)。该块是图6中圆形标记所示的垂直方向6像素、水平方向6像素构成的共36像素的构成。此外，图6中的箭头是作为处理对象像素的标本点[i，j]。

y_r参照搜索部13在步骤S3的y_r搜索中，对被高析像度化图像中的上述块的水平方向上相邻的每2个像素，如图7中△标记所示，在该2个像素的中心配置中间像素后，通过由该中间像素的垂直方向5像素、水平方向5像素构成的共25像素的块进行1像素间距的搜索。此外，上述图7中△标记所示的中间像素的像素值是在该像素的左右两侧相邻的圆形标记所示的2个像素的平均值。该y_r搜索检测出水平方向(整数+0.5)像素、垂直方向整数像素的偏移。

y_r候选值决定部14在通过该y_r搜索进行最佳匹配时，将和中心的△对应的参照图像的像素值作为中间像素y_r的候选值(步骤S4)。

进一步详细说明该最佳匹配。为了方便，如设由上述25个中间像素构成的块的中心的像素的像素值为yh[i，j]，则该块整体的像素值可表示为yh[i+s，j+t](其中，s、t是-2～+2的整数)。使用上述像素值yh[i，j]的像素进行对参照像素(像素值g[i，j]：为了方便，坐标系与被高析像度化图像统一)的搜索时，搜索出使下述公式(1)最小的[p，q]，就是搜索作为最佳匹配的矢量。

(数式1)

$\underset{s=-2}{\overset{2}{\mathrm{\Σ}}}\underset{t=-2}{\overset{2}{\mathrm{\Σ}}}\mathrm{abs}\left(\mathrm{yh}\right[i+s,j+t]-g[i+s+p,j+t+q\left]\right)---\left(1\right)$

此外，上述像素值g[i，j]在设图像的水平方向像素数为w时，被高析像度化图像是输入SBS图像的左通路相当部分、参照图像是右通路相当部分时，是y[i+(w/2)，j]，被高析像度化图像是输入SBS图像的右通路相当部分、参照图像是左通路相当部分时，是y[i-(w/2)，j]。

这样一来，在被高析像度化图像中新设置的中间像素y_r的位置上，可将未被滤波的生(高域不衰减)的像素值(即最佳匹配的参照图像中的中间像素y_r的位置的像素的像素值)作为内插值适用。此外，关于搜索范围，水平方向上是SBS图像的视差的范围，垂直方向上是摄影精度等形成的偏移的范围。这些可在实际图像中通过目测决定。

y_r内插处理部15进行如下内插处理：将通过y_r双立体内插值计算部12及y_r候选值决定部14分别生成的内插值，与被高析像度化图像的原来的像素值综合(步骤S5)。这样一来，y_r内插处理部15输出比输入SBS图像高精细的两张图像(立体图对)。

因此，根据本实施方式的图像处理装置10，输入的构成SBS图像的图4所示的两个压缩左眼用图像2L及压缩右眼用图像2R本来是立体图对，因此是充分相似的图像内容，在多数情况下可保证存在对应关系，并且用于获得y_r候选值的动作预测的搜索范围也限定在较小的范围。因此，根据本实施方式的图像处理装置10，可消除帧间综合型的高析像度化的问题，结果可获得接近SBS图像的原图像的析像度的高画质的立体图对(解码的图像)。进一步，根据本实施方式的图像形成装置10，可使参照图像的实际像素作为内插像素，因此可抑制现有的因像素的直线内插等的频带限制而产生的锐度下降。

(第2实施方式)

图8表示本发明的图像处理装置的第2实施方式的框图，图9表示本发明的图像处理方法的第2实施方式的流程图。

如图8所示，本实施方式的图像处理装置20由水平轮廓判断部21、y_b双立体内插值计算部22、y_b参照搜索部23、y_b候选值决定部24、y_b内插处理部25构成，对输入的低析像度的AB(上下)方式的图像(以下称为AB图像)进行高析像度处理，解码两个本来大小的立体图像(立体图对)。

其中，AB图像是：将图3所示的1帧的左眼用图像1L及1帧的右眼用图像1R这二帧(即一组立体图像)分别在垂直方向上压缩为1/2大小所获得的、图10所示的压缩左眼用图像3A及压缩右眼用图像3B，分别在垂直方向上排列并作为1帧传送的图像。并且，上述y_b是：在将输入AB图像上下各一半分割的各分割区域中，当各像素为y[i，j]时，如图11所示，在垂直方向上相邻的两个像素y[i，j]和像素y[i，j+1]的中间的标本点的像素(即中间像素)。

图像处理装置20进行根据输入AB图像决定上述中间像素y_b的图像处理。其中，图像处理仅说明对辉度进行的处理，也可适用色差、原色系。并且，图像处理装置20中，将输入AB图像的左通路相当部分(将AB图像上下分割时的上侧分割区域的图像)作为实施了基于像素内插的提高析像度处理的被高析像度化图像时，将右通路相当部分(将AB图像上下分割时的下侧分割区域的图像)作为用于提高析像度的参照图像处理，将右通路相当部分作为被高析像度化图像时，将左通路相当部分作为参照图像处理。

其中，图像处理装置20以如下方式交互进行替换内插处理：在以通常的光栅扫描顺序处理一个AB图像的基础上、上侧分割区域的图像及下侧分割区域的图像中的一方是被高析像度化图像时，另一方成为参照图像。

水平轮廓判断部21判断输入AB图像的被高析像度化图像中是否存在水平轮廓。水平轮廓例如在相邻的垂直方向的两个像素的像素值有规定值以上的差(绝对值)时，判断为有水平轮廓。y_b双立体内插值计算部22对输入AB图像的被高析像度化图像进行公知的双立体内插，生成中间像素的像素值。

y_b参照搜索部23按照输入AB图像的被高析像度化图像中的内插对象位置周边的预定个数的中间像素所构成的每个块，在参照图像中进行图形匹配，搜索在参照图像上图形一致的参照块。y_b候选值决定部24在通过y_b参照搜索部23搜索的参照块中，将被高析像度化图像的内插对象位置所对应的像素的像素值直接作为中间像素y_b的候选(即内插像素候选值)决定。y_b内插处理部25根据通过y_b双立体内插值计算部22和y_b候选值决定部24分别获得的中间像素y_b的像素值，生成将输入AB图像解码的立体图对。

接着同时参照图9的流程图来说明本实施方式的图像处理装置20的动作。首先，水平轮廓判断部21判断输入AB图像的被高析像度化图像中新的标本点上是否存在鲜明的水平轮廓(步骤S11)。具体而言如下决定：垂直方向上相邻的像素y[i，j]和像素y[i，j+1]的两个像素值的差的绝对值是否超过实际图像中的评估所决定的阈值。水平轮廓判断部21在上述两个像素值的差的绝对值超过上述阈值时，判断存在鲜明的水平轮廓，在上述阈值以下时判断不存在鲜明的水平轮廓。

y_b双立体内插值计算部22在水平轮廓判断部21中判断存在鲜明的水平轮廓时，在下述矢量搜索的内插中，当产生错误时会出现轮廓紊乱的情况，因此进行公知的双立体内插，计算像素y[i，j]和像素y[i，j+1]的中间像素y_b的像素值(步骤S12)。

另一方面，y_b参照搜索部23在水平轮廓判断部21中判断不存在鲜明的水平轮廓时，使用以被高析像度化图像的多个像素为基础构成的块，在参照图像上搜索图形一致的地方(即图形匹配的参照块)(步骤S13)。该块是图6中圆形标记所示的垂直方向6像素、水平方向6像素构成的共36像素的构成。此外，图6中的箭头是作为处理对象像素的标本点[i，j]。

y_b参照搜索部23在步骤S13的y_b搜索中，对被高析像度化图像中的上述块的水平方向上相邻的每2个像素，如图12中△标记所示，在该2个像素的中心配置中间像素后，通过由该中间像素的垂直方向5像素、水平方向5像素构成的共25像素的块进行1像素间距的搜索。此外，上述图12中△标记所示的中间像素的像素值是在该像素的上下两侧相邻的圆形标记所示的2个像素的平均值。该y_b搜索检测出垂直方向(整数+0.5)像素、水平方向整数像素的偏移。

y_b候选值决定部24在通过该y_b搜索最佳匹配时，将和中心的△对应的参照图像的像素值作为中间像素y_b的候选值(步骤S14)。

进一步详细说明该最佳匹配。为了方便，如设由上述25个中间像素构成的块的中心的像素的像素值为yh[i，j]，则该块整体的像素值可表示为yh[i+s，j+t](其中，s、t是-2～+2的整数)。使用上述像素值yh[i，j]的像素进行对参照像素(像素值g[i，j]：为了方便，坐标系与被高析像度化图像统一)的搜索时，搜索出使上述公式(1)最小的[p，q]，就是搜索作为最佳匹配的矢量。此外，上述像素值g[i，j]在设图像的垂直方向像素数为v时，被高析像度化图像是输入AB图像的上侧的左通路相当部分、参照图像是下侧的右通路相当部分时，是y[i，j+(v/2)]，被高析像度化图像是输入AB图像的下侧的右通路相当部分、参照图像是上侧的左通路相当部分时，是y[i，j-(v/2)]。

这样一来，在被高析像度化图像中新设置的中间像素y_b的位置上，可将未被滤波的生(高域不衰减)的像素值(即最佳匹配的参照图像中的中间像素y_b的位置的像素的像素值)作为内插值适用。此外，关于搜索范围，水平方向上是AB图像的视差的范围，垂直方向上是摄影精度等形成的偏移的范围。这些可在实际图像中通过目测决定。

y_b内插处理部25进行如下内插处理：将通过y_b双立体内插值计算部22及y_b候选值决定部24分别生成的内插值，与被高析像度化图像的原来的像素值综合(步骤S15)。这样一来，y_b内插处理部25输出比输入AB图像高精细的两张图像(立体图对)。

因此，根据本实施方式的图像处理装置20，输入的构成AB图像的图10所示的两个压缩左眼用图像3A及压缩右眼用图像3B本来是立体图对，因此是充分相似的图像内容，在多数情况下可保证存在对应关系，并且用于获得y_b候选值的动作预测的搜索范围也限定在较小的范围。因此，根据本实施方式的图像处理装置20，可消除帧间综合型的高析像度化的问题，结果可获得接近AB图像的原图像的析像度的高画质的立体图对(解码的图像)。进一步，根据本实施方式的图像形成装置20，可使参照图像的实际像素作为内插像素，因此可抑制现有的因像素的直线内插等的频带限制而产生的锐度下降。

此外，本发明不限于进行上述实施方式的硬件的立体影像格式的影像的解码处理的图像处理装置10、20，也包括由计算机执行图2、图9的流程图的各步骤的处理的图像处理程序。此时，图像处理程序可从记录介质取入到计算机，也可经由网络取入到计算机中。

Claims (8)

1.一种图像处理方法，其特征在于，包括以下步骤：

搜索步骤，对于将一组立体图像分别在水平方向上压缩为1/2大小而获得的压缩立体图像在水平方向上排列而形成一个图像的输入图像的、左半部分区域的图像和右半部分区域的图像中的一方区域的图像，将其作为实施了基于像素内插的析像度提高处理的被高析像度化图像，将另一方区域的图像作为用于提高析像度的参照图像，构成由上述被高析像度化图像中的内插对象位置周边的预定个数的像素形成的块，并且搜索该构成的块以及在上述参照图像中进行图形匹配的参照块；

候选值决定步骤，在通过上述搜索步骤搜索到的上述参照块中，将上述被高析像度化图像的上述内插对象位置所对应的像素的像素值决定为内插像素候选值；以及

内插处理步骤，将通过上述候选值决定步骤决定的上述内插像素候选值适用于上述被高析像度化图像的内插对象位置的上述被高析像度化图像以及上述参照图像，作为上述立体图像输出。

2.根据权利要求1所述的图像处理方法，其特征在于，上述搜索步骤中，将上述被高析像度化图像的在上述块内的水平方向上相邻的两个像素的中心位置作为内插对象位置，对这些内插对象位置通过使用由搜索用像素和实际的像素形成的块进行在水平方向上以实际的像素间距换算为1/2像素间距的搜索，其中该搜索用像素配置在这些内插对象位置且将上述相邻的两个像素的像素值的平均值作为像素值。

3.一种图像处理方法，其特征在于，包括以下步骤：

搜索步骤，对于将一组立体图像分别在垂直方向上压缩为1/2大小而获得的压缩立体图像在垂直方向上排列而形成一个图像的输入图像的、上半部分区域的图像和下半部分区域的图像中的一方区域的图像，将其作为实施了基于像素内插的析像度提高处理的被高析像度化图像，将另一方区域的图像作为用于提高析像度的参照图像，构成由上述被高析像度化图像中的内插对象位置周边的预定个数的像素形成的块，并且搜索该构成的块以及在上述参照图像中进行图形匹配的参照块；

候选值决定步骤，在通过上述搜索步骤搜索到的上述参照块中，将上述被高析像度化图像的上述内插对象位置所对应的像素的像素值决定为内插像素候选值；以及

内插处理步骤，将通过上述候选值决定步骤决定的上述内插像素候选值适用于上述被高析像度化图像的内插对象位置的上述被高析像度化图像以及上述参照图像，作为上述立体图像输出。

4.根据权利要求3所述的图像处理方法，其特征在于，上述搜索步骤中，将上述被高析像度化图像的在上述块内的垂直方向上相邻的两个像素的中心位置作为内插对象位置，对这些内插对象位置通过使用由搜索用像素和实际的像素形成的块进行在垂直方向上以实际的像素间距换算为1/2像素间距的搜索，其中该搜索用像素配置在这些内插对象位置且将上述相邻的两个像素的像素值的平均值作为像素值。

5.一种图像处理装置，其特征在于，具有：

搜索单元，对于将一组立体图像分别在水平方向上压缩为1/2大小而获得的压缩立体图像在水平方向上排列而形成一个图像的输入图像的、左半部分区域的图像和右半部分区域的图像中的一方区域的图像，将其作为实施了基于像素内插的析像度提高处理的被高析像度化图像，将另一方区域的图像作为用于提高析像度的参照图像，构成由上述被高析像度化图像中的内插对象位置周边的预定个数的像素形成的块，并且搜索该构成的块以及在上述参照图像中进行图形匹配的参照块；

候选值决定单元，在通过上述搜索单元搜索到的上述参照块中，将上述被高析像度化图像的上述内插对象位置所对应的像素的像素值决定为内插像素候选值；以及

内插处理单元，将通过上述候选值决定单元决定的上述内插像素候选值适用于上述被高析像度化图像的内插对象位置的上述被高析像度化图像以及上述参照图像，作为上述立体图像输出。

6.根据权利要求5所述的图像处理装置，其特征在于，上述搜索单元中，将上述被高析像度化图像的在上述块内的水平方向上相邻的两个像素的中心位置作为内插对象位置，对这些内插对象位置通过使用由搜索用像素和实际的像素形成的块进行在水平方向上以实际的像素间距换算为1/2像素间距的搜索，其中该搜索用像素配置在这些内插对象位置且将上述相邻的两个像素的像素值的平均值作为像素值。

7.一种图像处理装置，其特征在于，具有：

搜索单元，对于将一组立体图像分别在垂直方向上压缩为1/2大小而获得的压缩立体图像在垂直方向上排列而形成一个图像的输入图像的、上半部分区域的图像和下半部分区域的图像中的一方区域的图像，将其作为实施了基于像素内插的析像度提高处理的被高析像度化图像，将另一方区域的图像作为用于提高析像度的参照图像，构成由上述被高析像度化图像中的内插对象位置周边的预定个数的像素组成的块，并且搜索该构成的块以及在上述参照图像中进行图形匹配的参照块；

候选值决定单元，在通过上述搜索单元搜索的上述参照块中，将上述被高析像度化图像的上述内插对象位置所对应的像素的像素值决定为内插像素候选值；以及

内插处理单元，将通过上述候选值决定单元决定的上述内插像素候选值适用于上述被高析像度化图像的内插对象位置的上述被高析像度化图像以及上述参照图像，作为上述立体图像输出。

8.根据权利要求7所述的图像处理装置，其特征在于，上述搜索单元中，将上述被高析像度化图像的在上述块内的垂直方向上相邻的两个像素的中心位置作为内插对象位置，对这些内插对象位置通过使用由搜索用像素和实际的像素形成的块进行在垂直方向上以实际的像素间距换算为1/2像素间距的搜索，其中该搜索用像素配置在这些内插对象位置且将上述相邻的两个像素的像素值的平均值作为像素值。

Images