CN102972038B - 图像处理装置、图像处理方法、程序、集成电路 - Google Patents

Abstract

一种图像处理装置，深度图像变换部（101）使所输入的深度图像的边缘位置向后景侧移动。像素移位部（102）根据变换后的深度图像，使构成图像数据的各个像素的坐标沿水平方向进行移位，由此生成其它视点的图像。像素插补部（103）对通过像素移位而产生的像素缺失区域进行插补。

Description

图像处理装置、图像处理方法、程序、集成电路

技术领域

本发明涉及图像处理技术，尤其涉及立体视觉图像的生成技术。

背景技术

已经公知这样的DIBR（Depth-image-basedRendering：基于深度图像的绘制）技术（参照非专利文献1），通过使构成图像数据的各个像素的坐标沿水平方向进行移位，生成与原来的图像数据不同的视点的图像，并生成由多视点的图像构成的立体视觉图像。

在DIBR技术中，根据表示图像数据中所摄入的各个对象的进深方向的位置的深度图像来确定水平方向的位移量。此时，位于近前的对象(object)（前景对象）和位于里侧的对象（后景对象）的位移量不同，因而在像素移位后的图像中，在前景对象与后景对象的边界部分即进深的值不连续地变化的边缘附近，产生像素值不存在的像素缺失区域（occlusion：遮挡）。

在专利文献1中公开了这样的技术，通过使用像素缺失区域的附近的像素进行线性插补，对该像素缺失区域进行插补。并且，在非专利文献1中公开了这样的技术，通过高斯滤波使深度图像的进深的值不连续地变化的边缘部分变平滑，使用变平滑后的深度图像进行像素移位处理，由此缩小像素缺失区域的尺寸。

现有技术文献

专利文献

专利文献1：日本专利第3091622号公报

非专利文献1：FehnChristoph,“Depth-Image-BasedRendering(DIBR),CompressionandTransmissionforaNewApproachon3D-TV”;ConferenceonStereoscopicDisplaysandVirtualRealitySystemsXI,JAN19-22,2004SanJoseCA;p.93-104

发明概要

发明要解决的问题

但是，在上述的现有技术中，存在DIBR处理后的立体视觉图像成为不自然的图像的情况。

发明内容

本发明正是鉴于上述情况而提出的，其目的在于，提供能够实现不协调感较小的DIBR处理的图像处理装置。

用于解决问题的手段

为了达到上述目的，本发明的一个方式的一种图像处理装置，通过使原始的图像数据中的像素的坐标移位，得到产生由深度图像数据所表示的进深的多视点的视点图像数据，其特征在于，深度图像数据由包括多个像素的像素区域构成，深度图像数据中的各个像素的值表示原始的图像数据中的各个像素的进深，所述图像处理装置具有：深度图像数据变更单元，从构成所述深度图像数据的像素区域的内部检测构成被摄体的边缘部分的边缘像素组，使由该边缘像素组包围的像素的坐标向规定的方向移动，由此变更深度图像数据；像素移位单元，使用由所述深度图像变更单元进行变更后的深度图像数据所表示的进深，确定产生该进深的视差量，按照与该视差量对应的像素数使原始的图像数据中的像素的坐标移位，由此生成与所述原始的图像数据不同的视点的图像数据；以及像素插补单元，对所述生成的视点图像数据的区域之中的通过像素移位而产生的遮挡区域进行插补。

发明效果

根据本发明的一个方式的图像处理装置，使深度图像的进深的值不连续变化的边缘位置移动，并根据边缘位置移动后的深度图像使原来的图像数据的像素的坐标移位，因而在后景对象之间产生像素缺失区域。通过使用后景对象之间的像素对该像素缺失区域进行插补，能够防止由于引起视听者注意的前景对象的插补而形成的模糊变形。

另外，虽然后景对象部分被拉伸，但是后景对象通常与前景对象相比形状不复杂，且像素变化比较单调，因而能够抑制由于像素缺失区域的插补而形成的图像整体的画质恶化。

附图说明

图1是表示实施方式1的图像处理装置100的结构的一例的框图。

图2（a）是图像处理装置100的输入数据即图像数据的一例，图2（b）是表示示出了图像数据的各个像素的进深方向的位置的深度图像的图。

图3是表示边缘移动的对象的图。

图4是表示深度图像的边缘位置的移动的图。

图5是表示边缘移动后的深度图像的图。

图6是用于说明通过像素移位部102进行的像素移位的图。

图7（a）是表示不进行边缘移动的像素缺失区域的图，图7（b）是表示进行了边缘移动的像素缺失区域的图。

图8（a）是表示针对不进行边缘移动的像素缺失区域实施了线性插补的图像数据的图，图8（b）是表示针对进行了边缘移动的像素缺失区域实施了线性插补的图像数据的图。

图9是表示视点图像生成处理的流程的流程图。

图10是表示深度图像变换处理的流程的流程图。

图11是表示图像处理装置1100的结构的一例的框图。

图12是表示实施方式2的图像处理装置1200的结构的一例的框图。

图13是表示图像处理装置1200的输入数据即图像数据的一例的图。

图14是表示复杂的后景对象模糊且变形的图像的图。

图15是表示实施方式2的深度图像变换处理的流程的流程图。

图16是表示实施方式3的深度图像变换处理的流程的流程图。

图17是表示实施方式4的图像处理装置1700的结构的一例的框图。

图18是表示实施方式4的深度图像变换处理的流程的流程图。

图19是表示实施方式5的图像处理装置1900的结构的一例的框图。

图20是表示由处理范围选择部1901选择的图像范围的一例的图。

图21是表示实施方式6的图像处理装置的深度图像变换部进行的深度图像变换的图。

图22是表示实施方式6的深度图像变换处理的流程的流程图。

图23是表示图像处理装置2300的结构的一例的框图。

图24是表示由操作部2301进行的参数的受理处理的流程的流程图。

图25是表示设定菜单画面的一例的图。

图26是表示图像处理装置2600的结构的一例的框图。

图27是表示使用LSI来具体实现本发明的一个方式的图像处理装置的示例。

具体实施方式

《作为本发明的一个方式的基础的见解》

首先，对作为本发明的一个方式的基础的见解进行说明。

在DIBR中，在前景对象与后景对象的边界部分产生像素缺失区域。因此，在过去使用专利文献1或非专利文献1公开的技术进行通过DIBR处理而产生的像素缺失区域的插补。

对此，本发明的发明者们通过认真研究发现，在利用这些技术对通过DIBR处理而产生的像素缺失区域进行插补的情况下，存在DIBR处理后的立体视觉图像成为不自然的图像的情况。

具体地讲，在利用专利文献1公开的技术进行通过DIBR处理而产生的像素缺失区域的插补的情况下，使用像素缺失区域的附近的像素进行像素缺失区域的插补。由于像素缺失区域产生于前景对象与后景对象的边界部分，因而通过前景对象与后景对象之间的线性的颜色的内插对像素缺失区域进行插补。其结果是，DIBR处理后的立体视觉图像成为前景对象的边缘以前景对象与后景对象的中间颜色被拉伸的图像。在进行立体视觉显示时，被观察为从显示器上突出的前景对象引起视听者的注意，因而这种前景对象的模糊或变形比较明显。

另外，在利用非专利文献1公开的技术通过高斯滤波使深度图像的进深的值不连续地变化的边缘部分变平滑，并使用变平滑后的深度图像进行DIBR处理的情况下，虽然能够缩小像素缺失区域的尺寸，但是在深度图像的进深的值急剧变化的前景对象与后景对象之间产生像素缺失区域。因此，需要对该像素缺失区域进行插补，插补后的立体视觉图像成为前景对象模糊变形的图像。

《本发明的一个方式的概要》

本发明的发明者们根据以上的见解得到了以下所示的发明的一个方式。

本发明的一个方式的一种图像处理装置，通过使原始的图像数据中的像素的坐标移位，得到产生由深度图像数据所表示的进深的多视点的视点图像数据，深度图像数据由包括多个像素的像素区域构成，深度图像数据中的各个像素的值表示原始的图像数据中的各个像素的进深，所述图像处理装置具有：深度图像数据变更单元，从构成所述深度图像数据的像素区域的内部检测构成被摄体的边缘部分的边缘像素组，使由该边缘像素组包围的像素的坐标向规定的方向移动，由此变更深度图像数据；像素移位单元，使用由所述深度图像变更单元进行变更后的深度图像数据所表示的进深，确定产生该进深的视差量，按照与该视差量对应的像素数使原始的图像数据中的像素的坐标移位，由此生成与所述原始的图像数据不同的视点的图像数据；以及像素插补单元，对所述生成的视点图像数据的区域之中的通过像素移位而产生的遮挡区域进行插补。

根据上述的方式，使深度图像的进深的值不连续变化的边缘位置移动，并根据边缘位置移动后的深度图像使原来的图像数据的像素的坐标移位，因而在后景对象之间产生像素缺失区域。通过使用后景对象之间的像素对该像素缺失区域进行插补，能够防止由于引起视听者注意的前景对象的插补而形成的模糊、变形。

另外，虽然后景对象部分被拉伸，但是后景对象通常与前景对象相比形状不复杂，且像素变化比较单调，因而能够抑制由于像素缺失区域的插补而形成的图像整体的画质恶化。

另外，根据本发明的一个方式的图像处理装置的特定的方面，所述深度图像变更单元，使由边缘像素组包围的像素的坐标向被所述深度图像数据的边缘隔开的前景区域、后景区域之中的后景区域侧移动。

根据上述的方式，由于使边缘向后景区域侧移动，因而能够抑制由于像素缺失区域的插补而形成的图像整体的画质恶化。

另外，根据本发明的一个方式的图像处理装置的特定的方面，所述图像处理装置还具有复杂度计算单元，该复杂度计算单元计算原始的图像数据中所摄入的被摄体的复杂度，所述深度图像变更单元，以后景的区域的复杂度为规定的值以下为条件来执行动作。

根据上述的方式，仅限于后景对象不复杂而且像素变化比较单调的情况下进行边缘移动处理，因而能够防止复杂的后景对象被拉伸而导致图像整体的画质恶化。

另外，根据本发明的一个方式的图像处理装置的特定的方面，所述图像处理装置还具有复杂度计算单元，该复杂度计算单元计算原始的图像数据中所摄入的被摄体的复杂度，所述深度图像变更单元，以前景的区域的复杂度高于后景的区域的复杂度为条件来执行动作。

根据上述的方式，仅限于前景对象比后景对象复杂的情况下使边缘位置向后景侧移动，因而能够防止比前景对象复杂的对象被拉伸而导致画质恶化。

另外，根据本发明的一个方式的图像处理装置的特定的方面，所述图像处理装置还具有复杂度存储单元，该复杂度存储单元存储规定帧之前的原始的图像数据中的复杂度，所述深度图像变更单元，以规定帧之前的原始的图像数据中的前景区域的复杂度为规定的值以上为条件来执行动作。

根据上述的方式，能够防止以1帧单位交替地显示前景对象通过插补而模糊变形的图像、后景对象通过插补而模糊变形的图像，防止由于产生闪烁而导致的动态图像的画质恶化。

另外，根据本发明的一个方式的图像处理装置的特定的方面，所述深度图像变更单元检测与在水平方向上邻接的像素之间的进深的值的差分为规定的值以上的像素，作为所述深度图像数据的边缘。

根据上述的方式，能够检测深度图像的进深的值急剧变化的前景对象与后景对象的边界，作为深度图像数据的边缘。

另外，根据本发明的一个方式的图像处理装置的特定的方面，所述图像处理装置还具有寄存器，该寄存器存储用于确定所述深度图像数据中的边缘的参数，所述深度图像变更单元将与在水平方向上邻接的像素之间的进深的值的差分和在所述寄存器中存储的参数进行比较，由此检测所述深度图像数据的边缘。

根据上述的方式，通过参照装置内的寄存器，能够检测深度图像数据的边缘。

另外，根据本发明的一个方式的图像处理装置的特定的方面，所述图像处理装置还具有受理用户操作的操作单元，所述寄存器存储的用于确定所述深度图像数据中的边缘的参数，是通过来自所述操作单元的用户输入而设定的。

根据上述的方式，能够按照用户所期望的深度图像变换的效果进行图像的处理。

另外，根据本发明的一个方式的图像处理装置的特定的方面，所述图像处理装置还具有判定原始的图像数据的类别的判定单元，所述寄存器存储的用于确定所述深度图像数据中的边缘的参数，是根据由所述判定单元判定的图像数据的类别而确定的。

根据上述的方式，能够按照最适合于图像数据中所摄入的被摄体的类别的深度图像变换的效果进行图像的处理。

另外，根据本发明的一个方式的图像处理装置的特定的方面，所述深度图像变更单元还在进行由所述边缘像素组包围的像素的坐标的移动后，对由所述边缘像素组包围的像素进行平滑处理。

根据上述的方式，能够缩小通过像素移位处理而产生的像素缺失区域的尺寸。并且，像素插补的对象减少，能够抑制由于像素插补而形成的画质恶化。

另外，根据本发明的一个方式的图像处理装置的特定的方面，所述图像处理装置还具有寄存器，该寄存器存储用于确定使所述深度图像的像素的坐标移动的像素数的参数，所述深度图像变更单元使所述深度图像数据的由边缘像素组包围的像素的坐标，向规定的方向移动在所述寄存器中存储的参数所表示的像素数。

根据上述的方式，能够按照用户所期望的深度图像变换的效果进行图像的处理。

另外，根据本发明的一个方式的图像处理装置的特定的方面，所述图像处理装置还具有处理范围选择单元，该处理范围选择单元选择所述深度图像数据之中进行深度图像变更的图像范围，所述深度图像变更单元，针对由处理范围选择单元所选择的图像范围来执行动作。

根据上述的方式，能够指定进行边缘移动处理的图像范围来生成多视点的图像。

本发明的一个方式的一种图像处理方法，通过使原始的图像数据中的像素的坐标移位，得到产生由深度图像数据所表示的进深的多视点的视点图像数据，深度图像数据由包括多个像素的像素区域构成，深度图像数据中的各个像素的值表示原始的图像数据中的各个像素的进深，所述图像处理方法包括：深度图像数据变更步骤，从构成所述深度图像数据的像素区域的内部检测构成被摄体的边缘部分的边缘像素组，使由该边缘像素组包围的像素的坐标向规定的方向移动，由此变更深度图像数据；像素移位步骤，使用由所述深度图像变更步骤进行变更后的深度图像数据所表示的进深，确定产生该进深的视差量，按照与该视差量对应的像素数使原始的图像数据中的像素的坐标移位，由此生成与所述原始的图像数据不同的视点的图像数据；以及像素插补步骤，对所述生成的视点图像数据的区域之中的通过像素移位而产生的遮挡区域进行插补。

根据上述的方式，能够提供一种图像处理方法，该图像处理方法能够防止由于引起视听者注意的前景对象的插补而形成的模糊变形。

本发明的一个方式是一种程序，使计算机执行图像处理，该图像处理通过使原始的图像数据中的像素的坐标移位，得到产生由深度图像数据所表示的进深的多视点的视点图像数据，深度图像数据由包括多个像素的像素区域构成，深度图像数据中的各个像素的值表示原始的图像数据中的各个像素的进深，所述程序使计算机执行以下步骤：深度图像数据变更步骤，从构成所述深度图像数据的像素区域的内部检测构成被摄体的边缘部分的边缘像素组，使由该边缘像素组包围的像素的坐标向规定的方向移动，由此变更深度图像数据；像素移位步骤，使用由所述深度图像变更步骤进行变更后的深度图像数据所表示的进深，确定产生该进深的视差量，按照与该视差量对应的像素数使原始的图像数据中的像素的坐标移位，由此生成与所述原始的图像数据不同的视点的图像数据；以及像素插补步骤，对所述生成的视点图像数据的区域之中的通过像素移位而产生的遮挡区域进行插补。

根据上述的方式，能够提供一种程序，该程序能够防止由于引起视听者注意的前景对象的插补而形成的模糊变形。

本发明的一个方式是一种集成电路，在图像处理中使用，该图像处理通过使原始的图像数据中的像素的坐标移位，得到产生深度图像数据所表示的进深的多视点的视点图像数据，深度图像数据由包括多个像素的像素区域构成，深度图像数据中的各个像素的值表示原始的图像数据中的各个像素的进深，所述集成电路具有：深度图像数据变更单元，从构成所述深度图像数据的像素区域的内部检测构成被摄体的边缘部分的边缘像素组，使由该边缘像素组包围的像素的坐标向规定的方向移动，由此变更深度图像数据；像素移位单元，使用由所述深度图像变更单元进行变更后的深度图像数据所表示的进深，确定产生该进深的视差量，按照与该视差量对应的像素数使原始的图像数据中的像素的坐标移位，由此生成与所述原始的图像数据不同的视点的图像数据；以及像素插补单元，对所述生成的视点图像数据的区域之中的通过像素移位而产生的遮挡区域进行插补。

根据上述的方式，能够提供一种集成电路，该集成电路能够防止由于引起视听者注意的前景对象的插补而形成的模糊变形。

《实施方式1》

下面，参照附图说明本发明的实施方式。

[概要]

实施方式1的图像处理装置根据深度图像使构成图像数据的各个像素的坐标沿规定方向进行移位，并生成与原来的图像数据不同的始点的图像数据，其特征在于，在进行像素移位处理时，使深度图像的边缘位置向后景侧移动，使用边缘位置移动后的深度图像进行像素移位处理，然后对通过像素移位而产生的像素值不存在的缺失区域进行插补。在进行像素移位处理时，使深度图像的边缘位置向后景侧移动，因而像素缺失区域的两端的像素成为后景对象的像素，能够防止由于像素缺失区域的插补而形成的前景对象的模糊变形。

[结构]

首先，说明实施方式1的图像处理装置100的结构。图1是表示图像处理装置100的结构的一例的框图。如该图所示，图像处理装置100构成为包括深度图像变换部101、像素移位部102、像素插补部103。下面说明各个构成部分。

<深度图像变换部101>

深度图像变换部101具有使所输入的深度图像的边缘位置向后景侧移动的功能。具体地讲，将在水平方向上邻接的像素具有的进深的值为规定的阈值以上的像素位置作为边缘位置，使该边缘位置向右移动规定像素数。

图2（a）是图像处理装置100的输入数据即图像数据的一例，图2（b）是表示示出了图2（a）所示的图像数据的各个像素的进深方向的位置的深度图像的图。深度图像是利用0～255的256灰度的亮度来表示各个像素的进深的灰度图像，位置越靠前方，利用越白的颜色表示，位置越靠后方，利用越黑的颜色表示。

在深度图像中，在图像数据中所摄入的各个被摄体（对象）的边界处进深的值发生变化。将进深的值急剧变化的位置称为深度图像的边缘位置。在该图所示的例子中，人的被摄体（前景）与背景部分（后景）的边界位置成为边缘位置。

图3是表示边缘移动的对象的图。纵轴表示进深的值，横轴表示x坐标位置。如该图所示，在处理像素位置的左1像素的进深的值与处理像素位置的进深的值之差分为α以上的情况下，深度图像变换部101设为边缘移动的对象。

另外，在本实施方式中，成为边缘移动的对象的是前景对象的右端的边缘。前景对象的左端的边缘不作为边缘移动的对象。其理由是后述的像素移位部102使输入图像的前景对象的各个像素向左移位，并生成相对于输入图像的视点位置向右远离的视点位置的图像，因而在前景对象的右端部分产生像素缺失区域。由于在前景对象的左端部分不产生像素缺失区域，因而不需要使前景对象的左端的边缘移动。

图4是表示深度图像的边缘位置的移动的图。如该图所示，深度图像变换部101使确定出的边缘位置向后景侧移动规定像素（N个像素）。具体地讲，将从处理像素起到成为N个像素的像素为止的进深值变更为处理像素的进深值。此处所说后景侧指被边缘隔开的两个区域中进深的值较小的区域一侧。即，在通过像素移位来生成右视点图像的本实施方式中，使边缘位置向右移动。

图5是表示边缘移动后的深度图像的图。如该图所示，深度图像变换部101输出前景对象的右端的边缘位置向右（后景侧）水平移动N像素后的深度图像。

<像素移位部102>

像素移位部102具有这样的功能：根据从深度图像变换部101输出的深度图像，使构成所输入的图像数据的各个像素的坐标沿水平方向进行移位，由此生成相对于输入图像的视点位置向右远离的视点位置的图像。

并且，像素移位部102具有这样的功能：生成利用0/1的1比特的标志表示通过像素移位而产生的像素值不存在的像素缺失区域（遮挡）的位置的像素缺失区域标志。通过将输入图像显示为左视点图像、将通过像素移位而生成的图像显示为右视点图像，能够实现立体视觉。下面详细说明像素移位。

图6是用于说明通过像素移位部102进行的像素移位的图。立体视觉效果包括形成飞出效果的立体视觉效果（飞出立体视觉）、和形成后退效果的立体视觉效果（后退立体视觉），图6（a）表示飞出立体视觉的像素移位，图6（b）表示后退立体视觉的像素移位。

在这些附图中，P表示沿水平方向的位移量，L-View-Point表示左眼瞳孔位置，R-View-Point表示右眼瞳孔位置，L-Pixel表示左眼像素，R-Pixel表示右眼像素，e表示瞳孔间距离，H表示显示画面的高度，W表示显示画面的横宽，S表示从视听者到显示画面的距离，Z表示从视听者到成像点的距离即被摄体的进深方向的距离。连接左眼像素L-pixel和左眼瞳孔L-view-point的直线是左眼瞳孔L-view-point的视线，连接右眼像素R-Pixel和右眼瞳孔R-View-Point的直线是右眼瞳孔R-View-Point的视线，通过基于3D眼镜的透光/遮光的切换或使用视差屏障、双凸透镜(lenticular)等的视差屏蔽来实现。

首先说明飞出立体视觉的情况。参照图6（a），根据由左眼瞳孔L-view-point、右眼瞳孔R-View-Point、成像点这三点构成的三角形与由左眼像素L-pixel、右眼像素R-pixel、成像点这三点构成的三角形的相似关系，在水平方向的位移量P、被摄体的距离Z、从视听者到显示画面的距离S、瞳孔间距离e之间，P＝e（1－S/Z）的关系成立。并且，对于图6（b）的后退立体视觉，与上述的说明相同的关系成立。像素移位部102根据上述关系式计算针对各个像素的位移量，并使像素沿水平方向移位相当于计算出的位移量的像素数，由此生成右视点图像（R图像）。

另外，被摄体的距离Z能够从深度图像取得。并且，瞳孔间距离e采用成人男性的平均值6.5cm。最佳的视听距离通常是显示画面的高度的3倍，因而将从视听者到显示画面的距离S设为3H。

<像素插补部103>

像素插补部103具有这样的功能：受理像素移位部102输出的像素缺失区域标志，并对利用该像素缺失区域标志所表示的像素缺失区域（遮挡）进行插补。具体地讲，利用像素缺失区域标志来确定像素缺失区域，使用像素缺失区域的附近的像素对所确定出的像素缺失区域进行线性插补。

图7是表示通过像素移位而产生的像素缺失区域的图。图7（a）表示不进行边缘移动的像素缺失区域，图7（b）表示进行了边缘移动的像素缺失区域。另外，图8是表示像素插补后的图像数据的图。图8（a）表示针对图7（a）所示的不进行边缘移动的像素缺失区域实施了线性插补的图像数据，图8（b）表示针对图7（b）所示的进行了边缘移动的像素缺失区域实施了线性插补的图像数据。

在不进行边缘移动的情况下，如图7（a）所示，在前景对象与后景对象的边界产生像素缺失区域。在针对该像素缺失区域进行像素的插补的情况下，通过前景对象与后景对象之间的线性的颜色的内插来对缺失区域进行插补。其结果是如图8（a）所示，前景对象的边缘以中间颜色被拉伸，形成为前景对象的端部模糊变形的图像。

另一方面，在进行了边缘移动的情况下，像素缺失区域向后景侧偏移数个像素。由此，如图7（b）所示，像素缺失区域的两端的像素成为后景对象的像素。因此，在针对该像素缺失区域进行了像素的插补的情况下，通过后景对象的像素之间的线性的颜色的内插来对缺失区域进行插补。由于使用后景对象之间的像素对像素缺失区域进行插补，因而能够防止由于引起视听者注意的前景对象的插补而形成的模糊变形。虽然后景对象部分被拉伸，但是后景对象通常与前景对象相比形状不复杂，且像素变化比较单调，因而能够抑制由于像素缺失区域的插补而形成的图像整体的画质恶化，能够生成如图8（b）所示的画质良好的图像数据。

以上是关于图像处理装置100的结构的说明。下面，说明具有上述结构的图像处理装置100的动作。

[动作]

<视点图像生成处理>

首先说明图像处理装置100的视点图像生成处理。图9是表示视点图像生成处理的流程的流程图。如该图所示，深度图像变换部101进行深度图像变换处理（步骤S901）。关于深度图像变换处理的详细情况将在后面进行说明。然后，像素移位部102进行位移量的计算（步骤S902）。具体地讲，根据在步骤S901被变换后的深度图像，使用关系式P＝e（1－S/Z）计算各个像素的位移量。并且，像素移位部102根据计算出的位移量进行像素移位处理，并生成R图像（步骤S903）。在生成R图像后，像素插补部103对通过像素移位处理而产生的像素缺失区域进行线性插补（步骤S904）。以上是关于图像处理装置100的视点图像生成处理的说明。下面，对上述的步骤S901的深度图像变换处理进行详细说明。

<深度图像变换处理>

图10是表示深度图像变换处理的流程的流程图。如该图所示，深度图像变换部101首先从所输入的深度图像取得处理像素位置的进深的值（A）（步骤S1001）。然后，深度图像变换部101从所输入的深度图像取得处理像素位置的左1像素的进深的值（B）（步骤S1002）。

并且，深度图像变换部101判定处理像素位置的左1像素的进深的值（B）与处理像素位置的进深的值（A）之差分是否为规定的阈值（α）以上（α≦B－A）（步骤S1003）。在差分是α以上的情况下（步骤S1003：是），深度图像变换部101使边缘位置移位N像素（步骤S1004）。在差分不是α以上的情况下（步骤S1003：否），深度图像变换部101不对该像素进行边缘位置的移位。对构成图像数据的全部像素反复进行以上从步骤S1001到步骤S1004的处理。以上是关于深度图像变换处理的详细说明。

根据如上所述的本实施方式，使深度图像的进深的值不连续地变化的边缘位置移动，并根据边缘位置移动后的深度图像使原来的图像数据的像素的坐标移位，因而像素缺失区域的两端的像素成为后景对象的像素。通过使用后景对象之间的像素对像素缺失区域进行插补，能够防止由于引起视听者注意的前景对象的插补而形成的模糊变形。另外，虽然后景对象部分被拉伸，但是后景对象通常与前景对象相比形状不复杂，且像素变化比较单调，因而能够抑制由于像素缺失区域的插补而形成的图像整体的画质恶化。

[补充]

（关于左视点图像的生成）

在上述实施方式中，说明了将输入图像设为左视点图像（L图像），通过像素移位来生成右视点图像（R图像）的情况，但本发明不限于这种情况。也可以是，将输入图像设为右视点图像，通过像素移位来生成左视点图像。在这种情况下，深度图像变换部取得处理像素位置的进深的值（C）与处理像素位置的右1像素的进深的值（D），在处理像素位置的右1像素的进深的值（D）与处理像素位置的进深的值（C）之差分为规定的阈值（α）以上的情况下（α≦D－C），使该边缘位置向右移位N像素。

（关于多视点图像的生成）

在上述实施方式中，说明了生成左视点图像/右视点图像这两个视点的图像的情况，但本发明不限于这种情况。也可以生成两个视点以上的多视点图像。在本实施方式中，考虑图6所示的左眼视点（L-View-Point）和右眼视点（R-View-Point）的位置关系来计算像素应该移位的量，但在生成除左眼视点和右眼视点以外的视点的图像时，通过与此相同地考虑视点的位置关系来计算像素应该移位的量，并进行像素移位，能够生成与该视点对应的图像。

（关于采用行扫描电路的实现性）

在上述的实施方式中说明的像素移位处理能够利用行扫描(linescan)电路来实现。所谓行扫描电路是指横向每1920像素地读出被存储于帧存储器中的一画面量的像素（1920×1080）的集合，并变换为数字影像信号的硬件元件。这种行扫描电路能够利用可以存储1行的量的像素数据的行像素存储器、滤波电路、进行并行/串行变换的变换电路来实现。如上所述，像素移位处理是将深度图像的各个像素的亮度变换为视差来进行像素的移位的处理。如果使被读出到行存储器中的整体周围图像的一行量的像素的坐标沿横向移动与针对整体周围图像的深度图像中对应的行的进深相对应的像素数，则能够生成形成深度图像中的各个像素所表示的进深的来自其它视点的视点影像。

（关于深度图像的生成）

在上述的实施方式中说明了输入二维图像及深度图像，通过基于深度图像的像素移位来得到左眼用图像和右眼用图像的情况，但本发明不限于这种情况。也可以是，输入左眼用图像和右眼用图像，从左眼用图像和右眼用图像生成深度图像。

图11是表示从左眼用图像和右眼用图像来生成深度图像的图像处理装置1100的结构的一例的框图。如该图所示，图像处理装置1100构成为包括深度图像生成部1101、深度图像变换部101、像素移位部102、像素插补部103。与图1所示的图像处理装置100的不同之处在于具有深度图像生成部1101、以及输入数据是左眼用图像和右眼用图像。

深度图像生成部1101具有从左眼用图像和右眼用图像来生成深度图像的功能。具体地讲，首先对左眼用图像和右眼用图像之间的各个像素进行对应点搜索。并且，按照左眼用图像与右眼用图像的对应点的位置关系，根据三角测量的原理计算被摄体的进深方向的距离。深度图像是利用8比特的亮度来表示各个像素的进深的灰度图像，深度图像生成部1101将计算出的被摄体的进深方向的距离变换为0～255的256灰度的值。另外，在搜索对应点时大致划分为区域基准映射法和特征基准映射法这两种方法，可以采用任一种方法，区域基准映射法是在关注点的周围设定小区域，根据该区域中的像素值的浓淡图案进行搜索，特征基准映射法是从图像中抽取边缘等特征，使在该特征之间进行对应。

另外，也可以是，图像处理装置1100在生成深度图像后变更所生成的深度图像所表示的值，由此变更进深方向的距离。由此，能够输出与由所输入的左眼用图像和右眼用图像的组构成的立体视觉图像不同的立体视觉强度的左眼用图像和右眼用图像。

图像处理装置1100在这样通过变更深度图像所表示的值来变更立体视觉强度的情况下，能够防止重新生成后的立体视觉图像变模糊及变形。

《实施方式2》

实施方式2的图像处理装置与实施方式1的图像处理装置100同样地，使深度图像的边缘位置向后景侧移动，使用边缘位置移动后的深度图像进行像素移位处理，然后对通过像素移位而产生的像素值不存在的缺失区域进行插补，但是与实施方式1的图像处理装置100的不同之处在于，在进行边缘位置移动处理时计算后景侧的像素的复杂度，以后景侧的像素的复杂度为规定的阈值以下为条件来进行边缘移动处理。由于仅限于后景对象不复杂、而且像素变化比较单调的情况下进行边缘移动处理，因而能够防止复杂的后景对象被拉伸而导致图像整体的画质恶化。

图12是表示实施方式2的图像处理装置1200的结构的一例的框图。另外，对与图1所示的实施方式1的图像处理装置100的结构相同的部分标注相同的标号。如该图所示，图像处理装置1200构成为包括复杂度计算部1201、深度图像变换部1202、像素移位部102、像素插补部103。

复杂度计算部1201具有计算构成图像数据的各个像素的复杂度的功能。具体地讲，计算邻接像素的像素值的差分的绝对值的总和作为复杂度的特征量。

深度图像变换部1202具有这样的功能：以后景侧的像素的复杂度为规定的阈值以下为条件，使所输入的深度图像的边缘位置向后景侧移动。

图13是表示图像处理装置1200的输入数据即图像数据的一例的图。在该图中，对象1300是像素变化比较单调的对象，对象1301是像素变化比较复杂的对象。并且，对象1300位于前景侧，对象1301位于后景侧。针对这种图像数据的深度图像，在使边缘位置向后景侧即对象1301侧移动，并使用边缘位置移动后的深度图像进行了像素移位处理的情况下，在对象1301之间产生像素缺失区域。在对该像素缺失区域进行了像素插补的情况下，复杂的后景对象被拉伸。即，如图14所示，形成为复杂的后景对象变模糊且变形的图像，图像整体的画质恶化。

本实施方式的深度图像变换部1202仅限于后景对象不复杂而且像素变化比较单调的情况下进行边缘移动处理，由此防止复杂的后景对象被拉伸并导致图像整体的画质恶化。

关于像素移位部102、像素插补部103是与实施方式1的图像处理装置100相同的结构，因而省略说明。

下面，说明与实施方式1不同的深度图像变换处理。图15是表示实施方式2的深度图像变换处理的流程的流程图。另外，对与图10所示的实施方式1的图像处理装置100的动作相同的部分标注相同的标号。

如该图所示，深度图像变换部1202首先从所输入的深度图像取得处理像素位置的进深的值（A）（步骤S1001）。然后，复杂度计算部1201生成处理像素位置的复杂度数据（步骤S1501）。在步骤S1501之后，深度图像变换部1202从所输入的深度图像取得处理像素位置的左1像素的进深的值（B）（步骤S1002）。并且，复杂度计算部1201生成处理像素位置的左1像素的复杂度数据（步骤S1502）。

深度图像变换部1202判定处理像素位置的左1像素的进深的值（B）与处理像素位置的进深的值（A）之差分是否为规定的阈值（α）以上（α≦B－A）（步骤S1003）。在差分是α以上的情况下（步骤S1003：是），深度图像变换部1202判定后景侧的像素的复杂度的值是否为规定的阈值（γ）以上（步骤S1503）。

在后景侧的像素的复杂度的值不是γ以上的情况下（步骤S1503：是），判定为后景对象不复杂，深度图像变换部1202使边缘位置向右（后景侧）移位N像素（步骤S1004）。

在后景侧的像素的复杂度的值是γ以上的情况下（步骤S1503：是），判定为后景对象比较复杂，深度图像变换部1202不进行像素移位处理。针对构成图像数据的全部像素反复进行以上从步骤S1001到步骤S1503的处理。以上是深度图像变换处理的说明。

根据如上所述的本实施方式，仅限于后景对象不复杂而且像素变化比较单调的情况下进行边缘移动处理，因而能够防止复杂的后景对象被拉伸而导致图像整体的画质恶化。

《实施方式3》

实施方式3的图像处理装置与实施方式1的图像处理装置100同样地，使深度图像的边缘位置向后景侧移动，使用边缘位置移动后的深度图像进行像素移位处理，然后对通过像素移位而产生的像素值不存在的缺失区域进行插补，但是在进行边缘位置移动处理时计算前景侧的像素的复杂度和后景侧的像素的复杂度，将计算出的前景侧的像素的复杂度和后景侧的像素的复杂度进行比较。并且，以前景侧的像素的复杂度高于后景侧的像素的复杂度为条件来进行边缘移动处理。由于仅限于前景对象比后景对象复杂的情况下使边缘位置向后景侧移动，因而能够防止比前景对象复杂的对象被拉伸而导致画质恶化。

图16是表示实施方式3的深度图像变换处理的流程的流程图。另外，对与图15所示的实施方式2的深度图像变换处理相同的部分标注相同的标号。如该图所示，深度图像变换部1202首先从所输入的深度图像取得处理像素位置的进深的值（A）（步骤S1001）。然后，复杂度计算部1201生成处理像素位置的复杂度数据（步骤S1501）。在步骤S1501之后，深度图像变换部1202从所输入的深度图像取得处理像素位置的左1像素的进深的值（B）（步骤S1002）。并且，复杂度计算部1201生成处理像素位置的左1像素的复杂度数据（步骤S1502）。

深度图像变换部1202判定处理像素位置的左1像素的进深的值（B）与处理像素位置的进深的值（A）之差分是否为规定的阈值（α）以上（α≦B－A）（步骤S1003）。在差分是α以上的情况下（步骤S1003：是），深度图像变换部1202进行前景侧的像素的复杂度与后景侧的像素的复杂度的比较（步骤S1601）。

在前景侧的像素的复杂度大于后景侧的像素的复杂度的情况下（步骤S1601：是），深度图像变换部1202使边缘位置向右（后景侧）移位N像素（步骤S1004）。在前景侧的像素的复杂度不大于后景侧的像素的复杂度的情况下（步骤S1601：否），深度图像变换部1202不进行像素移位处理。针对构成图像数据的全部像素反复进行以上从步骤S1001到步骤S1601的处理。以上是深度图像变换处理的说明。

根据如上所述的本实施方式，仅限于后景对象不比前景对象复杂而且像素变化比较单调的情况下进行边缘移动处理，因而能够防止比前景对象复杂的后景对象被拉伸而导致图像整体的画质恶化。

《实施方式4》

实施方式4的图像处理装置与实施方式1的图像处理装置100同样地，使深度图像的边缘位置向后景侧移动，使用边缘位置移动后的深度图像进行像素移位处理，然后对通过像素移位而产生的像素值不存在的缺失区域进行插补，但是其特征在于参照前面的帧的复杂度来进行边缘位置的移动处理。由此，能够防止以1帧单位交替地显示前景对象通过插补而模糊变形的图像、后景对象通过插补而模糊变形的图像，防止由于产生闪烁而导致的动态图像的画质恶化。

图17是表示实施方式4的图像处理装置1700的结构的一例的框图。另外，对与图12所示的实施方式1的图像处理装置1200的结构相同的部分标注相同的标号。如该图所示，图像处理装置1700构成为包括复杂度存储部1701、深度图像变换部1702、复杂度计算部1201、像素移位部102、像素插补部103。

复杂度存储部1701具有存储1帧前的前景对象的各个像素比后景侧的像素复杂还是不复杂的功能。在前景对象的各个像素比后景侧的像素复杂的情况下存储值1。在前景对象的各个像素不比后景侧的像素复杂的情况下存储值0。

深度图像变换部1702具有参照前面帧的复杂度来进行边缘位置的移动处理的功能。具体地讲，在1帧中的处理像素位置的像素不比后景侧的像素复杂的情况下，不进行边缘位置的移动处理。

在边缘位置以1帧单位交替地从前景侧向后景侧移动的情况下，将交替地显示前景对象通过插补而模糊变形的图像、后景对象通过插补而模糊变形的图像，并产生闪烁，使得动态图像的画质恶化。本实施方式的深度图像变换部1702参照前面帧的复杂度来进行边缘位置的移动处理，因而能够防止边缘位置以1帧单位交替地从前景侧向后景侧移动，防止由于闪烁而导致的动态图像的画质恶化。

关于复杂度计算部1201、像素移位部102、像素插补部103是与实施方式2的图像处理装置1200相同的结构，因而省略说明。

下面说明与实施方式2不同的深度图像变换处理。图18是表示实施方式4的深度图像变换处理的流程的流程图。另外，对与图15所示的实施方式2的深度图像变换处理相同的部分标注相同的标号。

如该图所示，深度图像变换部1702首先从所输入的深度图像取得处理像素位置的进深的值（A）（步骤S1001）。然后，复杂度计算部1201生成处理像素位置的复杂度数据（步骤S1501）。在步骤S1501之后，深度图像变换部1702从所输入的深度图像取得处理像素位置的左1像素的进深的值（B）（步骤S1002）。并且，复杂度计算部1201生成处理像素位置的左1像素的复杂度数据（步骤S1502）。

深度图像变换部1702判定处理像素位置的左1像素的进深的值（B）与处理像素位置的进深的值（A）之差分是否为规定的阈值（α）以上（α≦B－A）（步骤S1003）。在差分不是α以上的情况下（步骤S1003：否），复杂度存储部1701对处理像素位置存储0（步骤S1801）。

在差分是α以上的情况下（步骤S1003：是），深度图像变换部1702进行前景侧的像素的复杂度与后景侧的像素的复杂度的比较（步骤S1601）。在前景侧的像素的复杂度不大于后景侧的像素的复杂度的情况下（步骤S1601：否），复杂度存储部1701对处理像素位置存储0（步骤S1801）。

在前景侧的像素的复杂度大于后景侧的像素的复杂度的情况下（步骤S1601：是），深度图像变换部1702参照前一帧的复杂度存储部1701的处理像素位置的数据（步骤S1802）。在前一帧的复杂度存储部1701的处理像素位置的数据是0的情况下（步骤S1802：是），不进行边缘位置的移动，复杂度存储部1701对处理像素位置存储值1（步骤S1803）。在前一帧的复杂度存储部1701的处理像素位置的数据不是0的情况下（步骤S1802：否），深度图像变换部1702使边缘位置向右（后景侧）移位N像素（步骤S1004）。

然后，复杂度存储部1701对处理像素位置存储值1（步骤S1803）。针对构成图像数据的全部像素反复进行以上从步骤S1001到步骤S1803的处理。以上是深度图像变换处理的说明。

根据如上所述的本实施方式，通过参照前面帧的复杂度来进行边缘位置的移动处理，能够防止以帧单位交替地显示前景对象通过插补而模糊变形的图像、后景对象通过插补而模糊变形的图像，防止由于闪烁而导致的动态图像的画质恶化。

《实施方式5》

实施方式5的图像处理装置与实施方式1的图像处理装置100同样地，使深度图像的边缘位置向后景侧移动，使用边缘位置移动后的深度图像进行像素移位处理，然后对通过像素移位而产生的像素值不存在的缺失区域进行插补，但是其特征在于指定处理范围并针对所指定的处理范围来进行边缘位置的移动处理。

图19是表示实施方式5的图像处理装置1900的结构的一例的框图。另外，对与图1所示的实施方式的图像处理装置100的结构相同的部分标注相同的标号。如该图所示，图像处理装置1900构成为包括处理范围选择部1901、深度图像变换部1902、像素移位部102、像素插补部103。

处理范围选择部1901具有指定进行深度图像变换处理的图像范围的功能。

图20是表示由处理范围选择部1901选择的图像范围的一例的图。在该图的示例中，将除右上部的窗口区域2001之外的区域指定为处理范围。在这种情况下，不对窗口区域2001进行基于深度图像变换处理的边缘位置的移动。

深度图像变换部1902具有对由处理范围选择部1901指定的图像范围进行深度图像变换处理的功能。在图20的示例中，深度图像变换部1902输出对除窗口区域2001之外的区域进行了边缘移动的深度图像。

关于像素移位部102、像素插补部103是与实施方式1的图像处理装置100相同的结构，因而省略说明。

根据如上所述的本实施方式，能够指定进行边缘移动处理的图像范围来生成多视点的图像。

《实施方式6》

实施方式6的图像处理装置与实施方式1的图像处理装置100同样地，使深度图像的边缘位置向后景侧移动，使用边缘位置移动后的深度图像进行像素移位处理，然后对通过像素移位而产生的像素值不存在的缺失区域进行插补，但是其特征在于，深度图像变换部在进行深度图像的边缘位置移动后，还对构成边缘的像素进行平滑处理。

图21是表示实施方式6的图像处理装置的深度图像变换部进行的深度图像变换的图。图21是表示对图3所示的深度图像进行了深度图像变换处理时的深度图像的图。如该图所示，深度图像变换部在使边缘位置向后景侧移动N像素后，对构成边缘的像素进行平滑处理。具体地讲，通过高斯滤波使边缘变平滑。由此，能够缩小通过像素移位处理而产生的像素缺失区域的尺寸。像素插补的对象减少，能够抑制由于像素插补而形成的画质恶化。

图22是表示实施方式6的深度图像变换处理的流程的流程图。另外，对与图10所示的实施方式1的图像处理装置100的动作相同的部分标注相同的标号。

如该图所示，深度图像变换部101首先从所输入的深度图像取得处理像素位置的进深的值（A）（步骤S1001）。然后，深度图像变换部101从所输入的深度图像取得处理像素位置的左1像素的进深的值（B）（步骤S1002）。并且，深度图像变换部101判定处理像素位置的左1像素的进深的值（B）与处理像素位置的进深的值（A）之差分是否为规定的阈值（α）以上（α≦B－A）（步骤S1003）。

在差分是α以上的情况下（步骤S1003：是），深度图像变换部101使边缘位置移位N像素（步骤S1004）。在边缘位置移动后，深度图像变换部101对构成边缘的像素实施平滑处理（步骤S2201）。在差分不是α以上的情况下（步骤S1003：否），深度图像变换部101不对该像素进行边缘位置的移位。对构成图像数据的全部像素反复进行以上从步骤S1001到步骤S1004的处理。以上是深度图像变换处理的说明。

根据如上所述的本实施方式，在使边缘位置向后景侧移位N像素后，对构成边缘的像素实施平滑处理。由此，能够缩小通过像素移位处理而产生的像素缺失区域的尺寸。像素插补的对象减少，能够抑制由于像素插补而形成的画质恶化。

《实施方式7》

实施方式7的图像处理装置与实施方式1的图像处理装置100同样地，使深度图像的边缘位置向后景侧移动，使用边缘位置移动后的深度图像进行像素移位处理，然后对通过像素移位而产生的像素值不存在的缺失区域进行插补，但是不同之处在于，根据用户操作来决定、变更用于规定深度图像数据中的边缘的参数α、以及用于规定使深度图像的边缘移动的像素数的参数N。

图23是表示实施方式7的图像处理装置2300的结构的一例的框图。另外，对与图1所示的实施方式1的图像处理装置100的结构相同的部分标注相同的标号。如该图所示，图像处理装置2300构成为包括深度图像变换部101、像素移位部102、像素插补部103、操作部2301和寄存器2302。

操作部2301具有受理用户的操作输入的功能。具体地讲，是受理用于规定深度图像数据中的边缘的参数α、以及用于规定使深度图像的边缘移动的像素数的参数N的值的输入等。

寄存器2302具有存储由操作部2301输入的用于规定深度图像数据中的边缘的参数α、以及用于规定使深度图像的边缘移动的像素数的参数N的值的功能。

深度图像变换部101读出在寄存器2302中存储的用于规定深度图像数据中的边缘的参数α、以及用于规定使深度图像的边缘移动的像素数的参数N，并进行深度图像的变换。

图24是表示由操作部2301进行的参数的受理处理的流程的流程图。

如该图所示，操作部2301首先向用户提示如图25所示的设定菜单画面（步骤S2401）。

在图25所示的例子中，是从“效果低”、“效果中”、“效果高”这三档中选择深度图像变换的效果的程度的菜单画面。在用户选择了“效果低”的情况下，α＝8、N＝2像素的参数被存储在寄存器2302中。并且，在用户选择了“效果中”的情况下，α＝16、N＝3像素的参数被存储在寄存器2302中。并且，在用户选择了“效果高”的情况下，α＝32、N＝4像素的参数被存储在寄存器2302中。

在显示了设定菜单画面后，操作部2301判定用户是否输入了上下左右按键（步骤S2402）。

在输入了上下左右按键的情况下（步骤S2402：是），操作部2301使高亮处(highlight)按照按键方向移动（步骤S2403）。

在没有输入上下左右按键的情况下（步骤S2402：否），操作部2301判定是否在复选框上按下了确定键（步骤S2404）。

在复选框上按下了确定键的情况下（步骤S2404：是），操作部2301进行复选框的复选（步骤S2405）。

在没有按下确定键的情况下（步骤S2404：否），操作部2301判定是否按下了OK按钮中的确定键（步骤S2406）。

在没有按下确定键的情况下（步骤S2406：否），操作部2301判定是否按下了取消按钮中的确定键（步骤S2407）。

在按下了OK按钮中的确定键的情况下（步骤S2406：是），将复选的值存储在寄存器2302中（步骤S2408）。

另外，以上说明了用户从“效果低”、“效果中”、“效果高”这三档中选择深度图像变换的效果的程度的情况，但用户也可以直接输入用于规定深度图像数据中的边缘的参数α、以及用于规定使深度图像的边缘移动的像素数的参数N的值。

并且，也可以是，用户不输入用于规定深度图像数据中的边缘的参数α、以及用于规定使深度图像的边缘移动的像素数的参数N的值，而是判定二维图像的类别，将基于该判定结果的用于规定深度图像数据中的边缘的参数α、以及用于规定使深度图像的边缘移动的像素数的参数N存储在寄存器2302中。

图26是表示图像处理装置2600的结构的一例的框图。另外，对与图1所示的实施方式1的图像处理装置100的结构相同的部分标注相同的标号。如该图所示，图像处理装置2600构成为包括深度图像变换部101、像素移位部102、像素插补部103、判定部2601和寄存器2302。

判定部2601具有这样的功能：判定所输入的二维图像数据的类别，根据该判定结果来确定用于规定深度图像数据中的边缘的参数α、以及用于规定使深度图像的边缘移动的像素数的参数N的值。将所确定的参数α和N存储在寄存器2302中。

判定部2601分析所输入的二维图像数据，例如判定“人物”、“风景”、“动画”这样的图像的类别。在判定图像的类别时，例如通过抽取肤色等，能够判定二维图像数据中所摄入的被摄体是否是人物。

并且，判定部2601根据图像类别的判定结果，确定用于规定深度图像数据中的边缘的参数α、以及用于规定使深度图像的边缘移动的像素数的参数N的值。例如，对于摄入了人物的图像数据，认为想要大幅飞出地显示人物等，因而确定为深度图像变换的效果的程度较高的参数例如α＝32、N＝4像素。

另外，对于风景的图像数据，认为飞出量比摄入了人物的图像数据低，因而确定为深度图像变换的效果的程度较低的参数例如α＝8、N＝2像素。

根据如上所述的本实施肤色，通过由用户选择用于规定深度图像数据中的边缘的参数α、以及用于规定使深度图像的边缘移动的像素数的参数N的值，能够按照期望的深度图像变换的效果来进行图像的处理。

《变形例》

以上根据上述的实施方式进行了说明，但是本发明当然不限于上述的实施方式。诸如以下所述的情况也包含于本发明中。

（a）本发明也可以是在各个实施方式中说明的处理步骤所公开的应用执行方法。并且，也可以是包括使计算机按照所述处理步骤进行工作的程序代码的计算机程序。

（b）本发明也可以构成为进行应用执行控制的IC、LSI等其它集成电路的封装体。图27是表示使用LSI来具体实现本发明的一个方式的图像处理装置的示例。如该图所示，LSI2700例如构成为包括CPU2701（中央处理装置：CentralProcessingUnit）、DSP2702（数字信号处理器：DigitalSignalProcessor）、ENC/DEC2703（编码器/解码器：Encoder/Decoder）、VIF2704（视频接口：VideoInterface）、PERI2705（外围设备接口：PeripheralInterface）、NIF2706（网络接口：NetworkInterface）、MIF2707（存储器接口：MemoryInterface）、RAM/ROM2708（随机存取存储器/只读存储器：RandomAccessMemory/ReadOnlyMemory）。

在各个实施方式中说明的处理步骤被作为程序代码存储在RAM/ROM2708中。并且，被存储在RAM/ROM2708中的程序代码通过MIF2707被读出，并由CPU2701或者DSP2702执行。由此，能够实现在各个实施方式中说明的图像处理装置的功能。

并且，VIF2704与照相机（L）2712和照相机（R）2713等摄像装置、或LCD2714（液晶显示器：LiquidCrystalDisplay）等显示装置连接，进行立体视觉图像或者立体视觉影像的取得或者输出。并且，ENC/DEC2703进行所取得或者生成的立体视觉图像或者立体视觉影像的编码/解码。并且，PERI2705与TouchPanel（触摸屏）2710等操作装置连接，进行这些外围设备的控制。并且，NIF2706与MODEM（调制解调器）2709等连接，实现与外部网络的连接。

该封装体被装配在各种装置中以供使用，由此各种装置实现在各个实施方式中示出的各种功能。并且，集成电路化的方法不限于LSI，也可以利用专用电路或者通用处理器来实现。也可以采用在制作LSI后能够编程的现场可编程门阵列（FPGA：FieldProgrammableGateArray）、能够重构架LSI内部的电路单元的连接和设定的可重构处理器（reconfigurableprocessor）。另外，如果伴随半导体技术的发展或利用派生的其他技术替换LSI的集成电路化的技术问世，当然也可以使用该技术进行功能单元的集成化。还存在适用生物技术等的可能性。

另外，在此是形成为LSI，但根据集成度的不同，有时也称为IC、系统LSI、超级(super)LSI、特级(ultra)LSI。

（c）本发明也能够作为具有上述各个实施方式记载的图像处理装置的数字电视机、移动电话设备、个人电脑等三维图像显示装置来实现。并且，也能够作为具有上述各个实施方式记载的图像处理装置的BD播放器、DVD播放器等再现设备来实现。在这种情况下，作为处理对象的二维图像及深度图像是通过广播电波或者网络等取得的。

（d）在上述实施方式中说明了像素插补部通过线性插补来对像素缺失区域进行插补的情况，但本发明不限于这种情况。例如，也可以通过双三次插值来对像素缺失区域进行插补，该双三次插值是使用待插补的附近16像素的值进行三维插补来确定像素的值。

（e）在上述实施方式中说明了复杂度计算部计算邻接像素的像素值的差分的绝对值的总和作为复杂度的特征量的情况，但本发明不限于这种情况。例如，也可以对图像数据进行频率变换，计算其高频成分作为复杂度的特征量。

（f）在上述实施方式4中说明了参照前一帧的复杂度来进行边缘位置的移动处理的情况，但本发明不限于这种情况。例如，也可以参照前面多个帧的复杂度来进行边缘位置的移动处理。

（g）在上述实施方式6中说明了通过高斯滤波使边缘变平滑的情况，但本发明不限于这种情况。例如，也可以通过中值滤波使深度图像的边缘位置变平滑。

（h）在上述实施方式中说明了深度图像是利用0～255的256灰度的亮度来表示各个像素的进深的灰度图像的情况，但本发明不限于这种情况。例如，也可以是利用0～127的128灰度的亮度来进行表示的灰度图像。

（i）在上述实施方式中说明了将从视听者到显示画面的距离S设为显示画面的高度H的3倍（3H）来计算像素移位量的情况，但本发明不限于这种情况。例如，也可以利用TOF（TimeofFlight：飞行时间）型传感器等距离传感器来计算从视听者到显示画面的距离S。

（j）在上述实施方式中说明了将瞳孔间距离e设为成人男性的平均值6.4cm来计算像素移位量的情况，但本发明不限于这种情况。例如，也可以判别视听者是大人还是小孩、是男性还是女性，根据与其对应的瞳孔间距离e来计算像素移位量。

（k）也可以将上述实施方式及上述变形例进行各种组合。

产业上的可利用性

根据本发明的图像处理装置，使深度图像的进深的值不连续地变化的边缘位置移动，并根据边缘位置进行移动后的深度图像进行原来的图像数据的像素的坐标的移位以及像素缺失区域的插补，因而能够对通过像素移位处理而产生的像素缺失区域进行插补，而不会产生引起视听者注意的前景对象的模糊变形，能够生成与原来的图像数据不同的视点的图像，因此是有益的发明。

标号说明

100图像处理装置；101深度图像变换部；102像素移位部；103像素插补部；1101深度图像生成部；1201复杂度计算部；1701复杂度存储部；1901处理范围选择部；2301操作部；2302寄存器；2601判定部。

Claims (14)

1.一种图像处理装置，通过使原始的图像数据中的像素的坐标移位，得到产生由深度图像数据所表示的进深的多视点的视点图像数据，其特征在于，

深度图像数据由包括多个像素的像素区域构成，深度图像数据中的各个像素的值表示原始的图像数据中的各个像素的进深，

所述图像处理装置具有：

深度图像数据变更单元，从构成所述深度图像数据的像素区域的内部检测构成被摄体的边缘部分的边缘像素组，使由该边缘像素组包围的像素的坐标向规定的方向移动，由此变更深度图像数据；

像素移位单元，使用由所述深度图像数据变更单元进行变更后的深度图像数据所表示的进深，确定产生该进深的视差量，按照与该视差量对应的像素数使原始的图像数据中的像素的坐标移位，由此生成与所述原始的图像数据不同的视点的图像数据；以及

像素插补单元，对所述生成的视点图像数据的区域之中的通过像素移位而产生的遮挡区域进行插补，

所述遮挡区域出现在多个视点图像数据所表现的被摄体像的右半身和左半身之中的一侧的边缘部分，在被摄体像的边缘部分和遮挡区域之间存在与视差量相对应的线宽的后景像素区域，

所述插补处理是通过将后景像素区域的像素值和存在于其相反侧的后景像素的像素值线性地内插至遮挡区域来进行的。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述深度图像数据变更单元，使由边缘像素组包围的像素的坐标向被所述深度图像数据的边缘隔开的前景区域、后景区域之中的后景区域侧移动。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述图像处理装置还具有复杂度计算单元，该复杂度计算单元计算原始的图像数据中所摄入的被摄体的复杂度，

所述深度图像数据变更单元，以后景的区域的复杂度为规定的值以下为条件来执行动作。

4.根据权利要求2所述的图像处理装置，其特征在于，

所述图像处理装置还具有复杂度计算单元，该复杂度计算单元计算原始的图像数据中所摄入的被摄体的复杂度，

所述深度图像数据变更单元，以前景的区域的复杂度高于后景的区域的复杂度为条件来执行动作。

5.根据权利要求2所述的图像处理装置，其特征在于，

所述图像处理装置还具有复杂度存储单元，该复杂度存储单元存储规定帧之前的原始的图像数据中的复杂度，

所述深度图像数据变更单元，以规定帧之前的原始的图像数据中的前景区域的复杂度为规定的值以上为条件来执行动作。

6.根据权利要求1所述的图像处理装置，其特征在于，

所述深度图像数据变更单元检测与在水平方向上邻接的像素之间的进深的值的差分为规定的值以上的像素，作为所述深度图像数据的边缘。

7.根据权利要求6所述的图像处理装置，其特征在于，

所述图像处理装置还具有寄存器，该寄存器存储用于确定所述深度图像数据中的边缘的参数，

所述深度图像数据变更单元将与在水平方向上邻接的像素之间的进深的值的差分和在所述寄存器中存储的参数进行比较，由此检测所述深度图像数据的边缘。

8.根据权利要求7所述的图像处理装置，其特征在于，

所述图像处理装置还具有受理用户操作的操作单元，

所述寄存器存储的用于确定所述深度图像数据中的边缘的参数，是通过来自所述操作单元的用户输入而设定的。

9.根据权利要求7所述的图像处理装置，其特征在于，

所述图像处理装置还具有判定原始的图像数据的类别的判定单元，

所述寄存器存储的用于确定所述深度图像数据中的边缘的参数，是根据由所述判定单元判定的图像数据的类别而确定的。

10.根据权利要求6所述的图像处理装置，其特征在于，

所述深度图像数据变更单元还在进行由所述边缘像素组包围的像素的坐标的移动后，对由所述边缘像素组包围的像素进行平滑处理。

11.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置还具有寄存器，该寄存器存储用于确定使所述深度图像的像素的坐标移动的像素数的参数，

所述深度图像数据变更单元使所述深度图像数据的由边缘像素组包围的像素的坐标，向规定的方向移动由所述寄存器中存储的参数所表示的像素数。

12.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置还具有处理范围选择单元，该处理范围选择单元选择所述深度图像数据之中进行深度图像变更的图像范围，

所述深度图像数据变更单元，针对由处理范围选择单元所选择的图像范围来执行动作。

13.一种图像处理方法，通过使原始的图像数据中的像素的坐标移位，得到产生由深度图像数据所表示的进深的多视点的视点图像数据，其特征在于，

深度图像数据由包括多个像素的像素区域构成，深度图像数据中的各个像素的值表示原始的图像数据中的各个像素的进深，

所述图像处理方法包括：

深度图像数据变更步骤，从构成所述深度图像数据的像素区域的内部检测构成被摄体的边缘部分的边缘像素组，使由该边缘像素组包围的像素的坐标向规定的方向移动，由此变更深度图像数据；

像素移位步骤，使用由所述深度图像数据变更步骤进行变更后的深度图像数据所表示的进深，确定产生该进深的视差量，按照与该视差量对应的像素数使原始的图像数据中的像素的坐标移位，由此生成与所述原始的图像数据不同的视点的图像数据；以及

像素插补步骤，对所述生成的视点图像数据的区域之中的通过像素移位而产生的遮挡区域进行插补，

所述遮挡区域出现在多个视点图像数据所表现的被摄体像的右半身和左半身之中的一侧的边缘部分，在被摄体像的边缘部分和遮挡区域之间存在与视差量相对应的线宽的后景像素区域，

所述插补处理是通过将后景像素区域的像素值和存在于其相反侧的后景像素的像素值线性地内插至遮挡区域来进行的。

14.一种集成电路，在图像处理中使用，该图像处理通过使原始的图像数据中的像素的坐标移位，得到产生由深度图像数据所表示的进深的多视点的视点图像数据，其特征在于，

深度图像数据由包括多个像素的像素区域构成，深度图像数据中的各个像素的值表示原始的图像数据中的各个像素的进深，

所述集成电路具有：

深度图像数据变更单元，从构成所述深度图像数据的像素区域的内部检测构成被摄体的边缘部分的边缘像素组，使由该边缘像素组包围的像素的坐标向规定的方向移动，由此变更深度图像数据；

像素移位单元，使用由所述深度图像数据变更单元进行变更后的深度图像数据所表示的进深，确定产生该进深的视差量，按照与该视差量对应的像素数使原始的图像数据中的像素的坐标移位，由此生成与所述原始的图像数据不同的视点的图像数据；以及

像素插补单元，对所述生成的视点图像数据的区域之中的通过像素移位而产生的遮挡区域进行插补，

所述遮挡区域出现在多个视点图像数据所表现的被摄体像的右半身和左半身之中的一侧的边缘部分，在被摄体像的边缘部分和遮挡区域之间存在与视差量相对应的线宽的后景像素区域，

所述插补处理是通过将后景像素区域的像素值和存在于其相反侧的后景像素的像素值线性地内插至遮挡区域来进行的。