CN103716610A - 多视点图像生成装置以及方法 - Google Patents

Abstract

本发明提供一种能够不受遮蔽的影响，得到没有失真的多视点图像信号的多视点图像生成装置以及方法。视点位置判定部（61）判定视点排列信号表示的视点接近左眼视点和右眼视点的哪一个。系数发生部（62）基于视点排列信号来发生系数。选择部（63）选择左眼视点图像信号和右眼视点图像信号的某一个。选择部（64）选择左眼视点深度值（DPT_L）和右眼视点深度值（DPT_R）的某一个。乘法器（65）在左眼视点深度值（DPT_L）或右眼视点深度值（DPT_R）上乘以系数。像素迁移部（66）根据从乘法器（65）输出的深度值，对左眼视点图像信号以及右眼视点图像信号进行像素迁移，生成多视点图像信号。

Description

多视点图像生成装置以及方法

技术领域

本发明涉及基于2视点的图像信号生成3视点以上的多视点图像信号的多视点图像生成装置以及方法。

背景技术

例如在专利文献1中提出了基于左眼视点图像信号和右眼视点图像信号的2视点的图像信号生成3视点以上的多视点图像信号的多视点图像生成装置。在专利文献1中记载的多视点图像生成装置中，生成表示从2视点的图像信号中提取出的视点图像间的视差的视差图，使用视差图生成多视点图像信号。

专利文献1：日本特开2001-346226号公报

发明内容

在2视点的图像中，存在从一个视点能够看见但从另一视点无法看见的区域，即存在所谓的遮蔽。因此，存在无法根据2视点的图像信号生成适当的视差图，在使用视差图生成的多视点图像信号中产生失真的问题。

鉴于这种问题，本发明目的在于提供一种能够不受遮蔽的影响地得到没有失真的多视点图像信号的多视点图像生成装置以及方法。

本发明为了解决上述现有技术的问题，提供多视点图像生成装置，其中，具备：基本深度模型生成部（1），其生成表示预定的场景构造的画面内的深度值的基本深度模型；左眼视点图像对象信息生成部（2），其基于左眼视点图像信号推测图像内的被摄体的凹凸信息，生成左眼视点凹凸值；右眼视点图像对象信息生成部（3），其基于右眼视点图像信号推测图像内的被摄体的凹凸信息，生成右眼视点凹凸值；第一加法器（4），其将所述基本深度模型和所述左眼视点凹凸值相加，生成左眼视点深度值；第二加法器（5），其将所述基本深度模型和所述右眼视点凹凸值相加，生成右眼视点深度值；视点排列信号生成部（7），其根据画面内的像素的位置，生成表示是多个视点中的哪个视点的视点排列信号；以及多视点图像信号生成部（6），其基于所述左眼视点图像信号、所述右眼视点图像信号、所述左眼视点深度值、所述右眼视点深度值、所述视点排列信号，生成3视点以上的多视点图像信号，所述多视点图像信号生成部具有：视点位置判定部（61），其判定所述视点排列信号表示的视点接近左眼视点和右眼视点的哪一个；系数发生部（62），其基于所述视点排列信号，在所述左眼视点或所述右眼视点的右侧的视点，发生随着从所述左眼视点或所述右眼视点远离而向正方向增大的系数，在所述左眼视点或所述右眼视点的左侧的视点，发生随着从所述左眼视点或所述右眼视点远离而向负方向增大的系数；第一选择部（63），其基于所述视点位置判定部的判定结果，选择所述左眼视点图像信号和所述右眼视点图像信号的某一个；第二选择部（64），其基于所述视点位置判定部的判定结果，选择所述左眼视点深度值和所述右眼视点深度值的某一个；乘法器（65），其在通过所述第二选择部选择的所述左眼视点深度值或所述右眼视点深度值上乘以所述系数发生部所发生的系数；以及像素迁移部（66），其根据从所述乘法器输出的深度值，对通过所述第一选择部选择的所述左眼视点图像信号以及所述右眼视点图像信号进行像素迁移，生成多视点图像信号。

在上述多视点图像生成装置中，理想的是所述基本深度模型生成部，从作为基本的表示多个场景构造的各自的画面内的深度值的多个基本深度模型中选择任意一个，或者组合所述多个基本深度模型来生成基本深度模型。

在上述多视点图像生成装置中，理想的是所述基本深度模型生成部，根据画面内的预定区域中包含的高频成分的程度，从所述多个基本深度模型中选择任意一个，或者组合所述多个基本深度模型。

在上述多视点图像生成装置中，理想的是所述左眼视点图像对象信息生成部以及所述右眼视点图像对象信息生成部分别基于红色信号来推测所述被摄体的凹凸信息。

另外，本发明为了解决上述现有技术的问题，提供一种多视点图像生成方法，其中，基于左眼视点图像信号推测图像内的被摄体的凹凸信息，生成左眼视点凹凸值；基于右眼视点图像信号推测图像内的被摄体的凹凸信息，生成右眼视点凹凸值；将表示预定的场景构造的画面内的深度值的基本深度模型和所述左眼视点凹凸值相加，生成左眼视点深度值；将所述基本深度模型和所述右眼视点凹凸值相加，生成右眼视点深度值；根据画面内的像素的位置，生成表示是多个视点中的哪个视点的视点排列信号；判定所述视点排列信号表示的视点接近左眼视点和右眼视点的哪一个；基于所述视点排列信号，在所述左眼视点或所述右眼视点的右侧的视点，发生随着从所述左眼视点或所述右眼视点远离而向正方向增大的系数，在所述左眼视点或所述右眼视点的左侧的视点，发生随着从所述左眼视点或所述右眼视点远离而向负方向增大的系数；基于接近左眼视点和右眼视点的哪一个的判定结果，选择所述左眼视点图像信号和所述右眼视点图像信号的某一个；基于所述判定结果，选择所述左眼视点深度值和所述右眼视点深度值的某一个；在所选择的所述左眼视点深度值或所述右眼视点深度值上乘以所述系数；根据乘以所述系数而得的所述左眼视点深度值或所述右眼视点深度值，对所述左眼视点图像信号以及所述右眼视点图像信号进行像素迁移，生成多视点图像信号。

根据本发明的多视点图像生成装置以及方法，能够不受遮蔽的影响地得到没有失真的多视点图像信号。

附图说明

图1是表示一个实施方式的多视点图像生成装置的框图。

图2是表示图1中的基本深度模型生成部1生成的基本深度模型（类型1）的立体构造的一例的图。

图3是表示图1中的基本深度模型生成部1生成的基本深度模型（类型2）的立体构造的一例的图。

图4是表示图1中的基本深度模型生成部1生成的基本深度模型（类型3）的立体构造的一例的图。

图5是表示图1中的基本深度模型生成部1合成基本深度模型时的合成比例决定条件的一例的图。

图6是表示显示多视点图像信号的立体图像显示装置的图。

图7是用于说明7视点的多视点图像信号的视点位置的例子的图。

图8是表示根据观看立体图像显示装置的面部的位置可以观看的视点位置的例子的图。

图9是表示图1中的多视点图像信号生成部6的具体的结构例的框图。

图10是用于说明图9中的视点位置判定部61中的判定动作的图。

图11是用于说明图9中的系数发生部62发生的系数的图。

符号说明

1基本深度模型生成部

2左眼视点图像对象信息生成部

3右眼视点图像对象信息生成部

4、5加法器

6多视点图像信号生成部

7视点排列信号生成部

61视点位置判定部

62系数发生部

63、64选择部

65乘法器

66像素迁移部

具体实施方式

以下，参照附图说明一个实施方式的多视点图像生成装置以及方法。如图1所示，一个实施方式的多视点图像生成装置具备：基本深度模型生成部1、左眼视点图像对象信息生成部2、右眼视点图像对象信息生成部3、加法器4、加法器5、多视点图像信号生成部6以及视点排列信号生成部7。

基本深度模型生成部1例如存储图2～图4所示那样的基本深度模型。将图2～图4所示的基本深度模型分别设为类型1、类型2、类型3。图2、图3、图4分别表示基本深度模型的类型1、类型2、类型3的立体构造的一例。图2、图3所示的类型1、类型2的基本深度模型是凹面类型的基本深度模型。图4所示的类型3的基本深度模型是非凹面的平面类型的基本深度模型。

所谓基本深度模型是用于决定画面全体的视差值的模型。基本深度模型是用于将平面上的各个像素向图2～图4所示那样的非平面形状的特性具有的超出方向或进入方向（深度方向）迁移的数据。基本深度模型生成部1可以预先存储基本深度模型，也可以通过计算来发生。基本深度模型作为一例，可以由通过从白到黑的灰阶来表现超出方向或深度方向的亮度信号构成。

向基本深度模型生成部1输入左眼视点图像信号和右眼视点图像信号。基本深度模型生成部1基于左眼视点图像信号或右眼视点图像信号，或者基于左眼视点图像信号以及右眼视点图像信号来选择类型1～3的某一种基本深度模型。基本深度模型生成部1可以对类型1～3的基本深度模型中的2个或全部进行合成。

基本深度模型生成部1例如如下这样选择或合成基本深度模型。基本深度模型生成部1评价各个帧的上部约20％的区域中含有多大程度的高频成分（预定统计量）。具体来说，基本深度模型生成部1将上部约20％的区域分割为水平8像素、垂直8像素的块，在各个块中计算如下的式（1），将块的平均设为上部高频成分评价值top_act。

[数学式1]

$\underset{i,j}{\mathrm{\Σ}}\left(\right|Y(i,j)-Y(i+2,j)|+|Y(i,j)-Y(i,j+2)\left|\right)...\left(1\right)$

另外，基本深度模型生成部1评价在各个帧的下部约20％的区域中含有多大程度的高频成分（预定统计量）。同样，基本深度模型生成部1将下部约20％的区域分割为水平8像素、垂直8像素的块，在各个块中计算上述的式（1），将块的平均设为下部高频成分评价值bottom_act。

在此，对帧的上部约20％的区域和下部约20％的区域各自的高频成分进行了评价，但是只要适当设定区域的范围以及位置即可。预定统计量不限于高频成分。但是，优选对高频成分进行评价。

并且，基本深度模型生成部1根据上部高频成分评价值top_act以及下部高频成分评价值bottom_act各个值，以预定的合成比例合成类型1～3的基本深度模型。合成比例有时为0，因此，所谓合成也包含仅使用类型1～3中的某一个的情况。作为一例，基本深度模型生成部1按照图5所示的合成比例决定条件合成类型1～3的基本深度模型。图5的横轴是上部高频成分评价值top_act，纵轴是下部高频成分评价值bottom_act。

如图5所示，若下部高频成分评价值bottom_act为预定的值bms以下，则基本深度模型生成部1与上部高频成分评价值top_act的值无关地使用类型3的基本深度模型。即，将类型1、2的合成比例设为0。

若下部高频成分评价值bottom_act比值bms大，在预定的值bml以下，则基本深度模型生成部1根据上部高频成分评价值top_act的值，如以下这样合成类型1～3。若上部高频成分评价值top_act在预定的值tps以下，则基本深度模型生成部1将类型1的合成比例设为0，合成类型2和类型3。

若上部高频成分评价值top_act比值tps大，在预定的值tpl以下，则基本深度模型生成部1合成类型1～3。若上部高频成分评价值top_act比tpl大，则基本深度模型生成部1将类型2的合成比例设为0，合成对类型1和类型3。

若下部高频成分评价值bottom_act比值bml大，则基本深度模型生成部1根据上部高频成分评价值top_act的值如以下这样合成类型1～3。若上部高频成分评价值top_act在值tps以下，则基本深度模型生成部1将类型1、3的合成比例设为0，使用类型2的基本深度模型。

若上部高频成分评价值top_act比值tps大，在值tpl以下，则基本深度模型生成部1将类型3的合成比例设为0，合成类型1和类型2。若上部高频成分评价值top_act比值tpl大，则基本深度模型生成部1将类型2、3的合成比例设为0，使用类型1的基本深度模型。

基本深度模型生成部1如上所述，生成并输出表示按照图5所示的合成比例决定条件合成的画面全体的视差值的数据、即基本深度模型值DPT_MDL。基本深度模型值DPT_MDL当为正值时表示是超出方向的深度信号，当为负值时表示是进入方向的深度信号。

根据上部高频成分评价值top_act以及下部高频成分评价值bottom_act来合成多个类型的基本深度模型的结构不是必需的结构，然而是优选的结构。使用至少1个类型的基本深度模型来生成基本深度模型值DPT_MDL即可。

左眼视点图像对象信息生成部2根据输入的左眼视点图像信号的特征，以像素单位推测图像内的被摄体的凹凸信息，生成并输出左眼视点凹凸值DPT_EMBS_L。在本实施方式中，基于红色信号（R信号）生成左眼视点凹凸值DPT_EMBS_L。

使用R信号的理由之一是因为在接近顺光的环境下、并且画面内的亮度相差不大的条件下，R信号的大小与被摄体的凹凸的程度一致的概率高。其它的理由之一是因为红色等暖色是色彩学中的前进色，与冷色相比更容易被识别为深度方向的近前。

左眼视点图像对象信息生成部2基于如下的式（2）计算左眼视点凹凸值DPT_EMBS_L。式（2）中的R_LEFT表示左眼视点图像信号的R信号。若设R信号为8比特0～255的范围的值，则当R_LEFT的值为128时，左眼视点凹凸值DPT_EMBS_L成为0。

DPT_EMBS_L=R_LEFT-128       …（2）

右眼视点图像对象信息生成部2基于如下的式（3）计算右眼视点凹凸值DPT_EMBS_R。式（3）中的R_RIGHT表示右眼视点图像信号的R信号。同样地，R_RIGHT的值为128时，右眼视点凹凸值DPT_EMBS_R成为0。

DPT_EMBS_R=R_RIGHT-128       …（3）

在本实施方式中，为了计算左眼视点凹凸值DPT_EMBS_L以及右眼视点凹凸值DPT_EMBS_R而使用了R信号，但是不限于R信号。可以根据绿色信号（G信号）或蓝色信号（B信号）、或者G信号和B信号的组合来求出左眼视点凹凸值DPT_EMBS_L以及右眼视点凹凸值DPT_EMBS_R，也可以根据亮度信号来求出。

加法器4根据式（4）将从基本深度模型生成部1输出的基本深度模型值DPT_MDL和从左眼视点图像对象信息生成部2输出的左眼视点凹凸值DPT_EMBS_L相加，生成左眼视点深度值DPT_L。

DPT_L=DPT_MDL+DPT_EMBS_L    …（4）

加法器5根据式（5）将从基本深度模型生成部1输出的基本深度模型值DPT_MDL和从右眼视点图像对象信息生成部3输出的右眼视点凹凸值DPT_EMBS_R相加，生成右眼视点深度值DPT_R。

DPT_R=DPT_MDL+DPT_EMBS_R      …（5）

向多视点图像信号生成部6输入左眼视点图像信号、右眼视点图像信号、左眼视点深度值DPT_L、右眼视点深度值DPT_R以及从视点排列信号生成部7输出的视点排列信号。向视点排列信号生成部7输入水平同步信号Hsync以及垂直同步信号Vsync。视点排列信号生成部7基于水平同步信号Hsync以及垂直同步信号Vsync生成表示与画面内的像素的位置对应的视点的视点排列信号。

多视点图像信号生成部6基于左眼视点深度值DPT_L、右眼视点深度值DPT_R和视点排列信号，对左眼视点图像信号或右眼视点图像信号进行像素迁移，由此生成并输出多视点图像信号。

使用图6说明通过视点排列信号生成部7生成的视点排列信号。图6表示显示多视点图像信号的立体图像显示装置。立体图像显示装置例如具有在液晶面板等显示面板10上粘贴了倾斜排列了多个柱面透镜20s所得的柱状透镜20的结构。在此，为了简化仅表示了2个柱面透镜20s，但是，柱状透镜20覆盖显示面板10的像素Px存在的部分的整体。

如图6所示，在显示面板10中，在水平方向上排列n个像素Px，在垂直方向上排列m个像素。在此，为了简化而部分地表示了像素Px。一个像素Px由R、G、B的子像素Spx构成。R、G、B的子像素Spx，在垂直方向上相同颜色的子像素Spx并排地排列成条带状。

这样构成的立体图像显示装置是所谓的裸眼立体显示装置，通过柱状透镜20在不同方向上提示多视点图像信号，由此实现裸眼的立体图像的显示。图6所示的各个子像素Spx上表示的数字，表示将多视点图像信号设为7视点的图像信号时的视点的编号。该视点的编号相当于通过视点排列信号生成部7生成的视点排列信号。

使用图7说明7视点的多视点图像信号的视点位置的例子。如图7所示，将摄像机30配置在图示的位置来拍摄相同被摄体的情况下的各个摄像机30的位置成为视点位置sp1～sp7。实际上将摄像机30配置在各个视点位置sp1～sp7来拍摄被摄体并不容易，因此，例如仅将摄像机30配置在实线所示的视点位置sp3、sp4，用2个视点进行拍摄来得到2视点的图像信号。通过视点位置sp3的摄像机30拍摄的图像信号为右眼视点图像信号，通过视点位置sp4的摄像机30拍摄的图像信号为左眼视点图像信号。

然后，通过后述的多视点图像信号生成部6，基于2视点的图像信号（左眼视点图像信号以及右眼视点图像信号）生成视点位置sp1～sp7的各个视点的图像信号，生成7视点的多视点图像信号。在此，将视点位置sp3设为右眼视点，将视点位置sp4设为左眼视点，但这仅是简单的一例。

通过使图6所示的立体图像显示装置的显示面板10的附加了“1”～“7”的子像素Spx显示视点位置sp1～sp7的各个视点的图像信号，显示7视点的立体图像。

具体来说，如图8所示，当面部位于位置Pa时可以看到视点位置sp1、sp2的视点的图像，当面部位于位置Pb时可以看到视点位置sp2、sp3的视点的图像，当面部位于位置Pc时可以看到视点位置sp3、sp4的视点的图像，当面部位于位置Pd时可以看到视点位置sp4、sp5的视点的图像。当面部位于位置Pe时可以看到视点位置sp5、sp6的视点的图像，当面部位于位置Pf时可以看到视点位置sp6、sp7的视点的图像。

在图6中，在显示面板10上以柱面透镜20s倾斜的方式配置了柱状透镜20，但是配置的角度不限于倾斜。多视点图像信号的视点数不限定于7视点。对于各个子像素Spx的视点的分配不限于图6所示的分配。在柱状透镜20以外，可以使用狭缝型的障壁或透镜阵列，只要是在显示面板10上配置了实现立体视的光学部件的结构即可。

使用图9说明多视点图像信号生成部6的具体结构例。在图9中，从视点排列信号发生部7输出的视点排列信号被输入视点位置判定部61以及系数发生部62。在7视点的多视点图像信号的情况下，R、G、B可以分别用3比特表现视点的编号，因此，视点排列信号设为9比特的数字值即可。此外，在视点位置判定部61以及系数发生部62中预先设定了基于左眼视点图像信号以及右眼视点图像进行多视点化时的视点位置，以及哪个视点位置是右眼视点和左眼视点。

视点位置判定部61判定通过像素迁移部66生成的各个视点的图像信号接近左眼视点图像的位置和右眼视点图像的位置的哪一个位置。使用图10说明视点位置判定部61中的判定。如图7中说明的那样，视点位置sp3为右眼视点，视点位置sp4为左眼视点。在图10中将视点位置sp3设为spR，将视点位置sp4设为spL。视点位置判定部61当视点排列信号为1～3时判定为接近右眼视点，当视点排列信号为4～7时判定为接近左眼视点。

右眼视点的视点位置spR和左眼视点的视点位置spL被设定为视点位置sp3、sp4以外的情况下也相同，根据视点排列信号1～7接近视点位置spR和左眼视点的视点位置spL的哪一个，将视点位置设定为左或右的某一个。表示视点位置判定部61的视点位置的左右的判定结果的信息被输入选择部63、64。

选择部63基于所输入的表示视点位置的左右的判定结果的信息，在视点位置被判定为左时选择左眼视点图像信号来输出，在视点位置被判定为右时选择右眼视点图像信号来输出。同样地，选择部64基于所输入的表示视点位置的左右的判定结果的信息，当视点位置被判定为左时选择左眼视点深度值DPT_L来输出，当视点位置被判定为右时选择右眼视点深度值DPT_R来输出。

系数发生部62根据视点排列信号表示的视点位置来发生系数。具体来说，根据通过像素迁移部66生成的多视点图像信号中的各个视点位置与左眼视点图像或右眼视点图像的视点位置的距离，发生使左眼视点深度值DPT_L或右眼视点深度值DPT_R增减的系数。

使用图11的（a）说明在右眼视点的视点位置spR被设定为视点位置sp3，左眼视点的视点位置spL被设定为sp4的情况下，系数发生部62发生的系数。在图11的（a）～（c）中，横轴表示视点排列信号所示的视点的1～7，纵轴表示系数。在纵轴中，在系数为1的位置上方，系数为比0大的正值，在系数为0的下方，系数为比0小的负值。

在图11的（a）中，视点位置sp3、sp4分别是右眼视点、左眼视点，因此，在视点排列信号表示视点位置sp3的情况下，为使通过选择部63选择的右眼视点像素信号不通过像素迁移部66被迁移，需要将通过选择部64选择的左眼视点深度值DPT_L或右眼视点深度值DPT_R设为0，在视点排列信号表示视点位置sp4的情况下，为使通过选择部63选择的左眼视点像素信号不通过像素迁移部66被迁移，需要将通过选择部64选择的左眼视点深度值DPT_L或右眼视点深度值DPT_R设为0。因此，系数发生部62如图11的（a）所示，在视点排列信号表示视点位置sp3、sp4的情况下，作为系数而发生0。

在视点排列信号表示视点位置sp2、sp1的情况下，视点位置sp2位于视点位置sp3的外侧（右侧），视点位置sp1位于视点位置sp2的外侧，因此，右眼视点深度值需要随着从视点位置sp3远离而增大。因此，在视点排列信号表示视点位置sp2、sp1的情况下，如图11的（a）所示，系数发生部62发生随着从视点位置sp3远离而向正方向增大的系数。

在视点排列信号表示视点位置sp5～sp7的情况下，视点位置sp5位于视点位置sp4的外侧（左侧），视点位置sp6位于视点位置sp5的外侧，视点位置sp7位于视点位置sp6的外侧，因此，左眼视点深度值需要随着从视点位置sp4远离而增大。因此，在视点排列信号表示sp5～sp7的情况下，如图11的（a）所示，系数发生部62发生随着从视点位置sp4远离而向负方向依次增大的系数。

在图11的（a）中，视点位置sp5～sp7的系数变为负，这是因为在生成左侧的视点的图像的情况下，与生成右侧的视点的图像的情况相比，与深度值的符号对应的迁移方向的左右关系逆转。即，当生成比原始图像靠右侧的视点图像时，针对比画面靠前显示的图像（深度值>0），使对应部分的网纹（texture）向左侧移动与深度值对应的量，以使越近的物体越在观看图像的人的左侧看见。但是，在生成比原始图像靠左侧的视点的图像时，当使对应部分的网纹向左侧移动时，使其比画面靠后显示。

同样地，针对比画面靠后显示的图像（深度<0），使对应部分的网纹向右侧移动与深度值对应的量，以使越远的物体越在观看图像的人的右侧看见。但是，在生成比原始图像靠左侧的视点的图像时，当使对应部分的网纹向右侧移动时，比画面靠前显示。因此，在通过像素迁移部66生成的图像生成比原始图像靠左侧的视点的图像时，需要以使深度值的符号反转的方式来发生系数。

图11的（b）表示在右眼视点的视点位置spR被设定为视点位置sp3，左眼视点的视点位置spL被设定为视点位置sp5的情况下，系数发生部62发生的系数。在这种情况下，视点位置sp4位于视点位置sp3的内侧（左侧），因此，为了生成右眼视点图像信号左侧的视点的图像，在视点位置sp4以使右眼视点深度值DPT_R的符号反转的方式发生负的值的系数。另外，视点位置sp4位于视点位置sp5的内侧（右侧），为了生成左眼视点图像信号右侧的视点的图像，在视点位置sp4可以以使左眼视点深度值DPT_L的符号不反转的方式发生系数。

此外，在生成视点位置sp4的图像信号的情况下，像素迁移部66可以基于左眼视点图像和右眼视点图像的某个来生成视点位置sp4的图像信号。因此，视点位置判定部61可以将视点位置sp4判定为右眼视点，也可以判定为左眼视点，选择部63可以选择左眼视点图像信号，也可以选择右眼视点图像信号。在选择部63选择左眼视点图像信号的情况下，选择部64选择左眼视点深度值DPT_L，在选择部63选择右眼视点图像信号的情况下，选择部64选择右眼视点深度值DPT_R即可。

另外，如将右眼视点的视点位置spR设定为视点位置sp1，将左眼视点的视点位置spL设定为视点位置sp7的情况那样，在视点位置spR、spL的内侧存在多个视点位置的情况下，如图11（c）那样发生系数即可。

乘法器65在从选择部64输出的左眼视点深度值DPT_L或右眼视点深度值DPT_R上乘以如图11的（a）那样设定的系数，供给到像素迁移部66。视点位置sp1、sp2、sp5～sp7各自的系数的具体值适当设定即可。

像素迁移部66根据从乘法器65输出的深度值对从选择部63输出的左眼视点图像信号进行像素迁移，生成视点位置sp4～sp7各自的视点的图像信号。另外，像素迁移部66根据从乘法器65输出的深度值对从选择部63输出的右眼视点图像信号进行像素迁移，生成视点位置sp1～sp3各自的视点的图像信号。如上所述，像素迁移部66生成并输出视点位置sp1～sp7的多视点图像信号。

如上所述，根据本实施方式，通过仅根据左眼视点图像信号生成的左侧视点的图像信号、仅根据右眼视点图像信号生成的右侧视点的图像信号，生成了多视点图像信号，因此可以不受遮蔽的影响而得到没有失真的多视点图像信号。此外，所谓没有失真，表示不受遮蔽的影响的意义中的没有失真。并非意味着没有一切失真。

本发明不限于以上说明的本实施方式，在不脱离本发明的主旨的范围内能够进行各种变更。

Claims (5)

1.一种多视点图像生成装置，其特征在于，

具备：

基本深度模型生成部，其生成表示预定的场景构造的画面内的深度值的基本深度模型；

左眼视点图像对象信息生成部，其基于左眼视点图像信号推测图像内的被摄体的凹凸信息，生成左眼视点凹凸值；

右眼视点图像对象信息生成部，其基于右眼视点图像信号推测图像内的被摄体的凹凸信息，生成右眼视点凹凸值；

第一加法器，其将所述基本深度模型和所述左眼视点凹凸值相加，生成左眼视点深度值；

第二加法器，其将所述基本深度模型和所述右眼视点凹凸值相加，生成右眼视点深度值；

视点排列信号生成部，其根据画面内的像素的位置，生成表示是多个视点中的哪个视点的视点排列信号；以及

多视点图像信号生成部，其基于所述左眼视点图像信号、所述右眼视点图像信号、所述左眼视点深度值、所述右眼视点深度值、所述视点排列信号，生成3视点以上的多视点图像信号，

所述多视点图像信号生成部具有：

视点位置判定部，其判定所述视点排列信号表示的视点接近左眼视点和右眼视点的哪一个；

系数发生部，其基于所述视点排列信号，在所述左眼视点或所述右眼视点的右侧的视点，发生随着从所述左眼视点或所述右眼视点远离而向正方向增大的系数，在所述左眼视点或所述右眼视点的左侧的视点，发生随着从所述左眼视点或所述右眼视点远离而向负方向增大的系数；

第一选择部，其基于所述视点位置判定部的判定结果，选择所述左眼视点图像信号和所述右眼视点图像信号的某一个；

第二选择部，其基于所述视点位置判定部的判定结果，选择所述左眼视点深度值和所述右眼视点深度值的某一个；

乘法器，其在通过所述第二选择部选择的所述左眼视点深度值或所述右眼视点深度值上乘以所述系数发生部所发生的系数；以及

像素迁移部，其根据从所述乘法器输出的深度值，对通过所述第一选择部选择的所述左眼视点图像信号以及所述右眼视点图像信号进行像素迁移，生成多视点图像信号。

2.根据权利要求1所述的多视点图像生成装置，其特征在于，

所述基本深度模型生成部，从作为基本的表示多个场景构造的各自的画面内的深度值的多个基本深度模型中选择任意一个，或者组合所述多个基本深度模型来生成基本深度模型。

3.根据权利要求2所述的多视点图像生成装置，其特征在于，

所述基本深度模型生成部，根据画面内的预定区域中包含的高频成分的程度，从所述多个基本深度模型中选择任意一个，或者组合所述多个基本深度模型。

4.根据权利要求1至3中任意一项所述的多视点图像生成装置，其特征在于，

所述左眼视点图像对象信息生成部以及所述右眼视点图像对象信息生成部分别基于红色信号来推测所述被摄体的凹凸信息。

5.一种多视点图像生成方法，其特征在于，

基于左眼视点图像信号推测图像内的被摄体的凹凸信息，生成左眼视点凹凸值；

基于右眼视点图像信号推测图像内的被摄体的凹凸信息，生成右眼视点凹凸值；

将表示预定的场景构造的画面内的深度值的基本深度模型和所述左眼视点凹凸值相加，生成左眼视点深度值；

将所述基本深度模型和所述右眼视点凹凸值相加，生成右眼视点深度值；

根据画面内的像素的位置，生成表示是多个视点中的哪个视点的视点排列信号；

判定所述视点排列信号表示的视点接近左眼视点和右眼视点的哪一个；

基于所述视点排列信号，在所述左眼视点或所述右眼视点的右侧的视点，发生随着从所述左眼视点或所述右眼视点远离而向正方向增大的系数，在所述左眼视点或所述右眼视点的左侧的视点，发生随着从所述左眼视点或所述右眼视点远离而向负方向增大的系数；

基于接近左眼视点和右眼视点的哪一个的判定结果，选择所述左眼视点图像信号和所述右眼视点图像信号的某一个；

基于所述判定结果，选择所述左眼视点深度值和所述右眼视点深度值的某一个；

在所选择的所述左眼视点深度值或所述右眼视点深度值上乘以所述系数；

根据乘以所述系数而得的所述左眼视点深度值或所述右眼视点深度值，对所述左眼视点图像信号以及所述右眼视点图像信号进行像素迁移，生成多视点图像信号。

Images