CN103238341B - 图像处理装置、图像处理方法 - Google Patents

图像处理装置、图像处理方法 Download PDF

Info

Publication number
CN103238341B
CN103238341B CN201180058061.8A CN201180058061A CN103238341B CN 103238341 B CN103238341 B CN 103238341B CN 201180058061 A CN201180058061 A CN 201180058061A CN 103238341 B CN103238341 B CN 103238341B
Authority
CN
China
Prior art keywords
image
input
signal
visual point
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180058061.8A
Other languages
English (en)
Other versions
CN103238341A (zh
Inventor
小林诚司
山崎寿夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103238341A publication Critical patent/CN103238341A/zh
Application granted granted Critical
Publication of CN103238341B publication Critical patent/CN103238341B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

提供了一种借助于其能够通过简单的信号处理来生成新视点图像的结构。输入要应用于三维图像的右眼图像信号和左眼图像信号。右图像转换单元根据图像的特征在右方向或左方向上将相位变化应用至所输入的右眼图像信号，以生成转换图像。类似地，左图像转换单元根据图像的特征在左方向或右方向上将相位变化应用至所输入的左眼图像信号，以生成转换图像。将由右图像转换单元生成的图像和由左图像转换单元生成的图像输出为多个新视点图像。通过对输入图像信号加上或减去例如输入图像的亮度微分信号或亮度微分信号的非线性转换信号来生成转换图像。

Description

图像处理装置、图像处理方法
技术领域
本公开涉及图像处理装置、图像处理方法以及程序，尤其涉及例如借助于其对二维图像进行图像转换来生成能够用作3D(三维)图像的多视点图像的图像处理装置、图像处理方法以及程序。
背景技术
随着用户可以感知立体图像的3D电视的发展，用户不用配戴眼镜也可以看到立体图像的裸眼3D电视开始投入实际使用。使用裸眼3D电视，显示面具有例如透镜片或视差屏障(差异屏障)，以便通过观察位置来控制图像进入左眼和右眼。换言之，这种配置使得生成左眼图像和右眼图像，单独使用左眼来观察左眼图像并且单独使用右眼来观察右眼图像。
通过使用这种技术，抑制了进入左眼和进入右眼的图像变混淆的串扰现象，并且即使不配戴眼镜也能进行立体观测。
然而，使用这些方法，只有在关于显示器的限定观察位置处才可以获得正确的立体观测。因此，在用户的观察位置与规定的位置不同的情况下，会发生右眼图像进入左眼以及左眼图像进入右眼的幻视现象，或者发生右眼图像和左眼图像变混淆的串扰现象。
为解决此问题，提出有下述配置，所述配置中，除了生成与一个普通观察点对应的左眼图像和右眼图像之外，还从下述设置的新视点生成图像，在所述设置中，当从另一观察位置进行观察时不会发生串扰现象。换言之，使用与用户的各个观察位置对应的、根据用户的观察位置可选择的左眼图像和右眼图像来进行抑制幻视和串扰的图像显示。
具体地，基于原始输入给显示装置的双视点图像，即，基于左眼图像和右眼图像的双视点图像，进一步生成不同于这些双视点图像的视点图像。根据关于显示器的用户观察位置，可以根据原始的左眼图像和右眼图像，还有根据所生成的人造视点图像来对与用户观察位置相应的两个最佳图像进行匹配和显示，由此，使显示和观察能够抑制右眼图像和左眼图像变混淆的串扰。
将参考附图对处理的具体示例进行描述。
图1表示从两个不同的视点拍摄对象A和对象B时获得的图像。如图中所示，用左相机11拍摄的左图像21和用右相机12拍摄的右图像22的不同之处在于对象的位置，根据距相机的距离，右图像22中对象B藏在对象A的图像后面的部分比在左图像21中多。
图2表示从四个不同的视点(视点1至4)拍摄对象时获得的图像。从四个相机：视点1相机31、视点2相机32、视点3相机33以及视点4相机34来拍摄对象A和对象B。
由视点1相机31拍摄的图像为视点1的图像41；
由视点2相机32拍摄的图像为视点2的图像42；
由视点3相机33拍摄的图像为视点3的图像43；以及
由视点4相机34拍摄的图像为视点4的图像44；
如图中所示，当视点的个数增大并且各相机之间的距离增大时，视点1至视点4的图像中各对象的位置变化也增大。
在给进行3D图像显示的图像处理装置的输入图像仅为与视点2和视点3对应的两个图像的情况下，图像处理装置的多视点图像生成单元例如基于视点2的图像42来生成视点1的图像41并且利用视点3的图像43来虚假地生成视点4的图像44。
然而，在视点1的图像41中存在视点2的图像42中不包括的区域(对象B藏于对象A之后的区域)，则多视点图像生成单元需要通过图像处理来内插该区域。同样地，视点4的图像44中存在视点3的图像43中不包括的区域(藏于对象A之后的背景区域)，则该区域需要通过图像处理来进行内插。通常，将这种区域称为遮挡区域。
常规地，在将两个或更多个视点图像用于生成更大数目的视点图像的多视点生成技术的情况下提出有一种技术，该技术根据输入图像为每个像素或以块为单位来生成具有对象距离信息的图像深度信息，并且基于从图像深度信息获得的深度信息来生成不同的视点图像。
使用常规技术，将从深度信息获得的对象的位置转换为从待新生成的不同的视点位置获得的图像上的位置，从而投影出对象并生成新视点图像。
使用这种技术，可以从任何视点生成图像，但是新视点图像的图像质量影响深度信息的精度。因此，为了生成高精度的图像深度信息需要进行深度检测处理，并且因此，已经存在电路规模变大的问题。
而且如上所述，在存在与实际拍摄图像中隐藏的区域等同的遮挡区域的情况下，存在不能从像素图像中获得要新生成视点图像所必需的图像信息的情况。因此，存在不能对要新生成的视点图像的像素值进行设置的问题，从而导致图像中的洞。为了解决这种问题，图像内插技术是必须的，但是已经存在用于该内插处理的电路的这种必要性也导致增大的电路规模的问题。
发明内容
技术问题
如上所述，为了基于拍摄图像来从另一视点生成人造拍摄图像，用于获得高精度深度信息的深度检测处理电路以及用于遮挡区域的图像内插处理电路是必要的，这两种电路是导致装置的尺寸增大和成本增加的主要因素。
本公开提供一种图像处理装置、图像处理方法以及程序，由此解决例如如上问题，并且可以基于拍摄图像来从另一视点生成人造拍摄图像，使得深度检测处理和关于遮挡区域的处理变得不是必须或被简化。
问题的解决方案
本公开的第一方面是一种图像处理装置，包括：
右图像输入单元，配置为输入要应用于三维图像显示的针对右眼的图像信号；
左图像输入单元，配置为输入要应用于三维图像显示的针对左眼的图像信号；
右图像转换单元，配置为生成其中针对右眼的输入图像信号根据图像的特征受到右方向或左方向上的相位变化的转换图像；
左图像转换单元，配置为生成其中针对左眼的输入图像信号根据图像的特征受到左方向或右方向上的相位变化的转换图像；以及
图像输出单元，配置为将右图像转换单元的所生成的图像和左图像转换单元的所生成的图像输出为多个新视点图像。
另外，根据本公开的图像处理装置的实施方式，还包括：深度检测单元，配置为生成图像深度信息，图像深度信息具有与来自针对右眼的输入图像信号和针对左眼的输入图像信号中的每个图像信号对应的对象距离信息；其中，左眼图像转换单元和右眼图像转换单元以图像深度信息作为辅助信息来生成其中图像信号受到左方向或右方向上的相位变化的转换图像。
另外，根据本公开的图像处理装置的实施方式，还包括：深度估计单元，配置为生成与针对右眼的输入图像信号和针对左眼的输入图像信号中的每个图像信号对应的对象深度估计信息；其中，左图像转换单元和右图像转换单元以对象深度估计信息作为辅助信息来生成其中图像信号受到左方向或右方向上的相位变化的转换图像。
另外，根据本公开的图像处理装置的实施方式，左图像转换单元和右图像转换单元提取输入图像信号的亮度微分信号，将该亮度微分信号设置为特征量并且通过将输入图像信号加上或减去亮度微分信号或亮度微分信号的非线性转换信号来生成转换图像。
另外，根据本公开的图像处理装置的实施方式，左图像转换单元或右图像转换单元包括多级连接配置，由上游转换单元生成的转换图像被输入给下游图像转换单元，其中使输入图像信号受到相位变化的处理在每个图像转换单元处重复地执行，依次在每个图像转换单元处生成新的转换图像。
另外，根据本公开的图像处理装置的实施方式，左图像转换单元和右图像转换单元根据基于针对右眼的输入图像信号和针对左眼的输入图像信号所计算或估计的深度信息，计算最大距离与最小距离的对象之间的图像间距离差；并且生成新视点图像，其中根据该图像间距离差来控制从新视点图像和另一图像获得的最大距离与最小距离的对象之间的图像间距离差。
另外，根据本公开的图像处理装置的实施方式，左图像转换单元和右图像转换单元根据基于针对右眼的输入图像信号和针对左眼的输入图像信号所计算或估计的深度信息来计算最大距离对象与最小距离对象之间的图像间距离差；并且生成新视点图像，其中根据最终要输出的视点图像的数目来近似均匀地分布视点图像之间的图像间距离差。
另外，本公开的第二方面是在图像处理装置处执行的一种图像处理方法，该方法包括：
右图像输入步骤，右图像输入单元输入要被应用于三维图像显示的针对右眼的图像信号；
左图像输入步骤，左图像输入单元输入要被应用于三维图像显示的针对左眼的图像信号；
右图像转换步骤，右图像转换单元生成其中针对右眼的输入图像信号根据图像的特征受到右方向或左方向上的相位变化的转换图像；
左图像转换步骤，左图像转换单元生成其中针对左眼的输入图像信号根据图像的特征受到左方向或右方向上的相位变化的转换图像；以及
图像输出步骤，图像输出单元将右图像转换单元的所生成的图像和左图像转换单元的所生成的图像输出为多个新视点图像。
另外，本公开的第三方面是使图像处理装置执行图像处理的程序，包括：
右图像输入步骤，右图像输入单元输入要被应用于三维图像显示的针对右眼的图像信号；
左图像输入步骤，左图像输入单元输入要被应用于三维图像显示的针对左眼的图像信号；
右图像转换步骤，右图像转换单元生成其中针对右眼的输入图像信号根据图像的特征受到右方向或左方向上的相位变化的转换图像；
左图像转换步骤，左图像转换单元生成其中针对左眼的输入图像信号根据图像的特征受到左方向或右方向上的相位变化的转换图像；以及
图像输出步骤，图像输出单元将右图像转换单元的所生成的图像和左图像转换单元的所生成的图像输出为多个新视点图像。
应该注意的是，根据本公开的程序是例如，可以由存储介质和通信介质提供给能够执行各种计算机可读格式的程序代码的通用系统的程序。只要该计算机可读格式的程序实现计算机系统上的对应于程序的处理。
根据本公开的后述实施方式以及参考附图的详细描述，本公开的更多目标、特征和优点将变得明显。应该注意的是，本说明书中使用的系统是多个装置的逻辑分组配置而不局限于每个配置都在同一壳体内的装置。
发明的有益效果
根据本公开的实施方式配置，通过简单地信号处理来实现从新视点生成图像的图像处理装置。具体地，例如，输入要应用于图像显示的针对右眼的图像信号和针对左眼的图像信号，并且右图像转换单元生成其中针对右眼的输入图像信号根据图像的特征受到右方向或左方向上的相位变化的转换图像。同样地，左图像转换单元生成其中针对左眼的输入图像信号根据图像的特征受到左方向或右方向上的相位变化的转换图像。将右图像转换单元的所生成的图像和左图像转换单元的所生成的图像输出为多个新视点图像。例如，通过将输入图像信号加上或减去输入图像的亮度微分信号或亮度微分信号的非线性转换信号的处理来生成转换图像。通过这些处理，能够在不使用高精度对象距离信息的情况下从各个视点生成图像。
附图说明
【图1】图1是描述从两个不同的视点拍摄对象A和对象B时获得的图像的示例的图。
【图2】图2是描述从四个不同的视点(视点1至视点4)拍摄对象时获得的图像的示例的图。
【图3】图3是描述通过本公开的方法生成多视点图像的生成处理的示例的图。
【图4】图4是描述根据本公开的第一实施方式的图像处理装置的配置示例的图。
【图5】图5是描述基于距离信息的新视点图像的生成处理示例的图。
【图6】图6是描述2D3D图像转换单元的配置示例的图。
【图7】图7是描述2D3D图像转换单元的增益控制单元的配置示例的图。
【图8】图8是描述2D3D图像转换单元的增益控制单元的增益控制处理的图。
【图9】图9是描述应用于2D3D图像转换单元的2D3D图像转换处理的信号的图。
【图10】图10是描述2D3D图像转换单元的非线性转换单元的非线性转换处理的图。
【图11】图11是描述2D3D图像转换单元进行的、根据输入图像生成新视点图像的图像信号生成处理示例的图。
【图12】图12是描述2D3D图像转换单元进行的、根据输入图像生成新视点图像的图像信号生成处理示例的图。
【图13】图13是描述根据本公开的第二实施方式的图像处理装置的配置示例的图。
【图14】图14是描述基于距离信息生成新视点图像的生成处理的图。
【图15】图15是描述2D3D图像转换单元的配置示例的图。
【图16】图16是描述根据本公开的第三实施方式的图像处理装置的配置示例的图。
【图17】图17是描述根据本公开的第四实施方式的图像处理装置的配置示例的图。
【图18】图18是描述根据本公开的第五实施方式的图像处理装置的配置示例的图。
【图19】图19是描述根据本公开的第六实施方式的图像处理装置的配置示例的图。
【图20】图20是描述根据本公开的第七实施方式的图像处理装置的配置示例的图。
【图21】图21是描述根据本公开的第八实施方式的图像处理装置的配置示例的图。
【图22】图22是描述根据本公开的第九实施方式的图像处理装置的配置示例的图。
具体实施方式
现在将参考附图对根据本公开的图像处理装置、图像处理方法以及程序进行详细地描述。将按照以下项目进行描述。
1.由根据本公开的图像处理装置执行的处理的概述
2.图像处理装置的第一实施方式
3.图像处理装置的第二实施方式
4.图像处理装置的第三实施方式
5.图像处理装置的第四实施方式
6.图像处理装置的第五实施方式
7.图像处理装置的第六实施方式
8.图像处理装置的第七实施方式
9.图像处理装置的第八实施方式
10.图像处理装置的第九实施方式
11.本公开的配置的回顾
【1.由根据本公开的图像处理装置执行的处理的概述】
首先，将对根据本公开的图像处理装置执行的处理的概述进行描述。
根据本公开的图像处理装置输入从两个或更多个不同的视点拍摄的图像，包括例如要被应用于3D图像显示的针对左眼的左图像和针对右眼的右图像，并且使用这些输入图像生成与从不同于输入图像的视点的视点拍摄的图像等同的图像，并输出该图像。
使用根据本公开的图像处理装置和处理，根据一个二维图像(2D图像)来生成与从不同于该二维图像的视点的视点拍摄的图像等同的图像。应该注意的是，对于该处理，可以应用本申请的在先申请：日本未经审查专利申请公开No.2010-63083中所公开的处理。应该注意的是，基于二维图像生成不同视点的图像的处理在本说明书中将被称为2D3D转换处理。
应该注意的是，日本未经审查专利申请公开No.2010-63083中所公开的2D3D转换处理是基于一个二维图像生成与立体观测(立体观测)对应的双眼像差图像的处理。例如对二维图像中包括的诸如亮度信息的空间特征量进行提取，并且利用所提取的特征量来进行输入图像的转换处理以生成左眼图像和右眼图像。
根据本公开的图像处理装置例如应用该2D3D转换处理，来基于输入图像生成不同于输入图像的视点的图像。
具体地，例如基于作为输入图像的用于3D图像显示的针对左眼的左图像来生成与从更偏左的视点拍摄的图像等同的图像。
同样地，例如基于作为输入图像的用于3D图像显示的针对右眼的右图像来生成与从更偏右的视点拍摄的图像等同的图像。
根据该处理，生成了与输入图像的视点不同的多个视点的拍摄图像对应的图像，并且生成了视点与输入图像的视点不同的多视点图像。
图3是示出由根据本公开的方法生成多视点图像的生成处理的示例的图。
如同前面参考图1描述的一样，用于2D图像显示而拍摄的两个图像，即，
(1)由左相机101拍摄左图像111，以及
(2)由右相机102拍摄右图像112；
将这些图像输入给根据本公开的图像处理装置。
根据本公开的图像处理装置使用这些拍摄图像来，例如，
通过2D3D转换处理使用左图像111生成与比左相机101的视点更左的视点1(103)的拍摄图像等同的视点1的图像113。
同样，通过2D3D转换处理使用右图像112生成与比右相机102的视点更右的视点4(104)的拍摄图像等同的视点4的图像114。
应该注意的是，图3所示的示例是根据本公开的图像处理装置执行的处理的示例。根据本公开的图像处理装置基于一个2D图像，通过上述2D3D转换处理能够生成与该图像的视点不同的各个视点的图像。
【2.图像处理装置的第一实施方式】
图4是根据本公开的图像处理装置的第一实施方式的配置图。
第一实施方式是下述装置，所述装置获得左、右两个不同的视点(左图像、右图像)，并且进行多视点图像生成，在该多视点图像生成中输出第一视点到第四视点的四个视点的图像。
输入图像是要被应用于3D图像显示的左眼图像(左图像)和右眼图像(右图像)的组合。例如，在图3的示例中使用左相机101拍摄的左图像111(第二视点图像)和使用右相机102拍摄的右图像112。
图4中示出的图像处理装置200将输入的左图像照原样输出为第二视点图像。
由2D3D转换处理基于输入的左图像(第二视点图像)来生成从比左图像的视点更左的视点的拍摄图像的第一视点图像。
另外，
输入的右图像被照原样输出为第三视点图像。
由2D3D转换处理基于输入的右图像(第三视点图像)来生成从比右图像的视点更右的视点的拍摄图像的第四视点图像。
将描述根据图4中示出的图像处理装置的配置的图像处理装置执行的处理。
左图像输入单元201输入左图像(第二视点图像)。输入的左图像(第二视点图像)被输入给深度检测单元203和左图像2D3D转换单元204。
同样地，右图像输入单元202输入右图像(第三视点图像)。输入的右图像(第三视点图像)被输入给深度检测单元203和右图像2D3D转换单元205。
深度检测单元203检测左图像中的像素或块与右图像中的哪个像素或哪个块对应，并且生成左图像深度信息，在左图像深度信息中，位置差异被保存在与左图像中的该像素对应的位置处；并且检测右图像中的像素或块与左图像中的哪个像素或哪个块对应，并且生成右图像深度信息，在右图像深度信息中，位置差异被保存在与右图像中的该像素对应的位置处。
换言之，根据基于例如常规已知的块匹配等进行对应像素的位置移位，以块为单位或以像素为单位来计算深度信息(相机的距离信息)，并且生成具有与像素或块对应的距离数据(例如，距离图像)的深度信息。
深度检测单元203生成与左图像对应的左图像深度信息(例如，距离图像)并且将所述左图像深度信息提供给左图像2D3D转换单元204；另外，生成与右图像对应的右图像深度信息并将所述右图像深度信息提供给右图像2D3D转换单元205。
左图像2D3D转换单元204输入从左图像输入单元201所输入的左图像(第二视点图像)和深度检测单元203所生成的左图像深度信息(例如，距离图像)，并且利用上述信息来生成与比输入的左图像(第二视点图像)的视点更左的视点的拍摄图像等同的第一视点图像。
同样地，右图像2D3D转换单元输入从右图像输入单元202所输入的右图像(第三视点图像)和深度检测单元203所生成的右图像深度信息(例如，距离图像)输入，并且利用上述信息来生成与比输入的右图像(第三视点图像)的视点更右的视点的拍摄图像等同的第四视点图像。
经由第一视点图像输出单元206来输出左图像2D3D转换单元204已经生成的第一视点图像。
经由第二视点图像输出单元207来输出左图像输入单元201已经输入的左图像，即，第二视点图像。
经由第三视点图像输出单元208来输出右图像输入单元202已经输入的右图像，即，第三视点图像。
经由第四视点图像输出单元209来输出右图像2D3D转换单元205已经生成的第四视点图像。
应该注意的是，图像的输出目的地是例如执行3D图像显示的显示处理的装置或记录3D图像数据的存储装置等。可替换地，可以将图像作为通信数据输出给经由网络连接的装置。
在例如显示装置执行3D图像显示时，根据用户的观察位置来适当地选择两个图像，并且将所述两个图像输出为左眼图像和右眼图像。
例如，在用户的观察位置为在显示单元的前面的标准位置的情况下，
第二视点图像被输出为左眼图像，而第三视点图像被输出为右眼图像。
而且，在用户的观察位置为在显示单元的前面的左侧的位置的情况下，
第一视点图像被输出为左眼图像，而第二视点图像被输出为右眼图像。
而且，在用户的观察位置为在显示单元的前面的右侧的位置的情况下，
第三视点图像被输出为左眼图像，而第四视点图像被输出为右眼图像。
通过进行这种切换，可以输出针对用户的观察位置的最佳的左眼图像和右眼图像。
由于这种处理，使用裸眼3D显示装置，例如在显示面上具有例如透镜片或视差屏障(差异屏障)的显示装置，其配置使得通过观察位置来控制进入左眼和右眼的图像。换言之，使3D图像的呈现能够抑制右眼图像进入左眼且左眼图像进入右眼的幻视的发生或右眼图像和左眼图像变混淆的串扰的发生。
通过图4所示的图像显示装置200，左图像2D3D转换单元204输入由左图像输入单元201所输入的左图像(第二视点图像)和深度检测单元203所生成的左图像深度信息(例如，距离图像)，并且使用上述信息来生成与比输入左图像(第二视点图像)的视点更左的视点的拍摄图像等同的第一视点图像。
同样，右图像2D3D转换单元205输入由右图像输入单元202所输入的右图像(第三视点图像)和深度检测单元203所生成的右图像深度信息(例如，距离图像)，并且利用上述信息来生成与比输入右图像(第三视点图像)的视点更偏右的视点的拍摄图像等同的第四视点图像。
左图像2D3D转换单元204和右图像2D3D转换单元205利用一个二维图像和深度信息来生成不同视点的图像。具体地，通过设置与深度信息对应的移位量并且将图像向左方向或右方向进行移位的处理，即，进行相位变化的处理，生成人造的不同视点的拍摄图像。通过根据以像素或块为单位获得的深度信息(相机的距离)调节相位变化量(移位量)和相位变化方向(移位方向)以进行相位变化处理(移位处理)，来生成人造的不同视点的拍摄图像。
因此，在2D3D转换单元使用的图像深度信息的空间分辨率不一定很高，可以将从深度检测单元203输出的左图像深度信息和右图像深度信息制作成信息量小于输入图像的像素数的数据，因而可以减小深度检测单元的电路规模。
应该注意的是，对于2D3D转换处理，可以应用作为本申请的在先申请的上述日本未经审查专利申请公开No.2010-63083中描述的处理。上述日本未经审查专利申请公开No.2010-63083中描述的2D3D转换处理为下述处理，所述处理中，对一个二维图像中包括的例如亮度信息的空间特征量进行提取，并且利用所提取的特征量来执行对输入图像的转换处理，以生成与从不同视点的拍摄图像等同的转换图像。具体地，提取输入图像信号的亮度微分信号；将亮度微分信号设置为特征量并且通过将输入图像信号加上或减去作为特征量的亮度微分信号或亮度微分信号的非线性转换信号来生成转换图像。例如，可以应用上述处理。
存在各种关于从二维图像人造地生成不同视点的图像的提案，而不局限于本专利文献中描述的方法，并且左图像2D3D转换单元204和右图像2D3D转换单元205通过例如应用这些现有方法中的一个来根据输入图像生成不同视点的图像。
将参考图5描述左图像2D3D转换单元204和右图像2D3D转换单元205基于由深度检测单元203生成的深度信息而进行的新视点图像生成处理的具体处理示例。
图5示出图4中所示的实施方式中的左输入图像和右输入图像，以及新生成的视点图像之间的深度信息。
图5的右下方示出的图形(a)表示下述深度信息的直方图，所述深度信息是在经由左图像输入单元201输入的左图像(等同于第二视点图像)和经由右图像输入单元202输入的右图像(等同于第三视点图像)之间检测的。
换言之，所述深度信息为深度检测单元203所检测的深度信息。
现在，将深度信息表达为两个图像的对应位置之间的距离d。换言之，所述深度信息为通过例如块匹配等处理所检测的左图像和右图像中对应像素的图像上的像素间距离。
图5(a)所示的直方图中，水平轴表示根据到对象的距离而变化的距离信息d，而垂直轴表示具有各距离的像素区域。
在d＝0的情况下，这是在图像的同一位置检测到左图像和右图像中的对应像素的状态，该状态为所谓的无差异状态。可以在显示屏幕的屏幕位置处观察到这种像素位置的图像。
另一方面，在距离d小于0的情况下(右图像在左图像的左侧)，在屏幕的近侧观察对象图像。
同样，在d大于0的情况下(右图像在左图像的右侧)，在屏幕的远侧观察对象图像。
左图像2D3D转换单元204和右图像2D3D转换单元205首先从图5(a)中所示的深度信息的直方图获得距离d的最小值dmin和最大值dmax，所述深度信息是从来自深度检测单元203的生成信息中获得的。
应该注意的是，考虑到噪音的影响，可以将直方图的最小值dmin和最大值dmax的值设置为直方图的实际最大值和最小值的内侧的几个百分比。图5(a)示出了针对实际测量值内侧的几个百分比的最小值dmin和最大值dmax的线。
这样获得的最小值dmin是与位于输入图像的最前部的对象的深度对应的值，而最大值dmax是与位于输入图像的最深位置的对象的深度对应的值。
在图4所示的实施方式中，左图像2D3D转换单元204通过对输入的左图像(第二视点图像)的2D3D转换处理来生成比输入图像(第二视点图像)更左的第一视点图像。对于该新视点图像的生成处理，执行利用图5(a)所示的从左图像和右图像获得的深度信息的处理。
换言之，图5(a)所示的从左图像和右图像获得的深度直方图是输入的左图像(第二视点图像)和输入的右图像(第三视点图像)的深度直方图。
左图像2D3D转换单元204生成第一视点图像，以使得输入的左图像(第二视点图像)和将要新生成的第一视点图像的深度直方图为图5(a)中所示的那样。
图5(b)中所示的图形为将要新生成的第一视点图像和输入的左图像(第二视点图像)的深度直方图。生成第一视点图像以使得与该直方图对应。
左图像2D3D转换单元204和右图像2D3D转换单元205通过设置与深度信息对应的移位量并且将图像向左方向或向右方向进行移位的处理，即，进行相位变化的处理，来生成从人造的不同视点的拍摄图像。通过调节相位变化量(移位量)和相位变化方向(移位方向)以根据以像素或块为单位而获得的深度信息(距相机的距离)而执行相位变化处理(移位处理)，来生成人造的不同视点的图像。
在此2D3D转换处理中，基于深度信息来控制移位量。具体地，使用图4中的实施方式，图像2D3D转换单元204基于图5(a)中所示的深度信息来调节移位量，由此生成第一视点图像，在第一视点图像中，从输入的左图像(第二视差图像)和新生成的第一视点图像的组合中获得对深度的感知，该对深度的感知等同于从输入的左图像和输入的右图像获得的对深度感知。
详细的移位处理将在后续进行描述。
以同样的方式，右图像2D3D转换单元205基于图5(a)所示的深度信息来调节移位量，从而生成第四视点图像，在第四视点图像中，从输入的右图像(第三视差图像)和新生成的第四视差图像的组合获得对深度的感知，该对深度的感知等同于从输入左图像和输入右图像获得的对深度的感知。
图5(b)是输入的左图像(第二视差图像)和左图像2D3D转换单元204新生成的第一视点图像的深度直方图。
尽管期望输入的左图像(第二视差图像)和新生成的第一视点图像之间的深度相同，但是2D3D转换处理不一定总能够生成与输入深度信息等同的差异。2D3D转换处理所生成的差异量是由例如控制移位量的增益设置和转换滤光片属性来确定的，因此，通过基于深度信息来控制增益控制和转换滤光片属性来影响控制，以使得最大差异不超过输入图像之间的差异。
因此，由2D3D转换处理生成的视点1的图像是从比输入的左图像的视点更偏左一个移位量的视点而生成的图像，该移位量等于或小于输入的右图像的移位量。
关于将要新生成的第四视点图像，同样，右图像2D3D转换单元205也从比输入的右图像的视点更偏右一个移位量的视点生成图像，该移位量等于或小于输入的左图像的移位量。
因而，2D3D图像转换单元根据基于针对右眼的输入图像信号和针对左眼的输入图像信号所计算或估计的深度信息，来计算最大距离对象与最小距离对象之间的图像间距离，并且生成下述新视点图像，其中，从新视点图像和另一图像获得的最大距离对象与最小距离对象之间的图像间距离差根据图像间距离差而被控制。
接下来，将要对通过根据距离信息来控制移位量的2D3D转换处理的详细示例进行描述。
图6是示出左图像2D3D转换单元204的实施方式的配置的框图。应该注意的是，左图像2D3D转换单元204和右图像2D3D转换单元205根据新生成的图像只改变移位方向。下文中，将左图像2D3D转换单元204作为典型示例来描述通过根据距离信息来控制移位量的2D3D转换处理的详细示例。
左图像2D3D转换单元204执行下述处理，所述处理提取输入图像信号的空间特征量，并且使所提取的特征量受到不同的增强处理，由此生成新视点的图像。左图像2D3D转换单元204由微分器211、增益控制单元212、非线性转换单元213以及图像合成单元214配置而成。
微分器211从输入到左图像2D3D转换单元204的视频数据中提取亮度信号，并生成针对亮度信号的微分信号。具体地，例如，以水平方向输入图像的亮度信号，并且生成通过对输入的亮度信号进行一阶求导而获得的信号。对于一阶求导，例如使用水平方向3抽头线性一阶求导过滤器等。
应该注意的是，尽管将要描述把亮度信号用作本实施方式的处理数据的示例，但是也可以将色度信号(RGB等)用作待处理数据。
增益控制单元212用遵循预设规则的系数(增益系数)乘以从微分器211输出的微分信号(H)，由此控制微分信号的幅度值，并且也生成作为微分信号的修正信号的修正微分信号(H')。
非线性转换单元213对从增益控制单元212输出的修正微分信号(H')进行非线性地转换并且将转换后的信号作为差异增强信号(E')输出给图像合成单元214。
图像合成单元214对构成视频数据的帧图像以及根据帧图像生成的空间特征量，即，亮度信号的修正微分信号(H')或者通过对这些修正微分信号执行非线性转换而生成的差异增强信号(E')进行应用，从而进行生成新视点的图像的处理。
应该注意的是，如图6中的虚线所示，可以做出省略非线性转换单元213的转换处理的配置，将受到在增益控制单元212处的修正处理的修正微分信号(H')直接输入给图像合成单元214，使得图像合成单元214应用该修正微分信号并生成新视点的图像。
接下来，将要描述增益控制单元212执行的处理。
图7是示出增益控制单元212的实施方式的配置的框图。通过增益控制单元212，基于同样被输入的深度信息来控制输入的微分信号的幅度值。应该注意的是，在下文所描述的实施方式中，深度信息被描述为被输入所谓的深度映射表，其中输入微分信号的每个像素具有一个深度值。
增益系数计算单元221使用关于每个输入像素的深度信息来输出对应像素的增益系数。
乘法处理单元222执行下述乘法处理，给微分信号(H)的幅度值乘以从增益系数计算单元221输出的与每个像素对应的增益系数，从而输出其幅度值受到增益控制的修正微分信号(H')。
图8示出了在增益系数计算单元处执行的增益系数决定方法的示例。水平轴为作为输入信号的深度信息。垂直轴表示在增益系数计算单元221处输出的增益系数。
增益系数计算单元221通过预设的函数f(x)来对输入的深度信息(In)进行转换并输出增益系数(Out)。
此时，可以对函数f(x)进行多种设置。
作为函数f(x)的例子，例如，
F(x)＝AXx
(其中A为常数)
使用例如以上表达式中所示的线性一次函数。A为预设的常数并且可以被设置为不同值。
而且，增益系数计算单元221处的转换函数不局限于线性一次函数，也可以进行非线性转换。
对于深度信息来说，与微分信号的每个像素对应的值是输入，而与每个像素对应的增益系数是输出。
图8是示出增益系数计算单元的输入值(深度信息)和输出值(增益系数)的修正示例的图。图8示出三个输入值(深度信息)和三个对应的输出值(增益系数)的示例。
假设深度值与三个特定的像素对应，则输入值(深度信息)的示例为D1、D2和D3。应该注意的是，深度是与从观察者(用户)或相机到对象的距离相对应的值。
可以说深度(＝对象距离)按照D1<D2<D3的顺序从近侧到远侧(离用户或相机更远)变得更深。现在，在图8中，In＝0的深度信息的位置是当在三维显示装置上显示生成的图像时，被感知为在显示屏幕上的点。
在图8中，这种情况下的输出值(增益系数)的示例为G1、G2和G3，其中通过将D1、D2和D3的值输入给函数f(x)来获得G1、G2和G3中的每个。
如此示例中所示，增益系数计算单元221输出与微分信号的各像素对应的增益系数。
图9示出在增益控制单元212处控制微分信号的幅度值的处理的示例。
图9示出如下示例：
(a)输入信号
(b)微分信号
(c)深度信息
(d)修正后的微分信号
图9(a)是输入图像信号的示例。
图9(b)是图9(a)中的输入图像信号经过微分处理的图像。
图9(c)是与图9(a)的输入图像信号对应的深度信息，并且是简化排列，其中图像被分为三个区域且为三个区域中的每个区域提供了深度值。
现在，可以说图9(c)中的指示深度信息的图像信号被赋予了图8中的从上到下按顺序定义的深度信息的值：D3、D2、D1(D1<D2<D3)。
此时，图9(b)中的微分信号的各像素的要被相乘的增益值为图像的从上到下按顺序的G3、G2、G1(G1<G2<G3)，符合图8中描述的深度和增益值的区域。
图9(d)中的修正后的微分信号是下述处理的结果的示例，在所述处理中，图9(b)中的微分信号的像素乘以基于图9(c)的深度信息的增益值。
在图9(d)的修正后的微分信号中，在屏幕中越高(区域越远)处，被乘的增益值越大，而在屏幕中越低(区域越近)处，被乘的增益值越小。
因此，在屏幕中越高(区域越远)处，微分信号的幅度值越大，而在屏幕中越低(区域越近)处，微分信号的幅度值越小。
这样2D3D转换单元利用具有与距离一致的不同幅度的微分信号来生成并输出新视点图像。从而，生成并输出具有与距离一致的不同差异的图像。
接下来，将描述非线性转换单元213执行的处理。非线性转换单元213生成差异增强信号(E')，其中对受到根据从增益控制单元212输出的距离而进行的增益控制的修正微分信号(H')进行非线性转换并且将转换后的信号输出给图像合成单元214。
图10示出在非线性转换单元213处执行的非线性转换处理的示例。水平轴是受到来自增益控制单元212的增益控制(根据距离的修正)的微分信号，也就是修正的微分信号(亮度)。垂直轴表示在非线性转换单元213处进行非线性转换处理之后的输出。非线性转换单元213以预先规定的函数f(x)对输入修正微分信号(In)进行转换并输出差异增强信号(Out)。换言之，Out＝f(In)。此时，可以将多种设置用于函数f(x)。作为函数f(x)的示例，
F(x)＝xγ
使用如以上表达式所示的指数函数。γ是预设的系数并且可以被设置为不同值。
而且，在非线性转换单元213的转换函数不局限于指数函数，而也可以进行线性转换。
图像合成单元214执行下述处理：接收从非线性转换单元213输出的差异增强信号和输入给左图像2D3D转换单元204的视频数据；使用构成视频数据的每个帧图像来合成差异增强信号；以及生成新视点图像。
应该注意的是，如图5中的虚线所示，可以做出省略非线性转换单元213的转换处理的配置，并且给图像合成单元214直接输入修正微分信号(H')，在该修正微分信号(H')中，由微分器211生成的微分信号在增益控制单元212处受到根据的距离的增益控制。在这种情况下，图像合成单元214应用受到根据深度(对象距离)进行的增益控制的修正微分信号(H')来进行处理以生成新视点的图像。
接下来，将要描述图像合成单元214的处理。
图像合成单元214执行下述处理：生成新视点的图像；以及对构成视频数据的帧图像和从这些帧图像生成的空间特征量，即，亮度信号的微分信号或通过对这些微分信号进行非线性转换生成的差异增强信号进行应用。
图11和图12示出图像合成单元214执行的图像合成处理的思想。
图11是距离大的图像区域(深度大的图像区域)
图12是距离小的图像区域(深度小的图像区域)
关于这些图像区域，从上到下按顺序示出以下信号，
(a)输入信号(S)
(b)微分信号(H)
(c)修正(增益控制)后的修正微分信号(H')
(d)右移位图像信号
(e)左移位图像信号
与图9中的(c)的深度信息对比地来描述这一点，例如，图11是与其中距离大(＝D3)(深度大的图像区域)的图9(c)中上部分处的图像区域对应的处理示例。另一方面，图12是与其中距离小(＝D1)(深度小的图像区域)的图9(c)中的下部分处的图像区域对应的处理示例。
首先，描述图11中所示的距离大的图像区域(深度大的图像区域)的处理示例。
(a)输入信号(S)表示视频数据中任一帧中任一水平线的亮度变化。被示例性示出的是亮度高的高亮度区域位于中间部分的一条线。在从线位置(x1)至线位置(x2)的区域A中，展示了亮度逐渐增大的变化；保持高水平亮度的高亮度部分位于线位置(x2)至线位置(x3)之间；接着，在从线位置(x3)至线位置(x4)的区域B中，展示了亮度逐渐减小的变化。
(b)微分信号(H)是(a)输入信号的微分结果。微分信号是在图6中所示的左图像2D3D转换单元204的微分器211处生成的信号。
如图11中所示，微分器211生成的微分信号(H)在(a)输入信号(S)的亮度正向变化的区域A中具有正值；并且在(a)输入信号的亮度负向变化的区域B中具有负值。
修正(增益控制)后的(c)修正微分信号(H')是在图6中所示的左图像2D3D转换单元204的增益控制单元212处生成的信号，并且是通过对图11(b)的微分信号进行修正(增益控制)而获得的信号。应该注意的是，图11中的示例是距离大(例如，图8和图9中的D3)的图像区域(深度大的图像区域)中的处理，其中，通过如参考图8和图9所述的较大增益来进行修正处理，将微分信号的幅度修正为更大的幅度。
图11(c)中所示的虚线是修正前的信号(＝b微分信号(H))，而图11(c)中所示的实线是根据距离修正后的修正微分信号(H')。这样，通过根据距离的增益控制，将修正微分信号(H')的幅度修正得更大。
(d)右移位图像信号和(e)左移位图像信号是由图4中所示的左图像2D3D转换单元204以及在右图像2D3D转换单元205中配置的图5中的所示图像合成单元214生成的信号。
例如，如果说输入的左图像为图11(a)中所示的输入图像，则图4中所示的左图像2D3D转换单元204生成向左移位的(e)左移位图像信号来作为第一视点图像。
同样，如果说输入的右图像为图11(a)中所示的输入图像，则图4中所示的右图像2D3D转换单元205生成向右移位的(d)右移位图像信号来作为第四视点图像。
具体地，通过将(a)输入信号(S)与作为修正(增益控制)后的(c)修正微分信号(H')的非线性转换的结果(非线性转换单元213的输出)的差异增强信号(E')进行合成，生成(d)右移位图像信号或(e)左移位信号。
如图11(d)中所示，与对修正前的微分信号(H)进行合成的情况相比，在对通过大增益(G3)对其修正的修正微分信号(H')进行合成的情况下，生成了具有大的右移位的图像信号。以同样的方式，图11(d)中生成了具有大的左移位的图像信号。
接下来，将对图12中所示的距离小(深度小的图像区域)的图像区域的处理示例进行描述。图12是与图9(c)中的下部分的距离小(＝D1)的图像区域(深度小的图像区域)对应的处理示例。
(a)输入信号和(b)微分信号与图11中的(a)输入信号和(b)微分信号相同。(b)微分信号(H)是(a)输入信号(S)的微分结果。微分信号是在图6中所示的微分器211处生成的信号。如图12中所示，由微分器211生成的微分信号(H)在(a)输入信号的正向变化的区域A中具有正值，而在(a)输入信号的亮度负向变化的区域B中具有负值。
修正(增益控制)后的(c)修正微分信号(H')是在图6中所示的左图像2D3D转换单元204的增益控制单元212处生成的信号，并且是对图12(b)的微分信号进行修正而获得的信号。
图12中的示例是距离小(例如，图8和图9中的D1)的图像区域(深度小的图像区域)中的处理，其中，如参考图8和图9所述，通过小增益(G1)将微分信号的幅度修正为更小幅度。
图12(c)中所示的虚线是修正前的信号(＝(b)微分信号)，而图12(c)中所示的实线是根据距离进行修正后的信号。这样，通过根据距离的增益控制，将幅度修正得更小。
(d)右移位图像信号和(e)左移位图像信号是由图6中所示的图像合成单元214生成的信号。图像合成单元214将(a)输入信号(S)与作为修正(增益控制)后的(c)修正微分信号的非线性转换的结果(非线性转换单元213的输出)的差异增强信号(E')进行合成，从而生成(d)右移位图像信号或(e)左移位图像信号。
例如，如果说输入的左图像为图12(a)中所示的输入图像，则图4中所示的左图像2D3D转换单元204生成向左进一步移位的左移位图像信号来作为第一视点图像。
同样，如果说输入的右图像为图12(a)中所示的输入图像，则图4中所示的右图像2D3D转换单元205生成进一步向右移位的(d)右移位图像信号来作为第四视点图像。
如图12(d)中所示，与对修正前的微分信号(H)进行合成的情况相比，在对用小增益(G1)进行修正的修正微分信号(H')进行合成的情况下，生成了具有小的右移位的图像信号。同样地，图12(d)中生成了具有小的左移位的图像信号。
以此方式，使用图像处理装置，在生成在远离显示屏幕的方向被感知的图像的情况下，
在距离＝大的情况下，以大的幅度来修正微分信号
在距离＝小的情况下，以小的幅度来修正微分信号
生成这些修正微分信号(图11和图12中的(c))，并且通过将这些微分信号(或其的非线性转换结果的差异增强信号)与(a)输入信号进行合成处理，生成了(d)右移位图像信号或(e)左移位图像信号。
将通过数学表达式的方式来描述这种(d)右移位图像信号和(e)左移位图像信号的生成处理。
假设与图11和图12中的(a)输入信号等同的视频数据的亮度级是(S)，以及
假设图11和图12中的(b)所示的(b)微分信号的信号电平为(H)。
还可以假设，作为在增益控制单元212处进行的微分信号的修正结果而获得的修正微分信号的信号电平为(H')。
应该注意的是，在生成修正微分信号(H')的时候，基于深度信息(D)等根据预设的函数来决定将要与(b)微分信号(H)相乘的增益值(G)。
假设
图11中所示的大距离的情况下的增益值为G3，
图12中所示的小距离的情况下的增益值为G1。
图11和图12中所示的示例假设关系为：G3>1>G1。
将修正后的(c)修正微分信号(H')的信号电平表达为(H')，可以通过以下表达式将(H')表达为使用上述增益G3和G1修正的信号。
图11中所示的大距离的情况下的修正微分信号(H')是
H'＝G3×H
图12中所示的小距离的情况下的修正微分信号(H')是
H'＝G1×H
通过这些表达式计算的信号为图11和图12中的(c)修正微分信号(H')。
在图11中所示的大距离的情况下，将由实线指示的修正微分信号(H')与由虚线指示的修正前微分信号(＝(b))进行比较，显示出由实线指示的修正微分信号(H')具有比由虚线指示的修正前微分信号的幅度更大的幅度。
另一方面，在图12(c)中所示的小距离的情况下，将由实线指示的修正微分信号(H')与由虚线指示的修正前微分信号(＝(b))进行比较，显示出由实线指示的修正微分信号(H')具有比由虚线指示的修正前微分信号的幅度小的幅度。
这是因为图11(c)和图12(c)中所示的修正微分信号是通过乘以不同的增益值而生成的。
换言之，对于与由深度检测单元203输出的深度信息大(离相机的距离大)相关的像素，通过乘以大的增益值来对(b)微分信号进行修正，并且生成图11(c)中所示的修正微分信号。
另一方面，对于与由深度检测单元203输出的深度信息小(离相机的距离小)相关的像素，通过乘以小的增益值来对(b)微分信号进行修正，并且生成图12(c)中所示的修正微分信号。
图11(c)和图12(c)中所示的修正微分信号经过在前面参考图10所述的设置下的非线性转换单元213的非线性处理，从而生成差异增强信号(E')。
图像合成单元214输入与(a)输入信号等同的视频数据(S)和在其中(c)修正微分信号(H')受到线性转换的差异增强信号(E')，并且通过例如以下表达式生成右移位图像信号(Right)或左移位图像信号(Left)。
Right＝S-E'
Left＝S+E'
由此获得的信号是由图11(d)和图12(d)中的实线指示的右移位图像信号和图11(e)和图12(e)中的左移位图像信号。
另一方面，图11(d)和图11(e)以及图12(d)和图12(e)中由虚线指示的信号不是(c)修正微分信号，而是与修正前的微分信号等同的信号，即，使用差异增强信号(E)生成的右移位图像信号和左移位图像信号，其中，在差异增强信号(E)中应用(b)微分信号(H)进行了非线性转换。换言之，保持
Right＝S-E
Left＝S+E
对图11和图12中的(d)右移位图像信号和(e)左移位图像信号中所示的实线和虚线进行比较，
在图11中所示的距离大的情况下，(d)右移位图像信号和(e)左移位图像信号都有其中实线(修正微分信号)比虚线(修正前的微分信号)更陡峭的边界部分(信号的变化部分)，与(a)输入信号相比信号的移位更大。
另一方面，图12中所示的距离小的情况下，(d)右移位图像信号和(e)左移位图像信号都有其中实线(修正微分信号)比虚线(修正前微分信号)更平滑的边界部分(信号的变化部分)，与(a)输入信号相比信号的移位更小。
换言之，在距离大的情况下，(d)右移位图像信号和(e)左移位图像信号之间的距离被放大；而在距离小的情况下，(d)右移位图像信号和(e)左移位图像信号之间的距离被减小。
通过显示这种(d)右移位图像信号和(e)左移位图像信号，在距离大的情况下，增大了(d)右移位图像信号和(e)左移位图像信号的视网膜像差，从而感觉更远；而在距离小的情况下，减小了(d)右移位图像信号和(e)左移位图像信号的视网膜像差，从而感觉更近。
参考生成比显示屏幕更远的差异的方法已经描述了本实施方式，在生成比显示屏幕更近的差异的情况下，图像合成单元214根据以下表达式生成右移位图像信号(Right)或左移位图像信号(Left)。
Right＝S+E'
Left＝S-E'
因而，在相反的方向发生右移位图像信号和左移位图像信号的移位，所以右移位图像信号被移位到输入图像的左侧而左移位图像信号被移位到输入图像的右侧。结果，所生成的右移位图像信号和左移位图像信号被感知为比显示屏幕更近。
【图像处理装置的第二实施方式】
图13是本公开的图像处理装置的第二实施方式的配置图。如同第一实施方式一样，第二实施方式为下述装置，所述装置获取左、右两个不同视点(左图像、右图像)，并且进行输出从第一至第四的四个视点的图像的多视点图像生成。
但是，第二实施方式与第一实施方式的不同之处在于将输入图像输出为第一视点图像和第四视点图像，而将在2D3D转换单元生成的图像作为第二视点图像和第三视点图像。应该注意的是，第一至第四视点图像与图3的第一至第四视点图像对应，并且按顺序与从左侧视点至右侧视点拍摄的图像对应。
输入图像是要被应用于3D图像显示的左眼图像(左图像)和右眼图像(右图像)的组合。本实施方式中，图3中所示的示例中在视点1(103)处拍摄的第一视点图像113与在视点4相机104处拍摄的第四视点图像114为输入图像。
图13中所示的图像处理装置250将输入的左图像照原样输出为第一视点图像。
由2D3D转换处理基于输入的左图像(第一视点图像)来生成从比左图像的视点的更右的视点的拍摄图像的第二视点图像。
另外，
由2D3D转换处理基于输入的右图像(第四视点图像)来生成从比右图像的视点的更左的视点的图像的第三视点图像。
将输入的右图像照原样输出为第四视点图像。
将描述使用根据图13中所示的图像处理装置250的配置的图像处理装置执行的处理。
左图像输入单元251输入左图像(第一视点图像)。输入的左图像(第一视点图像)被输入给深度检测单元253和左图像2D3D转换单元254。
同样地，右图像输入单元252输入右图像(第四视点图像)。右输入图像(第四视点图像)被输入给深度检测单元253和右图像2D3D转换单元255。
深度检测单元253检测左图像中的像素或块与右图像中的哪个像素或哪个块对应，并且生成左图像深度信息，在左图像深度信息中，位置的差异被保存在与左图像中的该像素对应的位置处；并且检测右图像中的像素或块与左图像中的哪个像素或哪个块对应，并生成右图像深度信息，在右图像深度信息中，位置的差异被保存在与右图像中的该像素对应的位置处。
这些处理与参考图4描述的第一实施方式的处理一样。
深度检测单元253生成与左图像对应的左侧深度信息(例如，距离图像)并将该信息提供给左图像2D3D转换单元254。另外，生成与右图像对应的右侧深度信息(例如，距离图像)并将该信息提供给右图像2D3D转换单元255。
左图像2D3D转换单元254输入从左图像输入单元251所输入的左图像(第一视点图像)和深度检测单元253所生成的左图像深度信息(例如，距离图像)，并且利用上述信息生成与比输入的左图像(第二视点图像)的视点的更偏右的视点的拍摄图像等同的第二视点图像。
同样地，右图像2D3D转换单元255输入从右图像输入单元252所输入的右图像(第四视点图像)和深度检测单元253所生成的右图像深度信息(例如，距离图像)，并利用上述信息来生成与比输入的右图像(第四视点图像)的视点的更偏左的视点的拍摄图像等同的第三视点图像。
经由第一视点图像输出单元256来输出左图像输入单元251已经输入的左图像，即，第一视点图像。
经由第二视点图像输出单元257来输出左图像2D3D转换单元254已经生成的第二视点图像。
经由第三视点图像输出单元258来输出右图像2D3D转换单元255已经生成的第三视点图像。
经由第四视点图像输出单元259来输出右图像输入单元252已经输入的右图像，即，第四视点图像。
应该注意的是，图像的输出目的地是例如执行3D图像显示的显示处理的装置或记录3D图像数据的存储装置等。可替换地，可以将图像作为通信数据输出给经由网络进行连接的装置。
关于这四个不同的视点图像，如同前面描述的第一实施方式一样，例如在显示装置执行3D图像显示的时候，根据用户的观察位置适当地选择两个图像，并输出为左眼图像和右眼图像。换言之，使3D图像的呈现能够抑制右眼图像进入左眼且左眼图像进入右眼的幻视的发生或右眼图像和左眼图像变得混合的串扰的发生。
使用如图13中所述的图像处理装置250，左图像2D3D转换单元254和右图像2D3D转换单元255输入来自图像输入单元的图像和在深度检测单元253生成的图像深度信息(例如，距离图像)，并利用上述信息来生成与从输入图像的视点不同的视点的拍摄图像等同的图像。
通过诸如对图像进行移位和例如利用深度信息决定相位变化量(移位量)的处理将此处理作为生成新视点的处理来执行。在2D3D转换单元处使用的图像深度信息的空间分辨率不一定很高，并且可以将从深度检测单元253输出的左图像深度信息和右图像深度信息制作为信息量小于输入图像的像素数的数据，从而可以减小深度检测单元的电路规模。
同样，将参考图14针对图13中所示的图像处理装置250描述左图像2D3D转换单元254和右图像2D3D转换单元255基于由深度检测单元253生成的深度信息来生成新视点图像处理的具体处理示例。
图14示出图13中所示的实施方式中的左输入图像和右输入图像以及新生成的视点图像之间的深度信息。图14的右下方所示的图形(a)表示下述深度信息的直方图，所述深度信息是在经由左图像输入单元251输入的左图像(等同于第一视点图像)和经由右图像输入单元252输入的右图像(等同于第四视点图像)之间检测的。
换言之，所述深度信息为深度检测单元253所检测的深度信息。
现在，将深度信息表达为两个图像的对应位置之间的距离d。换言之，该距离d为通过例如块匹配等处理所检测的左图像和右图像中的对应像素的图像上的像素间距离。
图14(a)中所示的直方图中，水平轴表示根据到对象的距离而改变的距离信息d，而垂直轴表示具有各距离的像素区域。
在距离d＝0的情况下，此为在左图像和右图像中的同一位置检测出各图像中的对应像素的状态，该状态是所谓的无差异状态。可以在显示屏幕的屏幕位置处观察到这种像素位置的图像。
另一方面，在距离d小于0的情况下(右图像存在于左图像的左侧)，在屏幕的近侧观察对象图像。
同样，在距离d大于0的情况下(右图像存在于左图像的右侧)，在屏幕的远侧观察对象图像。
左图像2D3D转换单元254和右图像2D3D转换单元255首先根据图14(a)中所示的深度信息的直方图来获得距离d的最小值dmin和最大值dmax，所述深度信息是从来自深度检测单元253的生成信息中获得的。
应该注意的是，考虑到噪音的影响，可以将最小值dmin和最大值dmax的值设置为直方图的实际最大值和最小值内侧的几个百分比。图14示出针对实际测量值内侧的几个百分比的最小值dmin和最大值dmax的线。
这样获得的最小值dmin是与位于输入图像的最前部的对象的深度对应的值，而最大值dmax是与位于输入图像的最深位置的对象的深度对应的值。
在图13中所示的实施方式中，左图像2D3D转换单元254通过对左输入图像(第一视点图像)的2D3D转换处理来生成比输入的左图像(第一视点图像)的更偏右的第二视点图像。
此时，输入的左图像和输入的右图像之间的深度被等分为三段，并且新生成的第二视点图像被生成为从靠近输入的左图像的视点所观察的图像。另一方面，输入的左图像和输入的右图像之间的深度被等分为三段，并且新生成的第三视点图像被生成为从靠近输入的右图像的视点所观察的图像。
因此，设置下述信息，所述信息中通过利用图14(a)中所示的获得的左图像和右图像的深度信息来将深度压缩为1/3(假定深度的最小值为dmin/3而深度的最大值为dmax/3)，即图14(b)中所示的直方图。
生成第二视点图像，以使得获得图14(b)中所示的深度直方图作为输入左图像(第一视点图像)与新生成的第二视点图像之间的深度直方图。
同样的设置，在左图像2D3D转换单元254和右图像2D3D转换单元255处生成对作为输入图像的视点1和视点4之间进行三等分的视点2和视点3的图像。
因而，在2D3D转换单元中，根据基于针对右眼的输入图像信号和针对左眼的输入图像信号所计算或估计的深度信息，来计算最大距离对象与最小距离对象之间的图像间距离差，并且根据最终要输出的视点图像的个数来生成下述新视点图像，所述新视点图像具有被近似等分的在视点图像之间的图像间距离差。
可以通过与例如前面参考图6至图12描述的处理相同的处理，即，通过根据对象距离来控制输入图像的移位量的移位处理，来执行在左图像2D3D转换单元254和右图像2D3D转换单元255的2D3D转换处理。
在具有图13中的配置的实施方式中基于深度信息来进行处理，其中如图14(b)中所示，基于输入图像而获得的深度信息(图14(a)中的dmin至dmax)被压缩至1/3。
图15是示出左图像2D3D转换单元254的实施方式的配置的框图。应该注意的是，左图像2D3D转换单元254和右图像2D3D转换单元255根据新生成的图像只改变移位方向。下文中，将左图像2D3D转换单元254作为典型示例来描述通过根据距离信息控制移位量的2D3D转换处理的详细示例。
根据本实施方式的左图像2D3D转换单元254具有下述配置：将深度信息调节单元261添加在根据前面参考图6描述的第一实施方式的左图像2D3D转换单元254的配置上；其他配置与根据前面参考图6描述的第一实施方式的左图像2D3D转换单元254的配置相同。
深度信息调节单元261生成深度信息，其中基于深度检测单元203根据输入图像的生成信息而获得的深度信息(图14(a)中的dmin至dmax)被压缩为1/3。将所述压缩深度信息输入给增益控制单元212。后续处理是与根据前面描述的第一实施方式的2D3D转换处理相同的处理。
图14(b)示出第一视点图像(输入左图像)与新生成的第二视点图像(通过2D3D转换处理根据输入左图像生成)之间的深度信息的直方图。
应该注意的是，第一视点图像(输入左图像)与新生成的第二视点图像之间的深度优选地等于输入左图像与输入右图像之间的深度的1/3，2D3D转换处理不是总能够生成与输入深度信息等同的差异。由转换滤光器属性和对移位量进行控制的增益控制来确定由2D3D转换处理生成的差异量，因此影响了控制以使得通过基于深度信息所控制的最大差异不超过输入图像之间的差异。
于是，根据该控制，左图像2D3D转换单元254以等于或小于输入的右图像(第四视点图像)的移位量的1/3的移位量，将通过2D3D转换处理生成的第二视点图像生成为比输入的左图像(第一视点图像)的视点的更偏右的视点的图像。
右图像2D3D转换单元255也以等于或小于输入的左图像(第一视点图像)的移位量的1/3的移位量，将新生成的第三视点图像生成为比输入右图像(第四视点图像)的视点的更偏左的视点的图像。
【4.图像处理装置的第三实施方式】
图16是根据本公开的图像处理装置的第三实施方式的配置图。
如第一实施方式中，第三实施方式是下述装置，该装置获得左、右两个不同视点(左图像、右图像)来作为输入，并执行输出第一至第四的四个视点的图像的多视点图像生成。
输入的图像被输出为第二视点图像和第三视点图像，而在2D3D转换单元处生成的图像被输出为第一视点图像和第四视点图像。该配置与参考图4描述的第一实施方式相同。
与第一实施方式的不同之处在于没有图4中所示的深度检测单元203，而是有左图像深度估计单元303和右图像深度估计单元304。
将描述使用根据图16中所示的图像处理装置300的配置的图像处理装置所执行的处理。
左图像输入单元301输入左图像(第二视点图像)。输入的左图像(第二视点图像)被输入给左图像深度估计单元303和左图像2D3D转换单元305。
同样地，右图像输入单元302输入右图像(第三视点图像)。输入的右图像(第三视点图像)被输入给右图像深度估计单元304和右图像2D3D转换单元306。
左图像深度估计单元303计算输入的左图像的图像特征量(亮度分布、边缘分布等)、根据该特征量对输入图像(以像素单位或块单位)中每个位置处的深度进行估计，并且生成与该位置对应的深度估计信息并将生成的信息提供给左图像2D3D转换单元305。
右图像深度估计单元304计算输入的右图像的图像特征量(亮度分布、边缘分布等)、根据该特征量对输入图像中每个位置处的深度(以像素单位或块单位)进行估计，并且生成与该位置对应的深度估计信息并将生成的信息提供给右图像2D3D转换单元306。
应该注意的是，对于根据图像的图像特征量(亮度分布、边缘分布等)来估计输入图像中的每个位置处的深度(以像素单位或块单位)的处理，可以应用多种现有的深度估计处理。
具体地，例如，
["Make3D:Learning 3-D Scene Structure from a Single Still Image",Ashutosh Saxena,Min Sun,Andrew Y.Ng,In IEEE Transactions on Pattern Analysisand Machine Intelligence(PAMI),2008.]
["Automatic Photo Pop-up",D.Hoiem,A.A.Efros,and M.Hebert,ACM SIGGRAPH2005.]
可以应用以上文献中所述的处理。
左图像2D3D转换单元305输入从左图像输入单元301所输入的左图像(第二视点图像)和在左图像深度估计单元303处所生成的左图像深度信息，并且利用上述信息生成与比输入左图像(第二视点图像)的视点的更偏左的视点的拍摄图像等同的第一视点图像。
同样地，右图像2D3D转换单元306输入从右图像输入单元302所输入的右图像(第三视点图像)和在右图像深度估计单元304处所生成的右图像深度信息，并且利用上述信息生成与比输入右图像(第三视点图像)的视点的更偏右的视点的拍摄图像等同的第四视点图像。
可以如前面参考图5至图12描述第一实施方式和参考图14至图15描述的第二实施方式那样来执行在2D3D转换单元处的新视点图像生成处理。
经由第一视点图像输出单元307来输出左图像2D3D转换单元305已经生成的第一视点图像。
经由第二视点图像输出单元308来输出左图像输入单元301已经输入的左图像，即，第二视点图像。
经由第三视点图像输出单元309来输出右图像输入单元302以及输入的右图像，即，第三视点图像。
经由第四视点图像输出单元310来输出右图像2D3D转换单元306已经生成的第四视点图像。
输出目的地是显示装置或存储装置或作为通信数据经由网络输出。
关于这四个不同的视点图像，如同前面描述的实施方式一样，通过根据使用裸眼3D显示装置的用户的位置来适当地选择图像的组合，使3D图像显示能够抑制幻视或串扰的发生。
【5.图像处理装置的第四实施方式】
图17是根据本公开的图像处理装置的第四实施方式的配置图。
如在第一实施方式中，第四实施方式是下述装置，该装置获得左、右两个不同的视点(左图像、右图像)作为输入，并且进行输出第一至第四的四个视点的图像的多视点图像生成。
输入图像被输出为第二视点图像和第三视点图像，而在2D3D转换单元生成的图像被输出为第一视点图像和第四视点图像。此配置与参考图4描述的第一实施方式的配置相同。
第四实施方式的配置既没有图4中所示的深度检测单元203，也没有参考图16描述的第三实施方式中使用的深度估计单元。
将描述使用根据图17中所示的图像处理装置的配置的图像处理装置所执行的处理。
左图像输入单元351输入左图像(第二视点图像)。输入的左图像(第二视点图像)被输入给左图像2D3D转换单元352。
同样地，右图像输入单元355输入右图像(第三视点图像)。输入的右图像(第三视点图像)被输入给右图像2D3D转换单元356。
左图像2D3D转换单元352不根据从左图像输入单元351输入的左图像(第二视点图像)的图像特征量对深度进行估计，而根据左图像(第二视点图像)生成差异等同于比已提供的视点更偏左的视点的图像(第一视点图像)。
右图像2D3D转换单元356不根据从右图像输入单元355输入的右图像(第三视点图像)的图像特征量来对深度进行估计，而根据右图像(第三视点图像)来生成差异等同于比已提供的视点更偏右的视点的图像(第四视点图像)。
可以像前面参考图5至图12描述的第一实施方式和参考图14至图15描述第二实施方式的处理那样进行在这些2D3D转换单元处的新视点图像生成处理。
经由第一视点图像输出单元353来输出左图像2D3D转换单元352已经生成的第一视点图像。
经由第二视点图像输出单元354来输出左图像输入单元351已经输入的左图像，即，第二视点图像。
经由第三视点图像输出单元357来输出右图像输入单元355已经输入的右图像，即，第三视点图像。
经由第四视点图像输出单元358来输出右图像2D3D转换单元356已经生成的第四视点图像。
输出目的地是显示装置或存储装置或作为经由网络的通信数据来输出。
关于这四个不同的视点图像，如同前面描述的实施方式一样，通过根据使用裸眼兼容3D显示装置的用户的位置适当地选择图像的组合，使3D图像显示能够抑制幻视或串扰的发生。
本实施方式中，可以省略进行深度检测或估计的电路。
【6.图像处理装置的第五实施方式】
图18是根据本公开的图像处理装置的第五实施方式的配置图。
如第一实施方式一样，第五实施方式是下述装置，该装置获得左、右两个不同的视点(左图像、右图像)作为输入，并且执行输出第一至第四的四个视点的图像的多视点图像生成。
与上述第一至第四实施方式不同，第五实施方式不使用输入图像本身作为输出图像，而是基于输入图像生成全部为新输出图像的第一至第四视点图像。
本实施方式中，例如在图3中所示的配置中，将从视点1(103)与左相机101之间的中间位置的拍摄图像输入为左图像，并且将从右相机102与视点4(104)之间的中间位置的拍摄图像输入为右图像。基于这些输入图像来生成图3中所示的第一至第四视点图像作为新视点图像。这些等同于进行这种处理的配置。
将描述由根据图18中所示的图像处理装置400的配置的图像处理装置执行的处理。
左图像输入单元401输入左图像。输入的左图像被输入给深度检测单元403和左图像2D3D转换单元404。
同样地，右图像输入单元402输入右图像。输入的右图像被输入给深度检测单元403和右图像2D3D转换单元405。
深度检测单元403检测左图像中的各像素或各块与右图像中的哪个像素或哪个块对应，并生成左图像深度信息，在左图像深度信息中，位置差异被保存在与左图像中的该像素对应的位置处，并且检测右图像中的像素或块与左图像中的哪个像素或哪个块对应，并生成右图像深度信息，在右图像深度信息中，位置差异被保存在与右图像中的该像素对应的位置处。
左图像2D3D转换单元404输入由左图像输入单元401所输入的左图像和深度检测单元403所生成的左图像深度信息(例如，距离图像)，并且使用上述信息来生成两个图像：比输入左图像的视点的更偏左的视点的图像(第一视点图像)和与输入左图像的视点的右侧的视点的拍摄图像等同的图像(第二视点图像)。
同样地，右图像2D3D转换单元405输入由右图像输入单元402所输入的右图像和在深度检测单元403所生成的右图像深度信息(例如，距离图像)，并且使用上述信息来生成两个图像：从输入右图像的视点的左侧的视点的图像(第三视点图像)和比输入右图像的视点的更偏右的视点的图像(第四视点图像)。
可以像前面参考图5至图12描述的第一实施方式和参考图14至图15描述的第二实施方式的处理那样，来执行这些2D3D转换单元的新视点图像生成处理。
经由第一视点图像输出单元406来输出左图像2D3D转换单元404已经生成的第一视点图像。
经由第二视点图像输出单元407来输出左图像2D3D转换单元404已经生成的第二视点图像。
经由第三视点图像输出单元408来输出右图像2D3D转换单元405已经生成的第三视点图像。
经由第四视点图像输出单元409来输出右图像2D3D转换单元405已经生成的第四视点图像。
应该注意的是，图像的输出目的地是例如执行3D图像显示的显示处理的装置，或记录3D图像数据的存储装置等。可替换地，可以将图像作为通信数据输出给经由网络进行连接的装置。
关于这四个不同的视点图像，如同前面描述的第一实施方式一样，例如在显示装置执行3D图像显示的时候，根据用户的观察位置适当地选择两个图像，并且将所述两个图像输出为左眼图像和右眼图像。换言之，通过根据使用裸眼兼容3D显示装置的用户的位置适当地选择图像的组合，使3D图像显示能够抑制幻视或串扰的发生。
【7.图像处理装置的第六实施方式】
图19是根据本公开的图像处理装置的第六实施方式的配置图。
如第一实施方式一样，第六实施方式是下述装置，该装置获得左、右两个不同的视点(左图像、右图像)作为输入，并且进行输出第一至第四的四个视点的图像的多视点图像生成。
第六实施方式具有与参考图16所描述的第三实施方式的深度估计单元相同的深度估计单元。
如同参考图18所描述的第五实施方式一样，第六实施方式不使用输入图像本身来作为输出图像，而是基于输入图像来生成全部为新输出图像的第一至第四视点图像。
例如，图3中所示的配置中，将视点1(103)与左相机101之间的中间位置的拍摄图像作为左图像来输入，并且将右相机102与视点4(104)之间的中间位置的拍摄图像作为右图像来输入。基于这些输入图像来生成新的第一至第四视点图像。这些等同于进行这种处理的配置。
将描述由根据图19中所示的图像处理装置的配置的图像处理装置执行的处理。
左图像输入单元451输入左图像。输入的左图像被输入给深度检测单元453和左图像2D3D转换单元455。
同样地，右图像输入单元452输入右图像。输入的右图像被输入给深度检测单元454和右图像2D3D转换单元456。
左图像2D3D转换单元455输入由左图像输入单元451所输入的左图像和在深度检测单元453所生成的左图像深度信息输入，并且使用上述信息来生成两个图像：比输入的左图像的视点的更偏左的视点的图像(第一视点图像)和与在输入的左图像的视点的右侧的视点的拍摄图像等同的图像(第二视点图像)。
右图像2D3D转换单元456输入由右图像输入单元452所输入的右图像和在深度检测单元454所生成的右图像深度信息，并且使用上述信息生成两个图像：在输入的右图像的视点的左侧的视点的图像(第三视点图像)和比输入右图像的视点的更偏右的视点的图像(第四视点图像)。
可以像前面参考图5至图12描述的第一实施方式和参考图14至图15描述的第二实施方式的处理那样，进行在这些2D3D转换单元的新视点图像生成处理。
经由第一视点图像输出单元457来输出左图像2D3D转换单元455已经生成的第一视点图像。
经由第二视点图像输出单元458来输出左图像2D3D转换单元455已经生成的第二视点图像。
经由第三视点图像输出单元459来输出右图像2D3D转换单元456已经生成的第三视点图像。
经由第四视点图像输出单元460来输出右图像2D3D转换单元456已经生成的第四视点图像。
应该注意的是，图像的输出目的地是例如，执行3D图像显示的显示处理的装置或记录3D图像数据的存储装置等。可替换地，可以将图像作为通信数据输出给经由网络进行连接的装置。
关于这四个不同的视点图像，如同前面描述的第一实施方式一样，例如在显示装置执行3D图像显示的时候，根据用户的观察位置来适当地选择两个图像并将这两个图像输出为左眼图像和右眼图像。换言之，通过根据使用裸眼兼容3D显示装置的用户的位置适当地选择图像的组合，使3D图像显示能够抑制幻视或串扰的发生。
【8.图像处理装置的第七实施方式】
图20是根据本公开的图像处理装置的第七实施方式的配置图。
如第一实施方式一样，第七实施方式是下述装置，该装置获得左、右两个不同的视点(左图像、右图像)作为输入，并且进行输出第一至第四的四个视点的图像的多视点图像生成。
第七实施方式如同参考图17所描述的第四实施方式一样，具有即没有深度检测单元也没有深度估计单元的配置。
同样，如同参考图18所描述的第五实施方式一样，不是用输入图像本身来作为输出图像，而是基于输入图像来生成全部为新输出图像的第一至第四视点图像。
例如，在图3中所示的配置中，将视点1(103)与左相机101之间的中间位置的拍摄图像输入为左图像，并且将右相机102与视点4(104)之间的中间位置的拍摄图像输入为右图像。基于这些输入图像来生成新的第一至第四视点图像。这些等同于进行这种处理的配置。
将描述由根据图20中所示的图像处理装置500的配置的图像处理装置执行的处理。
左图像输入单元501输入左图像。输入的左图像被输入给左图像2D3D转换单元505。
同样地，右图像输入单元502输入右图像。输入的右图像被输入给右图像2D3D转换单元506。
左图像2D3D转换单元502不根据由左图像输入单元501输入的左图像的图像特征量等来估计深度，而是根据左图像来生成两个图像：比输入左图像的视点的更偏左的视点的图像(第一视点图像)和与在输入的左图像的视点的右侧的视点的拍摄图像等同的图像(第二视点图像)。
右图像2D3D转换单元506不根据由右图像输入单元505输入的右图像的图像特征量等来估计深度，而是生成两个图像：在输入右图像的视点的左侧的视点的图像(第三视点图像)和比输入右图像的视点的更偏右的视点的图像(第四视点图像)。
可以像前面参考图5至图12描述的第一实施方式和参考图14至图15描述的第二实施方式的处理那样，执行在这些2D3D转换单元处的新视点图像生成处理。
经由第一视点图像输出单元503来输出左图像2D3D转换单元502已经生成的第一视点图像。
经由第二视点图像输出单元504来输出左图像2D3D转换单元502已经生成的第二视点图像。
经由第三视点图像输出单元507来输出右图像2D3D转换单元506已经生成的第三视点图像。
经由第四视点图像输出单元508来输出右图像2D3D转换单元506已经生成的第四视点图像。
应该注意的是，图像的输出目的地是例如，执行3D图像显示的显示处理的装置或记录3D图像数据的存储装置等。可替换地，可以将图像作为通信数据输出给经由网络进行连接的装置。
关于这四个不同的视点图像，如同前面描述的第一实施方式一样，例如在显示装置执行3D图像显示的时候，根据用户的观察位置适当地选择两个图像并将所述两个图像输出为左眼图像和右眼图像。换言之，通过根据使用裸眼兼容3D显示装置的用户的位置适当地选择图像的组合，使3D图像显示能够抑制幻视或串扰的发生。
【9.图像处理装置的第八实施方式】
图21是根据本公开的图像处理装置的第八实施方式的配置图。
在目前为止描述的实施方式中，描述了关于下述处理的示例，所述处理示例中，获得左、右两个不同的视点(左图像、右图像)来作为输入，并且进行输出第一至第四的四个视点的图像的多视点图像生成。
根据图21中所示的第八实施方式的图像处理装置550获得左、右两个不同的视点(左图像、右图像)来作为输入，并且进行输出更大数目，即第一至第六的六个视点的图像的多视点图像生成。
应该注意的是，所生成的第一至第六视点的图像中的每个图像都是下述视点的图像，其中将最左视点图像作为第一视点图像，按照第二、第三等的顺序向右移动，将最右侧的视点的图像作为第六视点图像。
根据图21中所示的第八实施方式的图像处理装置550
将输入的左图像照原样输出为第三视点图像；
并且基于输入的左图像(第三视点图像)来生成和输出在输入左图像的视点的左侧的视点的第二视点图像和更偏左的第一视点图像。
而且，将输入的右图像照原样输出为第四视点图像，
并且基于输入的右图像(第四视点图像)来生成和输出在输入右图像的右侧的视点的第五视点图像和更偏右的第六视点图像。
将描述由根据图21中所示的图像处理装置550的配置的图像处理装置执行的处理。
左图像输入单元551输入左图像。输入的左图像被输入给深度检测单元553和左图像第一2D3D转换单元554。
同样地，右图像输入单元552输入右图像。输入的右图像被输入给深度检测单元553和右图像第一2D3D转换单元556。
深度检测单元553检测左图像中的像素或块与右图像中的哪个像素或哪个块对应，并生成左图像深度信息，在左图像深度信息中，位置差异被保存于与左图像中的该像素对应的位置；并且检测右图像中的像素或块与左图像中的哪个像素或哪个块对应，并生成右图像深度信息，在右图像深度信息中，位置差异被保存在与右图像中的该像素对应的位置。
左图像第一2D3D转换单元554输入由左图像输入单元551所输入的左图像(第三视点图像)和在深度检测单元553所生成的左图像深度信息(例如，距离图像)，并利用上述信息来生成比输入左图像的视点的更偏左的视点的图像(第二视点图像)。生成的第二视点图像经由第二视点图像输出单元559被输出并且提供给左图像第二2D3D转换单元555。
左图像第二2D3D转换单元555输入由左图像第一2D3D转换单元554所输入的第二视点图像和在深度检测单元553所生成的左图像深度信息(例如，距离图像)，并利用上述信息来生成比输入第二视点图像的视点的更偏左的视点的图像(第一视点图像)。所生成的第一视点图像经由第一视点图像输出单元558输出。
右图像第一2D3D转换单元556输出由右图像输入单元552所输入的右图像(第四视点图像)和在深度检测单元553所生成的右图像深度信息(例如，距离图像)，并利用上述信息来生成比输入右图像的视点的更偏右的视点的图像(第五视点图像)。所生成的第五视点图像经由第五视点图像输出单元562被输出并且提供给右图像第二2D3D转换单元557。
右图像第二2D3D转换单元557输入由右图像第一2D3D转换单元556所输入的第五视点图像和在深度检测单元553所生成的右图像深度信息(例如距离图像)输入，并利用上述信息来生成比输入第五视点图像的视点的更偏右的视点的图像(第六视点图像)。所生成的第六视点图像经由第六视点图像输出单元563输出。
可以如前面参考图5至图12描述的第一实施方式和参考图14至图15描述的第二实施方式的处理那样，来执行在这些2D3D转换单元处的新视点图像生成处理。
经由第一视点图像输出单元558来输出左图像第二2D3D转换单元555已经生成的第一视点图像。
经由第二视点图像输出单元559来输出左图像第一2D3D转换单元554已经生成的第二视点图像。
经由第三视点图像输出单元560来输出左图像输入单元551已经输入的图像(第三视点图像)。
经由第四视点图像输出单元561来输出右图像输入单元552已经输入的图像(第四视点图像)。
经由第五视点图像输出单元562来输出右图像第一2D3D转换单元556已经生成的第五视点图像。
经由第六视点图像输出单元563来输出右图像第二2D3D转换单元557已经生成的第六视点图像。
应该注意的是，图像的输出目的地是例如执行3D图像显示的显示处理的装置或记录3D图像数据的存储装置等。可替换地，可以将图像作为通信数据输出给经由网络进行连接的装置。
关于这六个不同的视点图像，如同前面所描述的第一实施方式一样，例如在显示装置执行3D图像显示的时候，根据用户的观察位置来适当地选择两个图像，并将所述两个图像输出为左眼图像和右眼图像。换言之，使3D图像显示能够抑制其中右眼图像进入左眼且左眼图像进入右眼的幻视的发生或右眼图像和左眼图像变得混合的串扰的发生。
在本实施方式中，可以生成比第一至第七实施方式中描述的四个视点图像更多数量的多视点图像。如图21中所示，通过串连连接2D3D转换单元，可以增大生成的视点的个数。应该注意的是，2D3D转换处理不局限于两级，可以进行多级连接。
【10.图像处理装置的第九实施方式】
图22是根据本公开的图像处理装置的第九实施方式的配置图。
根据图22中所示的第九实施方式的图像处理装置600获得四个不同的视点图像(第一图像至第四图像)作为输入，并且进行输出第一至第八的八个视点的图像的多视点图像生成。
应该注意的是，所生成的第一至第八的八个视点的图像中的每个图像都是下述视点的图像，其中将最左视点图像作为第一视点图像，并且按照第二、第三等的顺序向右移动，将最右侧的视点的图像作为第八视点图像。
根据图22中所示的第九实施方式的图像处理装置600
将输入图像的第一图像照原样输出为第二视点图像，
并且基于输入的第一图像(第二视点图像)来生成并输出在输入的第一图像(第二视点图像)的视点的左侧的视点的第一视点图像。
而且，将输入图像的第二图像照原样输出为第四视点图像，
并且基于输入的第二图像(第四视点图像)来生成并输出在输入的第二图像(第四视点图像)的视点的左侧的视点的第三视点图像。
而且，将输入图像的第三图像照原样输出为第五视点图像，
并且基于输入的第三图像(第五视点图像)来生成并输出在输入的第三图像(第五视点图像)的视点的右侧的视点的第六视点图像。
而且，将输入图像的第四图像照原样输出为第七视点图像，
并且基于输入的第四图像(第七视点图像)来生成并输出在输入的第四图像(第七视点图像)的视点的右侧的视点的第八视点图像。
将描述由根据图22中所示的图像处理装置600的配置的该图像处理装置执行的处理。
第一图像输入单元601输入第一图像。输入的第一图像被输入给第一深度检测单元611和第一2D3D转换单元621。
第二图像输入单元602输入第二图像。输入的第二图像被输入给第一深度检测单元611、第二深度检测单元612，并且也输入给第二2D3D转换单元622。
第三图像输入单元603输入第三图像。输入的第三图像被输入给第二深度检测单元612、第三深度检测单元613，并且也输入给第三2D3D转换单元623。
第四图像输入单元604输入第四图像。输入的第四图像被输入给第三深度检测单元613，并且也输入给第四2D3D转换单元624。
第一深度检测单元611检测第一图像中的像素或块与第二图像中的哪个像素或哪个块对应，并且生成第一图像深度信息，在第一图像深度信息中，位置差异被保存在与第一图像中的该像素对应的位置。
第二深度检测单元612检测第二图像中的像素或块与第三图像中的哪个像素或哪个块对应，并且生成第二图像深度信息，在第二图像深度信息中，位置差异被保存在与第二图像中的该像素对应的位置。
另外，检测第三图像中的像素或块与第二图像中的哪个像素或哪个块中对应，并且生成第三图像深度信息，在第三图像深度信息中，位置差异被保存在与第三图像中的该像素对应的位置。
第三深度检测单元613检测第四图像中的像素或块与第三图像中的哪个像素哪个块对应，并且生成第四图像深度信息，在第四图像深度信息中，位置差异被保存在与第四图像中的该像素对应的位置。
第一2D3D转换单元621输入由第一图像输入单元601所输入的第一图像(第二视点图像)和在第一深度检测单元611所生成的第一图像深度信息(例如，距离图像)，并且利用上述信息来生成比输入的第一图像(第二视点图像)的视点的更偏左的视点的图像(第一视点图像)。
第二2D3D转换单元622输入由第二图像输入单元602所输入的第二图像(第四视点图像)和在第二深度检测单元612所生成的第二图像深度信息(例如，距离图像)，并且利用上述信息生成比输入的第二图像(第四视点图像)的视点的更偏左的视点的图像(第三视点图像)。
第三2D3D转换单元623输入由第三图像输入单元603所输入的第三图像(第五视点图像)和在第二深度检测单元612所生成的第三图像深度信息(例如，距离图像)输入，并且利用上述信息生成比输入的第三图像(第五视点图像)的视点的更偏右的视点的图像(第六视点图像)。
第四2D3D转换单元624输入由第四图像输入单元604所输入的第四图像(第七视点图像)和在第三深度检测单元613所生成的第四图像深度信息(例如，距离图像)，并且利用上述信息生成比输入的第四图像(第七视点图像)的视点的更偏右的视点的图像(第八视点图像)。
可以如前面参考图5至图12描述的第一实施方式和参考图14至图15描述的第二实施方式的处理那样，执行在这些2D3D转换单元处的新视点图像生成处理。
经由第一视点图像输出单元631来输出第一2D3D转换单元621已经生成的第一视点图像。
经由第二视点图像输出单元632来输出第一图像输入单元601已经输入的图像(第二视点图像)。
经由第三视点输出单元633来输出第三2D3D转换单元622已经生成的第二视点图像。
经由第四视点图像输出单元634来输出第二图像输入单元602已经输入的图像(第四视点图像)。
经由第五视点图像输出单元635来输出第三图像输入单元603已经输入的图像(第五视点图像)。
经由第六视点图像输出单元636来输出第三2D3D转换单元623已经生成的第六视点图像。
经由第七视点图像输出单元637来输出第四图像输入单元604已经输入的图像(第七视点图像)。
经由第八视点图像输出单元638来输出第四2D3D转换单元624已经生成的第八视点图像。
应该注意的是，图像的输出目的地是例如执行3D图像显示的显示处理的装置或记录3D图像数据的存储装置等。可替换地，可以将图像作为通信数据输出给经由网络进行连接的装置。
关于这八个不同的视点图像，如同前面所描述的第一实施方式一样，例如在显示装置执行3D图像显示的时候，根据用户的观察位置适当地选择两个图像，并且将这两个图像输出为左眼图像和右眼图像。换言之，使3D图像显示能够抑制右眼图像进入左眼且左眼图像进入右眼的幻视的发生或右眼图像和左眼图像变得混合的串扰的发生。
在本实施方式的配置中，实现了下述配置，在该配置中，获取三个或更多个不同的视点的三个或更多个图像作为输入，并且生成四个或更多个视点图像。
【11.本公开的配置的回顾】
至此参考具体实施方式对本公开的实施方式进行了详细地描述。然而，不言而喻，本领域的技术人员在不背离本公开的主旨的情况下可以对各实施方式进行修改或置换。换言之，对本发明进行了示例性地公开，但是不应该进行限制性地解释。为了确定本公开的主旨，应该参考权利要求部分。
应该注意的是，本说明书中公开的技术可以采取以下配置：
(1)一种图像处理装置，包括：
右图像输入单元，配置为输入要应用于三维图像显示的针对右眼的图像信号；
左图像输入单元，配置为输入要应用于三维图像显示的针对左眼的图像信号；
右图像转换单元，配置为生成其中所述针对右眼的输入图像信号根据所述图像的特征受到右方向或左方向上的相位变化的转换图像；
左图像转换单元，配置为生成其中所述针对左眼的输入图像信号根据所述图像的特征受到左方向或右方向上的相位变化的转换图像；以及
图像输出单元，配置为将所述右图像转换单元的所生成的图像和所述左图像转换单元的所生成的图像输出为多个新视点图像。
(2)根据(1)所述的图像处理装置，还包括：深度检测单元，配置为生成图像深度信息，所述图像深度信息具有与来自所述针对右眼的输入图像信号和所述针对左眼的输入图像信号中的每个图像信号对应的对象距离信息；其中，所述左图像转换单元和右图像转换单元以所述图像深度信息作为辅助信息来生成其中图像信号受到左方向上或右方向上的相位变化的转换图像。
(3)根据(1)或(2)所述的图像处理装置，还包括：深度估计单元，配置为生成与所述针对右眼的输入图像信号和所述针对左眼的输入图像信号中的每个图像信号对应的对象深度估计信息；其中，所述左图像转换单元和右图像转换单元以所述对象深度估计信息作为辅助信息来生成其中图像信号受到左方向上或右方向上的相位变化的转换图像。
(4)根据(1)至(3)中任一项所述的图像处理装置，其中，所述左图像转换单元和右图像转换单元对输入图像信号的亮度微分信号进行提取；将所述亮度微分信号设置为特征量；并且通过将所述输入图像信号加上或减去所述亮度微分信号或所述亮度微分信号的非线性转换信号来生成转换图像。
(5)根据(1)至(4)中任一项所述的图像处理装置，所述左图像转换单元或右图像转换单元包括多级连接配置；其中，由上游的图像转换单元生成的转换图像被输入给下游的图像转换单元，其中使输入图像信号受到相位变化的处理在每个图像转换单元处重复地执行，依次在每个图像转换单元处生成新的转换图像。
(6)根据(1)至(5)中任一项所述的图像处理装置，其中，所述左图像转换单元和右图像转换单元根据基于所述针对右眼的输入图像信号和所述针对左眼的输入图像信号所计算或估计的深度信息，计算最大距离与最小距离的对象之间的图像间距离差；并且生成新视点图像，其中根据所述图像间距离差来控制从所述新视点图像和另一图像获得的最大距离与最小距离的对象之间的图像间距离差。
(7)根据(1)至(6)中任一项所述的图像处理装置，其中，所述左图像转换单元和右图像转换单元根据基于所述针对右眼的输入图像信号和所述针对左眼的输入图像信号所计算或估计的深度信息，计算最大距离与最小距离的对象之间的图像间距离差；并且生成新视点图像，其中根据最终要输出的视点图像的数目来近似均匀地分布所述视点图像之间的图像间距离差。
而且，可以通过由硬件、软件或两者的组合配置来执行本说明书中所描述的一系列处理。在通过软件来执行处理的情况下，可以在做成专用硬件的计算机内的存储器中安装并执行记录了处理顺序的程序，或者可以在能够进行多种处理的通用计算机中安装并执行该程序。例如，可以将程序预先记录在记录介质中。除了从记录介质安装到计算机之外，可以经由例如LAN(局域网)或因特网等的网络来接收程序并安装在例如内置硬盘的记录介质中。
应该注意的是，本说明书中所描述的各种处理不局限于按照所描述的时间顺序来执行，而是可以根据执行处理的装置的处理能力或者根据需要来进行并行执行或单独执行。而且，如本说明书中所使用的系统是多个装置的逻辑组配置，而不局限于每个都配置在同一壳体内的装置。
工业实用性
如上所述，根据本公开的实施方式配置，通过简单的信号处理来实现从新视点生成图像的图像处理装置。具体地，例如，输入要用于图像显示的针对右眼的输入图像信号和针对左眼的输入图像信号，并且右图像转换单元生成输入的针对右眼的图像信号根据图像的特征受到右方向上或左方向上的相位变化的转换图像。同样地，左图像转换单元生成输入的针对左眼的图像信号根据图像的特征受到左方向上或右方向上的相位变化的转换图像。右图像转换单元的所生成的图像和左图像转换单元的所生成的图像被输出为多个新视点图像。通过例如将输入图像信号加上或减去输入图像的亮度微分信号或亮度微分信号的非线性转换信号来生成转换图像。通过这些处理，能够在不使用高精度的对象距离信息的情况下从各个视点生成图像。
附图标记列表
11 左相机
12 右相机
21 左图像
22 右图像
31 视点1的相机
32 视点2的相机
33 视点3的相机
34 视点4的相机
41 视点1的图像
42 视点2的图像
43 视点3的图像
44 视点4的图像
101 左相机
102 右相机
103 视点1
104 视点2
111 左图像(第二视点图像)
112 右图像(第三视点图像)
113 第一视点图像
114 第四视点图像
200 图像处理装置
201 左图像输入单元
202 右图像输入单元
203 深度检测单元
204 左图像2D3D转换单元
205 右图像2D3D转换单元
206 第一视点图像输出单元
207 第二视点图像输出单元
208 第三视点图像输出单元
209 第四视点图像输出单元
211 微分器
212 增益控制单元
213 非线性转换单元
214 图像合成单元
221 增益系数计算单元
222 乘法处理单元
250 图像处理装置
251 左图像输入单元
252 右图像输入单元
253 深度检测单元
254 左图像2D3D转换单元
255 右图像2D3D转换单元
256 第一视点图像输出单元
257 第二视点图像输出单元
258 第三视点图像输出单元
259 第四视点图像输出单元
261 深度信息调节单元
300 图像处理装置
301 左图像输入单元
302 右图像输入单元
303 左图像深度估计单元
304 右图像深度估计单元
305 左图像2D3D转换单元
306 右图像2D3D转换单元
307 第一视点图像输出单元
308 第二视点图像输出单元
309 第三视点图像输出单元
310 第四视点图像输出单元
350 图像处理装置
351 左图像输入单元
352 左图像2D3D转换单元
353 第一视点图像输出单元
354 第二视点图像输出单元
355 右图像输入单元
356 右图像2D3D转换单元
357 第三视点图像输出单元
358 第四视点图像输出单元
400 图像处理装置
401 左图像输入单元
402 右图像输入单元
403 深度检测单元
404 左图像2D3D转换单元
405 右图像2D3D转换单元
406 第一视点图像输出单元
407 第二视点图像输出单元
408 第三视点图像输出单元
409 第四视点图像输出单元
450 图像处理装置
451 左图像输入单元
452 右图像输入单元
453 左图像深度估计单元
454 右图像深度估计单元
455 左图像2D3D转换单元
456 右图像2D3D转换单元
457 第一视点图像输出单元
458 第二视点图像输出单元
459 第三视点图像输出单元
460 第四视点图像输出单元
500 图像处理装置
501 左图像输入单元
502 左图像2D3D转换单元
503 第一视点图像输出单元
504 第二视点图像输出单元
505 右图像输入单元
506 右图像2D3D转换单元
507 第三视点图像输出单元
508 第四视点图像输出单元
550 图像处理装置
551 左图像输入单元
552 右图像输入单元
553 深度检测单元
554 左图像第一2D3D转换单元
555 左图像第二2D3D转换单元
556 右图像第一2D3D转换单元
557 右图像第二2D3D转换单元
558 第一视点图像输出单元
559 第二视点图像输出单元
560 第三视点图像输出单元
561 第四视点图像输出单元
562 第五视点图像输出单元
563 第六视点图像输出单元
600 图像处理装置
601 第一图像输入单元
602 第二图像输入单元
603 第三图像输入单元
604 第四图像输入单元
611 第一深度检测单元
612 第二深度检测单元
613 第三深度检测单元
621 第一2D3D转换单元
622 第二2D3D转换单元
623 第三2D3D转换单元
624 第四2D3D转换单元
631 第一视点图像输出单元
632 第二视点图像输出单元
633 第三视点图像输出单元
634 第四视点图像输出单元
635 第五视点图像输出单元
636 第六视点图像输出单元
637 第七视点图像输出单元
638 第八视点图像输出单元

Claims (5)

1.一种图像处理装置，包括：
右图像输入单元，配置为输入要应用于三维图像显示的针对右眼的图像信号；
左图像输入单元，配置为输入要应用于三维图像显示的针对左眼的图像信号；
右图像转换单元，配置为生成其中所述针对右眼的输入图像信号根据图像的特征受到右方向或左方向上的相位变化的转换图像；
左图像转换单元，配置为生成其中所述针对左眼的输入图像信号根据图像的特征受到左方向或右方向上的相位变化的转换图像；以及
图像输出单元，配置为将所述右图像转换单元的所生成的图像和所述左图像转换单元的所生成的图像输出为多个新视点图像，
其中，所述左图像转换单元和右图像转换单元
根据基于所述针对右眼的输入图像信号和所述针对左眼的输入图像信号所计算或估计的图像深度信息，计算最大距离与最小距离的对象之间的图像间距离差，所述图像深度信息具有与每个图像信号对应的对象距离信息；并且
生成新视点图像，其中根据所述图像间距离差来控制从所述新视点图像和另一图像获得的最大距离与最小距离的对象之间的图像间距离差，或者根据最终要输出的视点图像的数目来均匀地分布所述视点图像之间的图像间距离差，
其中，所述左图像转换单元或右图像转换单元包括多级连接配置；
其中，由上游的图像转换单元生成的转换图像被输入给下游的图像转换单元，其中使输入图像信号受到相位变化的处理在每个图像转换单元处重复地执行，依次在每个图像转换单元处生成新的转换图像。
2.根据权利要求1所述的图像处理装置，还包括：
深度检测单元，配置为生成所述图像深度信息；
其中，所述左图像转换单元和右图像转换单元以所述图像深度信息作为辅助信息来生成其中图像信号受到左方向或右方向上的相位变化的转换图像。
3.根据权利要求1所述的图像处理装置，还包括：
深度估计单元，配置为生成与所述针对右眼的输入图像信号和所述针对左眼的输入图像信号中的每个的图像信号对应的对象深度估计信息作为所述图像深度信息；
其中，所述左图像转换单元和右图像转换单元以所述对象深度估计信息作为辅助信息来生成其中图像信号受到左方向或右方向上的相位变化的转换图像。
4.根据权利要求1所述的图像处理装置，其中，所述左图像转换单元和右图像转换单元
对输入图像信号的亮度微分信号进行提取，将所述亮度微分信号设置为特征量，并且通过将输入图像信号加上或减去所述亮度微分信号或所述亮度微分信号的非线性转换信号来生成转换图像。
5.一种在图像处理装置处执行的图像处理方法，所述方法包括：
右图像输入步骤，右图像输入单元输入要被应用于三维图像显示的针对右眼的图像信号；
左图像输入步骤，左图像输入单元输入要被应用于三维图像显示的针对左眼的图像信号；
右图像转换步骤，右图像转换单元生成其中所述针对右眼的输入图像信号根据图像的特征受到右方向或左方向上的相位变化的转换图像；
左图像转换步骤，左图像转换单元生成其中所述针对左眼的输入图像信号根据图像的特征受到左方向或右方向上的相位变化的转换图像；以及
图像输出步骤，图像输出单元将所述右图像转换单元的所生成的图像和所述左图像转换单元的所生成的图像输出为多个新视点图像,
其中，所述左图像转换步骤和所述右图像转换步骤包括：
根据基于所述针对右眼的输入图像信号和所述针对左眼的输入图像信号所计算或估计的图像深度信息，计算最大距离与最小距离的对象之间的图像间距离差，所述图像深度信息具有与每个图像信号对应的对象距离信息；以及
生成新视点图像，其中根据所述图像间距离差来控制从所述新视点图像和另一图像获得的最大距离与最小距离的对象之间的图像间距离差，或者根据最终要输出的视点图像的数目来均匀地分布所述视点图像之间的图像间距离差，
其中，所述左图像转换步骤或右图像转换步骤包括多级连接配置；
其中，由上游的图像转换单元生成的转换图像被输入给下游的图像转换单元，其中使输入图像信号受到相位变化的处理在每个图像转换单元处重复地执行，依次在每个图像转换单元处生成新的转换图像。
CN201180058061.8A 2010-12-09 2011-10-24 图像处理装置、图像处理方法 Expired - Fee Related CN103238341B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2010274808 2010-12-09
JP2010-274808 2010-12-09
JP2011-062228 2011-03-22
JP2011062228A JP5879713B2 (ja) 2010-12-09 2011-03-22 画像処理装置、および画像処理方法、並びにプログラム
PCT/JP2011/074469 WO2012077420A1 (ja) 2010-12-09 2011-10-24 画像処理装置、および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN103238341A CN103238341A (zh) 2013-08-07
CN103238341B true CN103238341B (zh) 2016-08-24

Family

ID=46206923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180058061.8A Expired - Fee Related CN103238341B (zh) 2010-12-09 2011-10-24 图像处理装置、图像处理方法

Country Status (8)

Country Link
US (1) US9922441B2 (zh)
EP (1) EP2611173A4 (zh)
JP (1) JP5879713B2 (zh)
KR (1) KR101856805B1 (zh)
CN (1) CN103238341B (zh)
BR (1) BR112013013511A2 (zh)
CA (1) CA2812903A1 (zh)
WO (1) WO2012077420A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5249114B2 (ja) * 2009-04-03 2013-07-31 Ｋｄｄｉ株式会社 画像生成装置、方法及びプログラム
KR101727899B1 (ko) * 2010-11-26 2017-04-18 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US9148645B2 (en) * 2011-05-14 2015-09-29 Dolby Laboratories Licensing Corporation Crosstalk cancellation in 3D displays
US20120299805A1 (en) * 2011-05-26 2012-11-29 Sanyo Electric., Ltd. Projection display apparatus
JP5928280B2 (ja) 2012-09-28 2016-06-01 株式会社Ｊｖｃケンウッド 多視点画像生成装置及び方法
EP2765774A1 (en) * 2013-02-06 2014-08-13 Koninklijke Philips N.V. System for generating an intermediate view image
US10122992B2 (en) * 2014-05-22 2018-11-06 Disney Enterprises, Inc. Parallax based monoscopic rendering
RU2692432C2 (ru) * 2014-06-19 2019-06-24 Конинклейке Филипс Н.В. Способ и устройство для формирования трехмерного изображения
US9626584B2 (en) * 2014-10-09 2017-04-18 Adobe Systems Incorporated Image cropping suggestion using multiple saliency maps
EP3518532B1 (en) * 2016-09-23 2021-08-25 Nippon Telegraph and Telephone Corporation Image generating device, image generating method, data structure, and program
US10924670B2 (en) 2017-04-14 2021-02-16 Yang Liu System and apparatus for co-registration and correlation between multi-modal imagery and method for same
WO2018233387A1 (zh) * 2017-06-22 2018-12-27 上海玮舟微电子科技有限公司 裸眼3d显示方法及装置
US11315328B2 (en) * 2019-03-18 2022-04-26 Facebook Technologies, Llc Systems and methods of rendering real world objects using depth information
JPWO2023032209A1 (zh) * 2021-09-06 2023-03-09

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101646095A (zh) * 2008-08-06 2010-02-10 索尼株式会社 图像处理装置、图像处理方法及程序

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0305967B1 (de) * 1987-09-02 1993-05-05 Ciba-Geigy Ag Konjugate von Interferon alpha mit Immunglobulinen
KR100358021B1 (ko) * 1994-02-01 2003-01-24 산요 덴키 가부시키가이샤 2차원영상을3차원영상으로변환시키는방법및입체영상표시시스템
US6005607A (en) 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
JP3477023B2 (ja) * 1996-04-05 2003-12-10 松下電器産業株式会社 多視点画像伝送方法および多視点画像表示方法
JPH09322199A (ja) * 1996-05-29 1997-12-12 Olympus Optical Co Ltd 立体映像ディスプレイ装置
US5926190A (en) * 1996-08-21 1999-07-20 Apple Computer, Inc. Method and system for simulating motion in a computer graphics application using image registration and view interpolation
EP0896301A1 (en) 1997-08-06 1999-02-10 Victor Company Of Japan, Limited Stereoscopic image interpolating apparatus and method
JP2001346226A (ja) * 2000-06-02 2001-12-14 Canon Inc 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体
KR100433625B1 (ko) * 2001-11-17 2004-06-02 학교법인 포항공과대학교 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치
JP3880561B2 (ja) * 2002-09-05 2007-02-14 株式会社ソニー・コンピュータエンタテインメント 表示システム
US20040190023A1 (en) * 2003-03-24 2004-09-30 Tatsuya Aoyama Image processing method, apparatus and program
JP4440066B2 (ja) * 2004-10-14 2010-03-24 キヤノン株式会社 立体画像生成プログラム、立体画像生成システムおよび立体画像生成方法
US8619121B2 (en) * 2005-11-17 2013-12-31 Nokia Corporation Method and devices for generating, transferring and processing three-dimensional image data
JP2009080144A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 立体映像表示装置および立体映像表示方法
JP4958233B2 (ja) * 2007-11-13 2012-06-20 学校法人東京電機大学 多眼視画像作成システム及び多眼視画像作成方法
JP4669032B2 (ja) * 2008-09-08 2011-04-13 富士フイルム株式会社 画像処理装置および方法並びにプログラム
WO2010085361A2 (en) 2009-01-26 2010-07-29 Thomson Licensing Frame packing for video coding
KR20120018370A (ko) 2009-05-28 2012-03-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 무안경 입체식 디스플레이 디바이스
JP5397190B2 (ja) * 2009-11-27 2014-01-22 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP5521608B2 (ja) * 2010-02-12 2014-06-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8446461B2 (en) * 2010-07-23 2013-05-21 Superd Co. Ltd. Three-dimensional (3D) display method and system
CN101895779B (zh) * 2010-07-23 2011-10-05 深圳超多维光电子有限公司 立体显示方法和系统
US20120069143A1 (en) * 2010-09-20 2012-03-22 Joseph Yao Hua Chu Object tracking and highlighting in stereoscopic images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101646095A (zh) * 2008-08-06 2010-02-10 索尼株式会社 图像处理装置、图像处理方法及程序

Also Published As

Publication number Publication date
KR20130137000A (ko) 2013-12-13
US20130249904A1 (en) 2013-09-26
JP5879713B2 (ja) 2016-03-08
CN103238341A (zh) 2013-08-07
BR112013013511A2 (pt) 2016-09-06
KR101856805B1 (ko) 2018-06-20
EP2611173A1 (en) 2013-07-03
CA2812903A1 (en) 2012-06-14
WO2012077420A1 (ja) 2012-06-14
EP2611173A4 (en) 2015-05-20
US9922441B2 (en) 2018-03-20
JP2012138885A (ja) 2012-07-19

Similar Documents

Publication Publication Date Title
CN103238341B (zh) 图像处理装置、图像处理方法
JP5387377B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2012138787A (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN102833560A (zh) 图像处理设备、图像处理方法和程序
CN102055998A (zh) 图像处理装置、图像处理方法和程序
KR20110068870A (ko) 비디오 변환시스템에 있어서의 뎁스맵 생성
CN102665086A (zh) 利用基于区域的局部立体匹配获取视差的方法
JP5533529B2 (ja) 画像処理装置及び画像処理システム
Kim et al. Depth adjustment for stereoscopic image using visual fatigue prediction and depth-based view synthesis
CN103718547A (zh) 图像处理设备、图像处理方法及程序
JP6585938B2 (ja) 立体像奥行き変換装置およびそのプログラム
CN102742285B (zh) 图像处理设备和图像处理方法
JP2014074969A (ja) 画像処理装置及びその方法
US20140079313A1 (en) Method and apparatus for adjusting image depth
CN103380624A (zh) 处理三维场景的深度数据
Ideses et al. 3D from compressed 2D video
Galabov A real time 2D to 3D image conversion techniques
CN107610070A (zh) 基于三摄像采集的自由立体匹配方法
CN102611901A (zh) 深度推断数据生成装置、深度推断数据生成方法以及仿真立体图像显示装置
CN102780900A (zh) 一种多人多视角立体显示器影像显示方法
WO2012096065A1 (ja) 視差画像表示装置及び視差画像表示方法
US20170142395A1 (en) 3d system including pop out adjustment
US10148932B2 (en) 3D system including object separation
WO2012096054A1 (ja) 視差画像表示装置、視差画像表示方法及び視差画像表示プログラム
KR101165728B1 (ko) 3차원 영상 변환 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160824

Termination date: 20201024

CF01 Termination of patent right due to non-payment of annual fee