CN102404592A - 图像处理设备和方法以及立体图像显示设备 - Google Patents

图像处理设备和方法以及立体图像显示设备 Download PDF

Info

Publication number
CN102404592A
CN102404592A CN2011102812594A CN201110281259A CN102404592A CN 102404592 A CN102404592 A CN 102404592A CN 2011102812594 A CN2011102812594 A CN 2011102812594A CN 201110281259 A CN201110281259 A CN 201110281259A CN 102404592 A CN102404592 A CN 102404592A
Authority
CN
China
Prior art keywords
image
anaglyph
dimension
viewpoint
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011102812594A
Other languages
English (en)
Other versions
CN102404592B (zh
Inventor
高间大辅
津崎亮一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Display Inc
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102404592A publication Critical patent/CN102404592A/zh
Application granted granted Critical
Publication of CN102404592B publication Critical patent/CN102404592B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及图像处理设备和方法以及立体图像显示设备，公开了能够基于来自第一视点的场景的第一图像和来自第二视点的该场景的第二图像来产生深度图像的方法、计算机可读介质和装置。第一、第二视点沿第一维度具有位移。第三图像和第四图像基于该深度图像而产生。第三、第四图像分别对应于第三、第四视点。第三、第四视点沿不同于第一维度的第二维度具有位移。

Description

图像处理设备和方法以及立体图像显示设备
技术领域
本发明涉及图像处理设备和图像处理方法以及立体图像显示设备，该图像处理设备产生用于立体显示的多个视差图像(parallax image)，该立体图像显示设备根据多个视差图像来执行立体显示。
背景技术
近来，如图15所示，下述3D相机101已经投入生产：在该相机中，第一摄像部111和第二摄像部112在水平方向上排列。通过用3D相机101进行摄像，可以获得在水平方向上具有视差的左视差图像151L和右视差图像151R。根据水平方向上的视差图像151L和151R，可以由立体图像显示设备显示立体图像。
为了由这种立体图像显示设备执行立体显示，提出了观察者使用眼镜的眼镜类型以及观察者无需佩戴眼镜、以裸眼即可立体地观看对象的无眼镜类型。作为眼镜类型的代表示例，存在一种快门眼镜类型，在该类型中，使用具有左眼快门和右眼快门的快门眼镜。在这种快门眼镜类型中，左眼视差图像和右眼视差图像以帧序方式以高速在2D显示面板上交替地显示。此外，由于左眼快门和右眼快门根据各个视差图像的显示定时而被交替地切换，所以只有左眼视差图像入射到观察者的左眼，并且只有右眼视差图像入射到观察者的右眼，从而获得立体视觉。
另一方面，作为无眼镜类型的代表示例，存在视差阻挡(parallaxbarrier)类型和双凸透镜(lenticular lens)类型。在视差阻挡类型或双凸透镜类型的情形下，用于立体视觉的视差图像(在2个视点(viewpoint)的情形下，是右眼视差图像和左眼视差图像)受到空间分割并显示在2D显示面板上，这些视差图像由视差分割部在水平方向上进行视差分割，从而执行立体视觉。在视差阻挡类型的情形下，使用形成有狭缝开口的视差阻挡，该狭缝开口是视差分割部。在双凸透镜的情形下，使用双凸透镜作为视差分割部，该双凸透镜中平行地布置有多个柱状的划分透镜。
图17图示了根据视差阻挡类型的立体图像显示设备的一种大体构造示例。该立体图像显示设备具有这样的构造：视差阻挡201面向2D显示面板202的前表面。根据视差阻挡201的这种大体结构，遮蔽部211和条形开口部(狭缝部)212在水平方向上交替地布置，遮蔽部遮蔽来自2D显示面板202的显示图像光，而条形开口部使该显示图像光透射。合成图像被显示在2D显示面板202上，在该合成图像中，右眼视差图像R和左眼视差图像L在水平方向上交替地排列。在视差阻挡类型的情形下，通过视差阻挡201而观察到2D显示面板202上显示的合成图像。这样，在观察者从预定的位置和预定的方向观看该立体图像显示设备的情形下，可以通过狭缝部212将不同的视差图像光分别输入到观察者的左眼5L和右眼5R。这样，在观察者从该预定位置和方向观看该立体图像显示设备的情形下，感受到立体图像。为了实现立体视觉，必须向左眼5L和右眼5R显示不同的视差图像。因此，需要至少两个视差图像：右眼图像和左眼图像。在使用三个或更多个视差图像的情形下，可以实现多种景象(vision)。
发明内容
在上述各种立体图像显示设备中，必须至少使用在水平方向上具有视差的视差图像来正常地执行立体显示。如图15所示，在第一摄像部111和第二摄像部112在水平方向排列的状态下由3D相机101执行摄像的情形下，由于获得在水平方向上具有视差的左视差图像151L和右视差图像151R，所以可以原样地使用它们作为用于立体显示的图像数据。但是，例如如图16所示，在将3D相机101设定在竖直方向的时候在第一摄像部111和第二摄像部112在竖直方向排列的状态下执行摄像的情形下，获得了只在竖直方向上具有视差的上视差图像151U和下视差图像151D。在这种只在竖直方向上具有视差的图像中，立体图像显示设备中不会正常地执行立体显示。
日本未审查专利申请公开No.2009-239389公开了一种技术，在该技术中，从多个视差图像产生具有不同视差的插值图像，以改变立体图像的深度感。在日本未审查专利申请公开No.2009-239389公开的技术中，可以改变视差量。但是，所产生的插值图像的视差的方向与原始视差图像相同。这样，在原始视差图像是如图16所示那样获得的、只在竖直方向上具有视差的上视差图像151U和下视差图像151D的情形下，就难以正常地执行立体显示。
希望提供图像处理设备、图像处理方法和立体图像显示设备，即使在所获得的视差图像在与所需方向不同的方向上具有视差的情形下，它们也能获得在所需方向上具有视差的视差图像。
一些实施例涉及形成图像的方法。该方法包括基于来自第一视点的、场景的第一图像和来自第二视点的、该场景的第二图像来产生深度图像。第一、第二视点沿第一维度具有位移。该方法还包括基于该深度图像而产生分别对应于第三、第四视点的第三图像和第四图像。第三、第四视点沿不同于第一维度的第二维度具有位移。
一些实施例涉及计算机可读储存介质(例如非瞬态计算机可读储存介质)，该介质上储存有指令，这些指令在被执行时执行形成图像的方法。该方法包括基于来自第一视点的、场景的第一图像和来自第二视点的、该场景的第二图像来产生深度图像。第一、第二视点沿第一维度具有位移。该方法还包括基于该深度图像而产生第三图像和第四图像。第三、第四图像对应于第三、第四视点，第三、第四视点沿不同于第一维度的第二维度具有位移。
一些实施例涉及图像处理系统。该图像处理系统包括深度信息计算单元，该单元被构造成基于来自第一视点的、场景的第一图像和来自第二视点的、该场景的第二图像来产生深度图像。第一、第二视点沿第一维度具有位移。该图像处理系统还包括视差图像生成单元，该单元被构造成基于该深度图像而产生第三图像和第四图像，第三、第四图像对应于第三、第四视点，第三、第四视点沿不同于第一维度的第二维度具有位移。
根据本发明中的图像处理设备、图像处理方法或立体图像显示设备，由于基于在第一方向上具有视差的多个第一视差图像来计算立体显示的深度量，并基于该深度量来生成在不同于第一方向的第二方向上具有视差的多个第二视差图像，所以例如即使在与所需方向(例如水平方向)不同的方向(例如竖直方向)上用3D相机捕获的视差图像的情形下，也可以将它们变换成在所需方向上具有视差的视差图像。因此，可以获得适于立体显示的视差图像。
附图说明
图1的框图示出了根据本发明第一实施例的视差图像处理设备和立体图像显示设备的构造示例；
图2A-图2F的概念图图示了图1中的视差图像处理设备中的视差图像生成处理的概况；
图3A和图3B的概念图图示了视差量与深度量之间的关系；
图4的概念图图示了在显示表面的尺寸为3.7英寸的情形下的深度量；
图5的概念图图示了在显示表面的尺寸为3.7英寸的情形下，视差量与深度量之间的变换函数的示例；
图6的概念图图示了在显示表面的尺寸为40英寸的情形下的深度量；
图7的概念图图示了在显示表面的尺寸为40英寸的情形下，视差量与深度量之间的变换函数的示例；
图8的概念图图示了由预定的加权函数对图5中的变换函数所表示的视差量与深度量之间的关系进行了线性变换的示例；
图9的概念图图示了由预定的加权函数对图5中的变换函数所表示的视差量与深度量之间的关系进行了平行变换的示例；
图10的概念图图示了由预定的加权函数对图5中的变换函数所表示的视差量与深度量之间的关系进行变换以强调向前突出感的示例和进行变换以强调深度感的示例；
图11A至图11C的概念图图示了图1的视差图像处理设备的视差图像生成部中的视差图像生成方法的第一示例；
图12A和图12B的概念图图示了图1的视差图像处理设备的视差图像生成部中的视差图像生成方法的第二示例；
图13A至图13E的概念图图示了图1的视差图像处理设备的视差图像生成部中的视差图像生成方法的第三示例；
图14A至图14C的概念图图示了图1的视差图像处理设备的视差图像生成部中的视差图像生成方法的第四示例；
图15的概念图图示了3D相机中的第一摄像示例；
图16的概念图图示了3D相机中的第二摄像示例；
图17的剖视图图示了根据视差阻挡类型的立体图像显示设备。
具体实施方式
下面将参考附图对本发明的实施例进行说明。
[构造示例]
图1图示了根据本发明一种实施例的视差图像处理设备2和立体图像显示设备3的构造示例。图2A-图2F图示了图1中的视差图像处理设备2中的视差图像生成处理的概况。首先将参考附图1来主要说明视差图像处理设备2和立体图像显示设备3的构造。在图1中，视差图像处理设备2和立体图像显示设备3可以具有不同的构造，但是视差图像处理设备2的功能可以被包含在立体图像显示设备3中。
立体图像显示设备3基于从视差图像处理设备2输出的视差图像数据(图2F中的左视差图像51L和右视差图像51R)来显示立体图像，并包括显示信号处理电路31和显示面板32。立体图像显示设备3的立体图像显示方法没有特别的限制。可以使用眼镜类型(例如快门眼镜类型)，也可以使用无眼镜类型(例如视差阻挡类型或双凸透镜类型)。显示信号处理电路31基于从视差图像处理设备2输出的视差图像数据，根据立体图像显示设备3的立体图像显示方法来生成图像，并将其显示在显示面板32上。显示面板32包括2D显示器，例如液晶显示面板、电致发光类型的显示面板或等离子体显示器。多个像素以2D方式排列在显示面板32的显示屏幕上。在显示面板32的显示屏幕上，根据立体图像显示设备3的立体图像显示方法来执行图像显示。
在视差图像处理设备2中，来自第一摄像部11的第一成像数据以及来自第二摄像部12的第二成像数据作为多条第一视差图像数据而被输入，第一成像数据和第二成像数据是由3D相机1捕获的，3D相机1具有布置在不同位置的第一摄像部11和第二摄像部12。在该实施例中，通过例如图2所示将3D相机1设定在竖直方向，具有竖直视差的上视差图像51U和下视差图像51D作为第一成像数据和第二成像数据而被输入到视差图像处理设备2，上视差图像51U和下视差图像51D是由布置在竖直方向上的状态下的第一摄像部11和第二摄像部12捕获的。
视差图像处理设备2包括深度信息计算部20和视差图像生成部23。深度信息计算部20包括立体匹配部21和视差量计算部22。这些部分的功能例如可以包括下述各项的组合：CPU(算术处理单元)、计算介质(其中记录了用于算术处理的程序)、用于算术处理的存储器、用于图像数据的数据储存存储器等。
深度信息计算部20基于在第一方向(竖直方向)具有视差的多个第一视差图像(上视差图像51U和下视差图像51D)，来计算由所述多个第一视差图像表示的立体显示的深度量。深度信息计算部20对于所述多个第一视差图像针对每个像素执行图像匹配处理，来对于所述多个第一视差图像之间共同的图像部分中的每个像素计算第一方向性视差量，并基于第一方向性视差量来针对该共同的图像部分中的每个像素计算深度量。立体匹配部21执行图像匹配处理。视差量计算部22基于图像匹配处理之后的图像数据来计算该第一方向性视差量，并计算该深度量。
视差图像生成部23基于由深度信息计算部20计算的深度量，来生成多个第二视差图像(左视差图像51L和右视差图像51R)，这些第二视差图像在与第一方向不同的第二方向(水平方向)上具有视差。视差图像生成部23基于如图5或图7所示的预定的变换函数，来从深度量计算第二方向上的视差量，以生成所述多个第二视差图像，所述预定的变换函数表明立体视觉中视差量与深度量之间的关系。
[视差图像生成处理的概况]
下面将参考图2A-图2F来说明视差图像处理设备2中的视差图像生成处理的概况。通过使用例如图2A所示设定在竖直方向的3D相机1进行摄像所获得的、在竖直方向上具有竖直视差的上视差图像51U和下视差图像51D被输入到视差图像处理设备2，作为所述多条第一视差图像数据(参考图2B)。在视差图像处理设备2中，深度信息计算部20对于上视差图像51U和下视差图像51D针对每个像素执行图像匹配处理，以针对上视差图像51U和下视差图像51D之间公共的图像部分中的各个像素计算该竖直视差量(参考图2C)。然后，深度信息计算部20基于该竖直视差量来针对该公共图像部分中的各个像素计算该深度量(参考图2D)。作为图像匹配处理的技术，例如可以使用“The stereo matching method by anadaptive window”(Institute of Electronics，Information and CommunicationEngineers(IEICE)，D-II，Vol.J74-D-II No.6，pp.669-677(1991))。此外，在计算深度量时，例如可以创建深度图像(距离图像)，从而以图像数据的形式保存关于该深度量的数据。例如，当由3D相机1对对象进行摄像时，在关于由3D相机1所测量的距离的信息存在的情形下，该深度图像可以基于由深度信息计算部20计算的竖直视差量和离对象的距离来创建。离对象的距离可以从图像中的准焦(in focus)的点(具有最高对比度的部分)来确定。
视差图像生成部23基于由深度信息计算部20计算的深度量，来生成在第二方向(水平方向)上具有视差的多个第二视差图像(左视差图像51L和右视差图像51R)(参考图2E和图2F)。此时，视差图像生成部23基于如图5或图7所示的预定的变换函数，来从深度量计算水平视差量，所述预定的变换函数表明立体视觉中视差量与深度量之间的关系。在所生成的左视差图像51L和右视差图像51R被输出到立体图像显示设备3时，立体图像显示设备3可以基于该视差图像数据来执行正常的立体图像显示。
[视差量与深度量之间的关系]
图3A和图3B图示了视差量与深度量之间的关系。在图3A和图3B中，示意性地图示了立体视差图像(左视差图像51L和右视差图像51R)的立体视觉与显示位置之间的关系。立体图像的景象(立体效果或深度感)根据视差量中的差异而变化。如果左视差图像51L和右视差图像51R被布置在基准表面(显示面板32中的图像显示表面)上的相同像素位置并且视差量为零，则观察者的左眼5L和右眼5R观察到图像显示表面上的该相同像素位置，这与2D图像的情形基本相同。在此情形下，所显示的图像不具有视差，观察者观看的是实际图像。另一方面，图3A和图3B图示了以视差来显示左视差图像51L和右视差图像51R的情形。
在图3A中，右视差图像51R在基准表面(图像显示表面)上相对于左视差图像51L被布置在左侧。在此情形下，例如，左视差图像51L的视差量可以被定义为相对于右视差图像51R处于正(+)方向。在图3A的情形下，观察者以立体的方式观看图像显示表面附近的虚拟图像P1。在此情形下，获得了看起来该图像向前方突出的立体效果。例如，在看起来图像向前方突出的状态下的深度量可以被确定为正(+)方向。在此情形下，沿正(+)方向的深度量的绝对值越大，所获得的立体效果就越大，看起来该图像向前方突出越多。
另一方面，在图3B中，左右图像的显示位置与图3A中的情形相反。即，在图3B中，右视差图像51R在图像显示表面上相对于左视差图像51L被布置在右侧。在此情形下，例如，左视差图像51L的视差量可以被定义为相对于右视差图像51R处于负(-)方向。在图3B的情形下，观察者以立体的方式观看在深度上离图像显示表面一段距离的虚拟图像P2。在此情形下，获得了相对于基准表面具有深度感的立体效果。例如，在存在深度感的状态下的深度量可以被确定为负(-)方向。在此情形下，随着沿负(-)方向的深度量的绝对值变大，获得了具有深度感的立体效果。
此外，视差量与深度量之间的关系还取决于显示器的尺寸和观看距离。图4图示了在显示表面的尺寸为3.7英寸的情形下，深度量的具体示例。此外，图5图示了在图4所示观看距离的情形下，深度量与水平方向的视差量之间的变换函数的示例。在图4和图5中，从观察者的眼睛5L和5R的中心位置到基准表面(显示表面)的距离被设定为35cm。观察者的左眼5L与右眼5R之间的间距(眼睛间距离)被设定为6.5cm。
图6图示了在显示表面的尺寸为40英寸的情形下，深度量的具体示例。此外，图7图示了在图6所示观看距离的情形下，深度量与水平方向的视差量之间的变换函数的示例。在图6和图7中，从观察者的眼睛5L和5R的中心位置到基准表面(显示表面)的距离被设定为300cm。观察者的左眼5L与右眼5R之间的间距(眼睛间距离)被设定为6.5cm。
(加权)
视差图像生成部23可以基于图5至图7所示预定的变换函数来从深度量计算水平方向的视差量。但是，视差图像生成部23可以由预定的加权函数来改变由该预定的变换函数所表示的视差量与深度量之间的关系，以基于改变后的变换函数来计算水平方向的视差量。这样，在生成水平方向的视差图像51L和51R时，可以对立体效果进行调节以适合于立体图像显示设备3的显示面板32的尺寸或观察者的偏好。例如，在根据观察者的偏好进行立体显示的情形下，可以给向前突出量或深度感赋予加强和削弱。例如，可以对成为基准的视差量与深度量之间的关系(图5至图7所示预定的变换函数)给予下列加权。1至5项的这种加权只是这些函数的示例，也可以应用其他函数。
1.线性变换
2.平行变换
3.使突出侧(向前侧)受到强调的变换
4.使深度侧受到强调的变换
5.1至4的组合
图8图示了一种示例，其中，由图5中的变换函数表示的视差量与深度量之间的关系受到预定的加权函数进行的线性变换。在图8中的深度量分布与视差量分布曲线图中，横轴的N数目表示各个视差图像的像素数目。在图8示出的示例中，分布的扩展宽度(半值宽度)以不改变中心位置的方式相对于原始视差量分布受到线性变换。此外，还图示了与该视差量分布相对应的深度量分布。具体而言，示出了执行线性变换以使分布的扩展宽度相对于原始视差量分布和深度量分布变小的示例，以及执行线性变换以使扩展宽度相对于原始视差量分布和深度量分布变大的示例。在扩展宽度变小的情形下，可以显示与原始内容相比具有较低立体效果(突出感和深度感)的立体图像。在扩展宽度变大的情形下，可以显示与原始内容相比具有较高立体效果(突出感和深度感)的立体图像。
图9图示了一种示例，其中，由图5中的变换函数表示的视差量与深度量之间的关系受到预定的加权函数进行的平行变换。在图9示出的示例中，由平行变换改变(偏移)了总体的分布位置，而不改变原始视差量分布的总体形状。此外，还示出了与该视差量分布相对应的深度量分布。具体而言，示出了对于原始视差量分布和深度量分布向突出侧执行平行变换的示例，以及对于原始视差量分布和深度量分布向深度侧执行平行变换的示例。
图10图示了一种示例，其中，由图5中的变换函数表示的视差量与深度量之间的关系受到由预定的加权函数对于原始视差量分布和深度量分布进行的变换，使得向前突出感被强调，还图示了对其关系进行变换使得深度感被强调的示例。
[视差图像生成方法的具体示例]
图11A至图11C图示了视差图像生成部23中的视差图像生成方法的第一示例。在第一示例中，视差图像生成部23首先创建多个第一视差图像(上视差图像51U和下视差图像51D)的平均图像51A(参考图11A和图11B)。然后，视差图像生成部23基于由深度信息计算部20计算的深度量，将第二方向(水平方向)上的视差加到平均图像51A，以生成多个第二视差图像(左视差图像51L和右视差图像51R)(参考图11C)。
图12A和图12B图示了视差图像生成部23中的视差图像生成方法的第二示例。在第二示例中，视差图像生成部23首先用多个第一视差图像(上视差图像51U和下视差图像51D)中的一个具体的第一视差图像(例如上视差图像51U)原样地作为多个第二视差图像(左视差图像51L和右视差图像51R)中的一个具体的第二视差图像(例如左视差图像51L)。然后，视差图像生成部23基于由深度信息计算部20计算的深度量，将第二方向(水平方向)上的视差加到这个具体的第二视差图像，从而生成这个具体的第二视差图像之外的第二视差图像(例如右视差图像51R)。
图11A至图11C中的第一方法的优点是，可以基于例如3D相机1中的第一摄像部11与第二摄像部12之间的中心位置来指派水平视差，从而获得具有摄像者所期望的视角的立体图像。缺点是由于创建平均图像51A而增加了图像处理量。图12A和图12B中的第二方法的优点是，由于由图像处理在水平方向创建的图像数目减少了一个，所以可以减小图像处理量。但是，缺点是由于一个竖直视差图像被原样保持，所以立体图像可能是以与摄像者的期望不同的视角创建的。
图13A至图13E图示了视差图像生成部23中的视差图像生成方法的第三示例。在第三示例中，视差图像生成部23首先用多个第一视差图像(上视差图像51U和下视差图像51D)中的一个具体的第一视差图像(例如上视差图像51U)像在原始图像状态中一样作为多个第二视差图像(左视差图像51L和右视差图像51R)中的一个具体的第二视差图像(例如左视差图像51L)(参考图13A、图13B和图13E)。
另一方面，视差图像生成部23基于由深度信息计算部20计算的深度量，将第二方向(水平方向)上的视差加到这个具体的第一视差图像，从而生成基于具体的第一视差图像的、具体的第二视差图像之外的第二视差图像(例如基于上视差图像51U的右视差图像52)(参考图13A和图13B)。此外，视差图像生成部23还基于由深度信息计算部20计算的深度量，将第二方向(水平方向)上的视差加到除这个具体的第一视差图像之外的第一视差图像(例如下视差图像51D)，从而生成基于另一个第一视差图像的、具体的第二视差图像之外的第二视差图像(例如基于下视差图像51D的右视差图像53)。在此情形下，例如在生成了基于下视差图像51D的左视差图像53之后，视差图像生成部23生成基于下视差图像51D的右视差图像54(参考图13C和图13D)。把基于具体的第一视差图像的另一第二视差图像(例如基于上视差图像51U的右视差图像52)和基于另一第一视差图像的另一第二视差图像(例如基于下视差图像51D的右视差图像54)合成所获得的图像被用作另一个最终的第二视差图像(例如右视差图像51R)(参考图13B、图13D和图13E)。
图14A至图14C图示了视差图像生成部23中的视差图像生成方法的第四示例。在图11A至图13E中，生成了两个水平视差图像51L和51R作为多个第二视差图像，但是也可以生成三个或更多个第二视差图像。这样，可以生成多视图视差图像。在图14A至图14C的示例中，由使用了图11A至图11C的生成方法的技术来生成三个或更多个视差图像。视差图像生成部23首先创建多个第一视差图像(上视差图像51U和下视差图像51D)的平均图像51A(参考图14A和图14B)。然后，视差图像生成部23基于由深度信息计算部20计算的深度量，将第二方向(水平方向)上的视差加到平均图像51A，从而生成三个或更多个第二视差图像(例如四个多视差图像51-1、51-2、51-3和51-4)(参考图14C)。此外，也可以由使用图12A至图13E中的生成方法的技术来生成三个或更多个第二视差图像。
[效果]
根据本实施例的图像处理设备2，由于基于在第一方向(竖直方向)上具有视差的多个第一视差图像(竖直方向上的视差图像51U和视差图像51D)计算了立体显示的深度量，并基于该深度量而生成了在不同于第一方向的第二方向(水平方向)上具有视差的多个第二视差图像(水平方向上的视差图像51L和51R)，所以，例如即使在与所需方向(水平方向)不同的方向(竖直方向)上使用3D相机1进行摄像而获得的视差图像(竖直方向上的视差图像51U和51D)的情形下，也可以将它们变换成在所需方向上具有视差的视差图像(水平方向上的视差图像51L和51R)。因此，可以获得适于立体显示的、水平方向上的视差图像51L和51R。
<其他实施例>
本发明不限于上述实施例，并可以具有各种变更形式。
例如，在上述实施例中，以从竖直方向上的视差图像51U和51D生成水平方向上的视差图像51L和51R的情形作为示例。但是本发明可以广泛应用于由第一方向上的任意视差图像生成不同于第一方向的第二方向上的视差图像的情形。例如，在沿倾斜方向执行摄像的情形下，可以由该倾斜方向上的视差图像来生成水平方向上的视差图像51L和51R。此外，与上述实施例相反，本发明也可以应用于由水平方向上的视差图像51L和51R生成竖直方向上的视差图像51U和51D的情形。
本发明包含2010年9月16日向日本特许厅提交的日本在先专利申请JP 2010-208181中公开的主题有关的主题，该申请的全部内容通过引用方式结合于此。
本领域技术人员应当理解，在所附权利要求及其等同含义的范围内，取决于设计需要和其他因素，可以产生各种变更、组合、子组合和替换形式。

Claims (14)

1.一种形成图像的方法，该方法包括：
基于来自第一视点的、场景的第一图像，和来自第二视点的、该场景的第二图像来产生深度图像，所述第一视点和所述第二视点沿第一维度具有位移；以及
基于所述深度图像来生成分别与第三视点和第四视点对应的第三图像和第四图像，所述第三视点和所述第四视点沿不同于所述第一维度的第二维度具有位移。
2.如权利要求1所述的方法，其中，所述第一维度垂直于所述第二维度。
3.如权利要求2所述的方法，其中，所述第一维度是竖直维度，所述第二维度是水平维度。
4.如权利要求1所述的方法，还包括显示沿所述第二维度具有视差的所述第三图像和所述第四图像。
5.如权利要求1所述的方法，还包括：
对所述第一图像和所述第二图像的一个或多个部分进行匹配，以确定所述第一图像和所述第二图像的所述一个或多个部分之间的位置差异，
其中，所述深度图像是基于所述位置差异而产生的。
6.如权利要求1所述的方法，其中，所述第三图像和所述第四图像是至少部分地基于变换函数来产生的，所述变换函数将深度值映射到位移。
7.如权利要求6所述的方法，其中，所述第三图像和所述第四图像被产生为使得：所述第三图像的至少一部分相对于所述第四图像的相应的至少一部分沿所述第二维度发生位移，该位移的量至少部分地取决于所述变换函数。
8.如权利要求7所述的方法，其中，所述第三图像的至少一部分相对于所述第四图像的所述相应的至少一部分发生位移的量至少部分地基于显示所述第三图像和所述第四图像的显示器的尺寸来确定。
9.如权利要求7所述的方法，其中，所述第三图像的至少一部分相对于所述第四图像的所述相应的至少一部分发生位移的量至少部分地基于可由用户选择的设定来确定。
10.一种图像处理系统，包括：
深度信息计算单元，该单元被构造成基于来自第一视点的、场景的第一图像，和来自第二视点的、该场景的第二图像来产生深度图像，所述第一视点和所述第二视点沿第一维度具有位移；以及
视差图像生成单元，该单元被构造成基于所述深度图像来生成第三图像和第四图像，所述第三图像和所述第四图像分别与第三视点和第四视点对应，所述第三视点和所述第四视点沿不同于所述第一维度的第二维度具有位移。
11.如权利要求10所述的图像处理系统，其中，所述第一维度垂直于所述第二维度。
12.如权利要求11所述的图像处理系统，其中，所述第一维度是竖直维度，所述第二维度是水平维度。
13.如权利要求10所述的图像处理系统，还包括：
立体图像显示设备，该设备被构造成显示沿所述第二维度具有视差的所述第三图像和所述第四图像。
14.如权利要求10所述的图像处理系统，还包括：
立体匹配单元，该单元被构造成对所述第一图像和所述第二图像的一个或多个部分进行匹配，以确定所述第一图像和所述第二图像的所述一个或多个部分之间的位置差异，
其中，所述深度图像是基于所述位置差异而产生的。
CN201110281259.4A 2010-09-16 2011-09-09 图像处理设备和方法以及立体图像显示设备 Expired - Fee Related CN102404592B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010208181A JP5450330B2 (ja) 2010-09-16 2010-09-16 画像処理装置および方法、ならびに立体画像表示装置
JP2010-208181 2010-09-16

Publications (2)

Publication Number Publication Date
CN102404592A true CN102404592A (zh) 2012-04-04
CN102404592B CN102404592B (zh) 2015-07-01

Family

ID=45817326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110281259.4A Expired - Fee Related CN102404592B (zh) 2010-09-16 2011-09-09 图像处理设备和方法以及立体图像显示设备

Country Status (5)

Country Link
US (1) US9154765B2 (zh)
JP (1) JP5450330B2 (zh)
KR (1) KR20120030005A (zh)
CN (1) CN102404592B (zh)
TW (1) TWI456976B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235478A (zh) * 2012-12-19 2013-08-07 乔楠 用于环幕立体摄像的系统、设备、图像处理方法及装置
CN104519332A (zh) * 2013-10-01 2015-04-15 纬创资通股份有限公司 产生视角平移影像的方法及其便携式电子设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102427542B (zh) * 2011-09-28 2014-07-30 深圳超多维光电子有限公司 一种立体图像处理方法、图像处理装置和相应的终端设备
WO2013108285A1 (ja) * 2012-01-16 2013-07-25 パナソニック株式会社 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法
US9462257B2 (en) * 2013-03-14 2016-10-04 Google Technology Holdings LLC Method and apparatus for two-dimensional to three-dimensional image conversion
TWI566576B (zh) * 2014-06-03 2017-01-11 宏碁股份有限公司 立體影像合成方法及裝置
JP2017069926A (ja) * 2015-10-02 2017-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP6908025B2 (ja) * 2016-04-06 2021-07-21 ソニーグループ株式会社 画像処理装置と画像処理方法
TWI602420B (zh) * 2016-10-06 2017-10-11 晶睿通訊股份有限公司 立體視覺影像校正方法及其影像擷取裝置
JP6810009B2 (ja) * 2017-09-29 2021-01-06 トヨタ自動車株式会社 視差算出装置
JP7143092B2 (ja) * 2018-03-12 2022-09-28 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、および画像処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191397A (ja) * 1996-12-27 1998-07-21 Sanyo Electric Co Ltd 意図適応型の２次元映像を３次元映像に変換する装置
JP2003222804A (ja) * 2001-10-31 2003-08-08 Olympus Optical Co Ltd 光学観察装置及びこれに用いる立体画像入力光学系

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031565A (en) * 1993-06-18 2000-02-29 Gte Internetworking Incorporated Stereo radiography
JP3126575B2 (ja) * 1993-12-28 2001-01-22 シャープ株式会社 立体視用３次元画像生成装置
US6466207B1 (en) * 1998-03-18 2002-10-15 Microsoft Corporation Real-time image rendering with layered depth images
JP4610799B2 (ja) * 2001-06-25 2011-01-12 オリンパス株式会社 立体観察システム、及び内視鏡装置
US7101334B2 (en) 2001-10-31 2006-09-05 Olympus Corporation Optical observation device and 3-D image input optical system therefor
AU2002355052A1 (en) * 2002-11-28 2004-06-18 Seijiro Tomita Three-dimensional image signal producing circuit and three-dimensional image display apparatus
JP2006033570A (ja) * 2004-07-20 2006-02-02 Olympus Corp 画像生成装置
JP2006221603A (ja) * 2004-08-09 2006-08-24 Toshiba Corp ３次元情報復元装置、３次元情報復元方法および３次元情報復元プログラム
US20070165942A1 (en) * 2006-01-18 2007-07-19 Eastman Kodak Company Method for rectifying stereoscopic display systems
KR100924432B1 (ko) * 2007-12-06 2009-10-29 한국전자통신연구원 다시점 영상의 인식 깊이감 조절 장치 및 방법
JP4608563B2 (ja) 2008-03-26 2011-01-12 富士フイルム株式会社 立体画像表示装置および方法並びにプログラム
KR100938194B1 (ko) * 2008-07-28 2010-01-21 재단법인대구경북과학기술원 객체 검출 방법 및 객체 검출 장치
KR101502597B1 (ko) * 2008-11-13 2015-03-13 삼성전자주식회사 고심도 입체 영상 표시가 가능한 디스플레이 장치 및 방법
RU2512135C2 (ru) * 2008-11-18 2014-04-10 Панасоник Корпорэйшн Устройство воспроизведения, способ воспроизведения и программа для стереоскопического воспроизведения
CN102265191A (zh) * 2008-12-22 2011-11-30 皇家飞利浦电子股份有限公司 自动立体显示设备
JP4987890B2 (ja) * 2009-02-05 2012-07-25 株式会社東芝 立体画像描画装置、立体画像描画方法、立体画像描画プログラム
US20110032341A1 (en) * 2009-08-04 2011-02-10 Ignatov Artem Konstantinovich Method and system to transform stereo content
US8922628B2 (en) * 2009-09-01 2014-12-30 Prime Focus Vfx Services Ii Inc. System and process for transforming two-dimensional images into three-dimensional images
JP2011176800A (ja) * 2010-01-28 2011-09-08 Toshiba Corp 画像処理装置、立体表示装置及び画像処理方法
US20110249889A1 (en) * 2010-04-08 2011-10-13 Sreenivas Kothandaraman Stereoscopic image pair alignment apparatus, systems and methods
JP5186715B2 (ja) * 2010-06-14 2013-04-24 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御方法、および、表示制御システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191397A (ja) * 1996-12-27 1998-07-21 Sanyo Electric Co Ltd 意図適応型の２次元映像を３次元映像に変換する装置
JP2003222804A (ja) * 2001-10-31 2003-08-08 Olympus Optical Co Ltd 光学観察装置及びこれに用いる立体画像入力光学系

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235478A (zh) * 2012-12-19 2013-08-07 乔楠 用于环幕立体摄像的系统、设备、图像处理方法及装置
CN103235478B (zh) * 2012-12-19 2017-04-12 乔楠 用于环幕立体摄像的系统、设备、图像处理方法及装置
CN104519332A (zh) * 2013-10-01 2015-04-15 纬创资通股份有限公司 产生视角平移影像的方法及其便携式电子设备
US9615074B2 (en) 2013-10-01 2017-04-04 Wistron Corporation Method for generating translation image and portable electronic apparatus thereof
CN104519332B (zh) * 2013-10-01 2017-07-07 纬创资通股份有限公司 产生视角平移影像的方法及其便携式电子设备

Also Published As

Publication number Publication date
CN102404592B (zh) 2015-07-01
US9154765B2 (en) 2015-10-06
US20120069004A1 (en) 2012-03-22
JP5450330B2 (ja) 2014-03-26
KR20120030005A (ko) 2012-03-27
TW201225635A (en) 2012-06-16
JP2012065174A (ja) 2012-03-29
TWI456976B (zh) 2014-10-11

Similar Documents

Publication Publication Date Title
CN102404592B (zh) 图像处理设备和方法以及立体图像显示设备
EP2648414B1 (en) 3d display apparatus and method for processing image using the same
JP6308513B2 (ja) 立体画像表示装置、画像処理装置及び立体画像処理方法
KR102415502B1 (ko) 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
CN103595986B (zh) 立体图像显示装置、图像处理装置及图像处理方法
CN101796548B (zh) 立体图像生成装置和立体图像生成方法
EP3350989B1 (en) 3d display apparatus and control method thereof
CN105282539A (zh) 曲面多视点图像显示设备及其控制方法
US9049435B2 (en) Image providing apparatus and image providing method based on user&#39;s location
CN103813153A (zh) 一种基于加权求和的裸眼3d多视点图像合成方法
CN102638695A (zh) 显示器及显示方法
CN102621702B (zh) 液晶屏像素非常规排列时裸眼3d图像生成方法和系统
CN103167305B (zh) 一种信号处理方法及装置
US20130162630A1 (en) Method and apparatus for displaying stereoscopic image contents using pixel mapping
KR102143463B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
CN102447929B (zh) 一种显示控制芯片及立体显示设备
CN101908233A (zh) 产生用于三维影像重建的复数视点图的方法及系统
KR101912242B1 (ko) 3d 디스플레이 장치 및 그 영상 처리 방법
Park et al. Comparison of perceived resolution between a parallax barrier and a lenticular array
TWI511524B (zh) 裸眼立體顯示系統及方法
CN117880484A (zh) 3d显示设备及其显示方法、电子设备和存储介质
CN106231281A (zh) 一种显示转换方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
ASS Succession or assignment of patent right

Owner name: JAPAN DISPLAY WEST INC.

Free format text: FORMER OWNER: NANKAI UNIVERSITY

Effective date: 20130305

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20130305

Address after: Aichi Prefecture, Japan

Applicant after: Japan display West Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Sony Corp.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: APAN DISPLAY EAST, INC.

Free format text: FORMER OWNER: JAPAN DISPLAY WEST INC.

Effective date: 20150608

C41 Transfer of patent application or patent right or utility model
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: JAPAN DISPLAY Inc.

Address before: Chiba County, Japan

Applicant before: Japan Display East Inc.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: APAN DISPLAY EAST, INC. TO: JAPAN DISPLAY, INC.

Free format text: CORRECT: ADDRESS; FROM:

TA01 Transfer of patent application right

Effective date of registration: 20150608

Address after: Chiba County, Japan

Applicant after: Japan Display East Inc.

Address before: Aichi Prefecture, Japan

Applicant before: Japan display West Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150701

Termination date: 20180909

CF01 Termination of patent right due to non-payment of annual fee