CN108702499A - 二维影像的立体影像化显示装置 - Google Patents

Abstract

本发明的课题是提供接收以往类型的二维影像放映波而进行三维影像化并显示的立体化影像显示装置。二维影像的立体化影像显示装置包括二维影像接收部(1)、帧选择部(2)、多视点影像信号生成部(3)、立体影像显示部(4)、以及立体影像显示部(5)，该立体化影像显示装置接收二维影像放映，选定相对于形成动画的基准帧隔开规定时间的参照帧，将由基准帧和参照帧生成的进深信息形成为多视点影像，使两者之间产生的运动视差与两眼视差对应，通过立体影像显示部显示三维影像。

Description

二维影像的立体影像化显示装置

技术领域

本发明涉及对电视放映等的二维影像进行立体影像化而进行显示的装置。

背景技术

近年来，3D影像技术迅速地发展，能够在各种情况下利用3D影像。不仅在电影中，在展会、学术演讲会等中，使用对实物的再现性高的3D影像的场面也增多。

并且，对于立体影像放映，也在一部分民营放映、CATV(有线电视)、IPTV(使用互联网协议的电视放映)等中利用通过平面影像放映波发送立体影像信号并在3D图像接收机上显示影像的方式进行了试行。

通常，立体影像进行基于二视差立体显示方式的显示，所述二视差立体显示方式使用能够与以往的平面影像放映同样地处理的并排(side by side)的影像信号或左眼右眼的LR两数据流影像信号。通过利用滤光片立体眼镜观察在显示面映出的LR影像，而形成立体影像。另外，也开发了在影像显示装置中使用双凸透镜等，从而能够以裸眼实现立体视觉的装置。

立体电视放映除了拍摄器材、图像接收装置的问题以外，还存在基于视听者与图像显示装置的位置关系的最佳调整的问题、放映事业者的新投资(经费)等不得不解决的课题，从而并非处于能够立即实现普及的状态。

然而，放映者强烈希望将以新闻信息为代表的实时信息通过富有临场感的三维的立体影像传达给视听者。

需要说明的是，目前难以增加立体电视放映专用的放映波，因此提出了对目前的2D放映波分配时间而进行3D放映的方法、使3D影像信息重叠于2D放映波中的方法等。

分配3D放映时间的方法在3D放映中无法以2D专用机视听，从而有损不具有3D图像接收机的人的利益。另外，重叠3D影像信息的方法也需要在全国范围内全面地置换试制、后期制作、演奏场所设备、传输设备、放映场所设备等，对放映事业者而言经营上的困难大。

并且认为，在3D图像接收机充分普及之前仅为3D影像的放映不具有事业性，从而希望能够利用3D图像接收机视听通常的2D放映。

在专利文献1中，公开了对平面图像进行立体图像化并显示的技术。这是基于通过以规定的时间间隔交互地示出左右图像能够给出立体感这一认知。

专利文献1中公开的发明记载了如下内容：从平面图像的原画切出进深位于相同位置的轮廓，将其配置于与现实空间对应的图像空间的图层，从而使轮廓为重叠为等高线状的立体地图那样，通过虚拟相机形成右眼图像信息和左眼图像信息，将得到的右眼图像信息与左眼图像信息以0.033秒至0.3秒交互切换并显示，由此实现基于两眼视差的立体感，从而通过运动视差(motion parallax)来强调立体感。为了利用眼的余像效果，左右图像的切换以适当的时间间隔进行。

通过专利文献1公开的发明，能够对平面图像进行加工并作为给出立体感的静止图像来示出，但按照该方式无法逐步使动画立体化，从而难以基于电视放映的影像进行立体影像化。

现有技术文献

专利文献

专利文献1：日本特开2008-153805号公报

非专利文献

非专利文献1：林部敬吉《心理学中的三维观看研究的动向：2006》静冈大学信息学研究。12，pp.31-55，2007/06/26

非专利文献2：白岩史、林武文《来自运动视差的进深感知中的眼球运动的的作用》关西大学信息学部纪要[信息研究]第31号，2009/07

发明内容

发明所要解决的课题

本发明所要解决的课题在于提供接收以往类型的二维影像放映波而进行三维影像化并显示的电视图像接收机。并且，提供在不进行三维影像化时能够显示二维影像的电视图像接收机。

用于解决课题的方案

本发明的二维影像的立体影像化显示装置具备二维影像接收部、帧选择部、多视点影像信号生成部以及立体影像显示部，通过二维影像接收部接收二维影像放映，通过帧选择部选定相对于形成动画的基准帧隔开规定时间的参照帧，通过多视点影像信号生成部将基准帧与参照帧以像素级别进行比较并计算像素区域的时间偏移而作为速度矢量，将该速度矢量作为由所述基准帧产生的运动视差并使之与两眼视差对应，基于基准帧的运动视差生成进深信息，并据此形成多视点影像，进一步通过立体影像显示部将该多视点影像信号输入裸眼立体影像显示器而显示三维影像。

在采用裸眼立体显示方式时，能够通过向使用双凸透镜面板等的立体影像显示装置供给生成的多个多视点影像而以裸眼观看立体影像。

另外，在采用两眼式立体显示方式时，使用通过左右眼视差图像而立体视觉化的立体影像显示装置，考虑到自多个视点影像的进深的外观，选择具有适当的时间间隔的视点影像并向左右眼分别提供。将选择的视点影像的信号向立体影像显示装置输入，对一只眼供给一方的视点影像且对另一只眼供给另一方的视点影像，由此能够进行立体显示。

在对象物静止时的二维影像中，以两眼对其进行观看时的会聚角与观看画面位置时相同，对象物看起来位于与画面表面相同的进深。然而，在对象物运动时，在基准帧与相对于该基准帧具有时间偏移的参照帧之间产生运动视差，通过活用该现象能够使之与画面中的位置不同的两眼视差对应，在将多个视点影像提供给一只眼且将不同的多视点影像提供给另一只眼时，能够重现在现实世界中以两眼观看对象物时的光，对象物的影像看起来位于与画面表面不同的进深位置，从而产生接近现实的立体感。

根据通过像这样取样的光再生的视点影像，能够得到仿佛在观看现实的光景那样的视觉效果。不同的两个以上的视点影像(光线再生光)进入右眼和左眼这一情况优选依赖于显示面板的性能。若提高面板的性能而提供更多的影像，则能够得到更高的视觉效果。以往的双凸透镜方式的裸眼立体视觉相当于取样数少的情况。

需要说明的是，认为人的视觉系统构成进深感知的要素为基于按照时间序列产生的影像的两眼视差(空间偏移)、运动视差(时间偏移)、以及先验知识因素等。已知运动视差是基于视网膜上的相对的“时间偏移量”得到的视差信息，提供进深、运动感知。本发明人等发现非专利文献1中记载的普尔弗里效应(Pulfrich Effect)现象的真正原因，发现通过活用该现象能够使运动视差与两眼视差对应。通过有效地活用人本来具有的视觉系统进行的立体视觉处理，从而完成了本发明。在本发明中，通过利用将时间偏移转换为空间偏移的处理转换为两眼视差的3D信息向视觉系统提供，能够使人具有进深感知。

本发明的立体影像化显示装置基于赋予基准帧的运动视差使画面中的位置不同的时间偏移与空间偏移对应，从而生成多视点影像并示出在左右眼视网膜上。通过基于与视听位置对应的视网膜上的影像的偏移的两眼视差而提供进深感，因此通过两眼视差、运动视差以及先验知识因素的相加的协同作用，能够生成进一步强调了进深感知的立体感。

本发明的二维影像的立体影像化显示装置基于从形成二维影像放映的动画的帧选择的基准帧与参照帧而生成多个视点影像信号，并在立体影像显示器显示三维影像，因此至少对在二维影像放映的影像中具有位置变化的对象积极地进行立体化显示，因此人能够以裸眼享受立体影像。需要说明的是，人通过体验一次立体视觉，熟知的因素发挥功能，即存在能够进行立体视觉的视觉系统(一例是Hollow Face效应)，从而立体视觉化的对象范围扩大。

本发明的立体影像化显示装置优选具备帧同步部，对于基准帧与参照帧、以及新生成的进深信息矩阵(进深影像)和由此生成的多视点影像，分别将各自的影像画面同步化而在相同的时刻示出。

本发明的立体影像化显示装置具备运动矢量计算部和进深量控制部，从而能够适当调整立体影像中现显现的进深量。

运动矢量计算部关于图像中显示的各要素追踪基准帧与参照帧中的位置并计算两帧间的像素区域的移动量，计算要素的运动矢量。

进深量控制部选择并指定适合期望的进深显示那样的基准帧与参照帧之间的帧差n。

用于立体影像显示器的裸眼立体显示面板通常本身以面板面为基准而在前面侧具有Ncm、且在后面侧具有Fcm的进深显示能力。根据显示装置的用途决定如何活用该进深显示能力。例如，在重视立体影像的震撼力的娱乐等用途中优选实现全区域的活用。然而，在医疗用途中，考虑到以与手术操作者通常进行的裸眼(包括借助医疗用放大镜的情况)下的执刀相同的真实的现实空间提供的情况应该是疲劳较少的系统，一般仅利用后面侧进深Fcm。

在本装置中，以日常地视听电视放映为前提，为了实现耐受长时间的视听而保护眼睛的更自然的表现从而抑制视听者的疲劳，也可以与医疗用同样地利用后面侧进深Fcm。

为了使影像处于后面侧的进深Fcm的范围，在面板的基准面、即进深量为0cm的位置配置运动矢量水平分量中的期待的最大标量的部分，将其他部分配置在基准面的后侧。

具体而言，为了将影像中的最远景配置在最里侧，将由基准帧与参照帧生成的进深信息矩阵最佳化为与进深Fcm对应。

在成为进深信息的位移量比对基准帧与参照帧的要素彼此观看到的运动矢量的水平分量的最大标量大时，形成为比面板面向前方突出的影像，因此例如通过调整由基准帧与参照帧的帧差n计算的视差信息等的方法来调整。

在本发明的立体影像化显示装置中，通过指定0秒或帧差0作为选定参照帧的时间差，为左右眼提供相同的影像，因此能够简单地视听原来的二维影像。因此，也能够根据需要而对通常的二维影像与将一部分立体影像化后的影像进行切换而利用。

另外，通过选择帧差n，或者通过对赋予基准帧的运动矢量的标量进行放大缩小，能够根据喜好而以加大或减小的方式调整进深，并且通过计算并评价运动矢量的水平分量，能够根据对象物的移动速度而利用将进深量最佳化为Fcm或F+Ncm以内的自动处理来调整进深。并且，针对帧差为1且存在进深量超出面板的进深表现那样的快速的运动的影像输入，也可以进行该运动量的去除或压缩处理。

另外，也可以附带对画面中的立体影像化的区域进行指定的功能。

需要说明的是，本发明的立体影像化显示装置也可以代替多眼式的立体影像显示装置而使用两眼式的立体影像显示装置，所述多眼式的立体影像显示装置通过示出自水平方向上的不同的适当数量的视点观看到的影像、即视点影像，能够使视听者进行立体化地观察。在使用m个视点的裸眼式立体影像显示装置时，具备视点影像生成部，由基准帧和参照帧形成m-1个多视点影像，示出基准帧与多视点帧这合计m个帧即可。

发明效果

本发明的二维影像的立体影像化显示装置通过加工以往型电视放映中的二维影像而进行三维影像化并显示于3D图像接收机，能够给视听者带来影像的立体视觉。由此，不会给放映事业者带来新的负担，就能够使视听者观察富有临场感的立体影像。

附图说明

图1是示出本发明的一实施例的二维影像的立体影像化显示装置的结构的概念图。

图2是对本实施例的立体影像化显示装置中的帧选择的概念进行说明的图。

图3是对本实施例的立体影像化显示装置中的帧选择的概念进行说明的图。

图4是在分别提供给左右眼的影像中，对被摄体由于运动而位移的情况进行说明的图。

图5是在分别提供给左右眼的影像中，对被摄体由于相机的移动而位移的情况进行说明的图。

图6是对与对象物的运动相伴的运动矢量进行说明的图。

图7是对影像中的对象物的运动矢量的方向反转的现象进行说明的图。

具体实施方式

本发明的二维影像的立体影像化显示装置接收以往技术的二维的电视放映信号等，通过活用普尔弗里效应来基于动画在视网膜上的相对的“时间偏移量”生成左右眼视差像，从而对影像全体或其一部分进行立体化并显示。

电视放映波例如作为1秒钟30帧(在隔行扫描方式中，例如为1秒钟60场。在本发明的技术中，帧和场的动作没有差异，因此在本说明书中以“帧”代表)的帧列来发送图像信号。

通常的放映波输送的电视影像为2D影像，不具有被摄体的进深信息。然而，在被摄体相对于相机运动或相机相对于被摄体移动时，2D影像中的不同帧的画面中的被摄体的位置发生变化，在被摄体的像中产生时间偏移。

在此，将成为基准的帧的图像例如设为左眼图像，相对于此，选择由隔开规定的时间的参照帧生成的多视点影像之一而设为右眼图像，将该在水平方向上偏移的影像分开地供给至左右眼。于是，以两眼观看某一被摄体时的会聚角与观看基准帧画面上的被摄体时的会聚角不同，因此被摄体的像看起来相对于显示画面而在进深方向上位移，从而给影像带来立体感。

这样形成的相对于被摄体的假想的左右眼的会聚角若比观看显示2D影像的画面时的会聚角大则看起来比画面凸出，若比观看显示2D影像的画面时的会聚角小则看起来比画面凹下。并且，例如，若被摄体的位移量大且会聚角的差大，则进深量看起来较大，较远的物体看起来较小，能够活用若进行相同的运动则较远的物体看起来较慢等先验知识因素而使影像具有立体感。

于是，若将按照上述形成的假想的左右眼视差影像利用3D显示装置以与左右眼分别对应的方式示出，则观看3D显示装置的人基于先验知识因素而能够从影像中的运动的部分观察出画面整体立体化的影像。

会聚角基于两个图像中的被摄体的水平方向偏差而形成。即使被摄体的移动速度不发生变化，影像中的被摄体位置的变动量也会由于动画中的帧发送数而变化。在1秒钟切换30帧来形成动画的情况下，例如在具有6帧差的两个图像中使对同一对象物的位置变化进行检测的时间偏移与空间偏移对应时，基于0.2秒中的移动量而生成左右视差影像。会聚角越大则越接近近前，会聚角越小则越向对面侧远离。在两个画面中表示为同一位置的对象物的会聚角是由显示面板的显示面与左右瞳孔之间的距离关系决定的角度。两个对象物的进深量之差通过该会聚角之差来识别。

另外，通过在被摄体的进深量过大时减小两个图像的帧差、在进深量过小时增大帧差的调整，能够使进深量适当化。

需要说明的是，影像中的对象物的立体视觉能够根据基于两眼视差的视觉、基于运动视差的视觉、以及基于先验知识因素的认识而产生对象物的进深感知。普尔弗里效应通过使较暗的眼镜与一只眼接触而引起感知延迟，从而使立体视觉化具体化。但是，在本发明的立体影像化装置中，通过为左右眼分别选择视差量不同的影像、或者将多个光线再生为多视点影像，能够直接地将该延迟量转换为视差而产生两眼视差。

然而，人对运动的事物进行观察时，即使对象物移动相同量，较近的对象物也会在视网膜上较大地变化，而较远的对象物会在视网膜上较小地变化。

人基于先验知识，会将在视野移动时较大地移动的物体识别为位于较近的位置，而将较小地移动的物体识别为位于较远的位置。从而，图像中的各物体通过分别进行不同的运动，从而形成各自的进深感。

另外，人的视觉系统尤其对于运动的物体会试图通过追踪注视而明确地理解对象物。因此，产生基于头部的运动、眼球运动的追随运动，正是该追随运动实现基于运动视差的稳定的进深感知。

非专利文献2中也记载有如下内容：活用先验知识，以注视点为中心而将比注视点近的物体较快且比注视点远的物体较慢作为基准而识别对象，即，对于追踪影像中的对象物时的视网膜上的位移即相对的速度变化矢量，在比注视点近的物体与比注视点远的物体中产生了与先验知识相反的现象的情况下也通过Hollow Face错觉(熟知性因素)来识别。

已知在物体的像像这样在视野中运动时，能够给视听者以基于运动视差的立体感，能够以意义解释更强地发挥作用的方式将上述得到的速度矢量转换为标量，进一步进行脱离先验知识的信息的过滤。

根据非专利文献2，运动视差是基于视网膜上的相对的速度差，基于对象物与注视点的速度差以及注视点与观察者的速度差而产生的，但由于速度差是相对的，因此进深感知不稳定。

另外，在观察者或者相机相对于注视点移动而进行观察的情况下，由头部的旋转、眼球的旋转等产生的注视点的追随运动与视网膜上的相对的速度差的合成使稳定的进深感知出现，从而进深感知稳定化。

另外，非专利文献2指出，为了由运动视差实现稳定的进深感知，需要对象的先验知识(熟知性因素)和追随理论。

在本发明的二维影像的立体影像化显示装置中，进深也不会因注视对象物的追随而反转从而能够实现稳定的立体化。关于运动矢量的水平分量，以其最大值为基准进行正态化从而将所有运动矢量作为水平分量的运动标量而评价。由此，对影像中的所有对象物以相同的附图标记表示水平方向的运动标量从而没有移动方向的反转，从而能够使进深感知稳定化。

在本发明的立体影像化显示装置中，配合基于普尔弗里效应的两眼视差，利用运动视差以及先验知识因素等来增进影像的立体感。

以下，基于实施例，并参照附图对本发明的二维影像的立体影像化显示装置进行详细说明。

实施例1

图1是示出本发明的一实施例的立体影像化显示装置的结构的概念图。

本实施例的立体影像化显示装置100包括由图1中的粗框示出的二维影像接收部1、帧选择部2、多视点影像信号生成部3、以及立体影像显示部4。

另外，本发明的立体影像化显示装置100还可以附带由图1中的细框示出的帧同步部5。并且，能够具备运动矢量计算部6、进深量控制部7、进深量指示部8、2D/3D切换部9、以及立体化区域指定部10。

二维影像接收部1接收通常的2D电视放映中的放映波。接收到的2D影像容纳于图像存储器。

帧选择部2从容纳于图像存储器的帧列选择记录有显示对象的影像的基准帧，并且选择相对于基准帧隔开适度的时间间隔的参照帧。

图2是对帧选择的概念进行说明的图。从形成2D影像的动画的帧列以具有规定数n的帧差的方式选择基准帧和参照帧。

基准帧选择应由通常的2D影像显示的帧。作为参照帧R，选择比第i个基准帧B靠前n帧的第i-n个帧。由标准帧B和参照帧R以像素单位计算影像中的部分的移动方向和移动，由此计算作为运动矢量的进深信息。

帧差n是适当选择的数，为了得到适当的进深感知而能够调整。对于以高速运动的对象物，即使帧差为1也能够提供适度的进深感知，对于低速运动的对象物，也能够通过例如将帧差选择为10等较大的值来提供适度的进深感知。另外，若将帧差设为0，则能够给左右眼以相同影像从而视听原来的2D影像。

需要说明的是，从比基准帧靠前的帧选择参照帧是为了在选择了基准帧时能够立即执行生成多视点影像信号的运算工序，但在时间有富余时，也可以从比基准帧延迟的帧中选择参照帧。

多视点影像信号生成部3根据选出的基准帧和参照帧的影像对各像素区域计算进深信息，对于基准帧的影像中的部分而将参照帧的影像中的对应部分与进深信息匹配地配置而形成立体化影像，通过基于此而形成例如自m个各视点的立体影像来作为多视点影像信号，经由图像存储器供给至立体影像显示部4。

帧选择部2和多视点影像信号生成部3能够由一体的高速运算处理装置构成。

立体影像显示部4具备一个以上的立体影像显示装置，具有使用并排影像、L/R影像的3D影像信号生成多视点影像的功能。本实施例的立体影像化显示装置100利用积分摄影方式、或使用视差屏障、双凸透镜等的裸眼用立体影像显示器4-1，将从水平方向上不同的视点得到的m个影像向各自的视线的方向放出，视听者对此进行观察而得到立体像。

根据裸眼用立体影像显示器4-1，能够耐受基于裸眼的长时间的视听，实现更舒适的影像鉴赏。由此，即使视听者的观察位置不在显示装置的正对面、或者在水平方向上变动，也能够实现正常的立体视觉。另外，通过与视听者的视听位置或观察对象物的运动相匹配的追随运动得到不同的影像，从而能够更圆滑地进行基于运动视差的立体视觉化。

需要说明的是，也能够使用利用偏振方式、快门方式的立体眼镜来观看左右视差像这样的、更简便的方式的两眼式立体影像显示器4-2。

在立体影像显示部4具备多个立体影像显示器时，还具备视点影像选择部13，使得多视点影像信号生成部3生成与各立体影像显示器对应的左右眼视差影像信号，并且选择与该有时选择的立体影像显示器对应的左右眼视差影像信号而供给至立体影像显示部4。

图3是对使用2D影像信号来立体影像化的原理进行说明的图。

在以两眼观察2D影像时，若注目点A静止，则相同的图像供给至左右眼，因此基于观察者与影像的距离决定左右眼的会聚角θ。

然而，在注目点A运动时，若将移动前的位置A处的对象物的影像提供给左眼，将在规定时间后例如向左偏移后的图中虚线示出的位置A’的影像提供给右眼，则视网膜上映现的像的位置产生空间的偏移从而产生两眼视差，以两眼盯住注目点的视线与观看移动前的对象物时相比在近前交叉，因此会聚角θ’比盯住移动前的位置A时更大，对象物看起来接近近前侧而位于图中的位置A”。这样，通过将移动前的影像提供给一只眼并将从移动后的影像计算的视点影像提供给另一只眼，能够在影像中产生进深感觉从而立体化地观看。

该现象在相对于静止的对象物移动摄像装置的情况下也同样地产生。

另外，在视网膜上映现的对象物的影像运动时，基于视网膜上的对象物与注视点的影像的相对速度差而产生运动视差。通过运动视差，例如将高速移动的对象物识别为位于更近的位置，而将低速移动的对象物识别为位于更远的位置。然而，速度差是相对的，因此进深感知不稳定。

需要说明的是，在观察者或者相机相对于注视点移动而形成影像的情况下，由头部的旋转、眼球的旋转等产生的注视点的追随运动与视网膜上的相对的速度差的合成使稳定的进深感知出现，从而进深感知稳定化。

并且，人的视觉系统通过活用先验知识，以注视点为中心而将对象识别为比注视点近的物体较快移动且比注视点远的物体较慢移动，或者即使在产生了与先验知识相反的现象的情况下也通过Hollow Face错觉(熟知性因素)而以不与先验现象矛盾的方式修复并识别。

在物体的像像这样在视野中运动时，能够给视听者以基于运动视差的立体感。

这样，在人从影像通过两眼视差获取的立体感中，能够感受到稳定的进深量。

本实施例的立体影像化显示装置通过将上述的两眼视差、运动视差以及先验知识因素等机理相加地复合，能够提供适合人的立体感。

图4和图5是在分别提供给左右眼的影像中，对被摄体位移的原因进行例示的图。影像中的对象物的位移有图4所示那样基于对象物自身的运动的情况，另外也有图5所示那样相对于静止的对象物而相机的摄影角度发生变化的情况。

图6是进行运动矢量的说明的图。图中，为了说明立体影像化的原理而夸张了位移量。

例如，如图6所示，对于逐渐接近的火车，在将基准帧映出的影像、以及相对于基准帧而以规定的时间差提供的参照帧中的影像分别作为视差影像示出给左右眼时，在基准帧与参照帧之间与对象物的位置不同的量相应地观察会聚角不同的静止图像面。此时根据不同的会聚角，相对于会聚点而在进深方向上产生偏差，从而对象物的像看起来凸出或凹下。

以两眼视感知的进深量同基准帧与参照帧中的对象物的水平方向的移动量成比例，因此能够与作为在两帧中的对象物的像之间计算的运动矢量的水平分量而得到的标量对应。

观看基准帧与参照帧之间的对象物的位置时，在接近摄影位置的部分位移量大，而在远离摄影位置的部分位移量小。从而，在进行本方式的两眼视时，较近部分的会聚角大而从基准面较大地凸出，另一方面较远部分的会聚角较小而凸出量变小，从而列车的影像立体化。

优选在对象物运动的速度过快时使基准帧与参照帧的时间差较短，而在对象物运动的速度较慢时使时间差较大，由此调节进深量。因此构成为，评价图像中的物体的运动速度，能够配合最快的物体的速度而设定适当的时间间隔，或者进行速度标量的放大缩小。

并且，在对象物的运动相对于图像显示装置的帧频率明显较快的情况下，优选删除或压缩映入对象物的像素区域的速度标量，从而不丧失立体显示装置的立体显示能力。

根据本实施例的立体影像化显示装置100，能够接收通常的2D电视放映影像信号，对在图像中沿水平方向具有运动的被摄体形成模拟的左右眼视差像并显示于立体影像显示器4。从而，视听者在通常的2D放映影像中，至少立体地感受到在画面中移动的部分，由此能够鉴赏具有临场感且具有震撼力的影像。

需要说明的是，基于该手法的立体化影像显示方式对以往普通地使用的2D放发送号进行处理而生成影像信号，因此无需对提供影像的电视放映系统进行任何变更。因此，以往在将立体电视放映商业化方面成为阻碍的、需要高成本的放映电台的设施的改变、新开发的立体影像放映手法等经济困难、技术困难不再成为问题，从而视听者能够享受立体化放映。

另外，为了使视听者能够视听更自然的立体影像，本实施例的立体影像化显示装置100也可以具备帧同步部5。

帧同步部5并非以原有的定时提供参照帧，而将参照帧调整为与延迟了n帧的基准帧同步从而以相同定时示出。需要说明的是，即使在基准帧与参照帧的时间差很少从而视听者观察的立体化影像中并未产生较大的不协调感的情况下，也优选将各自的影像画面同步化而供给。另外，多视点影像的生成过程也需要时间进行处理，因此优选为了补偿延迟而进行同步化。

为了进一步提高灵活性而提供更舒适的立体影像，本实施例的立体影像化显示装置100可以具备进深量控制部7和运动矢量计算部6，从而能够适当地调整影像的进深量。

需要说明的是，帧同步部5、进深量控制部7以及运动矢量计算部6能够与帧选择部2和多视点影像信号生成部3一起由一体的高速运算处理装置构成。

进深量控制部7选择并指定适合期望的进深显示那样的基准帧与参照帧之间的帧差n。

运动矢量计算部6关于图像中显示的各要素计算基准帧与参照帧中的位置并追踪两帧间的移动，计算要素的运动矢量。运动矢量的水平方向分量生成与左右眼视差对应的进深信息，也能够置换为相机的水平移动。

为了得到期望的进深量，能够调整运动矢量的水平分量量。进深量与对象物的左右视差对应，在基准帧与参照帧的帧差n确定时，进深量随着影像中的对象物的运动速度而变化。于是，将对关于一次选择的帧从实际接收到的影像得到的运动矢量进行评价的结果反馈至进深量控制部7，能够按照影像中的移动速度而重新选定提供期望的立体感的适当的帧差n。

立体影像显示部5与视听者的瞳孔间距离、视听者与显示面的距离等相关联地，例如在画面前方具有Ncm、在画面后方具有Fcm等机器固有的进深显示能力。从而，与该进深显示能力对应地，需要以最大进深量与最小进深量之间的范围处于(F+N)cm之间的方式进行调整。

例如，在由于一部分对象高速运动而运动矢量的水平分量的标量过大时，优选通过减小两个帧之间的帧差n、或者形成对移动量进行比例分配的影像，从而对于凸出量最大的部分使进深量成为适当的值，最佳化至立体影像显示部5的进深显示范围。

并且，也可以设置非线性压缩部11对偏离矢量值的偏差值σ或2σ、3σ的矢量进行非线性的压缩或将进深量设为0而删除，使得鼓出的较大的运动矢量、较小的运动矢量不会过度地抑制具有输出频率高的中间值的运动矢量中的立体感，所述非线性压缩部11使用活用了伽马特性、S型色调曲线的过滤器等。

需要说明的是，在实际的影像中，比注视点远的物体与比注视点近的物体即使实际的移动方向相同，也存在视网膜中映出的影像中的移动方向反转的现象。

图7是对影像中的对象物的移动方向反转的现象进行说明的图。

例如，在利用从左往右移动的相机与在较长的墙的中间设置的注视点对焦而进行拍摄的情况下等，若比注视点靠左的部分在视野中向注视点的左侧移动，则比注视点靠右的部分向注视点的右侧移动。从而，根据墙的左右的不同，被摄体的运动矢量在水平方向上而朝向反转，从而在通过标量评价时区分为正负的值。

为了在这种情况下也与立体影像显示部5的进深显示能力对应，对图像中的各要素计算运动矢量，在存在最多的标量的范围内进行非线性压缩或舍弃处理，以水平分量的标量的最大值与最小值之差处于与(N+F)cm对应的范围的方式进行调整。

在剧场型娱乐等中，作为具有震撼力的影像而更倾向于向画面的前方鼓出的立体影像，但在长时间视听的通常的电视放映、避免眼力疲劳的业务用的立体影像中，优选构成为立体影像的进深呈现于画面的后方。

在本装置中，以日常地视听电视放映为前提，为了实现耐受长时间的视听而保护眼睛的更自然的表现从而抑制视听者的疲劳，也可以与医疗用同样地构成为仅利用后面侧进深Fcm。因此，配合用途、目的，本实施例的进深量控制部7具备以所有对象物显示于画面的后侧的方式进行调整的功能。

立体视觉化时的鼓出量根据画面中的对象物、要素而分别不同，按照水平方向移动量而确定。于是，对于画面中的要素计算运动矢量的水平分而找出最大值，并以对该部分的会聚角不超过显示画面表面的会聚角的方式进行调整。

因此，使基准帧与参照帧沿水平方向位移dcm作为与进深Fcm对应的量，以将影像中的最远景即会聚角最小的对象配置在最深处。于是，基准帧与参照帧中的各要素通过从运动矢量的水平分量减去dcm，来确定帧的示出位置调整后的会聚角。

在该修正后的会聚角存在比显示画面表面的会聚角大的部分时，该部分形成为看起来比显示面向前方突出的影像，因此例如利用调节基准帧与参照帧的帧差n等的方法调整最前景的要素的运动矢量的水平分量。

这样得到的立体化影像的所有对象看起来处于显示面的后方，因此作为保护眼睛的三维影像而显示于显示装置。

进深矩阵生成部12收纳以对于基准帧内的像素区域在上述调整后得到的运动矢量的水平分量的标量为要素的进深矩阵。进深矩阵在作为进深信息提供给多视点影像信号生成部3而形成多视点影像信号时利用。

需要说明的是，也可以具备进深指示部8，通过手动对进深量控制部7发出将进深量固定为任意的值的指示。进深量能够通过帧的示出位置的偏差量dcm、基准帧与参照帧的帧差n、运动矢量的比例分配来指定。需要说明的是，在进行进深量的手动指示时，优选仅发挥基于由运动矢量计算部6反馈的运动矢量的水平分量标量的限制器功能，而不进行自动调整。

另外，也可以具备2D/3D切换部9，使得视听者能够适当地选择。本实施例的立体影像化显示装置100通过捕捉2D放映波并将随时间变化的影像作为左右眼视差像而提供来实现3D影像化。在此，通过对进深量控制部7给以将进行比较的基准帧与参照帧的帧差设为零的指示，能够将相同的影像作为立体显示装置的左右眼视差影像示出而显示原来的2D影像。需要说明的是，将帧差设为零的指示也可以直接给予帧选择部2。

视听者能够通过2D/3D切换部9而根据喜好选择2D放映或3D影像化放映来鉴赏。若选择2D放映，则直接视听放映局提供的原来的节目。

需要说明的是，在画面由于节目编辑而切换时，2D影像不再有连续性，因此基准帧与参照帧中不再映入有相同的被摄体，无法形成两眼视差影像从而给人以不协调感。因此，优选具备剪切片段改变检测器14，基于自二维影像接收部1输入的影像信号输出来监视剪切片段改变，在检测到剪切片段改变时给帧选择部2指示而中断3D影像化。

并且，本实施例的立体影像化显示装置100能够具备立体化区域指定部10，仅在影像中的适当的区域进行立体影像化。

人在有想要观察的注目部分时，为了不扰乱观察目的，有时会希望对除此以外的被摄体不进行立体显示。此时，能够通过立体化区域指定部10在运动矢量计算部6中指定影像中的立体化的区域而限定作为运算对象的部分。对于立体化的区域以外的部分，若对左右两眼示出基准帧与影像，则以2D影像的状态观察。

产业上的可利用性

本发明的立体影像化显示装置利用接收通常的电视放映的图像接收机进行3D影像化并显示，因此无需对以往的电视放映系统加以任何变更，能够作为与2D放映共存的装置而利用。

另外，在医疗类系统中，内窥镜、超声波设备、导管、MRI等众多的医疗设备使用2D影像，通过利用本发明的装置形成立体影像，能够正确且迅速地把握患部，从而能够更可靠地实施手术。

附图标记说明

100 立体影像化显示装置

1 二维影像接收部

2 帧选择部

3 多视点影像信号生成部

4 立体影像显示部

4-1 裸眼用立体影像显示器

4-2 两眼式立体影像显示器

5 帧同步部

6 运动矢量计算部

7 进深量控制部

8 进深量指示部

9 2D/3D切换部

10 立体化区域指定部

11 非线性压缩部

12 进深矩阵生成部

13 视点影像选择部

14 剪切片段改变检测部。

Claims (8)

1.一种二维影像的立体影像化显示装置，包括：

二维影像接收部，其接收由帧列构成的2D放映并供给每帧的2D影像信号；

帧选择部，其从帧列选择基准帧和相对于该基准帧具有规定数的帧差的参照帧；

多视点影像信号生成部，其对该基准帧与该参照帧的影像以像素级别进行比较并计算像素区域的时间偏移而作为速度矢量，将该速度矢量作为由所述基准帧产生的运动视差，基于该运动视差生成进深信息，基于该进深信息形成多视点影像并作为向左右眼示出的左右眼视差影像信号而提供；以及

立体影像显示部，其接收该左右眼视差影像信号并向左右眼示出各自的影像从而显示为三维影像。

2.根据权利要求1所述的立体影像化显示装置，其中，

所述立体影像显示部具备多个立体影像显示器，所述立体影像化显示装置具备视点影像选择部，所述多视点影像信号生成部生成与所述立体影像显示器分别对应的左右眼视差影像信号，并且所述视点影像选择部选择与适当选出的所述立体影像显示器对应的所述左右眼视差影像信号并向所述立体影像显示部供给。

3.根据权利要求1或2所述的立体影像化显示装置，其中，

所述立体影像化显示装置具备对所述基准帧和所述参照帧的显示时刻进行调整的帧同步部。

4.根据权利要求1至3中任一项所述的立体影像化显示装置，其中，

所述立体影像化显示装置具备：

运动矢量计算部，其关于在所述基准帧与所述参照帧的图像中显示的各部分对该基准帧和该参照帧中的位置进行追踪并计算与两帧间的显示位置的移动量相关的运动矢量；

非线性压缩部，其基于分布来调整该运动矢量的水平分量标量，以适合所述立体影像显示器的显示性能的方式将分布最优化；以及

进深矩阵生成部，其形成对于帧中的像素将该调整后的运动矢量的水平分量标量排列而成的进深矩阵。

5.根据权利要求1至4中任一项所述的立体影像化显示装置，其中，

所述立体影像化显示装置具备：

进深量控制部，其通过调整所述基准帧与所述参照帧的帧差来控制进深量；以及

进深量指示部，其选择所述帧差并指定进深量。

6.根据权利要求1至5中任一项所述的立体影像化显示装置，其中，

所述立体影像化显示装置具备立体化区域选择部，该立体化区域选择部指定所述基准帧中的进行立体影像化的区域。

7.根据权利要求1至6中任一项所述的立体影像化显示装置，其中，

所述立体影像化显示装置具备2D/3D选择部，该2D/3D选择部在2D放映的影像和立体影像化后的影像中选择并指示进行显示的影像。

8.根据权利要求1至7中任一项所述的立体影像化显示装置，其中，

所述立体影像化显示装置具备剪切片段改变检测部，该剪切片段改变检测部基于从所述二维影像接收部供给的影像信号来检测影像的剪切片段改变并向帧选择部指示选择的中断。