CN101529924A - 用于产生立体图像的方法、装置和计算机程序产品 - Google Patents

Abstract

检测单元检测位于三维显示器表面上或靠近三维显示器表面的实际物体的位置和姿态中的至少一个。计算单元基于位置和姿态中的至少一个来计算实际物体遮蔽从三维显示器表面发散的光线的遮蔽区域；以及渲染单元通过在遮蔽区域上执行与其他区域不同的渲染处理来渲染立体图像。

Description

用于产生立体图像的方法、装置和计算机程序产品

技术领域

本发明涉及用于产生与实际物体关联的立体图像的技术。

背景技术

已经使用各种方法来实现立体图像显示装置，即所谓的三维显示装置，其显示活动的图像。日益需要的是不需要立体眼镜的平板显示装置。存在一种相对简单的方法，即，在具有固定像素的诸如直视式或投影式液晶显示面板或等离子显示面板的显示面板的正前方提供波束控制器，该波束控制器控制从显示面板指向观看者的波束。

波束控制器也被称作视差栅栏，其控制波束，从而取决于角度在波束控制器上的一个点上看见的不同图像。例如，为了仅使用水平视差，使用包括柱面透镜阵列的窄缝或微透镜片(lenticular sheet)作为波束控制器。为了同时使用垂直视差，使用针孔阵列和透镜阵列之一作为波束控制器。

使用视差栅栏的方法进一步分成双向方法、全向方法、超级全向方法(全向方法的超级全向情形)、以及积分摄影术(以下称作“IP”法)。这些方法大体上使用与大约一百年前发明相同的基本原理，并已用于立体摄影。

由于可视距离通常是有限的，因此IP法和多透镜方法都产生图像，由此透明投影的图像在可视距离处能够被实际看见。例如，如在JP-A 2004-295013(KOKAI)和JP-A 2005-86414(KOKAI)中所披露的，如果在使用仅使用水平视差的一维IP法时视差栅栏的水平节距(pitch)是像素水平节距的整数倍，则存在平行光线(以下称作“平行光线一维IP”)。因此，通过相对于每个像素阵列分割图像并合成将被显示在屏幕上的视差合成的图像来获得精确的立体图像，其中被分割前的图像是在垂直方向上在恒定可视距离处的透视投影和在水平方向上的平行投影。

在全向方法中，精确立体图像是通过分割和布置简单的透视投影图像来获得的。

难以实现一种使用不同投影方法或使用不同的至垂直方向和水平方向之间的投影中心的距离的成像装置，这是由于，特别是对于平行投影来讲，需要具有与物体相同大小的相机或镜头。为了通过成像来获得平行投影数据，现实的方法是从透视投影的成像数据来转换图像。例如，已知基于使用核面(EPI)的补偿的光线空间方法。

为了通过再现波束来显示立体图像，基于积分成像法的三维显示器可以通过增加将被再现的波束的信息量来再现高质量立体图像。该信息是例如全向方法情况下的视点的数量、或在IP法的情况下来自显示面板的不同方向的波束的数量。

然而，再现立体图像的处理负荷取决于从每个视点进行的渲染(即在计算机图形图像(CG)中的渲染)的处理负荷，并且其与视点或波束的数量成比例地增加。更具体地，为了再现庞大的三维图像，需要渲染限定介质密度(medium density)的体数据(volumedata)，其从每个视点形成物体。由于必须对所有体元素(volumeelement)执行跟踪波束(即光线投射)、以及计算衰减率，因此渲染体数据通常需要过度的计算负荷。

因此，为了在积分成像三维显示上渲染体数据，处理负荷进一步与视点和波束的增加量成比例地增加。此外，当同时采用诸如多边形的表面级(surface-level)建模时，由于处理速度是被基于光线跟踪法的渲染处理控制的，因此基于多边形的快速渲染方法不能被充分地利用，并且图像生产中的总处理负荷增加。

实际物体和立体虚拟物体的融合和交互系统使用了诸如混合现实(MR)、增强现实(AR)、或虚拟现实(VR)的技术。这些技术可以粗略地划分为两组：MR和AR在实际图像上叠加由CG创建的虚拟图像，以及VR将实际物体插入由CG创建的虚拟世界，如同在洞穴式自动虚拟设备中。

通过使用双向立体方法再现CG虚拟空间，可以如在实际世界中一样以三维位置和姿势产生CG再现的虚拟物体。换言之，可以以对应的位置和姿态显示实际物体和虚拟物体；然而，每次用户的视点改变时，都需要配置图像。此外，为了再现取决于用户的视点的虚拟现实，需要跟踪系统来检测用户的位置和姿势。

发明内容

根据本发明的一个方面，一种用于产生立体图像的装置，包括：检测单元，检测位于三维显示表面上或靠近三维显示表面的实际物体的位置和姿势中的至少一个；计算单元，基于所述位置和所述姿势中的至少一个，计算该实际物体遮蔽由三维显示表面发射的光线的遮蔽区域；以及渲染单元，通过在遮蔽区域上执行不同于其他区域上的渲染处理的渲染处理来渲染立体图像。

根据本发明的另一方面，一种产生立体图像的方法，包括：检测位于三维显示表面上或靠近三维显示表面的实际物体的位置和姿势中的至少一个；基于所述位置和所述姿势中的至少一个，计算该实际物体遮蔽由三维显示表面发射的光线的遮蔽区域；以及通过在遮蔽区域上执行不同于其他区域上的渲染处理的渲染处理来渲染立体图像。

根据本发明的又一方面，一种计算机程序产品包括计算机可用介质，该计算机可用介质具有在其中实施的计算机可读程序代码，当执行这些计算机可读程序代码时，使计算机执行：检测位于三维显示表面上或靠近三维显示表面的实际物体的位置和姿势中的至少一个；基于所述位置和所述姿势中的至少一个，计算该实际物体遮蔽由三维显示表面发射的光线的遮蔽区域；以及通过在遮蔽区域上执行不同于其他区域上的渲染处理的渲染处理来渲染立体图像。

附图说明

图1是根据本发明的第一实施例的立体显示装置的框图；

图2是立体显示装置的显示面板的放大透视图；

图3是在全向立体显示装置中的视差分量图像和视差合成图像的示意图；

图4是在基于一维IP法的立体显示装置中的视差分量图像和视差合成图像的示意图；

图5和图6是当用户的视点改变时的视差图像的示意图；

图7是透明杯放置在立体显示装置的显示面板上的状态示意图；

图8是图1中所示的实际物体位置/姿态检测单元中的硬件的示意图；

图9是根据第一实施例的立体图像产生处理的流程图；

图10是具有虚拟现实的透明杯的图像的示例；

图11是绘制实际物体的外围作为体数据的示例；

图12是绘制圆柱形实际物体的内凹部作为体数据的示例；

图13是绘制在圆柱形实际物体的内凹部中自主游动的虚拟金鱼的示例；

图14是根据本发明的第二实施例的立体显示装置的功能框图；

图15是根据第二实施例的立体图像产生处理的流程图；

图16是从上方60度看的视点、平置的立体显示面板、以及实际物体的示意图；

图17是用于执行基于视点和光源的位置的纹理映射的球面坐标的示意图；

图18是在投影坐标系统中的矢量U和矢量V的示意图；

图19A和图19B是在纵向方向上的相对方向θ的示意图；

图20是当番茄炸弹击打并撞碎在实际透明杯上时的虚拟现实的示意图；

图21是平置的立体显示面板和板的示意图；

图22是平置的立体显示面板、板以及圆柱物体的示意图；以及

图23是用于检测板的形状和姿态的位于板两端上的线性标记的示意图。

具体实施方式

下面参考附图详细解释本发明的示例性实施例。

如图1所示，立体显示装置100包括实际物体形状确定单元101，实际物体位置/姿态检测单元103、遮蔽区域计算单元104、以及3D图像渲染单元105。立体显示装置100进一步包括诸如立体显示面板、存储器以及中央处理单元(CPU)的硬件。

实际物体位置/姿态检测单元103检测在立体显示面板上或靠近立体显示面板的实际物体的位置、姿态、以及形状的至少一个。实际物体位置/姿态检测单元103的结构将在稍后详细解释。

实际物体形状确定单元101接收由用户指定的实际物体的形状。

遮蔽区域计算单元104基于由遮蔽区域计算单元104接收到的形状以及由实际物体位置/姿态检测单元103检测到的位置、姿态和形状中的至少一个，来计算实际物体遮蔽了由立体显示面板发射的光线的遮蔽区域。

3D图像渲染单元105以不同于在其他区域中所使用的方式来在由遮蔽区域计算单元104计算的遮蔽区域上执行渲染处理(即，3D图像渲染单元105在由遮蔽区域计算单元104计算的遮蔽区域上执行的渲染处理不同于在其他区域上执行的渲染处理)，产生视差合成图像，从而渲染立体图像并输出。根据第一实施例，3D图像渲染单元105将遮蔽区域上的立体图像渲染为包括三维空间中的点的体数据。

下面解释在根据第一实施例的立体显示装置100的立体显示面板上的产生图像的方法。立体显示装置100被设计为使用n视差来再现波束。下面的解释假设n是9。

如图2中所示，立体显示装置100包括微透镜板203，布置在平板视差图像显示单元(例如液晶面板)的屏幕的前方。每个微透镜板203包括具有垂直延伸的光学孔径的柱面透镜，其被用作波束控制器。由于光学孔径在垂直方向上线性延伸并且没有倾斜或处于楼梯形式的延伸，因此像素很容易地布置在方形阵列中以显示立体图像。

在屏幕上，具有纵横比为3∶1的像素201被线性布置在横向方向上，从而红(R)、绿(G)和蓝(B)交替布置在每行和每列上。像素201的纵向周期(图2中所示的3Pp)是像素201的横向周期(图2中所示的Pp)的3倍。

在显示彩色图像的彩色图像显示装置中，R、G和B的三个像素201形成一个有效像素，即，设置亮度和颜色的最小单位。R、G和B的每一个通常被称作子像素。

如图2所示的显示面板包括由黑边界包围的9列以及3行像素201组成的单个有效像素202。微透镜板203的柱面透镜基本上布置在有效像素202的前面。

基于使用平行光束的一维积分摄影术(IP法)，微透镜板203由显示面板上的每行中每个第九像素再现平行光束。微透镜板203起到波束控制器的作用，其包括以如下水平节距(图2中所示的Ps)来线性延伸的柱面透镜，所述节距是子像素的横向周期的9倍。

由于视点实际被设置为距离屏幕的有限距离处，因此视差分量图像的数量是9或更多。视差分量图像包括在由立体显示装置100形成图像所需的相同视差方向上形成平行光束的一组像素的图像数据。通过从视差分量图像中提取的将被实际使用的光束，产生将被显示在立体显示装置100上的视差合成图像。

图3示出了在全向立体显示装置中的屏幕上的视差分量图像和视差合成图像之间的关系。用来显示立体图像的图像由301来表示、获取图像的位置由303来表示、以及在视差图像的中心和这些位置处的出光孔径之间的线段由302来表示。

图4示出了在一维IP立体显示装置中的屏幕上的视差分量图像和视差合成图像之间的关系。用来显示立体图像的图像用401来表示，获取图像的位置由403来表示、以及在视差图像的中心和这些位置处的出光孔径之间的线段由402来表示。

一维IP立体显示装置使用在距离屏幕预定可视距离处布置的多个相机来获取图像，或者在计算机图形中执行渲染，其中相机的数量等于或大于立体显示装置的视差的数量，并且从渲染的图像中提取立体显示装置所需的光束。

除了取决于立体显示装置的屏幕的尺寸和分辨率之外，从每个视差分量图像中提取的光束数量还取决于所采用的可视距离。可以使用在JP-A 2004-295013(KOKAI)或JP-A 2005-86414(KOKAI)中披露的方法来计算由所采用的可视距离决定的分量像素宽度，其稍大于9倍的像素宽度。

如图5和图6所示，如果可视距离改变，则从观察点看见的视差图像也改变。从观察点看见的视差图像由501和601表示。

每个视差分量图像通常都在垂直方向上透视地投影在所采用的可视距离处或其等效距离处，且还在水平方向上平行投影。然而，其也可以在垂直方向和水平方向上都透视地投影。换言之，为了基于积分成像方法来在立体显示装置中产生图像，成像处理或渲染处理可以由必要数量的相机来执行，只要图像可以被转换为将被再现的光束信息。

对根据第一实施例的立体显示装置100的下面的解释假设了获得显示立体图像所必要并足够的光束的相机的数量和位置已经被计算出。

下面解释实际物体位置/姿态检测单元103的细节。基于产生关联至用作实际物体的透明杯的立体图像的处理而给出该解释。在该种情况下，立体地显示在平置的立体显示面板上的虚拟企鹅的动作是通过使用实际的透明杯覆盖这些企鹅来控制的。在射出番茄炸弹的同时，虚拟企鹅自主地在平置的立体显示面板上移动。用户用透明杯来覆盖企鹅，从而番茄炸弹击中透明杯而不会落在屏幕上。

如图8中所示，实际物体位置/姿态检测单元103包括红外线发射单元L和R、递归片(recursive sheet)(未示出)、以及区域图像传感器L和R。红外线发射单元L和R设置在屏幕703的左上部和右上部。递归片设置在屏幕703的左右两侧和屏幕703之下，反射红外光。区域图像传感器L和R设置在与屏幕703的左上部和右上部处的红外线发射单元L和R相同的位置，以及它们接收由递归片反射的红外光。

如图7中所示，为了检测立体显示面板702的屏幕703上的透明杯705的位置，测量从红外线发射单元L或R发射的红外光被透明杯705遮蔽从而不能被递归片反射并且不能到达区域图像传感器L和R的每个区域802和803。图7中的参考标号701表示视点。

以该方式，计算出透明杯705的中心位置。实际物体位置/姿态检测单元103可以检测距离屏幕703一定高度内的实际物体。然而，通过使用红外线发射单元L和R、区域图像传感器L和R、以及在屏幕703上以层的方式布置的递归片进行检测的结果，可以增加在其中检测到实际物体的高度区域。另外，通过在与如图8中所示的红外线发射单元L和R、区域图像传感器L和R、以及递归片相同高度处的透明杯705的表面上应用磨砂标记801，提高了区域图像传感器L和R的检测精确度，同时利用了杯子的透明性。

参考图9解释立体显示装置100所执行的立体图像产生处理。

实际物体位置/姿态检测单元103以上面所述的方式检测实际物体的位置和姿态(步骤S1)。同时，实际物体形状确定单元101接收由用户确定的实际物体的形状(步骤S2)。

例如，如果实际物体是透明杯705，则用户确定透明杯705的三维形状是半球，实际物体形状确定单元101接收所确定的三维形状。通过将屏幕703的三维比例、透明杯705、以及虚拟景象中的虚拟物体与屏幕703的实际大小相匹配，使得实际透明杯的位置和姿态与显示为虚拟物体的杯的位置和姿态相匹配。

遮蔽区域计算单元104计算遮蔽区域。更具体地，遮蔽区域计算单元104检测二维遮蔽区域(步骤S3)。换言之，通过仅渲染由实际物体形状确定单元101接收的实际物体来检测当从相机的视点701看时被实际物体遮蔽的二维遮蔽区域。

在经渲染的图像中的实际物体的区域是从视点701看过去的二维遮蔽区域。由于在遮蔽区域中的像素对应于从立体显示面板702发出的光，因此检测二维遮蔽区域是要将被实际物体遮蔽的光束的信息与从屏幕703发出的光束中没有被遮蔽的光束的信息分开来。

遮蔽区域计算单元104计算在深度方向上的遮蔽区域(步骤S4)。如下所述地计算在深度方向上的遮蔽区域。

与从视点701至靠近相机的平面的距离相对应的Z缓存(Z-buffer)被认为是相机和实际物体之间的距离。Z缓存被存储在具有与帧缓冲器的大小相同的缓冲器中作为实际物体前部深度信息Zobj_front。

实际物体是在相机的前面还是在相机的后面是通过计算从视点至聚焦多边形和多边形法线的矢量的内积来确定的。如果内积是正的，则多边形面向前，如果内积是负的，则多边形面向后。类似地，与从视点701至视点后部的平面的距离相对应的Z缓存被认为是视点和实际物体之间的距离。渲染时，Z缓存被存储在存储器中作为实际物体后部深度信息Zobj_back。

遮蔽区域计算单元104仅渲染包括在场景中的物体。渲染后的像素值以下被称作Cscene。与距离可视点的距离相对应的Z缓存被存储在存储器中作为虚拟物体深度信息Zscene。遮蔽区域计算单元104渲染对应于屏幕703的矩形区域，并将渲染的结果存储在存储器中作为显示深度信息Zdisp。Zobj_back、Zdisp、以及Zscene中最接近的Z值被认为是遮蔽区域Zfar的边缘。表示在深度方向上最终被实际物体和屏幕703遮蔽的区域的矢量Zv通过下面的等式计算：

Zv＝Zobj_front-Zfar    (1)

在深度方向上的区域是相对于被从视点遮蔽的二维遮蔽区域中的每个像素来计算的。

3D图像渲染单元105确定像素是否被包括在遮蔽区域中(步骤S5)。如果被包括在遮蔽区域中(步骤S5为是)，则3D图像渲染单元105通过执行体渲染来渲染在遮蔽区域中的像素作为体数据(步骤S6)。考虑到对遮蔽区域的影响，通过使用等式(2)计算将被确定的最终像素值Cfinal来执行体渲染。

Cfinal＝Cscene＊α＊(Cv＊Zv)    (2)

符号“＊”表示乘法。Cv是包括用于表示遮蔽区域的体积的R、G、和B的矢量的颜色信息，以及α是参数，即，标量，用于标准化Z缓存并调节体数据。

如果像素没有被包括在遮蔽区域中(步骤S5为否)，则不执行体渲染。结果，对遮蔽区域和其他区域执行不同的渲染处理。

3D图像渲染单元105确定是否已经对相机的所有视点执行了步骤S3至S6的处理(步骤S7)。如果还没有对所有视点执行该处理(步骤S7为否)，则立体显示装置100对下一视点重复步骤S3至S7。

如果已经对所有视点执行了该处理(步骤S7为是)，则3D图像渲染单元105通过将渲染结果转换为视差合成图像来产生立体图像(步骤S8)。

通过执行上述处理，例如，如果实际物体是放置在屏幕上的透明杯705，则该杯的内部被转换成包括特定颜色的体图像，因此，更加容易地识别杯的存在和杯内的状态。当向透明杯应用体效果时，体效果也施加至被透明杯遮蔽的区域，如图10中1001所表示的。

如果仅希望将虚拟现实应用于透明杯的三维区域，则不必对被从每个视点遮蔽的图像的二维遮蔽区域中的每个像素执行深度方向上的遮蔽区域检测。代替的是，立体显示装置100可以被配置为在渲染包括虚拟物体的场景之后，通过累积表示体效果的颜色来使用体效果渲染遮蔽区域。

尽管在第一实施例中，3D图像渲染单元105渲染由实际物体遮蔽的区域作为体数据来应用体效果，但是3D图像渲染单元105可以被配置为渲染实际物体周围的区域作为体数据。

为了这样做，3D图像渲染单元105三维地放大由实际物体形状确定单元101接收到的实际物体的形状，并且放大的形状被用作实际物体的形状。通过渲染该放大的区域作为体数据，3D图像渲染单元105将体效果应用于实际物体的周围。

例如，为了渲染透明杯705的周围作为体数据，如图11所示，透明杯的形状被三维地放大，并且从透明杯放大的周围区域1101被渲染为体数据。

3D图像渲染单元105可以被配置为使用圆柱实际物体并渲染实际物体的内凹部作为体数据。在该种情况下，实际物体形状确定单元101接收确定的形状作为具有封闭顶部和封闭底部的圆柱，顶部低于圆柱的整个高度。3D图像渲染单元105渲染圆柱的内凹部作为体数据。

为了渲染圆柱实际物体的内凹部作为体数据，例如，如图12所示，通过渲染内凹部1201作为体数据，体现了水的充满程度。此外，如图13所示，通过渲染在圆柱体的凹部内自主游动的模拟金鱼，用户凭视觉识别金鱼出现在包含水的圆柱养鱼缸中。

如上所述，根据第一实施例的基于积分成像法的立体显示装置100使用实际物体来确定将被聚焦的空间区域，并有效地创建与用户的视点无关的虚拟现实。因此，在没有使用跟踪用户的动作的跟踪系统的情况下，产生了取决于实际物体的位置、姿态、以及形状而改变的立体图像，并通过减少的处理量有效地产生了大的立体图像。

根据本发明的第二实施例的立体显示装置1400还接收实际物体的属性，并基于所接收的属性对遮蔽区域执行渲染处理。

如图14所示，立体显示装置1400包括实际物体形状确定单元101、实际物体位置/姿态检测单元103、遮蔽区域计算单元104、3D图像渲染单元1405、以及实际物体属性确定单元1406。此外，立体显示装置1400包括诸如立体显示面板、存储器、以及CPU的硬件。

实际物体形状确定单元101、实际物体位置/姿态检测单元103、以及遮蔽区域计算单元104的功能和配置与在根据第一实施例的立体显示装置100中的这些单元相同。

实际物体属性确定单元1406接收实际物体的厚度、透射性以及颜色中的至少一个作为属性。

3D图像渲染单元1405通过基于由实际物体形状确定单元101接收到的形状以及由实际物体属性确定单元1406接收到的实际物体的属性，将表面效果应用至遮蔽区域，来产生视差合成图像。

参考图15来解释由立体显示装置1400执行的立体图像产生处理。步骤S11至S14与图9中所示的步骤S1至S4相同。

根据第二实施例，实际物体属性确定单元1406接收由用户指定的实际物体的厚度、透射性、和/或颜色作为属性(步骤S16)。3D图像渲染单元1405确定像素是否包括在遮蔽区域中(步骤S15)。如果其被包括在遮蔽区域中(步骤S15为是)，则3D图像渲染单元1405执行通过参考实际物体的属性和形状将表面效果应用至遮蔽区域中的像素的渲染处理(步骤S17)。

在步骤S13，在二维遮蔽区域的检测中检测被实际物体从每个视点遮蔽的像素的信息。每个像素和光束信息之间的一一对应由相机位置和屏幕之间的关系唯一确定。图16中示出了从上方60度观看平置的立体显示面板702的视点701、屏幕703、以及遮蔽屏幕的实际物体1505之间的位置关系。

表面效果的渲染处理对实际物体关于与在步骤S13检测到的每个像素相对应的每个光束的相互作用产生影响。更具体地，考虑到实际物体的表面效果而最终确定的来自视点的图像的像素值Cresult是通过以下等式计算的：

Cresult＝Cscene＊Cobj＊β＊(dobj＊(2.0-Nobj·vcam))  (3)

符号“＊”表示乘法，以及符号“·”表示内积。Cscene是排除实际物体的渲染结果的像素值；Cobj是由实际物体属性确定单元1406接收的实际物体的颜色(R、G和B的矢量)；dobj是由实际物体属性确定单元1406接收的实际物体的厚度；Nobj是在实际物体的表面上的标准化后的法线矢量；Vcam是从相机的视点701指向实际物体的表面的标准化的法线矢量；以及β是确定虚拟现实程度的系数。

由于Vcam等效于光束矢量，因此可以考虑到诸如厚度的实际物体的表面的属性来将虚拟现实应用于倾斜地进入实际物体的表面的光。结果，更加强调了实际物体是透明的并且具有厚度。

为了渲染实际物体的表面的粗糙度，实际物体属性确定单元1406确定诸如凹凸映射或法线映射的映射信息作为实际物体的属性，以及3D图像渲染单元1405有效地控制渲染处理时在实际物体的表面上的标准化的法线矢量。

有关相机的视点的信息仅由独立于用户的状态的立体显示面板702来确定，因此取决于视点的实际物体的表面效果被渲染为与用户的视点无关的立体图像。

例如，3D渲染单元1405创建高亮来将表面效果应用于实际物体。金属或透明物体表面上的高亮随着视点而变化。高亮可以通过基于Nobj和Vcam计算Cresult来以光束为单位而实现。

3D图像渲染单元1405通过将立体图像叠加在出现在实际物体上的高亮来使高亮的形状散焦，从而显示实际物体如同其由不同材料制成一样。3D图像渲染单元1405通过将实际不存在的高亮叠加在实际物体上作为立体图像来呈现虚拟光源和环境。

此外，3D图像渲染单元1405合成实际上不存在于实际物体上的虚拟裂纹作为立体图像。例如，如果实际玻璃具有一定厚度裂纹，则裂纹取决于视点看起来是不同的。使用等式(4)计算由裂纹效果产生的颜色信息Ceffect，以将裂纹的虚拟现实应用于遮蔽区域。

Ceffect＝γ＊Ccrack＊|Vcam×Vcrack|    (4)

符号“＊”表示乘法，以及符号“×”表示外积。通过将Ceffect与来自视点的图像上的像素合成，产生了包括裂纹的最终像素信息。Ccrack是用于裂纹的虚拟现实的颜色值；Vcam是从相机的视点指向实际物体表面的标准化的法线矢量；Vcrack是表示裂纹的方向的标准化的裂纹方向矢量；以及γ是用来调节虚拟现实的程度的参数。

此外，为了显示番茄炸弹击中实际透明杯并撞碎的图像，通过使用纹理映射方法来在立体显示面板上再现虚拟现实，纹理映射方法使用撞碎的番茄炸弹作为纹理。

下面解释纹理映射方法。3D图像渲染单元1405通过基于双向纹理功能(BTF)切换纹理图像来执行映射，其中双向纹理功能根据视点和光源指示在多边形的表面上的纹理元素。

BTF使用球面坐标系统，确定视点和光源的位置，球面坐标系统的原点位于如图17所示的模型的表面上的图像对象处。图17是用于执行基于视点和光源的位置的纹理映射的球面坐标系统的示意图。

假设视点无限远，并且来自光源的光是平行的，视点的坐标是(θe，Φe)，以及光源的坐标是(θi，Φi)，其中θe和θi表示经度角，以及Φe和Φi表示纬度角。在该种情况下，以六维定义纹理地址。例如，使用如下所述的六个变量来表示纹理元素(texel)：

T(θe，Φe，θi，Φi，u，v)    (5)

u和v中的每一个都表示在纹理中的地址。事实上，在特定的视点和特定光源处获取的多个纹理图像被累加，并且通过切换纹理并结合纹理中的地址来表示纹理。以该方式的纹理映射被称作高维纹理映射。

3D图像渲染单元1405如下所述地执行纹理映射。3D图像渲染单元1405确定模型形状数据并将模型形状数据分成渲染图元。换言之，3D图像渲染单元1405将模型形状数据分成图像处理的多个单元，图像处理通常以包含三点的多边形的多个单元执行。多边形是由三个点包围的平面信息，以及3D图像渲染单元1405对多边形的内部执行渲染处理。

3D图像渲染单元1405计算渲染图元的纹理投影坐标。换言之，当限定了纹理的二维坐标系统中的u轴和v轴被投影在由渲染图元中的三维坐标表示的三点限定的平面上时，3D图像渲染单元1405计算投影坐标上的矢量U和V。3D图像渲染单元1405计算由该三点限定的平面的法线。下面参考图18解释计算矢量U和V的方法。

3D图像渲染单元1405确定矢量U、矢量V、法线、视点的位置、以及光源的位置，并计算视点和光源的方向(方向参数)以获取视点和光源对渲染图元的相对方向。

更具体地，纬度相对方向Φ是根据法线矢量N和方向矢量D通过下式计算出来的：

φ＝arccos(D·N/(|D|＊|N|))    (6)

D·N是矢量D和矢量N的内积；以及符号“＊”表示乘法。下面参考图19A和19B解释用于计算经度相对方向θ的方法。

3D图像渲染单元1405基于视点和光源的相对方向来产生渲染纹理。事先准备将被粘贴在渲染图元上的渲染纹理。3D图像渲染单元1405基于视点和光源的相对方向从存储器中的纹理获取纹理元素信息。获取纹理元素信息意味着将在一定条件下获取的纹理元素分配给对应于渲染图元的纹理坐标空间。可以对于每个视点或每个光源执行相对方向和纹理元素的获取，并且如果有多个视点和光源，则以相同的方式获取它们。

3D渲染单元1405对所有的渲染图元执行处理。在所有的图元被处理后，3D图像渲染单元1405将每个被渲染的纹理映射到模型上的对应点。

参考图18解释用于计算矢量U和矢量V的方法。

定义了渲染图元的三个点的三维坐标和纹理坐标被描述如下。

点P0：三维坐标(x0，y0，z0)，纹理坐标(u0，v0)

点P1：三维坐标(x1，y1，z1)，纹理坐标(u1，v1)

点P2：三维坐标(x2，y2，z2)，纹理坐标(u2，v2)

通过定义如上所述的坐标，在投影坐标系统中的矢量U＝(ux，uy，uz)以及V＝(vx，vy，vz)通过以下等式计算：

P2-P0＝(u1-u0)＊U+(v1-v0)＊V

P1-P0＝(u2-u0)＊U+(v2-v0)＊V

基于P0、P1和P2的三维坐标，矢量U和矢量V通过从等式(7)-(12)解出的u x、uy、uz、vx、vy和vz获得。

ux＝idet＊(v20＊x10-v10＊x20)     (7)

uy＝idet＊(v20＊y10-v10＊y20)     (8)

uz＝idet＊(v20＊z10-v10＊z20)     (9)

vx＝idet＊(-u20＊x10+u10＊x20)    (10)

vy＝idet＊(-u20＊y10+u10＊y20)    (11)

vz＝idet＊(-u20＊z10+u10＊z20)    (12)

等式基于下列的条件：

v10＝v1-v0，

v20＝v2-v0，

x10＝x1-x0，

x20＝x2-x0，

y10＝y1-y0，

y20＝y2-y0，

z10＝z1-z0，

z20＝z2-z0，

det＝u10＊v20-u20＊v10，以及

idet＝1/det

法线被简单地计算为由三点限定的平面上的两个独立矢量的外积。

参考图19A和19B解释用于计算经度相对方向θ的方法。获取表示投影在模型平面上的视点或光源的方向矢量的矢量B。视点或光源的方向矢量D＝(dx，dy，dz)、模型平面的法线矢量N＝(nx，ny，nz)以及投影在模型平面上的方向矢量D的矢量B＝(bx，by，bz)通过以下等式计算：

B＝D-(D·N)＊N    (13)

等式(13)如下所示由各元素表示。

bx＝dx-αnx，

by＝dy-αny，

bz＝dz-αnz，以及

α等于dx＊nx+dy＊ny+dz＊nz，以及法线矢量N是单位矢量。

视点和光源的相对方向如下所述从矢量B、矢量U和矢量V获取。

矢量U和矢量V之间的角度λ和矢量U和矢量B之间的角度θ通过以下公式计算：

λ＝arccos(U·V/(|U|＊|V|))(14)

θ＝arccos(U·B/(|U|＊|B|))(15)

如果在投影坐标系统中不存在失真，则U和V是正交的，即，λ为π/2(90度)。如果存在失真，则λ不是π/2。然而，如果在投影坐标系统中存在失真，则由于使用相对于正交坐标系统的视点和光源的方向获取纹理，因此需要校正。视点和光源的相对方向的角度需要根据投影的UV坐标系统被适当校正。使用下面等式(16)-(19)之一计算校正的相对方向θ’：

当θ小于π且θ小于λ；

θ′＝(θ/λ)＊π/2                   (16)

当θ小于π且θ大于λ；

θ′＝π-((π-θ)/(π-λ))＊π/2      (17)

当θ大于π且θ小于π+λ；

θ′＝(θ-π)/λ＊π/2+π             (18)

当θ大于π且θ大于π+λ；

θ′＝2π-((2π-θ)/(π-λ))＊π/2    (19)

如上所述获取相对于渲染图元的视点和光源的经度相对方向。

3D图像渲染单元1405通过执行上述处理在遮蔽区域中渲染纹理映射。图20中示出了具有由该处理创建的虚拟现实的番茄炸弹撞碎在实际透明杯上的图像的示例。遮蔽区域由2001表示。

此外，3D图像渲染单元1405渲染透镜效果和缩放效果至遮蔽区域。例如，实际物体属性确定单元1406确定用作实际物体的板的折射率、放大率或颜色。

3D图像渲染单元1405仅对位于图15的步骤S13检测的遮蔽区域中心的虚拟物体的渲染图像进行缩放，并提取遮蔽区域作为遮蔽，由此缩放穿过实际物体的场景。

通过缩放位于像素中心上的虚拟场景的渲染图像，实现了使用实际物体来模拟放大玻璃的数字缩放效果，其中在所述像素上，穿过实际物体上的三维缩放中心和视点的直线与屏幕703相交叉。

为了解释平置的立体显示面板和板之间的位置关系，如图21中所示，放大玻璃的虚拟物体可被叠加在包含实际板2105的空间中，从而增加了立体图像的真实性。

3D图像渲染单元1405可以被配置为基于光学跟踪方法通过模拟由每个像素的位置限定的光束的折射来渲染虚拟物体。这是通过确定用于实际物体的三维透镜的精确形状(例如凹透镜或凸透镜)的实际物体形状确定单元101以及确定作为实际物体的属性的折射率的实际物体属性确定单元1406来实现的。

3D图像渲染单元1405可以被配置为通过布置实际物体来渲染虚拟物体，使得虚拟物体的横截面被视觉地识别。下面解释使用透明板作为实际物体的例子。平置的立体显示面板702、板2205、以及作为虚拟物体的圆柱形物体2206之间的位置关系如图22所示。

更具体地，如图23中所示，用于检测的标记2301a和2301b被应用于板2305的两端，标记是磨砂线。实际物体位置/姿态检测单元103通过在屏幕高度方向上按层布置至少两个的红外线发射单元L和R以及区域图像传感器L和R中的每一个来形成。以该方式，可以检测实际板2305的位置、姿态和形状。

换言之，如上配置的实际物体位置/姿态检测单元103如在第一实施例中所解释的一样检测标记2301a和2301b的位置。通过从红外线发射单元L和R以及区域图像传感器L和R检测到的结果来获取相应标记的位置，实际物体位置/姿态检测单元103识别板2305的三维形状和三维姿态，即从两个结果2303和2304，板2305的姿态和形状被识别为由虚线2302表示的那样。如果标记的数量被增加，则可以更精确地计算板2305的形状。

遮蔽区域计算单元104被配置为：在步骤S14，在深度方向上的遮蔽区域的计算中，确定由实际物体划分的虚拟物体的区域。换言之，遮蔽区域计算单元104参考了实际物体的深度信息Zobj、距离视点的虚拟物体的前部深度信息Zscene_near、以及距离视点的虚拟物体的后部深度信息Zscene_far之间的关系，并确定Zobj是否位于Zscene_near和Zscene_far之间。如在第一实施例中所解释的，通过渲染产生的Z缓存被用于计算距离视点的深度方向上的遮蔽区域。

3D图像渲染单元1405通过将在划分区域中的像素渲染为体数据来执行渲染。由于已经通过计算从每个视点看到的二维位置获取了剖面的三维信息，即，光束和距离视点的深度的信息，作为划分区域的信息，因此体数据在该时间点是可用的。3D图像渲染单元1405可以被配置为将划分区域中的像素设置得更亮，从而使得其更容易地与其他像素区分开。

使用矢量值而不是标量值的张量数据被用来例如形象化大脑中的血流。当使用张量数据时，可以采用各向异性的渲染法来渲染矢量信息作为剖面的体元素。例如，用来渲染头发的各向异性反射亮度分配被用作材料，以及基于从相机的视点信息和作为体信息的矢量信息来执行与方向有关的渲染。通过移动他/她的头，除通过体数据的剖面的形状之外还通过亮度和颜色的变化，由此用户感觉到矢量的方向。如果实际物体形状确定单元101确定实际物体具有厚度，则剖面的形状不是平的而是立体的，并且能够更有效地形象化张量数据。

由于包括通过实际物体看到的虚拟物体的景象根据视点而改变，因此根据传统技术，用户的视点需要被跟踪以实现虚拟现实。然而，根据第二实施例的立体显示装置1400接收确定的实际物体的属性，并基于确定的属性、形状、以及姿态对遮蔽区域应用各种表面效果来产生视差合成图像。结果，在没有使用跟踪用户的动作的跟踪系统的情况下，立体显示装置1400基于实际物体的位置、姿态和形状产生了立体图像，并且有效地产生了具有更真实表面效果的立体图像，并减少了处理量。

换言之，根据第二实施例，由实际物体遮蔽的区域和穿过实际物体的虚拟场景被确定并事先相对于产生立体图像所需的相机的每个视点而被渲染。因此，与跟踪用户视点无关地产生了立体图像，并在立体显示面板上精确地再现。

在根据第一实施例和第二实施例的立体显示装置中执行的立体图像产生程序预先安装在只读存储器(ROM)或类似物中。

可以以记录在计算机可读记录介质中的可安装的可执行文件的形式记录立体图像产生程序，所述计算机可读记录介质例如是提供的光盘只读存储器(CD-ROM)、软盘(FD)、可写光盘(CD-R)、或数字通用光盘(DVD)。

立体图像产生程序可以被存储在连接到诸如因特网的网络的计算机中，并通过从网络下载来提供。立体图像产生程序还可以通过网络来提供或分发。

立体图像产生程序包括实际物体位置/姿态检测单元、实际物体形状确定单元、遮蔽区域计算单元、以及3D图像渲染单元，以及实际物体属性确定单元的每一个作为模块。当CPU从ROM读取并执行立体图像产生程序时，各单元被加载到主存储装置中，并且在主存储器中产生每个单元。

对于本领域的技术人员来说，很容易想到其他的优点和修改。因此，本发明在其更宽的方面不局限于在此示出并描述的特定细节和代表性实施例。因此，在不背离所附权利要求及其等同物所限定的一般发明概念的精神或范围的前提下，可以进行各种修改。

Claims (16)

1.一种用于产生立体图像的装置，包括：

检测单元，检测位于三维显示表面上或靠近三维显示表面的实际物体的位置和姿态中的至少一个；

计算单元，基于所述位置和所述姿态中的至少一个来计算所述实际物体遮蔽从所述三维显示表面发出的光线的遮蔽区域；以及

渲染单元，通过在所述遮蔽区域上执行与其他区域上的渲染处理不同的渲染处理来渲染立体图像。

2.根据权利要求1所述的装置，还包括：第一确定单元，用于接收所述实际物体的形状的确定，其中

所述计算单元还基于所确定的形状来计算所述遮蔽区域。

3.根据权利要求2所述的装置，其中所述渲染单元使用三维空间中的体数据来渲染所述遮蔽区域。

4.根据权利要求2所述的装置，其中所述渲染单元使用三维空间中的体数据来渲染在所述遮蔽区域中的所述实际物体周围的区域。

5.根据权利要求2所述的装置，其中，所述渲染单元使用三维空间中的体数据来渲染在所述遮蔽区域中的所述实际物体的凹陷部分区域。

6.根据权利要求2所述的装置，还包括第二确定单元，其接收所述实际物体的属性的确定，其中

所述渲染单元基于所确定的属性，在所述遮蔽区域上执行与其他区域的渲染处理不同的渲染处理。

7.根据权利要求6所述的装置，其中，所述属性是所述实际物体的厚度、透明度、以及颜色中的至少一个。

8.根据权利要求6所述的装置，其中，所述渲染单元基于所确定的形状来在所述遮蔽区域上执行所述渲染处理。

9.根据权利要求7所述的装置，其中，所述渲染单元基于所确定的属性执行将表面效果应用于所述遮蔽区域的渲染处理。

10.根据权利要求7所述的装置，其中，所述渲染单元基于所确定的属性执行将高亮效果应用于所述遮蔽区域的渲染处理。

11.根据权利要求7所述的装置，其中，所述渲染单元基于所确定的属性执行将裂纹应用于所述遮蔽区域的渲染处理。

12.根据权利要求7所述的装置，其中，所述渲染单元基于所确定的属性执行将纹理映射到所述遮蔽区域的渲染处理。

13.根据权利要求7所述的装置，其中，所述渲染单元基于所确定的属性执行缩放所述遮蔽区域的渲染处理。

14.根据权利要求7所述的装置，其中，所述渲染单元基于所确定的属性执行相对于所述遮蔽区域显示所述实际物体的横截面的渲染处理。

15.一种产生立体图像的方法，包括：

检测位于三维显示表面上或靠近三维显示表面的实际物体的位置和姿态中的至少一个；

基于所述位置和所述姿态中的至少一个来计算所述实际物体遮蔽从所述三维显示表面发出的光线的遮蔽区域；以及

通过在所述遮蔽区域上执行与其他区域的渲染处理不同的渲染处理来渲染立体图像。

16.一种包括计算机可用介质的计算机程序产品，所述介质具有包括在所述介质中的计算机可读程序代码，当执行所述计算机可读程序代码时，使计算机执行：

检测位于三维显示表面上或靠近三维显示表面的实际物体的位置和姿态中的至少一个；

基于所述位置和所述姿态中的至少一个来计算所述实际物体遮蔽从所述三维显示表面发出的光线的遮蔽区域；以及

通过在所述遮蔽区域上执行与其他区域的渲染处理不同的渲染处理来渲染立体图像。

Images