CN101266546A - 一种实现操作系统三维显示的方法和一种三维操作系统 - Google Patents

Abstract

本发明实施例公开了一种实现操作系统的三维显示方法，包括：对所述操作系统用户界面中的界面元素进行三维建模；根据三维建模后的每个界面元素的空间位置信息和二维图像信息获得每个界面元素的左眼视图和右眼视图；向显示设备输出所获得的各左眼视图和右眼视图。本发明实施例还公开了一种三维操作系统。本发明实施例的技术方案，使得操作系统能够为用户提供三维用户界面。

Description

一种实现操作系统三维显示的方法和一种三维操作系统

技术领域

本发明涉及操作系统技术领域，尤指一种实现操作系统三维显示的方法和一种三维操作系统。

背景技术

传统的视频图像是一种二维(2D，2 Dimension)的信息载体，它只能表现出景物的内容，而忽略了物体的远近、位置等深度信息。而人类习惯使用两只眼睛来观察世界，作为观察的主体，人类更需要比一幅图像更多的信息画面来获取必须的空间深度信息。

三维(3D，3 Dimension)呈现技术可以提供符合立体视觉原理的具有深度信息的画面，从而能够真实地重现客观世界景象，表现出场景的纵深感、层次感和真实性，是当前视频技术发展的重要方向。3D技术的原理是：人有两只眼，且两只眼之间有一定距离，这就造成物体在左右眼中的影像有一些差异，大脑会根据左右眼视图的这种差异感觉到立体的影像。

发明人在实施本发明时发现，传统的操作系统，如Windows系统和Unix系统等的用户图形界面(GUI)大部分都是传统的2D界面。也有少数操作系统，如Windows Vista和Linux XGL提供了3D形式的图形用户界面，在这些操作系统中，窗口、按钮等图形界面元素可以根据一定的透视关系在Z轴方向上排列，使用户得到界面的深度感。图1是现有技术中Vista操作系统的3D桌面示意图。图2是现有技术中Linux XGL提供的3D桌面。从图1和图2可以看出，这些操作系统中只是通过生成场景的透视图使用户得到物体深度的错觉，即利用人眼对光影、明暗、虚实的感觉得到立体的感觉，而没有利用双眼的立体视觉功能，因此，并不是真正意义上的3D图形界面，所以这些操作系统也并不是真正意义上的3D操作系统。

综上所述，现有的操作系统并不能提供3D图形界面。

发明内容

本发明实施例提供了一种实现操作系统三维显示的方法，该方法使得操作系统能够为用户提供三维用户界面。

本发明实施例还提供了一种三维操作系统，该操作系统能够为用户提供三维用户界面。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明实施例公开了一种实现维操作系统三维显示的方法，该方法包括：

对所述操作系统用户界面中的界面元素进行三维建模；

根据三维建模后的每个界面元素的空间位置信息和二维图像信息获得每个界面元素的左眼视图和右眼视图；

向显示设备输出所获得的各左眼视图和右眼视图。

本发明实施例还公开了一种三维操作系统，该三维操作系统包括：用户界面模块，用于对所述三维操作系统中的用户界面元素进行三维建模，根据三维建模后的每个界面元素的空间位置信息和二维图像信息获得每个界面元素的左眼视图和右眼视图，并向显示设备输出所获得的各界面元素的左眼视图和右眼视图。

由上述技术方案可见，本发明实施例这种对操作系统用户界面中的界面元素进行三维建模，根据三维建模后的每个界面元素的空间位置信息和二维图像信息获得每个界面元素的左眼视图和右眼视图，并向显示设备输出所获得的各左眼视图和右眼视图的技术方案，使得操作系统能够为用户提供三维用户界面。

附图说明

图1是现有技术中Vista操作系统的立体桌面示意图；

图2是现有技术中Linux XGL提供的立体桌面；

图3是本发明实施例一种实现操作系统三维显示的方法的流程图；

图4是本发明实施例3D桌面的建模场景示意图；

图5是双摄像机投影模型示意图；

图6是在图5所示的Y-Z平面上观察B点以及其投影点B_M的示意图；

图7是本发明实施例一种三维操作系统的组成结构框图。

具体实施方式

图3是本发明实施例一种实现操作系统三维显示的方法的流程图。如图3所示，包括：

步骤301，对操作系统用户界面中的界面元素进行三维建模；

步骤302，根据三维建模后的每个界面元素的空间位置参数和二维图像信息获得每个界面元素的左眼视图和右眼视图；

步骤303，向显示设备输出所获得的各左眼视图和右眼视图。

图3中的上述技术方案可以使得操作系统能够为用户提供三维用户界面。

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举较佳实施例，对本发明进一步详细说明。

传统的2D操作系统的界面元素采用的是位图技术，在2D操作系统中通过在界面位图中应用阴影等方法可以产生一定的3D效果，但这不是真正意义上的3D界面。本发明实施例中所述的操作系统因为要产生真实的3D界面，所以操作系统的界面元素，如窗口、按钮、菜单、文字、图标等需采用3D建模方式生成，并需要为每个生成的界面元素设置空间位置参数。

图4是本发明实施例3D桌面的建模场景示意图。如图4所示，该桌面包含：窗口、菜单、按钮以及桌面图标，如回收站等界面元素。除了界面元素本身为3D建模外，界面元素的布局(Layout)也要在3D空间上进行，不同界面元素的放置位置在空间的不同位置，因此需要为这些界面元素设置空间位置参数，空间位置参数表示这些界面元素在空间中的位置。

此外，还可以将传统2D操作系统的界面元素的位图作为纹理(Texture)映射到图4所示的界面元素的模型上，使界面元素更具有真实感并减少建模的复杂性。

上述采用3D建模方式生成操作系统的界面元素的过程可以利用目前常用的3D程序接口工具，如OpenGL或DirectX 3D来完成。

得到3D操作系统的界面元素模型后，需要根据每个界面元素的空间位置参数和二维图像信息来获得该界面元素的左眼视图和右眼视图。这里获得界面元素的左眼视图和右眼视图主要是指获得界面元素在投影平面上的左眼视图的位置和右眼视图的位置。当然投影平面上的左眼视图和右眼视图的位置是相对于指定的视点来说的。

下面根据3D图像的成像原理，介绍利用界面元素的空间位置参数获得投影平面上的左右眼视图位置的过程。

图5是双摄像机投影模型示意图。在图5中，A、B为场景中的两个点，O_L和O_R分别为左右摄像机的光心，且O_L和O_R之间的距离为c。此处采用平行摄像机系统，即连接O_L和O_R的直线呈水平并与投影平面平行，且摄像机到投影平面的距离为f，即摄像机的焦距为f。A_L和A_R分别为点A相对于左右摄像机在投影平面上的投影点，B_L和B_R分别为点B对于左右摄像机在投影平面上的投影点。图5中还示意出了三维坐标的方向，分别为X轴方向、Y轴方向和Z轴方向。这里设三维坐标系的原点位于O_L和O_R连线的中点上。

在图5所示的双摄像机投影模型中，如果将摄像机O_L和O_R分别视为人的左右眼，则当投影平面上显示A_L和A_R两个点的图像时，给人的双眼的视觉感受是在投影平面的后方存在空间点A；当投影平面上显示B_L和B_R两个点的图像时，给人的双眼的视觉感受是在投影平面的前方存在空间点A。因此我们只要相对于指定的视点，即相对于人眼所处的位置，在投影平面上显示左眼视图和右眼视图，则人眼就会看到三维立体图像。并且人眼看到的三维立体图像的纵深与左右眼视图在投影平面上的位置有关。下面推导立体图像的空间位置参数与左右眼视图在投影平面上的位置之间的关系。

在图5中，假设有一个摄像机的光心O_M位于O_L和O_R连线的中点上，则B点相对于该摄像机O_M在投影平面上的投影点为B_M，B点的坐标为(x，y，z)。从Y-Z平面观察B点相对于摄像机O_M在投影平面上的投影点，可以得到如图6所示的几何关系。图6是在图5所示的Y-Z平面上观察B点以及其投影点B_M的示意图。在图6中，设点O_M到投影平面的垂直线于投影平面交于F点，则O_M与F之间的距离为f，即O_MF＝f；设从点B到O_MF的垂直线与O_MF交于E点，则BE＝y、O_ME＝z。由于三角形O_MEB和三角形O_MFB_M相似，则得到如下的关系式：

$\frac{B_{M}F}{\mathrm{BE}}=\frac{O_{M}F}{O_{M}E}\⇒\frac{B_{M}F}{y}=\frac{f}{z}\⇒B_{M}F=\frac{\mathrm{yf}}{z}---\left(1\right)$

从图6可以看出B_MF的长度值即为投影点B_M在三维坐标系中的Y轴坐标，同理可以推出B_M在三维坐标系中的X轴坐标，若设B_M在三维坐标系中的X轴坐标和Y轴坐标分为u、v，则：

$\left[\begin{array}{c}u\\ v\end{array}\right]=\left[\begin{array}{c}\frac{\mathrm{xf}}{z}\\ \frac{\mathrm{yf}}{z}\end{array}\right]---\left(2\right)$

由于摄像机O_L和O_R分别相对于摄像机O_M在X轴上偏移了和

因此，根据公式(2)可以推出：对于空间某一点X(x，y，z)，其相对于摄像机O_L的投影点在投影平面上的X轴坐标u_L和Y轴坐标v_L，以及其相对于摄像机O_R的投影点在投影平面上的X轴坐标u_R和Y轴坐标v_R可以用下面的公式(3)和公式(4)表示。公式(3)和公式(4)分别为：

$\left[\begin{array}{c}{u}_L\\ v_L\end{array}\right]=\left[\begin{array}{c}\frac{(x+\frac{c}{2})f}{z}\\ \frac{\mathrm{yf}}{z}\end{array}\right]---\left(3\right)$

$\left[\begin{array}{c}{u}_R\\ v_R\end{array}\right]=\left[\begin{array}{c}\frac{(x-\frac{c}{2})f}{z}\\ \frac{\mathrm{yf}}{z}\end{array}\right]---\left(4\right)$

从上述推导可以看出，对于指定的c和f，当需要生成空间位置参数为(x，y，z)的操作系统界面元素时，只要按照公式(3)和(4)对空间位置参数x、y、z进行投影变换，得到该界面元素在u-v平面上的左右眼视图，并在投影平面上同时显示左眼视图和右眼视图即可。这里c为双眼之间的距离，f为双眼到投影平面的距离，因此指定的c和f即为指定的视点。

在具体实现时，用户可以采用3D程序接口工具提供的视点变换和投影变换功能来设置视点的位置和观察范围。例如对于OpenGL，可以使用gluLookAt方法设置观察视点，对应于图5即为左右摄像机的位置；使用glDrustum方法计算透视投影变换。视点变换和投影变换完成后，使用图形处理器或软件对3D操作系统的3D用户界面场景进行一系列的渲染流水线操作，最终可以得到在所设置的观察视角上的一对左右眼视图，即得到3D用户界面。

为了显示操作系统的3D界面，操作系统必须为立体显示设备提供支持。目前存在多种立体显示设备，包括：立体眼镜、自动立体显示器(用裸眼观察)等。此外，为了和目前的2D显示器兼容，本发明实施例中的操作系统也可以支持普通的2D显示方式。因此，在发明实施例中的3D操作系统提供2D显示、自动立体显示和基于立体眼镜的显示等多种显示模式的接口。3D操作系统首先检测显示系统，如显卡和显示器是否支持3D显示模式，如果支持则按照3D显示方式呈现用户界面，如果不支持则切换为2D显示方式。对于2D显示方式，只需要将一个摄像机视点的图像或是生成两个摄像机中间视点的图像呈现出来即可。3D操作系统还可以为用户提供自定义2D或3D显示方式的接口。

本发明上述实施例中描述的3D操作系统，除了能够显示3D用户界面外还可以支持3D空间上的人机交互，即用户可以采用3D输入设备或者直接用手在3D空间上进行输入操作。

为了实现3D空间上的人机交互，本发明实施例进一步在操作系统中设置人机交互模块。人机交互模块首先获取输入设备或手的空间位置信息，然后根据所获取的空间位置信息确定用户的输入操作，并指示前述的用户界面模块执行相应的操作。获取输入设备或手的空间位置信息的方法可以有多种，如采用超声波技术的深度传感器或从双摄像机拍摄的图像中获取。

下面仍以图5为例简要说明利用平行双摄像机系统检测用户手的空间位置信息的过程。这里可以将用户的手视为空间中的一点，已知公式(3)和(4)给出了任一空间点的空间位置信息和该点的左右眼视图在投影平面上的位置之间的关系。因此利用双摄像机系统拍摄到空间点的左右眼视图后，即获知了该空间点的左右眼视图在投影平面上的位置以及空间点在投影平面所在平面上的坐标信息，则根据公式(3)和(4)可以计算出空间点相对于投影平面的纵深信息。参照图5，利用双摄像机系统拍摄到用户的手的左右眼视图后，即可以根据左右眼视图得到u_L、v_L、u_R、v_R、x、和y参数的值，c和f根据双摄像机的标定可知，则利用公式(3)或(4)即可以得到用户的手在Z轴方向上的深度值z。

因此，通过在显示平面上配置双摄像机系统拍摄用户操作手的左右眼视图，即可以求出用户手在Z轴方向上的深度值z，通过连续拍摄可以得到用户手的深度位置的变化情况。

此外，由于用户手的位置位于真实世界的空间中，而3D操作系统的坐标系和真实世界的坐标系会不同，但这两个坐标系之间存在一定的映射关系，如果要实现人机交互，还需要将用户手在真实世界坐标系中的深度信息映射到3D操作系统的3D坐标系中。例如，3D操作系统中不同深度的窗口按钮的距离可能为10个单位，可以将每个单位映射为用户手在相对于显示平面的深度距离改变1厘米。当操作系统检测到用户的操作手向前移动了10厘米，且手的2D位置位于界面中某个按钮的范围内，则认为用户的手点击了该按钮。通过这种方式，用户就可以在显示平面前的空间中对3D操作系统中的界面进行虚拟的操作。

除了能够显示3D界面以及支持3D空间上的人机交互以外，本发明实施例中的3D操作系统还可以进一步支持3D应用，如3D视频、3D图片、3D游戏以及3D导航等。为此，在3D操作系统中进一步设置应用支持模块，3D操作系统可以通过自身内部的应用支持模块为这些3D应用提供支持。例如，通过应用支持模块，3D操作系统可以支持3D视频、3D视频广播、3D视频点播和3D视频的存储；对于普通的2D视频可以转换到3D方式进行显示，使用户可以观看到具有立体感的视频图像；支持3D图片的播放和存储；对于普通的2D图片可以转换到3D方式进行显示；对3D游戏提供支持，3D游戏可以不加修改地在本发明实施例的3D操作系统中运行，用户只要使用3D显示设备即可以看到具有立体感的3D游戏画面；提供对3D导航的支持，用户可以看到具有立体感的地图画面等。为了兼容现有的大量的2D应用，本发明实施例中的3D操作系统还可以支持2D应用，即可以将2D应用直接以2D形式显示输出，也可以将2D应用转换成3D格式后显示输出。

基于上述描述接下来给出本发明实施例一种三维操作系统的组成结构框图。

图7是本发明实施例一种三维操作系统的组成结构框图。如图7所示，该操作系统包括：用户界面模块701、人机交互模块702、应用支持模块703，其中：

用户界面模块701，用于完成操作系统用户界面的建模、渲染以及对操作系统的用户界面进行操作管理。具体为：对所述三维操作系统中的用户界面元素进行三维建模，根据三维建模后的每个界面元素的空间位置信息和二维图像信息获得每个界面元素的左眼视图和右眼视图，并向显示设备输出所获得的各界面元素的左眼视图和右眼视图；用于为人机交互模块702提供接口，接收人机交互模块702发送的用户输入操作信息，并根据用户输入的操作信息执行相应的操作，如构建/删除/修改操作系统用户界面中的界面元素等；用于为应用支持模块703提供接口，接收应用支持模块703发送的3D图像或视频后输出到显示设备，还可以向应用支持模块703提供图形用户应用程序接口(API)，使得用户能够创建应用程序界面。

人机交互模块702，用于获取输入设备的空间位置变化信息，根据所获取的取输入设备的空间位置变化信息确定用户的输入操作，并将用户输入的操作通知给用户界面模块701。

应用支持模块703，用于接收图片、视频或游戏数据，并对所接收的图片、视频或游戏数据进行转换处理，得到相应的左眼视图和右眼视图后发送给用户界面模块701；用户界面模块701，将来自应用支持模块的左眼视图和右眼视图输出至显示设备。其中，所述的图片、视频和游戏数据可以为二维数据，也可以为三维数据。

或者，应用支持模块703，用于接收图片、视频或游戏数据，并对所接收的图片、视频或游戏数据进行转换处理，得到相应的左眼视图和右眼视图后直接输出至显示设备。

在图7中，用户界面模块701包括：建模模块704和渲染模块705，其中：建模模块704，用于对所述三维操作系统中的用户界面元素进行三维建模，并将三维建模后的每个界面元素的空间位置信息和二维图像信息发送给渲染模块705；渲染模块705，用于根据所接收的空间位置信息和二维图像信息获得每个界面元素的左眼视图和右眼视图，并向显示设备输出所获得的各界面元素的左眼视图和右眼视图。

在图7中，人机交互模块702包括：获取模块706和计算模块707，其中：获取模块706，用于获取输入设备的空间位置变化信息，并发送给计算模块707；计算模块707，用于根据获取模块706发送的输入设备的空间位置变化信息确定用户的输入操作，并通知用户界面模块701执行相应的操作。

本发明实施例中所述的操作系统可以是类似Windows，Linux等的通用操作系统，也可以是机顶盒、手机等中使用的嵌入式操作系统。

本领域普通技术人员可以理解，实现上述实施例所述方案可以通过程序来指令相关的硬件完成，所述的程序可以存储于可读取存储介质中，该程序在执行时执行上述方法中的对应步骤。所述的存储介质可以是：只读存储器(ROM)/随机存储器(RAM)、磁碟、光盘等。

综上所述，在本发明实施例中，通过在操作系统中设置用户界面模块，该用户界面模块对所述操作系统用户界面中的界面元素进行三维建模，根据三维建模后的每个界面元素的空间位置信息和二维图像信息获得每个界面元素的左眼视图和右眼视图，并向显示设备输出所获得的各左眼视图和右眼视图的技术方案，使得操作系统能够为用户提供三维用户界面。本发明实施例还通过在在所述操作系统中设置人机交互模块；令人机交互模块获取输入设备的空间位置变化信息，根据所获取的输入设备的空间位置变化信息确定用户的输入操作，并指示所述用户界面模块执行相应的操作的技术方案，使得用户可以在3D空间中进行人机交互。此外，本发明实施例还通过在操作系统中设置应用支持模块，并令应用支持模块接收图片、视频或游戏数据，并转换成相应的左右眼视图后通过所述用户界面模块输出至显示设备的技术方案，使得3D操作系统能够支持3D图片、3D视频、3D游戏以及3D导航等应用。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1、一种实现操作系统三维显示的方法，其特征在于，该方法包括：

对所述操作系统用户界面中的界面元素进行三维建模；

根据三维建模后的每个界面元素的空间位置信息和二维图像信息获得每个界面元素的左眼视图和右眼视图；

向显示设备输出所获得的各左眼视图和右眼视图。

2、如权利要求1所述的方法，其特征在于，该方法进一步包括：

获取输入设备的空间位置变化信息，根据所获取的输入设备的空间位置变化信息确定用户的输入操作；

根据所述用户的输入操作构建/删除/修改所述操作系统用户界面中的界面元素。

3、如权利要求2所述的方法，其特征在于，所述根据输入设备的空间位置变化信息确定用户的输入操作包括：

根据所述操作系统中的三维坐标系与输入设备所在真实世界的三维坐标系之间的映射关系，将输入设备的空间位置变化信息转换为操作系统三维坐标中的空间位置变化信息；

根据所述操作系统三维坐标中的空间位置变化信息确定用户的输入操作。

4、如权利要求1至3中任一项所述的方法，其特征在于，该方法进一步包括：

接收图片、视频或游戏数据，并转换成相应的左眼视图和右眼视图后输出至显示设备；所述图片、视频和游戏数据为二维数据或三维数据。

5、一种三维操作系统，其特征在于，该三维操作系统包括：用户界面模块，用于对所述三维操作系统中的用户界面元素进行三维建模，根据三维建模后的每个界面元素的空间位置信息和二维图像信息获得每个界面元素的左眼视图和右眼视图，并向显示设备输出所获得的各界面元素的左眼视图和右眼视图。

6、如权利要求5所述的三维操作系统，其特征在于，所述用户界面模块包括：建模模块和渲染模块，其中，

建模模块，用于对所述三维操作系统中的用户界面元素进行三维建模，得到三维建模后的每个界面元素的空间位置信息和二维图像信息；

渲染模块，用于根据所述空间位置信息和二维图像信息生成每个界面元素的左眼视图和右眼视图，并向显示设备输出所获得的各界面元素的左眼视图和右眼视图。

7、如权利要求5所述的操作系统，其特征在于，该操作系统进一步包括人机交互模块，用于获取输入设备的空间位置变化信息，根据所获取的取输入设备的空间位置变化信息确定用户的输入操作并通知用户界面模块，

所述用户界面模块，进一步用于根据所述用户的输入操作构建/删除/修改所述操作系统用户界面中的界面元素。

8、如权利要求7所述的操作系统，其特征在于，所述人机交互模块包括：

获取模块，用于获取输入设备的空间位置变化信息；

计算模块，用于根据所述输入设备的所述空间位置变化信息确定用户的输入操作，并通知所述用户界面模块。

9、如权利要求5至8中任一项所述的方法，其特征在于，该系统进一步包括应用支持模块，用于接图片、视频或游戏数据，并进行转换处理得到相应的左眼视图和右眼视图后发送给所述用户界面模块；所述图片、视频和游戏数据为二维数据或三维数据；

所述用户界面模块，还用于将来自应用支持模块的左眼视图和右眼视图输出至显示设备。

10、如权利要求5至8中任一项所述的方法，其特征在于，该系统进一步包括应用支持模块，用于接图片、视频或游戏数据，并进行转换处理得到相应的左眼视图和右眼视图后输出至显示设备。

Images