CN102221880A - 3d图形界面的显示方法及系统 - Google Patents
3d图形界面的显示方法及系统 Download PDFInfo
- Publication number
- CN102221880A CN102221880A CN201110130843XA CN201110130843A CN102221880A CN 102221880 A CN102221880 A CN 102221880A CN 201110130843X A CN201110130843X A CN 201110130843XA CN 201110130843 A CN201110130843 A CN 201110130843A CN 102221880 A CN102221880 A CN 102221880A
- Authority
- CN
- China
- Prior art keywords
- interface
- sub
- gesture
- current controlled
- reference system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了3D图形界面的显示方法和系统。一方面，3D图形界面采用了在纵深方向依次排列不同子界面的布局方式，由于纵深方向并不受显示屏的尺寸等因素限制，因此可以无限增加子界面的数量，从而可以在不同子界面中无限增加功能键。另一方面，通过操作者的手势选择要显示的当前被控子界面，使用户能够真正体会到身临其境的3D效果，提高了用户体验。
Description
技术领域
本发明涉及3D图形显示技术，尤其涉及3D图形界面的显示方法及系统。
背景技术
目前最为大众熟知的是传统的2D图形界面，包括Windows桌面、Linux桌面和游戏界面等，这些图形界面仅具有水平X和竖直Y两个维度，如图1所示，图形界面中的功能键的数量受到显示设备的尺寸及分辨率等因素的限制。
3D图形界面相对于2D图形界面增加了与XY平面垂直的纵深Z维度，目前已出现的一种3D图形界面是一种六面体的墙面，各个功能键布局在六面体的各个墙面上，这在一定程度上解决了功能键数量受显示设备尺寸限制的问题，但是功能键的数量还是受到上述六面体的限制。
而在图形界面的显示方法上，无论针对上述2D图形界面还是3D图形界面，目前都需操作者通过鼠标、键盘或手持遥控器等传统方式进行控制，例如用户可以通过鼠标选择游戏界面、并移动游戏界面中的某个功能键。这样用户将无法真正体会到3D的效果，降低了用户体验。
发明内容
本发明的第一个目的是提供两种3D图形界面的显示方法，该方法能够让操作者通过手势，对不受显示设备尺寸限制的3D图形界面执行操作。
本发明的第二个目的是提供两种3D图形界面的显示系统，该系统能够让操作者通过手势，对不受显示设备尺寸限制的3D图形界面执行操作。
本发明的技术方案是这样实现的：
一种3D图形界面的显示方法，关键在于，设置虚拟3D图形界面包括：在纵深方向上依次排列的不同子界面；该方法还包括：
测算操作者的选中手势和双眼在真实参照系中的位置；
利用操作者的双眼在真实参照系中的位置，计算各个子界面在真实参照系中的成像位置；
将在真实参照系中与选中手势处在相同纵深位置的子界面作为当前被控子界面；
在真实参照系中显示当前被控子界面。
一种3D图形界面的显示方法，关键在于，设置虚拟3D图形界面包括：在纵深方向上依次排列的不同子界面；设置操作者的选中手势到显示屏的距离与子界面的对应关系；该方法还包括：
测算操作者的选中手势到显示屏的距离；
根据所述对应关系，将测算出的距离对应的子界面作为当前被控子界面；
在显示屏上显示当前被控子界面。
一种3D图形界面的显示系统，关键在于，该系统包括：
3D图形界面装置，用于提供3D虚拟图形界面，所述3D虚拟图形界面包括在纵深方向上依次排列的不同子界面；
测算装置，用于测算操作者的选中手势和双眼在真实参照系中的位置坐标；
显示装置，用于利用操作者的双眼在真实参照系中的位置，计算各个所述子界面在真实参照系中的成像位置；将在真实参照系中与选中手势处在相同纵深位置的子界面作为当前被控子界面；在真实参照系中显示当前被控子界面。
一种3D图形界面的显示系统，关键在于，该系统包括：
3D图形界面模块，用于提供虚拟3D图形界面，所述虚拟3D图形界面包括在纵深方向上依次排列的不同子界面；
测算装置，用于测算操作者的选中手势到显示屏的距离；
显示装置，用于存储操作者的选中手势到显示屏的距离与子界面的对应关系；根据所述对应关系，将测算出的距离对应的子界面确定为当前被控子界面；显示当前被控子界面。
可见，本发明提出的3D图形界面的显示方法和系统，一方面，采用了在纵深方向依次排列不同子界面的布局方式，由于纵深方向并不受显示屏的尺寸等因素限制，因此可以无限增加子界面的数量，从而可以在不同子界面中无限增加功能键。另一方面，通过操作者的手势选择要显示的当前被控子界面，使用户能够体会到身临其境的3D效果，提高了用户体验。
说明书附图
图1为现有技术中的2D图形界面的示意图；
图2为本发明中第一种3D图形界面的显示方法流程图；
图3为本发明中第一种3D图形界面的显示系统的结构示意图；
图4为本发明实施例中基于立体视觉的手指定位示意图；
图5a和图5b为本发明实施例中平行双目视觉距离传感器测量距离的原理图；
图6为本发明实施例中3D图形界面的示意图；
图7为图6中所示界面的正面视图和俯视图；
图8a至图8d为本发明实施例中的控制操作示意图；
图9为本发明中第二种3D图形界面的显示方法流程图；
图10为本发明中第二种3D图形界面的显示系统的结构示意图；
图11为本发明实施例中选中手势与显示屏的距离结果图；
图12a至图12d为本发明实施例中的控制操作示意图。
具体实施方式
首先，介绍本发明提供的第一种3D图形界面的控制方法和系统，该方法及系统基于3D体感显示技术实现。
图2为本发明中第一种3D图形界面的显示方法流程图，在该流程开始之前，设置3D图形界面包括：在纵深方向上依次排列的不同子界面。
图2所示的流程包括以下步骤：
步骤201：测算操作者的选中手势和双眼在真实参照系中的位置。
本步骤中，作为一种实施方式，可以先采集操作者的手势和双眼的图像，然后利用采集到的图像在成像平面上的位置及视差，计算操作者的手势和双眼在真实坐标系中的位置。
这里的选中手势指的是所有在纵深方向移动的手势。
步骤202：利用操作者的双眼在真实参照系中的位置，计算各个子界面在真实参照系中的位置。
本步骤中，作为一种实施方式，可以针对每个子界面的每个点，确定操作者左眼在真实坐标系中的位置、及该子界面的该点在显示屏的左眼视图中的位置之间的第一连线，确定操作者右眼在真实坐标系中的位置、及该子界面的该点在显示屏的右眼视图中的位置之间的第二连线，将所述第一连线和第二连线的交点作为该子界面的该点在真实参照系中的成像位置。
只要确定了一个子界面中的所有点在真实参照系中的成像位置，这个子界面在真实参照系中的成像位置也就相应确定了。
步骤203：将在真实参照系中与选中手势处在相同纵深位置的子界面作为当前被控子界面。
本步骤中，判断子界面与选中手势是否处在相同位置时，可以设定选中手势的某一点作为判断基准，例如假设选中手势为操作者伸出一根手指，则可以将该手指的指端作为判断基准，当在真实参照系中该手指的指端与某子界面处在相同纵深位置时，即可判定该子界面为当前被控子界面。
步骤204：在真实参照系中显示当前被控子界面。
本步骤中，如果考虑进一步方便操作者后续的选择，虚拟3D图形界面中的每个子界面可以具有标题，且排列在前的子界面遮挡排列在后的子界面除标题之外的部分，这样在本步骤中可以将当前被控子界面后面的子界面也显示到真实参照系中，这样操作者将只看到当前被控子界面后面的子界面的标题，方便后续的选择。
在步骤204之后，还可以进一步解析操作者的控制手势在当前被控子界面所在平面上的位置变化及控制手势的含义，并执行对应的控制操作。这里的控制手势指所有在当前被控子界面所在平面上移动的手势，控制操作可以包括移动子界面中的功能键等。
图3为本发明中第一种3D图形界面的显示系统的结构示意图，该系统包括：3D图形界面装置301、测算装置302和显示装置303。
上述3D图形界面装置301，用于提供虚拟3D图形界面，该虚拟3D图形界面包括在纵深方向上依次排列的不同子界面。
上述测算装置302，用于测算操作者的选中手势和双眼在真实参照系中的位置。
上述显示装置303，用于利用操作者的双眼在真实参照系中的位置，计算各个子界面在真实参照系中的成像位置；将在真实参照系中与选中手势处在相同纵深位置的子界面作为当前被控子界面；在真实坐标系中显示当前被控子界面。
作为一种实施方式，测算装置302包括图像采集模块302a和测算执行模块302b。
图像采集模块302a，用于采集操作者的手势和双眼的图像；
测算执行模块302b，用于利用所述操作者的手势和双眼的图像在所述图像采集模块的成像平面上的位置、及视差，计算操作者的手势和双眼在真实坐标系中的位置。
作为一种实施方式，上述显示装置303包括：位置确定模块303a和显示执行模块303b。
位置确定模块303a，用于针对每个子界面的每个点，确定操作者左眼在真实坐标系中的位置、及该子界面的该点在显示屏的左眼视图中的位置之间的第一连线，确定操作者右眼在真实坐标系中的位置、及该子界面的该点在显示屏的右眼视图中的位置之间的第二连线，将所述第一连线和第二连线的交点作为该子界面的该点在真实参照系中的成像位置；由一个子界面的所有点在真是参照系中的成像位置，确定该子界面在真实参照系中的成像位置。
显示执行模块303b，用于将在真实参照系中与选中手势处在相同纵深位置的子界面作为当前被控子界面；在真实参照系中显示当前被控子界面。
如果考虑进一步方便操作者后续的选择，虚拟3D图形界面中的每个子界面可以具有标题，且排列在前的子界面遮挡排列在后的子界面除标题之外的部分。在此基础上，这里的显示执行模块303b还可以包括：第一显示子模块303b1和第二显示子模块303b2。
第一显示子模块303b1，用于将在真实参照系中与选中手势处在相同纵深位置的子界面作为当前被控子界面，在真实参照系中显示当前被控子界面。
第二显示子模块303b2，用于将当前被控子界面之后的子界面在真实参照系中显示。
进一步，本发明的第一种显示系统中还可以包括控制装置304，用于解析操作者的控制手势在当前被控子界面所在平面上的位置变化及控制手势的含义，并执行对应的控制操作。
可见，本发明提出的第一种3D图形界面的显示方法和系统，一方面，采用了在纵深方向依次排列不同子界面的布局方式，由于纵深方向并不受显示屏的尺寸等因素限制，因此可以无限增加子界面的数量，从而可以在不同子界面中无限增加功能键。另一方面，通过操作者的手势选择要显示的当前被控子界面，使用户能够体会到身临其境的3D效果，提高了用户体验。
为使上述本发明的第一种方法和系统的原理、特性及优点更加清楚，下面结合具体实施例进行描述。
本实施例中以平行双目视觉距离传感器为例，说明操作者对3D图形界面的控制过程。
第一步：测算操作者的选中手势在真实坐标系中的位置，使用坐标 
来表示该位置。
图4为本发明实施例中基于立体视觉的手指定位示意图，假设操作者伸出一根手指作为选中手势，并将手指指端作为测算点，则由两个摄像机组成立体视觉系统，根据这两个摄像机采集到的选中手势的图像，就可以确定操作者的手指指端在真实坐标系中的位置。
在选中手势为其他手势的情况下，可以任意设定测算点，例如操作者攥拳作为选中手势，可以设定拳头上中指关节点作为测算点。
图5a和图5b为平行双目视觉距离传感器测量距离的原理图，其中图5b为俯视图。两台焦距为f的摄像机平行放置，光轴之间的距离为T，图5a中的两个矩形分别表示左右摄像机的成像平面，O l 和O r 为左右摄像机的焦点，假设操作者的选中手势为该场景中的P点，在左右摄像机成像平面上的成像点分别为p l 和p r ，它们在成像平面上的成像坐标为x l 和x r ，将d = x l - x r 定义为视差。
本实施例中的真实坐标系以左摄像机的交点O l 为原点，O l 和O r 所在直线为X轴，左摄像机的光轴为Z轴，垂直于XZ轴的为Y轴，则P点与摄像机的距离，即P点在真实坐标系中的坐标按照如下公式（1）计算。
第二步：测算操作者的双眼在真实坐标系中的位置，使用坐标
和
来表示该位置。
这里对操作者的眼睛在真实坐标系中的位置测算，与上述第一步中的原理类似，这里不再赘述。
第三步：利用操作者的眼睛在真实参照系中的位置，计算虚拟3D图形界面中的各个子界面在真实坐标系中的位置。
为计算简单，设3D显示装置的显示屏位于两个摄像机的焦距平面，即XY平面，这样虚拟3D图形界面中各个子界面的点可以使用真实参照系中的坐标表示。
假设针对某一子界面的A点，该点在显示屏的左右眼视图中的位置分别表示为B和C，B点和C点在真实参照系中的坐标分别设为
和
。
操作者的左眼到右视图中的B点的空间直线，可以表示成如下表达式（2）。
操作者的右眼到左视图中的A点的空间直线，可以表示成如下表达式（3）。
由于人的双眼在同一水平位置、同一深度，所以可以得出，同样显示屏上的点也在同一水平位置、同一深度，所以可以得出
。基于此条件，由表达式（2）和（3）可以得出如下表达式（4）。
在求解出表达式（4）中的
和
后，再将
带入表达式（2）中，就可以得到该子界面的A点在真实坐标系中的坐标。
对各个子界面中的每一点都按照上述计算方法进行计算，可以得到各个子界面在真实坐标系中的位置。
第四步：将在真实坐标系中与选中手势处在相同纵深位置的子界面作为当前被控子界面，在真实参照系中显示当前被控子界面。
以第一步中选中手势的测算点作为判断基准。
假设选中手势为操作者伸出一根手指，且第一步中将伸出的手指指端作为测算点。如图6所示，虚线部分的程序开发设计子界面和多媒体子界面已经被手指越过，则无需显示到真实参照系中。实线部分的游戏子界面，由于其与操作者的手指指端处在相同纵深位置，将在真实参照系中被完整显示。作为一种较佳的实施方式，图6中的其他空心部分的文件管理相关子界面和系统相关功能子界面还没有被选中，但为了方便操作者的后续选择，可以将这些也显示到真实参照系中，但操作者只能看见它们的标题，其他部分将被实线部分的游戏子界面遮挡。
图7为图6中所示界面的正面视图和俯视图，其中左面为正视图。
在通过上面的第一步至第四步执行显示之后，操作者可以通过下面的第五步对当前被控子界面中的功能键执行进一步的操作，也可以将手放下暂停后续操作，在操作者的手放下后，将保持显示当前被控子界面。
第五步：根据操作者的控制手势，在当前被控子界面上执行控制手势对应的操作。
操作者可以执行的控制操作包括在当前被控子界面上选中并操作功能键、将当前被控子界面上的功能键移动到其他子界面、或删除当前被控子界面上的功能键等。
图8a至图8d示出了控制操作的一种举例，假设操作者通过伸出的一根手指选中当前被控子界面，在不改变纵深位置且水平移动时，该手指为选中当前被控子界面的功能键的控制手势，当判断手指指端的X和Y坐标与当前被控子界面上某个功能键的X和Y坐标重合时，判定选中该功能键；操作者握拳表示拖动功能键。如图8a至图8d所示，操作者伸出手指选中当前被控子界面上的一个功能键，然后握拳，在空间中移动，移动停止后，根据拳头停止的纵深位置选中新的当前被控子界面，再伸出手指将上述功能键将被放在新的当前被控子界面的一个位置。
可以看出，本发明中的选中手势和控制手势并没有具体的严格区分，在上面的例子中，握拳表示拖动功能键，但是当握拳在纵深方向移动时，握拳又表示选中手势、用以确定新的被控子界面，所以只要在纵深方向有移动的均为选中手势，在被控子界面所在平面上移动的手势均为控制手势。
其次，介绍本发明提供的第二种3D图形界面的控制方法和系统，该方法及系统基于2D显示技术实现。
图9为本发明中第二种3D图形界面的控制方法流程图，在该流程开始前，设置虚拟3D图形界面，包括：在纵深方向上依次排列的不同子界面。还要设置操作者的选中手势到显示屏的距离与子界面的对应关系。
图9所示流程包括以下步骤：
步骤901：测算操作者的选中手势到显示屏的距离。
本步骤中，选中手势指所有在纵深方向移动的手势。
步骤902：根据对应关系，将测算出的距离对应的子界面作为当前被控子界面。
步骤903：在显示屏上显示当前被控子界面。
本步骤中，如果3D虚拟图形界面中的每个子界面具有标题，且排列在前的子界面遮挡排列在后的子界面除标题之外的部分，为方便操作者的后续选择，可以在显示屏上显示当前被控子界面时，进一步包括：将当前被控子界面之后的子界面在显示屏上显示。这样操作者将只看到当前被控子界面之后的子界面的标题，方便后续的选择。
在上述步骤903之后，还可以进一步解析操作者的控制手势在与当前被控子界面平行的平面上的位置变化及控制手势的含义，并执行对应的控制操作。
图10为本发明中第二种3D图形界面的显示系统的结构示意图，该系统包括：3D图形界面模块1001、测算装置1002、确定装置1003和显示装置1004。
3D图形界面模块1001，用于提供虚拟3D图形界面，所述虚拟3D图形界面包括在纵深方向上依次排列的不同子界面。
测算装置1002，用于测算操作者的选中手势到显示屏的距离。
显示装置1003，用于存储操作者的选中手势到显示屏的距离与子界面的对应关系；根据所述对应关系，将测算出的距离对应的子界面确定为当前被控子界面；显示当前被控子界面。
如果虚拟3D图形界面中的每个子界面具有标题，且排列在前的子界面遮挡排列在后的子界面除标题之外的部分，在此基础上，显示装置1003包括：存储模块1003a、第一显示模块1003b和第二显示模块1003c。
上述存储模块1003a，用于存储操作者的选中手势到显示屏的距离与子界面的对应关系。
上述第一显示模块1003b，用于根据所述对应关系，将测算出的距离对应的子界面确定为当前被控子界面，显示当前被控子界面。
上述第二显示模块1003c，用于根据所述对应关系，显示当前被控子界面之后的子界面。
进一步，本发明的第二种系统中还包括：控制装置1004，用于解析操作者的控制手势在与当前被控子界面平行的平面上的位置变化及控制手势的含义，并执行对应的控制操作。
可见，本发明提出的第二种3D图形界面的显示方法和系统，一方面，采用了在纵深方向依次排列不同子界面的布局方式，由于纵深方向并不受显示屏的尺寸等因素限制，因此可以无限增加子界面的数量，从而可以在不同子界面中无限增加功能键。另一方面，通过操作者的手势选择要显示的当前被控子界面，使用户能够体会到模拟的3D效果，提高了用户体验。
同时，由于本发明的第二种3D图形界面的显示方法和系统，基于目前广泛应用的2D显示技术实现，使操作者体会到一种虚拟的3D效果，更容易推广。
为使上述本发明的第二种方法和系统的原理、特性及优点更加清楚，下面结合具体实施例进行描述。
本实施例中以平行双目视觉距离传感器为例，说明操作者对3D图形界面的控制过程。
第一步：测算操作者的选中手势与显示屏之间的距离。
测算点可以是选中手势上的任意点，例如假设操作者伸出一根手指作为选中手势，则可以将手指指端作为测算点。假设操作者伸出手掌作为选中手势，则可以将手掌上距离显示屏最近的一点作为测算点。
图11以选中手势是手掌为例，示出了手掌与显示屏的距离测算结果。
测算的原理和方法与第一个实施例中的相同，这里不再赘述。
第二步：根据操作者的选中手势与显示屏的距离，以及自定义的距离与子界面的对应关系，确定当前被控子界面。
第三步：显示当前被控子界面。
在通过上面的第一步至第三步执行显示之后，操作者可以通过下面的第四步对当前被控子界面中的功能键执行进一步的操作，也可以把手放下暂停后续操作，在操作者把手放下后，显示屏上将保持显示当前被控子界面。
操作者可以执行的控制操作包括在当前被控子界面上选中并操作功能键、将当前被控子界面上的功能键移动到其他子界面、或删除当前被控子界面上的功能键等。
图12a至图12d示出了控制手势的一种举例，假设操作者伸出一根手指为选中当前被控子界面上的功能键的控制手势，当判断手指指端的X和Y坐标与当前被控子界面上某个功能键的X和Y坐标重合时，判定选中该功能键；操作者握拳表示拖动功能键。如图12a至图12d所示，操作者伸出手指选中当前被控子界面上的一个功能键，然后握拳，在空间中移动，移动停止后，根据拳头停止的纵深位置选中新的当前被控子界面，再伸出手指，根据手指当前所在的位置，上述功能键将被放在新的当前被控子界面的一个位置。
图12a至图12d中的（200,290）和（150,250）为具体坐标值的举例，其中显示屏上的坐标表示功能键的坐标，手势旁边的坐标表示操作者的手势的坐标。
本发明虽然以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应该以本发明权利要求所界定的范围为准。
Claims (16)
1.一种3D图形界面的显示方法，其特征在于，设置虚拟3D图形界面包括：在纵深方向上依次排列的不同子界面；该方法还包括：
测算操作者的选中手势和双眼在真实参照系中的位置；
利用操作者的双眼在真实参照系中的位置，计算各个子界面在真实参照系中的成像位置；
将在真实参照系中与选中手势处在相同纵深位置的子界面作为当前被控子界面；
在真实参照系中显示当前被控子界面。
2.如权利要求1所述的方法，其特征在于，所述测算操作者的选中手势和双眼在真实参照系中的位置，具体包括：
采集操作者的手势和双眼的图像；
利用所述操作者的手势和双眼的图像在采集装置的成像平面上的位置及视差，计算操作者的手势和双眼在真实坐标系中的位置。
3.如权利要求1所述的方法，其特征在于，所述计算各个子界面在真实参照系中的成像位置，具体包括：
针对每个子界面中的每个点，确定操作者左眼在真实参照系中的位置、及该子界面的该点在显示屏的左眼视图中的位置之间的第一连线，确定操作者右眼在真实参照系中的位置、及该子界面的该点在显示屏的右眼视图中的位置之间的第二连线，将所述第一连线和第二连线的交点作为该子界面的该点在真实参照系中的成像位置；
由每个子界面中的每个点的成像位置，得出该子界面的成像位置。
4.如权利要求1所述的方法，其特征在于，所述虚拟3D图形界面中的每个子界面具有标题，且排列在前的子界面遮挡排列在后的子界面除标题之外的部分；
所述在真实参照系中显示当前被控子界面时，进一步包括：将当前被控子界面之后的子界面在真实参照系中显示。
5.如权利要求1所述的方法，其特征在于，所述在真实参照系中显示当前被控子界面之后，进一步包括：
解析操作者的控制手势在当前被控子界面所在平面上的位置变化及控制手势的含义，并执行对应的控制操作。
6.一种3D图形界面的显示方法，其特征在于，设置虚拟3D图形界面包括：在纵深方向上依次排列的不同子界面；设置操作者的选中手势到显示屏的距离与子界面的对应关系；该方法还包括：
测算操作者的选中手势到显示屏的距离；
根据所述对应关系，将测算出的距离对应的子界面作为当前被控子界面；
在显示屏上显示当前被控子界面。
7.如权利要求6所述的方法，其特征在于，所述虚拟3D图形界面中的每个子界面具有标题，且排列在前的子界面遮挡排列在后的子界面除标题之外的部分；
所述在显示屏上显示当前被控子界面时，进一步包括：将当前被控子界面之后的子界面在显示屏上显示。
8.如权利要求6所述的方法，其特征在于，所述在显示屏上显示当前被控子界面之后，进一步包括：
解析操作者的控制手势在与当前被控子界面平行的平面上的位置变化及控制手势的含义，并执行对应的控制操作。
9.一种3D图形界面的显示系统，其特征在于，该系统包括：
3D图形界面装置，用于提供3D虚拟图形界面，所述3D虚拟图形界面包括在纵深方向上依次排列的不同子界面；
测算装置，用于测算操作者的选中手势和双眼在真实参照系中的位置坐标；
显示装置，用于利用操作者的双眼在真实参照系中的位置，计算各个所述子界面在真实参照系中的成像位置；将在真实参照系中与选中手势处在相同纵深位置的子界面作为当前被控子界面；在真实参照系中显示当前被控子界面。
10.如权利要求9所述的系统，其特征在于，所述测算装置包括：
图像采集模块，用于采集操作者的手势和双眼的图像；
测算执行模块，用于利用所述操作者的手势和双眼的图像在所述图像采集模块的成像平面上的位置、及视差，计算操作者的手势和双眼在真实坐标系中的位置。
11.如权利要求9所述的系统，其特征在于，所述显示装置包括：
位置确定模块，用于针对每个子界面的每个点，确定操作者左眼在真实坐标系中的位置、及该子界面的该点在显示屏的左眼视图中的位置之间的第一连线，确定操作者右眼在真实坐标系中的位置、及该子界面的该点在显示屏的右眼视图中的位置之间的第二连线，将所述第一连线和第二连线的交点作为该子界面的该点在真实参照系中的成像位置；由每个子界面中的每个点的成像位置，得出该子界面的成像位置；
显示执行模块，用于将在真实参照系中的纵深方向上与选中手势处在相同位置的子界面作为当前被控子界面；在真实参照系中显示当前被控子界面。
12.如权利要求11所述的显示系统，其特征在于，所述虚拟3D图形界面中的每个子界面具有标题，且排列在前的子界面遮挡排列在后的子界面除标题之外的部分；
所述显示执行模块包括：
第一显示子模块，用于将在真实参照系中与选中手势处在相同纵深位置的子界面作为当前被控子界面，在真实参照系中显示当前被控子界面；
第二显示子模块，用于将当前被控子界面之后的子界面在真实参照系中显示。
13.如权利要求9所述的系统，其特征在于，该系统中进一步包括：
控制装置，用于解析操作者的控制手势在当前被控子界面所在平面上的位置变化及控制手势的含义，并执行对应的控制操作。
14.一种3D图形界面的显示系统，其特征在于，该系统包括：
3D图形界面模块，用于提供虚拟3D图形界面，所述虚拟3D图形界面包括在纵深方向上依次排列的不同子界面；
测算装置，用于测算操作者的选中手势到显示屏的距离；
显示装置，用于存储操作者的选中手势到显示屏的距离与子界面的对应关系；根据所述对应关系，将测算出的距离对应的子界面确定为当前被控子界面；显示当前被控子界面。
15.如权利要求14所述的系统，其特征在于，所述虚拟3D图形界面中的每个子界面具有标题，且排列在前的子界面遮挡排列在后的子界面除标题之外的部分；
所述显示装置包括：
存储模块，用于存储操作者的选中手势到显示屏的距离与子界面的对应关系；
第一显示模块，用于根据所述对应关系，将测算出的距离对应的子界面确定为当前被控子界面，显示当前被控子界面；
第二显示模块，用于根据所述对应关系，显示当前被控子界面之后的子界面。
16.如权利要求14所述的系统，其特征在于，该系统中进一步包括：
控制装置，用于解析操作者的控制手势在与当前被控子界面平行的平面上的位置变化及控制手势的含义，并执行对应的控制操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110130843XA CN102221880A (zh) | 2011-05-19 | 2011-05-19 | 3d图形界面的显示方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110130843XA CN102221880A (zh) | 2011-05-19 | 2011-05-19 | 3d图形界面的显示方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102221880A true CN102221880A (zh) | 2011-10-19 |
Family
ID=44778445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110130843XA Pending CN102221880A (zh) | 2011-05-19 | 2011-05-19 | 3d图形界面的显示方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102221880A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103176605A (zh) * | 2013-03-27 | 2013-06-26 | 刘仁俊 | 一种手势识别控制装置及控制方法 |
| CN103246345A (zh) * | 2012-02-01 | 2013-08-14 | 扬州永利宁科技有限公司 | 电子系统的非触摸控制及其相关方法 |
| CN103399629A (zh) * | 2013-06-29 | 2013-11-20 | 华为技术有限公司 | 获取手势屏幕显示坐标的方法和装置 |
| CN104301796A (zh) * | 2014-09-26 | 2015-01-21 | 四川长虹电器股份有限公司 | 智能电视主场景焦点自动控制方法 |
| CN105094294A (zh) * | 2014-05-12 | 2015-11-25 | 联想(北京)有限公司 | 操作裸眼三维图形显示设备的方法及装置 |
| CN105511618A (zh) * | 2015-12-08 | 2016-04-20 | 北京小鸟看看科技有限公司 | 三维输入装置、头戴式装置及三维输入方法 |
| CN107300975A (zh) * | 2017-07-13 | 2017-10-27 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
-
2011
- 2011-05-19 CN CN201110130843XA patent/CN102221880A/zh active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103246345A (zh) * | 2012-02-01 | 2013-08-14 | 扬州永利宁科技有限公司 | 电子系统的非触摸控制及其相关方法 |
| CN103176605A (zh) * | 2013-03-27 | 2013-06-26 | 刘仁俊 | 一种手势识别控制装置及控制方法 |
| CN103399629A (zh) * | 2013-06-29 | 2013-11-20 | 华为技术有限公司 | 获取手势屏幕显示坐标的方法和装置 |
| CN103399629B (zh) * | 2013-06-29 | 2017-09-19 | 华为技术有限公司 | 获取手势屏幕显示坐标的方法和装置 |
| CN105094294A (zh) * | 2014-05-12 | 2015-11-25 | 联想(北京)有限公司 | 操作裸眼三维图形显示设备的方法及装置 |
| CN105094294B (zh) * | 2014-05-12 | 2018-07-06 | 联想(北京)有限公司 | 操作裸眼三维图形显示设备的方法及装置 |
| CN104301796A (zh) * | 2014-09-26 | 2015-01-21 | 四川长虹电器股份有限公司 | 智能电视主场景焦点自动控制方法 |
| CN105511618A (zh) * | 2015-12-08 | 2016-04-20 | 北京小鸟看看科技有限公司 | 三维输入装置、头戴式装置及三维输入方法 |
| CN107300975A (zh) * | 2017-07-13 | 2017-10-27 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220382379A1 (en) | Touch Free User Interface | |
| CN102221880A (zh) | 3d图形界面的显示方法及系统 | |
| CN101794349B (zh) | 机器人遥操作增强现实实验系统及方法 | |
| KR101074940B1 (ko) | 입체이미지 상호 연동 시스템 | |
| CN105751230B (zh) | 一种路径控制方法、路径规划方法、第一设备及第二设备 | |
| US8823697B2 (en) | Tabletop, mobile augmented reality system for personalization and cooperation, and interaction method using augmented reality | |
| CN103336575B (zh) | 一种人机交互的智能眼镜系统及交互方法 | |
| US9086742B2 (en) | Three-dimensional display device, three-dimensional image capturing device, and pointing determination method | |
| CN104081307B (zh) | 图像处理装置、图像处理方法和程序 | |
| US20100253768A1 (en) | Apparatus and method for generating and displaying a stereoscopic image on a mobile computing device | |
| CN103793060A (zh) | 一种用户交互系统和方法 | |
| CN102957926B (zh) | 三维图像显示装置及其驱动方法 | |
| Steinicke et al. | Multi-touching 3D data: Towards direct interaction in stereoscopic display environments coupled with mobile devices | |
| CN101266546A (zh) | 一种实现操作系统三维显示的方法和一种三维操作系统 | |
| EP2558924B1 (en) | Apparatus, method and computer program for user input using a camera | |
| CN105657406A (zh) | 三维观察视角选定方法和装置 | |
| KR20140070326A (ko) | 3차원 인터페이스를 제공하는 모바일 장치 및 그것의 제스처 제어 방법 | |
| CN102508562B (zh) | 一种立体交互系统 | |
| CN102426486A (zh) | 一种立体交互方法及被操作设备 | |
| CN105808071A (zh) | 一种显示控制方法、装置和电子设备 | |
| CN103677240A (zh) | 虚拟触摸交互方法和虚拟触摸交互设备 | |
| CN104134235A (zh) | 真实空间和虚拟空间的融合方法和融合系统 | |
| US20180053338A1 (en) | Method for a user interface | |
| JP2013097805A (ja) | 立体的インタラクティブシステム及び立体的インタラクティブ方法 | |
| CN104598035B (zh) | 基于3d立体图像显示的光标显示方法、智能设备及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| ASS | Succession or assignment of patent right |
Owner name: BEIJING NUFRONT MOBILE MULTIMEDIA TECHNOLOGY CO., Free format text: FORMER OWNER: BEIJING NUFRONT SOFTWARE TECHNOLOGY CO., LTD. Effective date: 20121012 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20121012 Address after: 100084 Beijing, Zhongguancun, East Road, No. 1, Tsinghua Science and Technology Park, building science and Technology Park, building No. 8, block A, floor 16 Applicant after: Beijing Nufront Mobile Multimedia Technology Co., Ltd. Address before: 100084 Beijing, Zhongguancun, East Road, No. 1, Tsinghua Science and Technology Park, building science and Technology Park, building No. 8, block A, floor 16 Applicant before: Beijing Nufront Software Technology Co., Ltd. |
|
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20111019 |