CN105704475A - 一种曲面二维屏幕的三维立体显示处理方法和装置 - Google Patents

Abstract

本申请提供了一种曲面二维屏幕的三维立体显示处理方法和装置，用于在曲面二维屏幕上显示三维立体图像，可应用于云端智能机器人。该方法包括：确定用户眼睛与摄像头的角度；根据摄像头与曲面二维屏幕正方向的角度以及用户眼睛与摄像头的角度，确定三维立体图像内容源的显示角度；根据该显示角度在该曲面二维屏幕上显示该图像内容源相应角度的图像。通过上述方法，可以在普通的曲面二维屏幕上显示三维立体图像，不需要任何大型设备也不需要任何特殊投影介质，成本极低，形态与现有终端设备相符，对用户来说是一种全新的体验，也能为应用程序开发开拓新的想象空间。

Description

一种曲面二维屏幕的三维立体显示处理方法和装置

技术领域

本申请涉及三维立体显示技术领域，尤其涉及一种曲面二维屏幕的三维立体显示处理方法和装置，可应用于云端智能机器人。

背景技术

现有三维立体图像的显示只能通过全息投影来实现。影院和电视能够通过特殊的放映设备配合头戴设备实现3D(三维)显示，但影院和电视的所谓3D也不过是正前方的3D，而不是360度的三维立体图像，图像并不能因为人所处的位置不同而显示不同视角，视觉观感差距比较大。

现有技术中，3D显示只有正前方一个方向的3D信息，而转动角度后显示的内容没有视角变化，并非真正的立体图像；而全息投影虽然为真三维立体显示，但成本很高，且均为大型设备，另外，投影介质也是比较难处理的一块儿，目前多采用特殊液体薄雾或者特殊气体的方法，门槛很高，对使用环境要求过高。

随着产业的发展，云端智能机器人已经成为必然趋势。由云端智能机器人来进行3D图像处理，是3D图像处理技术的一个发展方向。

发明内容

本申请实施例提出了一种曲面二维屏幕的三维立体显示处理方法和装置，用于在曲面二维屏幕上显示三维立体图像。

在一个方面，本申请实施例提供了一种曲面二维屏幕的三维立体显示处理方法，包括：

确定用户眼睛与摄像头的角度；

根据所述摄像头与曲面二维屏幕正方向的角度以及所述用户眼睛与摄像头的角度，确定三维立体图像内容源的显示角度；

根据所述显示角度在所述曲面二维屏幕上显示所述图像内容源相应角度的图像。

在另一个方面，本申请实施例提供了一种曲面二维屏幕的三维立体显示处理装置，包括：

人眼确定单元，用于确定用户眼睛与摄像头的角度；

角度确定单元，用于根据所述摄像头与曲面二维屏幕正方向的角度以及所述用户眼睛与摄像头的角度，确定三维立体图像内容源的显示角度；

显示处理单元，用于根据所述显示角度在所述曲面二维屏幕上显示所述图像内容源相应角度的图像。

有益效果如下：

在本发明实施例中，确定用户眼睛与摄像头的角度；根据摄像头与曲面二维屏幕正方向的角度以及用户眼睛与摄像头的角度，确定三维立体图像内容源的显示角度；根据该显示角度在该曲面二维屏幕上显示该图像内容源相应角度的图像。通过上述方法，可以在普通的曲面二维屏幕上显示三维立体图像，不需要任何大型设备也不需要任何特殊投影介质，成本极低，形态与现有终端设备相符，对用户来说是一种全新的体验，也能为应用程序开发开拓新的想象空间。

附图说明

下面将参照附图描述本申请的具体实施例，其中：

图1示出了本申请实施例中曲面二维屏幕的三维立体显示处理方法示意图；

图2a示出了本申请实施例一中曲面二维屏幕的俯视图中用户与摄像头的水平面的角度示意图；

图2b示出了本申请实施例一中曲面二维屏幕的侧视图中用户与摄像头的垂直面的角度示意图；

图3a示出了实施例一中三维建模图像的俯视图；

图3b示出了实施例一中三维建模图像的侧视图；

图4示出了本申请实施例一中水平面为曲面的二维屏幕的角度示意图；

图5示出了本申请实施例二中二维屏幕为圆柱面的角度示意图；

图6示出了本申请实施例二中的多用户场景示意图；

图7示出了本申请实施例中的曲面二维屏幕的三维立体显示处理装置的结构示意图。

具体实施方式

为了使本申请的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明书中的实施例及实施例中的特征可以互相结合。

图1示出了本申请实施例中曲面二维屏幕的三维立体显示处理方法，包括：

步骤101，确定用户眼睛与摄像头的角度；

步骤102，根据该摄像头与曲面二维屏幕正方向的角度以及该用户眼睛与摄像头的角度，确定三维立体图像内容源的显示角度；

步骤103，根据该显示角度在该曲面二维屏幕上显示该图像内容源相应角度的图像。

在实现时，上述曲面二维屏幕的三维立体显示处理方法可以由该曲面二维屏幕所在设备来实现，也可以由与该曲面二维屏幕分离的设备(例如服务器)来实现。上述曲面二维屏幕可以是柱面，球面，非球面等曲面二维屏幕。曲面二维屏幕的形态可以是较小的柔性可弯曲屏，也可以大型展示用的环形大屏幕。

上述曲面二维屏幕的三维立体显示处理方法中的角度包括水平角度和/或垂直角度。在具体实现时，可以根据实际情况确定具体的角度。例如，在曲面二维屏幕为水平方向曲面垂直方向平面，即垂直方向的圆柱面二维屏幕时，可以仅处理水平角度。在曲面二维屏幕为垂直方向曲面水平方向平面，即水平方向的圆柱面二维屏幕时，可以仅处理垂直角度。在曲面二维屏幕为球面或者不规则曲面时，可以同时处理水平角度和垂直角度。

为了便于本申请的实施，下面以实施例进行说明。

实施例一：

实施例一以由同一个便携设备来进行用户信息采集、三维立体显示处理为例进行说明。

考虑到实际用户体验，曲面二维屏的摄像头可视角度需要能够覆盖用户的所有观看位置，因此有可能需要多颗摄像头同时进行捕获，尤其是大型展示用的环形柱状屏幕，需要360度覆盖，也就需要用到可能6颗甚至更多颗广角镜头(在一定范围内，越多则覆盖范围越广，但超过这个范围则基本不再有提升)，这样可以给用户一个更连贯的视觉效果。在只有一个摄像头时，也能够实现本发明实施例的方案，只是在对用户的覆盖范围上相对有所欠缺，一旦用户离开该摄像头能够捕捉的区域，则无法继续为该用户服务。

本发明实施例一中的图像内容源和全息投影相同，为一个三维立体数据建模。内容是三维立体360度的，但依然会设定一个正方向。屏幕也如此，不管是柱状屏幕还是环形屏幕，都会有一个设定好的正方向，此正方向与立体图像的正方向保持一致。显示的同时一个或多个摄像头开始侦测人眼到摄像头的直线与摄像头中心轴线(该线垂直于摄像头位置的屏幕)的双向角度，一个是与摄像头中心轴线在水平面的角度，一个是与摄像头中心轴线在垂直面的角度，以及人眼与摄像头的直线距离。因为摄像头在设备安装时即为固定的，因此每个摄像头与曲面二维屏幕正方向的角度都是固定的且已知的(0-360度范围内)。

在实施例一中，假设人眼到摄像头的直线与此摄像头中心轴线在水平面的角度为a，在垂直面角度为b。如图2a所示，曲面二维屏幕的俯视图中，用户与摄像头的水平面的角度为a。如图2b所示，曲面二维屏幕的侧视图中，用户与摄像头的垂直面角度为b。假设三维建模在此情况下应取水平角a’，垂直角b’，进行三维立体模型到曲面屏表面的投影，以使用户能够在屏幕上看到此角度的图像，以图像正面为汽车的正前方视图为例。如图3a所示，该三维建模图像的俯视图中，应取水平角a’。如图3b所示，该三维建模图像的侧视图中，应取水平角b’。

以水平面的角度，即横向夹角a和a’为例，取该摄像头中心轴为X轴，摄像头位置曲面屏的切线方向为Y轴，屏幕在制造过程中可知其每一点的曲率半径，假设此曲面二维屏幕(0，0)坐标点横向的曲率半径为r，其中，曲面二维屏幕(0，0)坐标点是一个预设的坐标点，具体来说，三维内容会存在一个(0，0)方向，来决定内容显示的时候此方向为正方向，而曲面二维屏幕也会有一个(0，0)方向，来将三维内容的(0，0)方向对应到曲面二维屏幕的(0，0)方向显示。摄像头检测到人眼与摄像头的距离为l，摄像头到人眼的连线与水平面夹角为α，则可知人眼与(0，0)点的直线距离为l*cosα，此刻人眼与曲面屏的垂线与摄像头中心轴的夹角为a’，如图4所示。

假设人眼与直视点曲率圆心的直线距离为l’，则根据余弦定理可知：

cos(180°-a)＝(r²+(l*cosα)²-l’²)/2*r*l*cosα

进而可推导出：

l’＝√(r²+(l*cosα)²+2*r*l*cosα*cosa)

再根据正弦定理可知：

l’/sin(180°-a)＝l*cosα/sina’

推导并代入l’，可得到：

a’＝arcsin((l*cosα*cosa)/√(r²+(l*cosα)²+2*r*l*cosα*cosa))公式(1)

由前面的描述可知，在公式(1)中，用户眼睛与摄像头的距离为l；摄像头到用户眼睛的连线与水平面夹角为α；用户眼睛到所述摄像头的直线与所述摄像头中心轴线在水平面的角度为a；曲面二维屏幕(0，0)坐标点的横向曲率半径为r。

在设备制造时已经有了每个摄像头对于曲面屏正方向(三维立体内容正方向)的夹角，因此，此夹角与如上a’的和即为人眼在此位置应该看到的三维立体内容的角度。

当垂直方向也为曲面时(即屏幕整体为球面或者近似于球面的形态时)，垂直角b和b’也可同理得到。

垂直面的角度，即纵向夹角b和b’，用户眼睛到所述摄像头的直线与所述摄像头中心轴线在垂直面的角度为b，人眼与曲面屏的垂线与摄像头中心轴的夹角为b’，摄像头到人眼的连线与垂直面夹角为β，同理可得：

b’＝arcsin((l*cosβ*cosb)/√(r_纵 ²+(l*cosβ)²+2*r_纵*l*cosβ*cosb))公式(2)

曲面二维屏幕(0，0)坐标点的纵向曲率半径为r_纵。

将三维立体模型按照此角度取为二维图像，并以此角度为中心显示到曲面屏幕，以使用户能够在屏幕上看到此角度的图像。随着用户的走动，实时计算并实时显示对应投射图像，让用户能够有一个全新的观赏体验。

实施例二

实施例二中的曲面二维屏幕为圆柱面，假设摄像头与屏幕标准正方向轴(此轴纵向高度取决于设备的大小以及内容种类，如果为便携设备，则取设备垂直方向中心点的垂直轴线比较合适。如果为大型设备，则更取决于显示的内容，如果展示方更希望用户看到展示内容偏上的角度，比如看车的上表面，则此轴高度应该调低，甚至贴近地面；而如果希望用户看到展示内容偏下的角度，如看飞机飞过，则此轴高度应该调高，甚至高到超过摄像头的中心轴也可以)的高度差为x，这个值可以随时调整设置并已知，如图5所示。用户与屏幕纵向实际夹角为α，摄像头得到的屏幕与用户实际夹角为β，摄像头与用户距离为l(通过摄像头自动对焦测距或激光测距等方法)，两条线到用户的夹角为γ，用户到屏幕的实际距离为k

根据余弦定理可知：

cosβ＝x²+l²-k²/(2*x*l)

进而可推导出：k＝√(x²+l²-2*x*l*cosβ)

再根据正弦定理可知：

k/sinβ＝l/sin(180°-α)

代入计算可得到：

α＝arcsin(l*sinβ/√(x²+l²-2*x*l*cosβ))

11.而90°-α即为人眼与内容正方向在垂直方向的夹角。如此图意味着人眼将看到比图像水平方向往下90°-α的角度，即，可以根据如下公式确定所述用户眼睛在垂直方向的夹角α’：

α’＝90°-α

＝90°-arcsin(l*sinβ/√(x²+l²-2*x*l*cosβ))

公式(3)

由前面的描述可知，在公式(3)中，曲面二维屏幕与用户实际夹角为β；图像内容源中心轴与摄像头中心轴的高度差为x。

通过上述处理，针对大型柱状屏幕基于设定的高度更合理的确定b角。

如图6所示的情况，对于未检测到人眼的角度，也就是屏幕对人眼的不可见区域，则可以熄灭屏幕以达到省电的目的。即当摄像头未检测到人眼时，关闭该摄像头对应的屏幕块，在具体实现时，可以事先建立摄像头与屏幕块的对应关系，一旦某摄像头未检测到人眼，则关闭其对应的屏幕块。

如果多个用户在曲面屏的不同角度同时观看，如果没有可视部分的重合区域，则能够看到同一视频源或图像源的多个面而互不影响。即，在确定出多个用户在曲面二维屏幕的不同角度同时观看且可视部分无重合区域时，在不同屏幕块上为所述多个用户分别进行显示。

如图7所示，本申请实施例中曲面二维屏幕的三维立体显示处理装置包括：

人眼确定单元701，用于确定用户眼睛与摄像头的角度；

角度确定单元702，用于根据摄像头与曲面二维屏幕正方向的角度以及所述用户眼睛与摄像头的角度，确定三维立体图像内容源的显示角度；

显示处理单元703，用于根据所述显示角度在所述曲面二维屏幕上显示所述图像内容源相应角度的图像。

人眼确定单元701中可以包括摄像头，也可以不包括摄像头，在不包括摄像头时，人眼确定单元701可根据摄像头反馈的图像或者信息确定用户眼睛与摄像头的角度。

进一步地，该曲面二维屏幕的三维立体显示处理装置还包括多个摄像头，用于捕捉人眼图像；

该装置还包括屏幕控制模块，用于在任一摄像头未检测到人眼时，关闭其对应的屏幕块。

在具体实现时，该曲面二维屏幕的三维立体显示处理装置可以不包括摄像头，只是单独的显示处理装置，如服务器。也可以仅包括一个摄像头，对该摄像头所覆盖区域的用户进行服务。

在另一个具体实例中，本发明实施例中的曲面二维屏幕的三维立体显示处理装置还包括多个摄像头，用于捕捉人眼图像；

显示处理单元703，在确定出多个用户在曲面二维屏幕的不同角度同时观看且可视部分无重合区域时，在不同屏幕块上为所述多个用户分别进行显示。

本申请实施例中曲面二维屏幕的三维立体显示处理装置可以是云端智能机器人。

在本发明实施例中，设备犹如一个容器，三维图像在容器中立体的呈现出来，给用户呈现一种全新的体验。而且从硬件实现上看无非还是现有的装置，没有任何如全息投影般对设备和环境的高要求。

采用本发明的方案，和目前3D屏幕比，本发明不需要戴3D眼镜，可显示三维立体影像在二维图像的投影，不同的角度可看到图像的不同视角，且可跟随用户角度的变化而实时变化，视觉体验可以达到飞跃的水平

本发明中普通固定摄像头可精确获取人眼相对显示屏中点(中线)的角度。和全息投影比，本发明的效果还有差距，但毕竟极低的成本甚至现有的设备就可实现，不需要任何大型设备也不需要任何特殊投影介质，实现门槛低很多。

本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

Claims (10)

1.一种曲面二维屏幕的三维立体显示处理方法，其特征在于，包括：

确定用户眼睛与摄像头的角度；

根据所述摄像头与曲面二维屏幕正方向的角度以及所述用户眼睛与摄像头的角度，确定三维立体图像内容源的显示角度；

根据所述显示角度在所述曲面二维屏幕上显示所述图像内容源相应角度的图像。

2.如权利要求1所述的方法，其特征在于，所述角度包括水平角度和/或垂直角度。

3.如权利要求2所述的方法，其特征在于，所述角度包括水平角度，根据如下公式确定用户眼睛与摄像头的水平角度a’：

a’＝arcsin((1*cosα*cosa)/√(r²+(1*cosα)²+2*r*1*cosα*cosa))

其中，所述用户眼睛与所述摄像头的距离为l；所述摄像头到所述用户眼睛的连线与水平面夹角为α；所述用户眼睛到所述摄像头的直线与所述摄像头中心轴线在水平面的角度为a；所述曲面二维屏幕(0，0)坐标点的横向曲率半径为r。

4.如权利要求3所述的方法，其特征在于，所述曲面二维屏幕为圆柱面，所述角度还包括垂直角度，根据如下公式确定所述用户眼睛在垂直方向的夹角α’：

α’＝90°-arcsin(1*sinβ/√(x²+1²-2*x*1*cosβ))

其中，所述曲面二维屏幕与用户实际夹角为β；所述图像内容源中心轴与所述摄像头中心轴的高度差为x。

5.如权利要求3所述的方法，其特征在于，所述曲面二维屏幕垂直方向也为曲面，所述角度还包括垂直角度，根据如下公式确定b’：

b’＝arcsin((1*cosβ*cosb)/√(r_纵 ²+(1*cosβ)²+2*r_纵*l*cosβ*cosb))

其中，用户眼睛到所述摄像头的直线与所述摄像头中心轴线在垂直面的角度为b，用户眼睛与所述曲面二维屏幕的垂线与摄像头中心轴的夹角为b’，所述摄像头到用户眼睛的连线与垂直面夹角为β，曲面二维屏幕(0，0)坐标点的纵向曲率半径为r_纵。

6.如权利要求1所述的方法，其特征在于，当所述摄像头未检测到人眼时，关闭所述摄像头对应的屏幕块。

7.如权利要求1所述的方法，其特征在于，在确定出多个用户在曲面二维屏幕的不同角度同时观看且可视部分无重合区域时，在不同屏幕块上为所述多个用户分别进行显示。

8.一种曲面二维屏幕的三维立体显示处理装置，其特征在于，包括：

人眼确定单元，用于确定用户眼睛与摄像头的角度；

角度确定单元，用于根据所述摄像头与曲面二维屏幕正方向的角度以及所述用户眼睛与摄像头的角度，确定三维立体图像内容源的显示角度；

显示处理单元，用于根据所述显示角度在所述曲面二维屏幕上显示所述图像内容源相应角度的图像。

9.如权利要求7所述的装置，其特征在于，包括多个摄像头，用于捕捉人眼图像；

所述装置还包括屏幕控制模块，用于在任一摄像头未检测到人眼时，关闭其对应的屏幕块。

10.如权利要求7所述的装置，其特征在于，包括多个摄像头，用于捕捉人眼图像；

所述显示处理单元，在确定出多个用户在曲面二维屏幕的不同角度同时观看且可视部分无重合区域时，在不同屏幕块上为所述多个用户分别进行显示。