CN104427230B

CN104427230B - 增强现实的方法和增强现实的系统

Info

Publication number: CN104427230B
Application number: CN201310381852.5A
Authority: CN
Inventors: 郭琦琨; 王振邦; 裘越
Original assignee: Peking University; Peking University Founder Group Co Ltd; Beijing Founder Electronics Co Ltd
Current assignee: New Founder Holdings Development Co ltd; Peking University; Beijing Founder Electronics Co Ltd
Priority date: 2013-08-28
Filing date: 2013-08-28
Publication date: 2017-08-25
Anticipated expiration: 2033-08-28
Also published as: CN104427230A

Abstract

本发明提供一种增强现实的方法和增强现实的系统。根据拍摄到的投影屏幕前方的用户的图像，确定用户在投影屏幕上的影像上的各点在现实坐标空间内的第一坐标；将第一坐标转换为用户所在的视图平面坐标系内的第二坐标；将第二坐标转换为投影屏幕所在的投影坐标系内的第三坐标；在投影屏幕上第三坐标对应的位置显示设定的图像或视频。从而实现观众观看到的投影屏幕前方的用户与投影屏幕上虚拟的像叠加在一起，提高增强现实的效果。

Description

增强现实的方法和增强现实的系统

技术领域

本发明涉及图像处理技术领域,尤其涉及一种增强现实的方法和增强现实的系统。

背景技术

增强现实是一种全新的人机交互技术,利用这样一种技术,可以模拟真实的现场景观,使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的“身临其境”的逼真性,而且能够突破空间、时间以及其它客观限制,感受到在真实世界中无法亲身经历的体验。增强现实系统通常由显示技术、跟踪和定位技术、界面和可视化技术、标定技术实现。增强现实技术在多个领域的应用都有很好的效果。例如：教学，通过新颖丰富的图像效果更有利于提升学生的兴趣从而提高课堂效率；舞台表演，通过舞者背后的屏幕可以令表演更有震撼力。

现有技术中，可以采用直接线性变换方法(DLT)，利用透视变换矩阵的摄像机定标方法等进行定标，然而屏幕显示内容不会改变，增强现实效果不好。

发明内容

本发明提供一种增强现实的方法和增强现实的系统，以使观众观看到的投影屏幕前方的用户与投影屏幕上虚拟的像叠加在一起，提高增强现实的效果。

一方面，本发明提供一种增强现实的方法，包括：

在设定的摄像点，获取位于投影屏幕前方的用户的图像；

根据所获取的所述用户的图像，确定所述用户在所述投影屏幕上的影像上的各点在现实坐标空间内的第一坐标；

将所述第一坐标转换为所述用户所在的的视图平面坐标系内的第二坐标；

将所述第二坐标转换为所述投影屏幕所在的投影坐标系内的第三坐标；

在所述投影屏幕上所述第三坐标对应的位置显示设定的图像或视频。

另一方面，本发明还提供一种增强现实的系统，包括：

摄像单元，用于拍摄获取位于投影屏幕前方的用户的图像；

处理单元，用于根据所获取的所述用户的图像，确定所述用户在所述投影屏幕上的影像上的各点在现实坐标空间内的第一坐标；将所述第一坐标转换为所述用户所在的的视图平面坐标系内的第二坐标；将所述第二坐标转换为所述投影屏幕所在的投影坐标系内的第三坐标；

投影单元，用于在所述投影屏幕上所述第三坐标对应的位置显示设定的图像或视频。

本发明提供的增强现实的方法和增强现实的系统，根据拍摄到的投影屏幕前方的用户的图像，确定用户在投影屏幕上的影像上的各点在现实坐标空间内的第一坐标；将第一坐标转换为用户所在的的视图平面坐标系内的第二坐标；将第二坐标转换为投影屏幕所在的投影坐标系内的第三坐标；在投影屏幕上第三坐标对应的位置显示设定的图像或视频。从而实现观众观看到的投影屏幕前方的用户与投影屏幕上虚拟的像叠加在一起，提高增强现实的效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的增强现实的方法一个实施例的流程图；

图2为本发明提供的Kinect设备内部功能模块示意图；

图3为本发明提供增强现实的方法实际情景和观众感受的对比示意图；

图4为本发明提供的人体骨架识别点示意图；

图5为本发明提供的摄像点-用户-投影屏幕的侧视图；

图6为本发明提供的摄像点-用户-投影屏幕的俯视图；

图7为本发明提供的增强现实的系统一个实施例的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明提供的增强现实的方法一个实施例的流程图，如图1所示，该方法包括：

S101、在设定的摄像点，获取位于投影屏幕前方的用户的图像。

本发明提供的增强现实方法，其适用的场景具体是，投影屏幕上显示有设定的图像或视频（例如教学内容，配合表演者的背景画面等），用户（教师，表演者等）位于投影屏幕前方（例如可以在投影屏幕前方的舞台上）。用户可以正面面向投影屏幕，也可以背对投影屏幕。

本发明中可以采用现有的各种摄像设备获取位于投影屏幕前方的用户的图像。作为一种较佳的实施方式，本发明可以采用Kinect设备来拍摄获取用户的图像。需要说明的是，Kinect设备是一种三维摄像机，其具有颜色摄像头，深度摄像头和麦克风矩阵。其内部的具体结构框图可参见图2。摄像设备可以连接到具有数据处理功能的设备，例如：PC机，平板电脑，手机等设备，由数据处理功能的设备执行S102-S104的计算过程。

S102、根据所获取的用户的图像，确定用户在投影屏幕上的影像上的各点在现实坐标空间内的第一坐标。

具体的，拍摄获取到用户的图像后，由于该图像实质上由许许多多坐标点组成，因此，可以确定该用户的图像上的各点在现实坐标空间内的第四坐标，本发明所涉及的第四坐标是泛指图像上的任意一点在现实坐标空间内的坐标。其中，该现实坐标空间可以以摄像点作为原点，该摄像点即为拍摄设备的摄像头所在的位置。现实坐标空间的x轴正方向可以是面向投影屏幕时的水平向右方向，y轴正方向可以是垂直向上的方向，z轴正方向可以是摄像点垂直朝向投影屏幕的方向。

进一步的，由于摄像点到用户所在的平面所构成的三角形与摄像点到投影屏幕所在的平面所构成的三角形相似，因此，根据三角形相似原理，可以由根据摄像点与用户的距离d₁，摄像点与投影屏幕之间的距离d₂，以及第四坐标(x,y,d₁)，确定第一坐标

需要说明的是，用户在投影屏幕上的影像实质上也是由许许多多的坐标点组成，因此，本发明涉及的第一坐标实际上是泛指用户在投影屏幕上的影像上的任意一点在现实坐标空间内的坐标。

S103、将第一坐标转换为该用户所在的的视图平面坐标系内的第二坐标。

其中，用户所在的视图平面可以是指摄像设备在用户所在平面内的拍摄范围，例如：摄像设备为数码相机，则数码相机的显示器中显示的图像可以看做是数码相机在用户所在平面内的拍摄范围。作为一种较佳的实施方式，可以根据水平方向上用户所在平面的拍摄范围垂直方向上用户所在平面的拍摄范围视图平面坐标系的x轴的最大范围W_P1，y轴的最大范围H_P1，确定第二坐标其中，α为水平方向最大拍摄视角，β为垂直方向最大拍摄视角。

S104、将第二坐标转换为投影屏幕所在的投影坐标系内的第三坐标。

作为一种较佳的实施方式，可以根据投影坐标系x轴的最大范围W_P2，y轴的最大范围H_P2，确定第三坐标

S105、在投影屏幕上第三坐标对应的位置显示设定的图像或视频。

摄像设备所连接的具有数据处理功能的设备可以与投影设备连接，以实现投影设备在数据处理功能的设备所计算得到的第三坐标对应的位置显示设定的图像或视频。如图3所示，实现观众观看到的投影屏幕前方的用户与投影屏幕上虚拟的像叠加在一起，本实施例提供的增强现实的方法，可以通过Kinect等摄像设备拍摄位于投影屏幕前方的用户得到用户在投影屏幕上的影像在现实空间坐标系内的坐标。再将现实空间坐标系转换为观众看到的视图平面坐标系内的坐标。最终在换换为投影平面坐标系中的坐标可以适用于演出时增强舞台效果、教学时提高授课效果、成果展示等技术领域。

以下提供本发明提供的增强现实的方法又一个实施例的流程图，在拍摄到位于投影屏幕前方的用户图像后，可以对该图像中多个点进行后续的坐标变换操作，以最终确定每个点在投影平面坐标系内的坐标。如图4所示，通常可以针对人体骨架上能够标识轮廓的点进行后续的坐标变换。本实施例以用户图像上任意一点为例进行说明，该增强现实的方法具体包括如下步骤：

S201、在设定的摄像点，获取位于投影屏幕前方的用户的图像。

为了便于摄像设备识别投影平面所在位置，投影平面可以以显示为各种颜色，例如：鲜艳的绿色，或鲜艳的蓝色等。

S202、确定用户图像中的Q点在现实坐标空间内的第四坐标为(x,y,d₁)，单位是米，厘米等。假设该Q点在投影屏幕上的影像的坐标为(x',y',d₂)。参见图5和图6，由于摄像点到用户所在的平面所构成的三角形与摄像点到投影屏幕所在的平面所构成的三角形相似，因此：

可以得出：

即，该Q点在投影屏幕上的影像在现实空间坐标内的第一坐标是：

S203、将第一坐标转换为用户所在的视图平面坐标系内的第二坐标；

其中，视图平面坐标系的单位是像素，可以以视图平面中左上角为原点，x轴的正方向可以是原点水平向右的方向，y轴的正方向可以是原点垂直向下的方向。视图平面坐标系的x轴的最大范围W_P1，y轴的最大范围H_P1。假设α为水平方向最大拍摄视角（即摄像设备在水平方向所能拍摄到的最大视角，例如：可以是57度），β为垂直方向最大拍摄视角（即摄像设备在垂直方向所能拍摄到的最大视角，例如：可以是43度）。

则水平方向上用户所在平面的拍摄范围为：（单位可以是米，厘米，毫米等）

同理，水平方向上投影屏幕所在平面的拍摄范围为：

（单位可以是米，厘米，毫米等）

假设上述投影屏幕所在平面的拍摄范围以米为单元，则现实坐标空间内的1米可以对应视图水平方向在用户平面的（像素垂直方向上用户所在平面的拍摄范围为：（单位可以是米，厘米，毫米等）

同理，垂直方向上投影屏幕所在平面的拍摄范围为：（单位可以是米，厘米，毫米等）

则现实坐标空间内的1米可以对应视图竖直方向在用户平面的（像素

由于视图平面坐标系的中点是现实空间坐标中(0,0)点，因此，对于现实空间坐标系中的点(a,b)，其在视图平面坐标系中的坐标为

将用户在投影屏幕上的影像上的点在现实坐标系中的第一坐标代入，去掉z轴方向的深度值得到：

则转换到视图平面坐标系中第二坐标为：

经整理后得到：

S204、将第二坐标转换为所述投影屏幕所在的投影坐标系内的第三坐标；

假设投影坐标系x轴的最大范围W_P2，y轴的最大范围H_P2，

设视图坐标系中有一点(a,b)，其在投影坐标系中对应点的坐标为(a',b')，由于

因此，(a',b')即为

将代入，得到第三坐标：

S205、在投影屏幕上第三坐标对应的位置显示设定的图像或视频。

在投影屏幕上第三坐标对应的位置显示设定的图像或视频，由于计算得到的投影屏幕上多个点的第三坐标是实时更新的，因此显示的物体也是实时变化的。此时从观众的角度观看，则所显示的物体仿佛就在真实的人的身边。跟着用户的运动而运动。

图7为本发明提供的增强现实的系统一个实施例的结构示意图，如图7所示，该系统包括：

摄像单元701，用于拍摄获取位于投影屏幕前方的用户的图像；

处理单元702，用于根据所获取的用户的图像，确定用户在投影屏幕上的影像上的各点在现实坐标空间内的第一坐标；将第一坐标转换为用户所在的视图平面坐标系内的第二坐标；将第二坐标转换为投影屏幕所在的投影坐标系内的第三坐标；

投影单元703，用于在投影屏幕上第三坐标对应的位置显示设定的图像或视频。

可选的，处理单元702可以具体用于：根据所获取的用户的图像，确定用户的图像上的各点在现实坐标空间内的第四坐标；根据摄像点与用户的距离d₁，摄像点与投影屏幕之间的距离d₂，以及第四坐标(x,y,d₁)，确定第一坐标

可选的，处理单元702可以具体用于：根据水平方向上用户所在平面的拍摄范围垂直方向上用户所在平面的拍摄范围视图平面坐标系的x轴的最大范围W_P1，y轴的最大范围H_P1，确定第二坐标其中，α为水平方向最大拍摄视角，β为垂直方向最大拍摄视角。

可选的，处理单元702还可以具体用于：根据投影坐标系x轴的最大范围W_P2，y轴的最大范围H_P2，确定第三坐标

作为一种较佳的实施方式，摄像单元701可以采用Kinect摄像设备。

本发明提供的增强现实的系统，根据摄像单元拍摄到的投影屏幕前方的用户的图像，处理单元可以确定用户在投影屏幕上的影像上的各点在现实坐标空间内的第一坐标；将第一坐标转换为用户所在的视图平面坐标系内的第二坐标；将第二坐标转换为投影屏幕所在的投影坐标系内的第三坐标；投影单元在投影屏幕上第三坐标对应的位置显示设定的图像或视频。从而实现观众观看到的投影屏幕前方的用户与投影屏幕上虚拟的像叠加在一起，提高增强现实的效果。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims

1.一种增强现实的方法，其特征在于，包括：

在设定的摄像点，获取位于投影屏幕前方的用户的图像；

将所述第一坐标转换为所述用户所在的视图平面坐标系内的第二坐标；

在所述投影屏幕上所述第三坐标对应的位置显示设定的图像或视频；

其中，所述根据所获取的所述用户的图像，确定所述用户在所述投影屏幕上的影像上的各点在现实坐标空间内的第一坐标，具体为：

根据所获取的所述用户的图像，确定所述用户的图像上的各点在所述现实坐标空间内的第四坐标；

根据所述摄像点与所述用户的距离d₁，所述摄像点与所述投影屏幕之间的距离d₂，以及所述第四坐标(x,y,d₁)，确定所述第一坐标

2.根据权利要求1所述的方法，其特征在于，所述将所述第一坐标转换为所述用户所在的视图平面坐标系内的第二坐标，具体为：

根据水平方向上所述用户所在平面的拍摄范围垂直方向上所述用户所在平面的拍摄范围所述视图平面坐标系的x轴的最大范围W_P1，y轴的最大范围H_P1，确定所述第二坐标其中，α为水平方向最大拍摄视角，β为垂直方向最大拍摄视角。

3.根据权利要求2所述的方法，其特征在于，所述将所述第二坐标转换为所述投影屏幕所在的投影坐标系内的第三坐标，具体为：

根据所述投影坐标系x轴的最大范围W_P2，y轴的最大范围H_P2，确定所述第三坐标

4.一种增强现实的系统，其特征在于，包括：

摄像单元，用于拍摄获取位于投影屏幕前方的用户的图像；

处理单元，用于根据所获取的所述用户的图像，确定所述用户在所述投影屏幕上的影像上的各点在现实坐标空间内的第一坐标；将所述第一坐标转换为所述用户所在的视图平面坐标系内的第二坐标；将所述第二坐标转换为所述投影屏幕所在的投影坐标系内的第三坐标；

投影单元，用于在所述投影屏幕上所述第三坐标对应的位置显示设定的图像或视频；

其中，所述处理单元具体用于：根据所获取的所述用户的图像，确定所述用户的图像上的各点在所述现实坐标空间内的第四坐标；根据所述摄像点与所述用户的距离d₁，所述摄像点与所述投影屏幕之间的距离d₂，以及所述第四坐标(x,y,d₁)，确定所述第一坐标

5.根据权利要求4所述的系统，其特征在于，所述处理单元具体用于：根据水平方向上所述用户所在平面的拍摄范围垂直方向上所述用户所在平面的拍摄范围所述视图平面坐标系的x轴的最大范围W_P1，y轴的最大范围H_P1，确定所述第二坐标其中，α为水平方向最大拍摄视角，β为垂直方向最大拍摄视角。

6.根据权利要求5所述的系统，其特征在于，所述处理单元具体用于：根据所述投影坐标系x轴的最大范围W_P2，y轴的最大范围H_P2，确定所述第三坐标

7.根据权利要求4-6任一项所述的系统，其特征在于，所述摄像单元为Kinect摄像设备。