CN104219584A - 基于增强现实的全景视频交互方法和系统 - Google Patents

Abstract

本发明公开了一种基于增强现实的全景视频交互方法，包括：通过全景摄像设备采集真实景物的视频数据，将视频数据输入到图像处理器中进行处理；图像处理器将视频数据转化为连续的单帧图像，并记录每帧单帧图像之间的先后顺序关系；在单帧图像中选定交互热区，设定交互热区的坐标及范围；图像处理器根据先后顺序关系将单帧图像转换为全景图像三维场景；将全景图像三维场景传输至终端设备；终端设备根据全景摄像设备在采集真实景物时的视角确定投影范围，将全景图像三维场景转换为球面全景图像，并将球面全景图像输出至终端设备的屏幕上进行显示。本发明还提供了一种基于增强现实的全景视频交互系统，改善全景连续浏览体验，实现人机互动。

Description

基于增强现实的全景视频交互方法和系统

技术领域

本发明涉及视频展示技术领域，尤其涉及一种基于增强现实的全景视频交互方法和系统。

背景技术

目前全景图像处理技术得到了快速发展，可以建立全景视频展示系统应用于旅游景点虚拟导览、企业展示宣传以及商业空间展示等方面。现有的全景图像或全景视频技术，可以先摄取现实世界中的景物图片，利用专业设备或者软件将拍摄的图片转换为全景图像，从而形成全景视频。

现有技术主要存在如下两种具体实现方式：

(1)通过摄像机、鱼眼镜头等硬件设施进行拍摄，利用全景拍摄拼接软件将图片拼接为全景图像，之后将多张全景图像导入全景制作软件中进行全景制作，并可添加一些功能如：缩略图、地图导航、热点弹出图片或者文字介绍等，最后对全景视频进行发布。(2)利用三维建模软件建立场景模型。

第一种实现方式可以使用有限的图片实现全景视频，但是，这种全景技术通常仅在一个大场景中采集一个或者几个视点，因而用户只能在选定的视点中观察到该全景场景中的细节，而不能在其他三维场景中进行漫游。由于用户坐标相对固定，只能在几个固定的点进行视角与视野的变换，切换场景只能点击其他三维全景的链接，因而无法实现连续的浏览体验，增加了漫游的局限性。同时，该方式实现的全景场景无法加入虚拟物体进行展示以及交互，因此系统的交互性、可操作性以及扩展性较差。第二种实现方式使用三维软件建模，可以实现视点的自由移动，但是其开发工作量及其所需处理的数据量较大，模型精度相对较低。

发明内容

本发明所要解决的技术问题是，提供一种基于增强现实的全景视频交互方法和系统，实现视点的自由移动，改善全景连续浏览体验，在全景视频中增加交互热区实现人机互动。

为解决以上技术问题，一方面，本发明实施例提供一种基于增强现实的全景视频交互方法，包括：

通过全景摄像设备采集真实景物的视频数据，将所述视频数据输入到图像处理器中进行处理；

所述图像处理器将所述视频数据转化为连续的单帧图像，并记录每帧所述单帧图像之间的先后顺序关系；

在所述单帧图像中选定交互热区，设定所述交互热区的坐标及范围；

所述图像处理器根据先后顺序关系将所述单帧图像转换为全景图像三维场景；

将所述全景图像三维场景传输至终端设备；

所述终端设备根据所述全景摄像设备在采集真实景物时的视角确定投影范围，将全景图像三维场景转换为球面全景图像，并将所述球面全景图像输出至所述终端设备的屏幕上进行显示。

进一步地，所述的基于增强现实的全景视频交互方法，还包括：

所述终端设备实时监测用户在屏幕上输入的图像移动轨迹，根据所述图像移动轨迹调整所述全景图像三维场景的显示视角，将所述球面全景图像逐帧投影在显示屏幕上。

进一步地，所述的基于增强现实的全景视频交互方法，还包括：

所述终端设备实时监测用户对所述交互区域的点击状态，并在所述交互区域接收到点击信号时，启动与所述交互区域相关联的三维立体控件的运行和/或三维立体视频的播放。

优选地，所述图像处理器根据先后顺序关系将所述单帧图像转换为全景图像三维场景，包括：通过以下方程，将每一帧所述单帧图像上的任意一个像素点P的坐标(x,y)转换为三维坐标P1(u,v,w)：

$\left[\begin{array}{c}u\\ v\\ w\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\β}& 0& \sin \mathrm{\β}\\ 0& 1& 0\\ -\sin \mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& -\sin \mathrm{\α}\\ 0& \sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right]\left[\begin{array}{c}x-W/2\\ y-H/2\\ -f\end{array}\right];$

其中，α为全景摄像设备坐标系和世界坐标系横轴的夹角，β为全景摄像设备坐标系和世界坐标系纵轴夹角；W为所述单帧图像宽度，H为所述单帧图像高度，f为所述全景摄像设备以像素为度量单位时的焦距，且f＝W/(2tan(hfov/2))，其中，hfov为所述全景摄像设备的水平视角。

进一步地，所述终端设备根据所述全景摄像设备在采集真实景物时的视角确定投影范围，将全景图像三维场景转换为球面全景图像，并将所述球面全景图像输出至所述终端设备的屏幕上进行显示，具体为：

将每一帧单帧图像上的任意像素点P的坐标(x,y)转换为在所述球面全景图像上对应的像素点P’的坐标(x’,y’)，包括：

计算判别因子：△＝(y-H/2)sinαcosβ-(x-W/2)sinβ-fcosαcosβ；

当所述判别因子△＞0时，在所述球面全景图像上对应的像素点P’的坐标(x’,y’)通过以下方程进行计算：

$\left\{\begin{array}{c}{x}^{\′}=f*\arccos \left(\frac{(x-W/2)\cos \mathrm{\β}+(y-H/2)\sin \mathrm{\α}\sin \mathrm{\β}-f\cos \mathrm{\α}\sin \mathrm{\β}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right)\\ y^{\′}=f*(\mathrm{\π}/2+\arccos \left(\frac{(y-H/2)\cos \mathrm{\α}-f\sin \mathrm{\α}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right))\end{array}\right.;$

当所述判别因子△＜0时，在所述球面全景图像上对应的像素点P’的坐标(x’,y’)通过以下方程进行计算：

$\left\{\begin{array}{c}{x}^{\′}=f*(2\mathrm{\π}-\arccos \left(\frac{(x-W/2)\cos \mathrm{\β}+(y-H/2)\sin \mathrm{\α}\sin \mathrm{\β}-f\cos \mathrm{\α}\sin \mathrm{\β}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right))\\ y^{\′}=f*(\mathrm{\π}/2+\arccos \left(\frac{(y-H/2)\cos \mathrm{\α}-f\sin \mathrm{\α}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right))\end{array}\right.;$

将进行坐标映射转换后的球面全景图像输出至所述终端设备的屏幕上进行显示。

另一方面，本发明实施例还提供了一种基于增强现实的全景视频交互系统，包括：全景摄像设备、图像处理器和终端设备；

所述全景摄像设备，用于采集真实景物的视频数据，将所述视频数据输入到所述图像处理器中进行处理；

所述图像处理器，用于将所述视频数据转化为连续的单帧图像，并记录每帧所述单帧图像之间的先后顺序关系；在所述单帧图像中选定交互热区，设定所述交互热区的坐标及范围；

所述图像处理器，还用于根据先后顺序关系将所述单帧图像转换为全景图像三维场景；将所述全景图像三维场景传输至所述终端设备；

所述终端设备，用于根据所述全景摄像设备在采集真实景物时的视角确定投影范围，将全景图像三维场景转换为球面全景图像，并将所述球面全景图像输出至所述终端设备的屏幕上进行显示。

进一步地，所述终端设备，还用于实时监测用户在屏幕上输入的图像移动轨迹，根据所述图像移动轨迹调整所述全景图像三维场景的显示视角，将所述球面全景图像逐帧投影在显示屏幕上。

进一步地，所述终端设备，还用于实时监测用户对所述交互区域的点击状态，并在所述交互区域接收到点击信号时，启动与所述交互区域相关联的三维立体控件的运行和/或三维立体视频的播放。

优选地，所述图像处理器，还用于：通过以下方程，将每一帧所述单帧图像上的任意一个像素点P的坐标(x,y)转换为三维坐标P1(u,v,w)：

$\left[\begin{array}{c}u\\ v\\ w\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\β}& 0& \sin \mathrm{\β}\\ 0& 1& 0\\ -\sin \mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& -\sin \mathrm{\α}\\ 0& \sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right]\left[\begin{array}{c}x-W/2\\ y-H/2\\ -f\end{array}\right];$

其中，α为全景摄像设备坐标系和世界坐标系横轴的夹角，β为全景摄像设备坐标系和世界坐标系纵轴夹角；W为所述单帧图像宽度，H为所述单帧图像高度，f为所述全景摄像设备以像素为度量单位时的焦距，且f＝W/(2tan(hfov/2))，其中，hfov为所述全景摄像设备的水平视角。

进一步地，所述终端设备，还用于将每一帧单帧图像上的任意像素点P的坐标(x,y)转换为在所述球面全景图像上对应的像素点P’的坐标(x’,y’)，包括：

计算判别因子：△＝(y-H/2)sinαcosβ-(x-W/2)sinβ-fcosαcosβ；

当所述判别因子△＞0时，在所述球面全景图像上对应的像素点P’的坐标(x’,y’)通过以下方程进行计算：

$\left\{\begin{array}{c}{x}^{\′}=f*\arccos \left(\frac{(x-W/2)\cos \mathrm{\β}+(y-H/2)\sin \mathrm{\α}\sin \mathrm{\β}-f\cos \mathrm{\α}\sin \mathrm{\β}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right)\\ y^{\′}=f*(\mathrm{\π}/2+\arccos \left(\frac{(y-H/2)\cos \mathrm{\α}-f\sin \mathrm{\α}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right))\end{array}\right.;$

当所述判别因子△＜0时，在所述球面全景图像上对应的像素点P’的坐标(x’,y’)通过以下方程进行计算：

$\left\{\begin{array}{c}{x}^{\′}=f*(2\mathrm{\π}-\arccos \left(\frac{(x-W/2)\cos \mathrm{\β}+(y-H/2)\sin \mathrm{\α}\sin \mathrm{\β}-f\cos \mathrm{\α}\sin \mathrm{\β}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right))\\ y^{\′}=f*(\mathrm{\π}/2+\arccos \left(\frac{(y-H/2)\cos \mathrm{\α}-f\sin \mathrm{\α}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right))\end{array}\right.;$

将进行坐标映射转换后的球面全景图像输出至所述终端设备的屏幕上进行显示。

本发明实施例提供的基于增强现实的全景视频交互方法和系统，通过全景摄像设备采集真实景物的视频数据，将该视频数据转换为连续的单帧图像和记录单帧图像之间的顺序关系，因而通过这些连续的单帧图像组成的全景图像三维场景可以实现视点的自由移动，对全景图像三维场景进行顺序连续播放，改善全景连续浏览体验；并且，由于在所述单帧图像中选定交互热区，并将单帧图像中的交互热区一同转换为全景图像三维场景后传输至终端设备，经过坐标转换后输出至屏幕上进行显示，用户可以自定义图像移动轨迹在全景图像三维场景中进行漫游，将所述球面全景图像逐帧投影在显示屏幕上，实现场景的来回切换；并可通过交互热区驱动计算机生成的虚拟物体、场景或系统提示信息叠加到终端设备屏幕上显示的场景中，从而实现对现实的增强和人机互动。

附图说明

图1是本发明提供的基于增强现实的全景视频交互方法的一个实施例的步骤流程图；

图2是本发明提供全景摄像设备采集真实景物的视频数据的示意图；

图3是本发明提供的基于增强现实的全景视频交互方法的坐标变换示意图；

图4是本发明提供的用户在终端设备中进行全景图像三维场景漫游的场景示意图；

图5是本发明提供的基于增强现实的全景视频交互系统的一个实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明实施例中，可以通过建立基于增强现实的全景展示系统，来实现全景漫游、虚拟物体、交互区域和感兴趣区域在漫游场景的显示以及相关交互操作。具体地，本发明实施例提供了一种基于增强现实的全景视频交互方法以及一种基于增强现实的全景视频交互系统。

参见图1，是本发明提供的基于增强现实的全景视频交互方法的一个实施例的步骤流程图。

具体实施时，所述的基于增强现实的全景视频交互方法，包括以下步骤：

步骤S101：通过全景摄像设备采集真实景物的视频数据，将所述视频数据输入到图像处理器中进行处理。

参看图2，是本发明提供全景摄像设备采集真实景物的视频数据的示意图。具体实施时，可以通过摄像机按照一定的移动路径，摄取360°角度的环境景物的连续视频数据后进行存储和传输至图像处理器。全景拍摄可以利用专业设备或者软件将拍摄的图片转换为全景图像。

步骤S102：所述图像处理器将所述视频数据转化为连续的单帧图像，并记录每帧所述单帧图像之间的先后顺序关系。具体实施时，全景摄像设备采集获得的视频数据实际可为多帧静态图像按照一定的时间顺序组成。本实施例相应地按照一定时间顺序将获得视频数据分解为连续的单帧图像，可以通过对单帧图像的处理后重新组合为新的视频数据。

步骤S103：在所述单帧图像中选定交互热区，设定所述交互热区的坐标及范围；其中，交互热区又称为“感兴趣区域”，可以作为用户进行人机交互的触发区域。如图2所示，交互热区可以为大厅内摆设的电视机所对应的图像坐标区域。

可在每帧采集的图像设定感兴趣区域，感兴趣区域可以用于视频或图像展示、激活交互操作等功能。

由于摄像采集点的移动，不同帧的图像上的感兴趣区域的坐标设定会不同。

具体实施时，所述基于增强现实的全景视频交互方法还包括：

所述终端设备实时监测用户对所述交互区域的点击状态，并在所述交互区域接收到点击信号时，启动与所述交互区域相关联的应用程序。其中，启动所述应用程序具体包括带不限于三维立体控件的运行和/或三维立体视频的播放。具体地，可以通过计算机系统或终端系统中集成有与电视机的图像坐标区域所关联的播放频道、频道所播放的节目等虚拟内容，以便于在后期终端设备用户可以通过点击电视机图像坐标区域来触发相应的虚拟内容并在终端设备上进行显示，实现对全景图像三维场景(现实)的增强。

其中，增强现实是指通过提供的虚拟信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。

步骤S104：所述图像处理器根据先后顺序关系将所述单帧图像转换为全景图像三维场景。具体实施时使每帧图像上的所有像素点的坐标，包括交互热区，即感兴趣区域坐标按照一定逻辑发生改变(如与每帧图像上电视机的坐标匹配)，再将每一帧的带有感兴趣区域(电视机)坐标的图像转化为全景图。

单帧全景图可以进行视角与视野变换，显示与视角视野对应的二维投影。因为单帧图像感兴趣区域坐标被转化为全景坐标，感兴趣区域在二维投影的坐标因为视野和视角的改变而改变。

参看图3，是本发明提供的基于增强现实的全景视频交互方法的坐标变换示意图。

在一种优选的实现方式中，所述步骤S104可以采用以下算法进行实现，包括：通过以下方程(1)，将每一帧所述单帧图像上的任意一个像素点P的坐标(x,y)转换为三维坐标P1(u,v,w)：

$\left[\begin{array}{c}u\\ v\\ w\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\β}& 0& \sin \mathrm{\β}\\ 0& 1& 0\\ -\sin \mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& -\sin \mathrm{\α}\\ 0& \sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right]\left[\begin{array}{c}x-W/2\\ y-H/2\\ -f\end{array}\right]---\left(1\right)$

具体实施时，全景摄像设备在采集视频数据时，存在两个坐标系，分别为世界坐标系XYZ和摄像坐标系xyz；并且，全景摄像设备的拍摄方向为(α，β)。其中，α为全景摄像设备坐标系和世界坐标系横轴的夹角，β为全景摄像设备坐标系和世界坐标系纵轴夹角；W为所述单帧图像(实景)宽度，H为所述单帧图像(实景)高度，f为所述全景摄像设备以像素为度量单位时的焦距，且f＝W/(2tan(hfov/2))，其中，hfov(horizontal field of view，水平视角)为所述全景摄像设备的水平视角。

步骤S105：将所述全景图像三维场景传输至终端设备；

步骤S106：所述终端设备根据所述全景摄像设备在采集真实景物时的视角确定投影范围，将全景图像三维场景转换为球面全景图像，并将所述球面全景图像输出至所述终端设备的屏幕上进行显示。

进一步地，本实施例提供的所述基于增强现实的全景视频交互方法，还包括：

所述终端设备实时监测用户在屏幕上输入的图像移动轨迹，根据所述图像移动轨迹调整所述全景图像三维场景的显示视角，将所述球面全景图像逐帧投影在显示屏幕上。用户可以主动控制全景视频的播放，按照预想的图像移动轨迹在全景图像三维场景中漫游，实现视频的连续播放，并可根据需要随时暂停图像移动轨迹从而暂停漫游浏览场景。

参看图4，是本发明提供的用户在终端设备中进行全景图像三维场景漫游的场景示意图。

具体实施时，利用全景拍摄和增强现实技术，全景图像三维场景可以用鼠标或终端设备的触摸屏随意上下、左右、前后拖动观看，也可以通过鼠标滚轮或根据用户对触摸屏的触摸信号进行放大、缩小场景。通过终端设备显示的图像，可以根据需要安放交互热区或热点，点击交互热区或热点可以实现场景的来回切换。除此之外，本发明实施例还可以在全景图像三维场景中插入语音解说，图片及文字说明的虚拟信息。需要说明的是，本实施例在终端设备显示的场景中可以添加的虚拟信息包括但不限于以上的文字、图片、音频和视频信息。

优选地，所述步骤S106，具体为：将每一帧单帧图像上的任意像素点P的坐标(x,y)转换为在所述球面全景图像上对应的像素点P’的坐标(x’,y’)，包括：

a.计算判别因子：△＝(y-H/2)sinαcosβ-(x-W/2)sinβ-fcosαcosβ；

b.当所述判别因子△＞0时，在所述球面全景图像上对应的像素点P’的坐标(x’,y’)通过以下方程(2)进行计算：

$\left\{\begin{array}{c}{x}^{\′}=f*\arccos \left(\frac{(x-W/2)\cos \mathrm{\β}+(y-H/2)\sin \mathrm{\α}\sin \mathrm{\β}-f\cos \mathrm{\α}\sin \mathrm{\β}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α\α})}^2}}\right)\\ y^{\′}=f*(\mathrm{\π}/2+\arccos \left(\frac{(y-H/2)\cos \mathrm{\α}-f\sin \mathrm{\α}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right))\end{array}\right.---\left(2\right)$

c.当所述判别因子△＜0时，在所述球面全景图像上对应的像素点P’的坐标(x’,y’)通过以下方程(3)进行计算：

$\left\{\begin{array}{c}{x}^{\′}=f*(2\mathrm{\π}-\arccos \left(\frac{(x-W/2)\cos \mathrm{\β}+(y-H/2)\sin \mathrm{\α}\sin \mathrm{\β}-f\cos \mathrm{\α}\sin \mathrm{\β}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right))\\ y^{\′}=f*(\mathrm{\π}/2+\arccos \left(\frac{(y-H/2)\cos \mathrm{\α}-f\sin \mathrm{\α}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right))\end{array}\right.---\left(3\right)$

d.将进行坐标映射转换后的球面全景图像输出至所述终端设备的屏幕上进行显示。

具体地，参数α、参数β、参数W、参数H、参数f的物理意义与方程(1)中的各个参数的物理意义相同，在此不再赘述。其中，利用方程(2)或方程(3)可以有效降低坐标转换的复杂度，提高场景切换的响应速度和准确性。

本实施例通过对全景图像三维场景的顺序连续播放，形成按照用户通过终端设备滑动的轨迹进行漫游的效果，全景图像三维场景漫游的连续性，更符合用户的使用习惯，并实现了在漫游场景中添加(三维)虚拟物体以及相关交互功能。此外，可以在全景图像三维场景中设置交互热区或感兴趣区域，用于视频或图像展示、激活交互操作等功能。交互热区由于在每帧图像上的定位不同(如与每帧图像上的“电视机”的坐标匹配)，在按轨迹漫游时交互热区的显示范围也会按照一定逻辑改变(例如始终跟踪“电视机”)。因此，本发明实施例将增强现实技术与全景视频技术相结合，实现视点的自由移动，改善全景连续浏览体验，在全景视频中增加交互热区实现人机互动。

本发明实施例提供的基于增强现实的全景视频交互方法还可以进一步应用在电子商务购物体验上，能让消费者在网络或移动终端上体验真实场景购物的乐趣，增强用户的真实体验。

此外，本发明实施例还提供了一种基于增强现实的全景视频交互系统。

参见图5，是本发明提供的基于增强现实的全景视频交互系统的一个实施例的结构示意图。

具体实施时，本实施例提供的基于增强现实的全景视频交互系统包括：全景摄像设备501、图像处理器502和终端设备503。

所述全景摄像设备501，用于采集真实景物的视频数据，将所述视频数据输入到所述图像处理器502中进行处理；

所述图像处理器502，用于将所述视频数据转化为连续的单帧图像，并记录每帧所述单帧图像之间的先后顺序关系；在所述单帧图像中选定交互热区，设定所述交互热区的坐标及范围；

所述图像处理器502，还用于根据先后顺序关系将所述单帧图像转换为全景图像三维场景；将所述全景图像三维场景传输至所述终端设备503；

所述终端设备503，用于根据所述全景摄像设备501在采集真实景物时的视角确定投影范围，将全景图像三维场景转换为球面全景图像，并将所述球面全景图像输出至所述终端设备503的屏幕上进行显示。

进一步地，所述终端设备503，还用于实时监测用户在屏幕上输入的图像移动轨迹，根据所述图像移动轨迹调整所述全景图像三维场景的显示视角，将所述球面全景图像逐帧投影在显示屏幕上。

具体实施时，所述终端设备503，还用于实时监测用户对所述交互区域的点击状态，并在所述交互区域接收到点击信号时，启动与所述交互区域相关联的应用程序，其中，启动所述应用程序具体包括带不限于三维立体控件的运行和/或三维立体视频的播放。

与前文提供的基于增强现实的全景视频交互方法相对应，在一种优选的实现方式中，所述图像处理器502，还用于：通过以下方程(4)，即前文所述的方程(1)，将每一帧所述单帧图像上的任意一个像素点P的坐标(x,y)转换为三维坐标P1(u,v,w)：

$\left[\begin{array}{c}u\\ v\\ w\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\β}& 0& \sin \mathrm{\β}\\ 0& 1& 0\\ -\sin \mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& -\sin \mathrm{\α}\\ 0& \sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right]\left[\begin{array}{c}x-W/2\\ y-H/2\\ -f\end{array}\right]---\left(4\right)$

其中，α为全景摄像设备坐标系和世界坐标系横轴的夹角，β为全景摄像设备坐标系和世界坐标系纵轴夹角；W为所述单帧图像宽度，H为所述单帧图像高度，f为所述全景摄像设备以像素为度量单位时的焦距，且f＝W/(2tan(hfov/2))，其中，hfov为所述全景摄像设备的水平视角。

优选地，与前文提供的基于增强现实的全景视频交互方法相对应，所述终端设备503，还用于将每一帧单帧图像上的任意像素点P的坐标(x,y)转换为在所述球面全景图像上对应的像素点P’的坐标(x’,y’)，包括：

a.计算判别因子：△＝(y-H/2)sinαcosβ-(x-W/2)sinβ-fcosαcosβ；

b.当所述判别因子△＞0时，在所述球面全景图像上对应的像素点P’的坐标(x’,y’)通过以下方程(5)，即前文所述的方程(2)进行计算：

$\left\{\begin{array}{c}{x}^{\′}=f*\arccos \left(\frac{(x-W/2)\cos \mathrm{\β}+(y-H/2)\sin \mathrm{\α}\sin \mathrm{\β}-f\cos \mathrm{\α}\sin \mathrm{\β}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right)\\ y^{\′}=f*(\mathrm{\π}/2+\arccos \left(\frac{(y-H/2)\cos \mathrm{\α}-f\sin \mathrm{\α}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right))\end{array}\right.---\left(5\right)$

c.当所述判别因子△＜0时，在所述球面全景图像上对应的像素点P’的坐标(x’,y’)通过以下方程(6)，即前文所述的方程(3)进行计算：

$\left\{\begin{array}{c}{x}^{\′}=f*(2\mathrm{\π}-\arccos \left(\frac{(x-W/2)\cos \mathrm{\β}+(y-H/2)\sin \mathrm{\α}\sin \mathrm{\β}-f\cos \mathrm{\α}\sin \mathrm{\β}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right))\\ y^{\′}=f*(\mathrm{\π}/2+\arccos \left(\frac{(y-H/2)\cos \mathrm{\α}-f\sin \mathrm{\α}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right))\end{array}\right.---\left(6\right)$

d.将进行坐标映射转换后的球面全景图像输出至所述终端设备的屏幕上进行显示。

在本实施例提供的基于增强现实的全景视频交互系统中，其各个模块的工作原理与作用与图1～图4实施例提供的基于增强现实的全景视频交互方法所涉及的模块的工作原理与作用，以及各个方程及其参数的物理意义分别一一对应相同，在此不再赘述。

本发明实施例的目的，是在图像/视频展示技术领域，通过硬件、软件方法流程以及三维坐标转换算法的改进，来处理采集获得的图像数据，实现了一个通用的增强现实全景展示与交互的方法和系统。

本发明实施例提供的基于增强现实的全景视频交互方法和系统，通过全景摄像设备采集真实景物的视频数据，将该视频数据转换为连续的单帧图像和记录单帧图像之间的顺序关系，因而通过这些连续的单帧图像组成的全景图像三维场景可以实现视点的自由移动，对全景图像三维场景进行顺序连续播放，改善全景连续浏览体验；并且，由于在所述单帧图像中选定交互热区，并将单帧图像中的交互热区一同转换为全景图像三维场景后传输至终端设备，经过坐标转换后输出至屏幕上进行显示，用户可以自定义图像移动轨迹在全景图像三维场景中进行漫游，将所述球面全景图像逐帧投影在显示屏幕上，实现场景的来回切换；并可通过交互热区驱动计算机生成的虚拟物体、场景或系统提示信息叠加到终端设备屏幕上显示的场景中，从而实现对现实的增强和人机互动。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于增强现实的全景视频交互方法，其特征在于，包括：

通过全景摄像设备采集真实景物的视频数据，将所述视频数据输入到图像处理器中进行处理；

所述图像处理器将所述视频数据转化为连续的单帧图像，并记录每帧所述单帧图像之间的先后顺序关系；

在所述单帧图像中选定交互热区，设定所述交互热区的坐标及范围；

所述图像处理器根据先后顺序关系将所述单帧图像转换为全景图像三维场景；

将所述全景图像三维场景传输至终端设备；

所述终端设备根据所述全景摄像设备在采集真实景物时的视角确定投影范围，将全景图像三维场景转换为球面全景图像，并将所述球面全景图像输出至所述终端设备的屏幕上进行显示。

2.如权利要求1所述的基于增强现实的全景视频交互方法，其特征在于，所述方法还包括：

所述终端设备实时监测用户在屏幕上输入的图像移动轨迹，根据所述图像移动轨迹调整所述全景图像三维场景的显示视角，将所述球面全景图像逐帧投影在显示屏幕上。

3.如权利要求2所述的基于增强现实的全景视频交互方法，其特征在于，所述方法还包括：

所述终端设备实时监测用户对所述交互区域的点击状态，并在所述交互区域接收到点击信号时，启动与所述交互区域相关联的三维立体控件的运行和/或三维立体视频的播放。

4.如权利要求1～3任一项所述的基于增强现实的全景视频交互方法，其特征在于，所述图像处理器根据先后顺序关系将所述单帧图像转换为全景图像三维场景，包括：通过以下方程，将每一帧所述单帧图像上的任意一个像素点P的坐标(x,y)转换为三维坐标P1(u,v,w)：

$\left[\begin{array}{c}u\\ v\\ w\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\β}& 0& \sin \mathrm{\β}\\ 0& 1& 0\\ -\sin \mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& -\sin \mathrm{\α}\\ 0& \sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right]\left[\begin{array}{c}x-W/2\\ y-H/2\\ -f\end{array}\right];$

其中，α为全景摄像设备坐标系和世界坐标系横轴的夹角，β为全景摄像设备坐标系和世界坐标系纵轴夹角；W为所述单帧图像宽度，H为所述单帧图像高度，f为所述全景摄像设备以像素为度量单位时的焦距，且f＝W/(2tan(hfov/2))，其中，hfov为所述全景摄像设备的水平视角。

5.如权利要求4所述的基于增强现实的全景视频交互方法，其特征在于，所述终端设备根据所述全景摄像设备在采集真实景物时的视角确定投影范围，将全景图像三维场景转换为球面全景图像，并将所述球面全景图像输出至所述终端设备的屏幕上进行显示，具体为：

将每一帧单帧图像上的任意像素点P的坐标(x,y)转换为在所述球面全景图像上对应的像素点P’的坐标(x’,y’)，包括：

计算判别因子：△＝(y-H/2)sinαcosβ-(x-W/2)sinβ-fcosαcosβ；

当所述判别因子△＞0时，在所述球面全景图像上对应的像素点P’的坐标(x’,y’)通过以下方程进行计算：

$\left\{\begin{array}{c}{x}^{\′}=f*\arccos \left(\frac{(x-W/2)\cos \mathrm{\β}+(y-H/2)\sin \mathrm{\α}\sin \mathrm{\β}-f\cos \mathrm{\α}\sin \mathrm{\β}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right)\\ y^{\′}=f*(\mathrm{\π}/2+\arccos \left(\frac{(y-H/2)\cos \mathrm{\α}-f\sin \mathrm{\α}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right))\end{array}\right.;$

当所述判别因子△＜0时，在所述球面全景图像上对应的像素点P’的坐标(x’,y’)通过以下方程进行计算：

$\left\{\begin{array}{c}{x}^{\′}=f*(2\mathrm{\π}-\arccos \left(\frac{(x-W/2)\cos \mathrm{\β}+(y-H/2)\sin \mathrm{\α}\sin \mathrm{\β}-f\cos \mathrm{\α}\sin \mathrm{\β}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right))\\ y^{\′}=f*(\mathrm{\π}/2+\arccos \left(\frac{(y-H/2)\cos \mathrm{\α}-f\sin \mathrm{\α}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right))\end{array}\right.;$

将进行坐标映射转换后的球面全景图像输出至所述终端设备的屏幕上进行显示。

6.一种基于增强现实的全景视频交互系统，其特征在于，包括：全景摄像设备、图像处理器和终端设备；

所述全景摄像设备，用于采集真实景物的视频数据，将所述视频数据输入到所述图像处理器中进行处理；

所述图像处理器，用于将所述视频数据转化为连续的单帧图像，并记录每帧所述单帧图像之间的先后顺序关系；在所述单帧图像中选定交互热区，设定所述交互热区的坐标及范围；

所述图像处理器，还用于根据先后顺序关系将所述单帧图像转换为全景图像三维场景；将所述全景图像三维场景传输至所述终端设备；

所述终端设备，用于根据所述全景摄像设备在采集真实景物时的视角确定投影范围，将全景图像三维场景转换为球面全景图像，并将所述球面全景图像输出至所述终端设备的屏幕上进行显示。

7.如权利要求6所述的基于增强现实的全景视频交互系统，其特征在于，

所述终端设备，还用于实时监测用户在屏幕上输入的图像移动轨迹，根据所述图像移动轨迹调整所述全景图像三维场景的显示视角，将所述球面全景图像逐帧投影在显示屏幕上。

8.如权利要求6所述的基于增强现实的全景视频交互系统，其特征在于，

所述终端设备，还用于实时监测用户对所述交互区域的点击状态，并在所述交互区域接收到点击信号时，启动与所述交互区域相关联的三维立体控件的运行和/或三维立体视频的播放。

9.如权利要求6～8任一项所述的基于增强现实的全景视频交互系统，其特征在于，

所述图像处理器，还用于：通过以下方程，将每一帧所述单帧图像上的任意一个像素点P的坐标(x,y)转换为三维坐标P1(u,v,w)：

$\left[\begin{array}{c}u\\ v\\ w\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\β}& 0& \sin \mathrm{\β}\\ 0& 1& 0\\ -\sin \mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& -\sin \mathrm{\α}\\ 0& \sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right]\left[\begin{array}{c}x-W/2\\ y-H/2\\ -f\end{array}\right];$

其中，α为全景摄像设备坐标系和世界坐标系横轴的夹角，β为全景摄像设备坐标系和世界坐标系纵轴夹角；W为所述单帧图像宽度，H为所述单帧图像高度，f为所述全景摄像设备以像素为度量单位时的焦距，且f＝W/(2tan(hfov/2))，其中，hfov为所述全景摄像设备的水平视角。

10.如权利要求9所述的基于增强现实的全景视频交互系统，其特征在于，

所述终端设备，还用于将每一帧单帧图像上的任意像素点P的坐标(x,y)转换为在所述球面全景图像上对应的像素点P’的坐标(x’,y’)，包括：

计算判别因子：△＝(y-H/2)sinαcosβ-(x-W/2)sinβ-fcosαcosβ；

当所述判别因子△＞0时，在所述球面全景图像上对应的像素点P’的坐标(x’,y’)通过以下方程进行计算：

$\left\{\begin{array}{c}{x}^{\′}=f*\arccos \left(\frac{(x-W/2)\cos \mathrm{\β}+(y-H/2)\sin \mathrm{\α}\sin \mathrm{\β}-f\cos \mathrm{\α}\sin \mathrm{\β}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right)\\ y^{\′}=f*(\mathrm{\π}/2+\arccos \left(\frac{(y-H/2)\cos \mathrm{\α}-f\sin \mathrm{\α}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right))\end{array}\right.;$

当所述判别因子△＜0时，在所述球面全景图像上对应的像素点P’的坐标(x’,y’)通过以下方程进行计算：

$\left\{\begin{array}{c}{x}^{\′}=f*(2\mathrm{\π}-\arccos \left(\frac{(x-W/2)\cos \mathrm{\β}+(y-H/2)\sin \mathrm{\α}\sin \mathrm{\β}-f\cos \mathrm{\α}\sin \mathrm{\β}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right))\\ y^{\′}=f*(\mathrm{\π}/2+\arccos \left(\frac{(y-H/2)\cos \mathrm{\α}-f\sin \mathrm{\α}}{\sqrt{{(x-W/2)}^2+{((y-H/2)\sin \mathrm{\α}-f\cos \mathrm{\α})}^2}}\right))\end{array}\right.;$

将进行坐标映射转换后的球面全景图像输出至所述终端设备的屏幕上进行显示。