CN102945563A

CN102945563A - 一种全景视频的展示与交互系统及方法

Info

Publication number: CN102945563A
Application number: CN2012103659469A
Authority: CN
Inventors: 郭晓冬; 李鹏; 陈遇; 李建宇; 段文兴
Original assignee: TIANJIN CRUISING TECHNOLOGY Co Ltd
Current assignee: Yangzhou Dazheng Petroleum Technology Co., Ltd.
Priority date: 2012-09-26
Filing date: 2012-09-26
Publication date: 2013-02-27
Anticipated expiration: 2032-09-26
Also published as: CN102945563B

Abstract

本发明公开了一种全景视频的展示与交互系统及方法，涉及全景视频展示与交互技术领域；其方法包括如下步骤：选取一个至少具有两个面的参考物，在所述参考物的每个面上设置一个标识；将全景视频作为纹理渲染到3D几何模型上；在所述标识与所述3D 几何模型之间建立映射关系；采集所述参考物的信息，提取所述标识的信息，并利用所述映射关系实现所述参考物与所述3D几何模型之间的展示与交互。本发明通过采用多个标识代替传统的鼠标、键盘或者是单一平面标识实现对全景视频的展示与交互，克服了传统单一标识在全景视频的展示与交互过程中存在盲区的缺陷，可以使操作者得到更好的沉浸式体验效果；同时具有操作灵活、方便、自由的特点。

Description

一种全景视频的展示与交互系统及方法

技术领域

本发明涉及全景视频展示于交互技术领域，特别是涉及一种能够实现360°旋转操作功能的全景视频的展示与交互系统及方法。

背景技术

视频（Video）泛指将一系列静态影像以电信号方式加以捕捉，纪录，处理，储存，传送，与重现的各种技术。连续的图像变化每秒超过24帧（frame）画面以上时，根据视觉暂留原理，人眼无法辨别单幅的静态画面；看上去是平滑连续的视觉效果，这样连续的画面叫做视频。视频技术最早是为了电视系统而发展，但现在已经发展为各种不同的格式以利消费者将视频记录下来。网络技术的发达也促使视频的纪录片段以流媒体的形式存在于因特网之上并可被电脑接收与播放。随着科技的快速发展，人们对视频的要求也是越来越高，这不仅体现在对视频的质量方面，更多的体现在视频的覆盖范围上，即视频所包含的信息量上。

全景视频作为一种新的视频领域，它是一个拥有360°视场角的球形视频（也可是圆柱型或其它形状的非平面视频），将整个空间的信息都包罗在视频当中。如果站在球的外面看，全景视频呈现出来的是一种水晶球一样的效果；如果站在球的里面看，就好像处在现实空间中一样。通过对球形视频的旋转，实现了360°的空间想看哪里就看哪里，打破了传统视频对视场角的限制，可以完全沉浸在视频所展现的环境当中。全景视频的每一帧都是一幅全景图，它与普通视频的区别就是该视频包括了更多的信息。

同传统视频不同，全景视频是一种可交互的视频，因此需要相应的人机交互方式与之进行交互。又因为全景视频是一种全新的概念，所以没有现成的系统或方法来为之提供友好的交互。目前可使用的方法主要是依赖传统的键盘、鼠标来实现使用者与全景视频的交互。

由于全景视频具有无法比拟的真实现场再现能力，同时具有沉浸式体验的属性，因此可以让使用者参与到视频所讲述的故事中来。现有的全景视频交互方式主要有两种：一、通过鼠标或者是键盘来实现全景视频的人机交互；二、利用单一平面标识来实现全景视频的人机交互。但是通过实践发现，上述两种方式的全景视频人机交互存在如下的缺陷：一、由于鼠标或者是键盘的数据线长度有限，因此其可移动的范围较小，这些部件一般仅限于在操作系统的附近位置移动，因此操作使用极不方便，给操作者带来极大的空间限制；二、由于单一平面标识的可监控范围仅为负90度到正90度的范围，而当上述标识点超出负90度到正90度的范围时，比如平面标识背对图像采集设备，视频处理设备将无法搜索到上述标识的信息，因此就无法实现对全景视频的交互。

发明内容

综上所述，本发明的第一发明目的是：克服在传统全景视频展示与交互的过程中，单一平面标识的可监控范围仅限于负90度到正90度的缺陷，采用一个至少具有两个标识来实现对全景视频的360°旋转操作控制；本发明的第二发明目的是：克服传统鼠标或者是键盘在实现人机交互过程中使用不方便的缺陷，采用一种可移动的控制设备实现全景视频的自由展示与交互过程。

本发明为解决公知技术中存在的技术问题所采取的技术方案是：

一种全景视频的展示与交互方法，包括如下步骤：

选取一个至少具有两个面的参考物，在所述参考物的每个面上设置一个标识；

将全景视频作为纹理渲染到3D几何模型上；

在所述标识与所述3D几何模型之间建立映射关系；

采集所述参考物的信息，提取所述标识的信息，并利用所述映射关系实现所述参考物与所述3D几何模型之间的展示与交互。

进一步：所述每个标识由位置探测标识和信息编码标识组成；

更进一步：所述位置探测标识为矩形、正方形、或者是正多边形。

进一步：所述参考物为正六面体。

进一步：所述映射关系为线性关系。

进一步：所述映射关系为非线性关系。

一种全景视频的展示与交互系统，包括：全景视频播放设备、与所述全景视频播放设备连接的视频处理装置、与所述视频处理设备连接的数据存储设备；以及与所述视频处理设备连接的控制设备；所述控制设备包括：参考物和图像采集设备；其中：所述参考物不少于两个面，且每个面上设置至少一个标识。

进一步：所述参考物为正六面体。

进一步：所述每个标识由位置探测标识和信息编码标识组成。

进一步：所述位置探测标识为“口”字结构。

本发明具有的优点和积极效果是：一、本发明通过采用一个至少具有两个标识的参考物替代传统的鼠标或者是键盘或者是单一平面标识实现对全景视频的展示与交互过程，将单个标识的可监控范围仅限于负90度到正90度的范围扩展到了0度到360度的无缝连接范围，克服了传统的鼠标或者是键盘或者是单一平面标识在实现对全景视频的展示与交互过程存在盲区的缺陷；二、本发明通过采用一个至少具有两个标识的参考物替代传统的鼠标或者是键盘实现对全景视频的展示与交互过程，克服了传统鼠标或者是键盘容易受到位置空间的限制，具有使用方便、灵活的特点，同时具有操作更加自由的优点。

附图说明

图1是本发明一种全景视频的展示与交互方法的第一具体实施例流程图；

图2是本发明一种全景视频的展示与交互方法的第二具体实施例流程图；

图3是本发明一种全景视频的展示与交互方法的第三具体实施例流程图；

图4是本发明一种全景视频的展示与交互方法中使用到的一个标识示意图，主要用于显示单个标识的信息；

图5是本发明一种全景视频的展示与交互系统的结构原理图；

图6是本发明一种全景视频的展示与交互系统的一个参考物示意图，主要用于显示参考物每个面的标识信息。

其中：1、标识；1-1、位置探测标识；1-2、信息编码标识；2、参考物；3、图像采集设备；4、数据存储设备；5、视频处理设备；6、全景视频播放设备。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下：

请参阅图1，一种全景视频的展示与交互方法的第一具体实施例，包括如下步骤：

步骤101、选取一个至少具有两个面的参考物2，在参考物2的每个面上设置一个标识1；

步骤102、使用多相机采用同步拍摄方式采集全景数据，然后对这些原始全景数据进行校正、拼接融合、视频压缩编码处理，生成全景视频；

步骤103、将全景视频作为纹理渲染到3D几何模型（3D几何模型一般选取球体、圆柱体或者是其他立体模型）上，暂存于视频处理设备5中，以备步骤105使用；

步骤104、在标识1与上述3D几何模型之间建立映射关系；

步骤105、利用图像采集设备3采集步骤101中参考物的信息，将采集到的参考物图像导入视频处理设备5，利用视频处理设备5提取上述标识1的坐标、姿态信息，并利用步骤104所建立的映射关系实现参考物1与上述全景视频之间的展示与交互。

请参阅图2、图4，一种全景视频的展示与交互方法的第二具体实施例，包括如下步骤：

步骤201、选取一个正六面体的参考物2，在参考物2的每个面上设置一个标识1；

在这里，如图4所示，标识1由位置探测标识1-1和信息编码标识1-2组成，其中位置探测标识1-1为一个具有一定宽度的黑色方块，呈现“口”字结构，信息编码标识1-2为一个特定的图案、数值、、字母或者是汉字，在本具体实施例中，信息编码标识1-2为一个大写的字母“A”；

步骤202、使用多相机同步拍摄方式采集全景数据，后对这些原始全景数据进行校正、拼接融合、视频压缩编码处理，生成全景视频；

步骤203、将全景视频作为纹理渲染到3D几何模型上，暂存于视频处理设备5中，以备步骤205使用；

步骤204、在标识1与上述3D几何模型之间建立线性映射关系；

进一步：在本具体实施例中，所采用的线性映射关系可以通过下面函数方程表述：

[\begin{matrix} x^{'} \\ y^{'} \\ z^{'} \end{matrix}] = R [\begin{matrix} x \\ y \\ z \end{matrix}] + T;

其中：旋转矩阵

R = [\begin{matrix} r_{1} & r_{2} & r_{3} \\ r_{4} & r_{6} & r_{6} \\ r_{7} & r_{8} & r_{9} \end{matrix}],

平移矩阵

T = [\begin{matrix} t_{x} \\ t_{y} \\ t_{z} \end{matrix}], [\begin{matrix} x \\ y \\ z \end{matrix}]

为标识的空间姿态向量表示，

[\begin{matrix} x^{'} \\ y^{'} \\ z^{'} \end{matrix}]

为3D几何模型的空间姿态向量表示。

更进一步：通过改变3D几何模型的大小，可以实现对全景视频的大小比例调节，使得人们可以实现对全景视频的缩放调节；

步骤205、利用图像采集设备3采集步骤201中参考物2的信息，将采集到的参考物 2图像导入视频处理设备5，利用视频处理设备5提取上述标识1的坐标、姿态信息，并利用步骤204所建立的映射关系实现上述参考物2与上述全景视频之间的展示与交互。

这里，由于图像采集设备3在对正六面体参考物2进行图像采集时，由于采集角度的限制，一般最多可采集到正六面体的三个面的信息，此时，当采集到的图像信息中仅包含一个标识时1，此时视频处理设备5分析上述标识1的坐标、以及状态信息，进而通过步骤204中预先建立的映射关系实现对全景视频的展示与交互；当采集到的图像信息中包含两个或者是三个标识时，此时视频处理设备5具有两种处理方案：方案一、视频处理设备5首先将上述多个标识1的位置或者是姿态信息进行比较，选定识别可信度最高的标识，然后根据步骤204中预先建立的映射关系实现对全景视频的展示与交互；方案二、视频处理设备5首先将上述多个标识1的位置或者是姿态信息进行比较，提取出一个距离图像采集设备3位移最近或者是旋转角度（水平夹角或者是竖直夹角）最小的标识，然后根据步骤204中预先建立的映射关系实现对全景视频的展示与交互。

请参阅图3，一种全景视频的展示与交互方法的第三具体实施例，包括如下步骤：

步骤301、选取一个正六面体的参考物2，在参考物2的每个面上设置一个标识1；

步骤302、使用多相机同步拍摄方式采集全景数据，后对这些原始数据进行校正、拼接融合、视频压缩编码处理，生成全景视频；

步骤303、将全景视频作为纹理渲染到3D几何模型上，暂存于视频处理设备5中，以备步骤305使用；

步骤304、在标识1与所述3D几何模型之间建立线性映射关系；

步骤305、利用图像采集设备3采集步骤301中参考物的信息，将采集到的参考物2图像导入视频处理设备5，利用视频处理设备5提取上述标识的坐标、姿态信息，并利用步骤204所建立的映射关系实现上述参考物2与上述全景视频之间的展示与交互。

这里，由于图像采集设备3在对正六面体参考物2进行图像采集时，由于采集角度的限制，一般最多可采集到正六面体的三个面的信息，此时，当采集到的图像信息中仅包含一个标识1时，此时视频处理设备5分析上述标识1的坐标、以及状态信息，进而通过步骤204中预先建立的映射关系实现对全景视频的展示与交互；当采集到的图像信息中包含两个或者是三个标识1时，此时视频处理设备5具有两种处理方案：方案一、视频处理设备5首先将上述多个标识1的位置或者是姿态信息进行比较，选定识别可信度最高的标识1，然后根据步骤304中预先建立的映射关系实现对全景视频的展示与交互；方案二、视频处理设备5对采集到的两个或者是三个标识时，视频处理设备5首先将上述多个标识1的位置或者是姿态信息进行比较，提取出一个距离图像采集设备3位移最近或者是旋转角度（水平夹角或者是竖直夹角）最小的标识1，然后根据步骤304中预先建立的映射关系实现对全景视频的展示与交互。

请参阅图5，一种全景视频的展示与交互系统，包括：参考物2、图像采集设备3、数据存储设备4、视频处理设备5、以及全景视频播放设备6；其中：

参考物2至少具有两个面，且在每个面上设有标识1；

在这里，如图6所示，标识1由位置探测标识1-1和信息编码标识1-2组成，其中位置探测标识1-1为一个具有一定宽度的黑色方块，呈现“口”字结构，信息编码标识1-2为一个特定的图案、数值、字母或者是汉字，在本具体实施例中，信息编码标识1-2为一个汉字“科”；

图像采集设备3为一个普通数码相机，主要是为了提取参考物1的图像，并将提取到的图像信息发送给视频处理设备5，

数据存储设备4为一个可移动硬盘，也可以为U盘、光盘或者是其他具有数据存储能力的数据存储设备；主要用于存储待用的全景视频数据，系统参数等信息；

视频处理设备5为一个计算机或者是其他具有数据处理功能的微处理器，视频处理设备5的功能包括：提取数据存储设备4中的全景视频数据；接收图像采集设备3输入的参考物2图像信息；通过内部的预设程序完成对标识1与3D几何模型之间的映射匹配；根据参考物2上标识1的位置、姿态信息实现对全景视频交互与展示的控制，并将控制信息发送给全景视频播放设备6；

在这里，视频处理设备5内需具有如下功能模块的软件程序：提取视频存储设备4中的全景视频数据的程序；接收图像采集设备3输入信息的程序；在标识与3D几何模型之间建立映射关系的程序；对标识的位置、姿态信息进行提取、分析处理的程序；以及向全景视频播放设备6输出全景视频的程序；

全景视频播放设备6为一电脑显示器、LED显示屏或者是其他具有视频显示功能的显示设备。

在本具体实施例中，上述普通数码相机、可移动硬盘、计算机以及显示器均为较为常用的电子部件，因此将普通数码相机通过数据线与计算机连接，可移动硬盘通过USB数据线与计算机连接，计算机与显示器电连接即可。

请参阅图6，一种全景视频的展示与交互系统的一个参考物示意图；本图6是将一个正六面体进行展开后的平面图，在本具体实施例中，参考物2为正六面体，如图所示：标识1由位置探测标识1-1和信息编码标识1-2组成，其中位置探测标识1-1为一个具有一定宽度的黑色方块，呈现“口”字结构，信息编码标识1-2为一个特定的图案、数值、字母或者是汉字，在本具体实施例中，信息编码标识1-2为一个汉字“科”；图像采集设备3采集参考物2的立体图像，并将上述立体图像传输给视频处理设备5，视频处理设备5实时从接收到的立体图像中提取到位置探测标识1-1和信息编码标识1-2，并将上述位置探测标识1-1和信息编码标识1-2进行分析判断后，根据标识与3D几何模型之间的映射关系，提取数据存储设备4中的全景视频，并将全景视频的角度与位置调整为符合上述映射关系的全景视频，最后将上述全景视频通过全景视频播放设备6进行展示，从而实现全景视频的交互过程。

以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围，比如改变位置探测标识的颜色、形状等信息。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims

1.一种全景视频的展示与交互方法，其特征在于：包括如下步骤：

将全景视频作为纹理渲染到3D几何模型上；

在所述标识与所述3D几何模型之间建立映射关系；

2.根据权利要求1所述的全景视频的展示与交互方法，其特征在于：所述每个标识由位置探测标识和信息编码标识组成。

3.根据权利要求2所述的全景视频的展示与交互方法，其特征在于：所述位置探测标识为矩形、正方形、或者是正多边形。

4.根据权利要求1所述的全景视频的展示与交互方法，其特征在于：所述参考物为正六面体。

5.根据权利要求1所述的全景视频的展示与交互方法，其特征在于：所述映射关系为线性关系。

6.根据权利要求1所述的全景视频的展示与交互方法，其特征在于：所述映射关系为非线性关系。

7.一种全景视频的展示与交互系统，包括：全景视频播放设备、与所述全景视频播放设备连接的视频处理装置、与所述视频处理设备连接的数据存储设备；以及与所述视频处理设备连接的控制设备；其特征在于：所述控制设备包括：参考物和图像采集设备；其中：所述参考物不少于两个面，且每个面上设置至少一个标识。

8.根据权利要求7所述的全景视频的展示与交互系统，其特征在于：所述参考物为正六面体。

9.根据权利要求7所述的全景视频的展示与交互系统，其特征在于：所述每个标识由位置探测标识和信息编码标识组成。

10.根据权利要求9所述的全景视频的展示与交互系统，其特征在于：所述位置探测标识为“口”字结构。