CN107305426A

CN107305426A - 一种矿井井下场景全景捕捉与重现的设备与方法

Info

Publication number: CN107305426A
Application number: CN201610245265.7A
Authority: CN
Inventors: 聂百胜; 张辉; 李祥春; 孟筠青; 许滕
Original assignee: China University of Mining and Technology Beijing CUMTB
Current assignee: China University of Mining and Technology Beijing CUMTB
Priority date: 2016-04-19
Filing date: 2016-04-19
Publication date: 2017-10-31

Abstract

本发明公开了一种矿井井下场景全景捕捉与重现的设备与方法，通过全景相机拍摄矿井井下全景照片或录制全景视频作为素材，包含横向360°、纵向180°的全景视角，对全景照片或视频经过编辑后，使用者可以在虚拟现实设备上进行观看，并通过移动、转动头部等操作实时转换显示视角，从而得到一种身临其境的沉浸式矿井井下场景虚拟体验。该发明通过全景相机、虚拟现实设备以及配套软件实现，在使用虚拟现实设备时，对场地没有要求。该发明是一种快速、经济、有效的井下场景虚拟体验方法，可以广泛应用于采矿专业的课堂认知教学、矿井工作人员初期培训、救援人员熟悉井下现场等领域，获得比传统的文字、图纸、图片或视频更好的体验效果。

Description

一种矿井井下场景全景捕捉与重现的设备与方法

技术领域

本发明涉及全景式虚拟现实系统，特别涉及一种使用全景照片或视频为素材建立虚拟现实井下场景进行虚拟体验的系统，属于虚拟现实技术的应用领域。

技术背景

工程类专业学生在学习与认知过程中，最重要的是让学生真切体会到工程现场的真实情况，配合讲解可以获得最佳的学习效果。目前，采矿工程及相关专业本科生教学的主要方式，是通过课堂教授的方式，以课本和幻灯片为主要载体进行的讲解，而单纯的讲解无法使学生对矿井现场有真正的了解，因此需要有认知实习、生产实习等必要的实习环节。但是由于负责接待实习的企业有时为了生产效益和学生安全考虑，学生的实习过程往往无法获得足够的下井时间与体验，因此教学与实习效果并不十分理想，学生毕业后到现场发现，学到的知识和现场实际情况脱节，许多东西需要重新学习，不仅增加了学生的学习成本，也增加了企业的运营成本。为了克服这个问题，使学生在学校就能够真实了解并体验矿井井下场景，本发明公开了一种矿井井下场景全景捕捉与重现的设备与方法。

发明内容

为了解决目前采矿工程相关专业本科生教学过程中存在的不足，满足学生对教学形式更加生动、易懂的要求，结合全景相机、虚拟现实设备和配套软件，本发明提出了一种矿井井下场景全景捕捉与重现的设备与方法。该发明先利用全景相机对矿井井下真实场景进行拍照或摄像，然后对全景相片或视频进行处理，最后结合配套的软件，利用虚拟现实设备将矿井井下全景场景展现给使用者。通过虚拟现实设备，使用者能够通过头部的移动、转动等动作改变虚拟现实设备显示器的显示视角，由于虚拟现实设备能够完全阻挡使用者视线的特点，使用者在教室里也能够得到媲美现场的沉浸式虚拟现实场景体验。利用该设备与方法，可以方便、快速地建立以井下真实环境为基础的虚拟现实场景，结合全景图片中的文字说明、全景视频配合语音讲解内容、不同虚拟场景之间的切换等功能，可以辅助老师的课堂讲解，最终提高教学质量与效果。

本发明公开了一种矿井井下场景全景捕捉与重现的设备与方法，本发明的设备与方法需要用到全景相机、虚拟现实设备与配套软件。

如上所述的全景相机，其视角覆盖相机四周的整个球形范围，原理是全景相机拥有多个围绕在一个中心点的朝外的副相机，副相机数量需保证所有副相机的视角加在一起能达到横向360°、纵向180°。全景相机拍照或摄像时，得到原始照片或视频是所有副相机拍摄到的单一视角的照片或视频，而所需的全景照片或者全景视频，是通过算法将所有副相机在同一时刻单独拍摄到的照片或视频进行拼接后得到的，拼接的算法与副相机的数量、角度及相互位置关系有关，将所有副相机拍摄的照片或视频拼接为全景照片或视频的过程，可以在全景相机内完成，也可以在电脑上完成，得到的全景图片或视频通过普通方式观察时是矩形的。全景相机要满足矿井对机电设备的特殊要求，例如防爆等要求。

如上所述的虚拟现实设备，包含：处理器、内存、储存器等运行必备硬件；显示器、扬声器等输出设备；陀螺仪、加速度传感器、地磁传感器等输入设备；固定在使用者头部的头戴式外壳、帮助使用者观看显示器的透镜等辅助配件。虚拟现实设备为头戴式，能够完全覆盖使用者的眼睛，使用者无法看到现实场景，只能看到虚拟现实设备显示器中现实的虚拟场景，因此能够获得强烈的沉浸感。虚拟显示设备形式上可以是一体的，即所有必备组件包含在一个头戴式设备中；也可以是分开的，即负责不同功能的必备组件组合成了两个或多个部件，所有部件组合在一起才能实现虚拟现实功能。

配套软件需要实现的核心功能有：将矩形的全景图片或者全景视频还原成一个球形，观看者则位于球形的中心；控制虚拟现实设备的显示器显示某一个具体的视角；结合陀螺仪、加速度传感器和地磁传感器等输入设备感应到的使用者的头部转动、移动等信息，计算显示器应该显示的新的内容，并更新显示器画面。为了拥有更好的使用体验，配套软件还需实现的辅助功能有：人机交互功能、不同虚拟场景之间的切换功能、全景图片上面的文字说明功能、学习过程中的语音讲解功能等。该配套软件的开发平台是根据虚拟现实设备所处的系统或平台确定的，一般可以分为Windows、OS X等桌面系统平台和Android、iOS等移动系统平台，而且不同平台都可以使用相同的引擎开发，例如Unity3D或Unreal引擎等。

使用本发明，可以快速地将矿井井下现实场景制作为全景虚拟场景，并在虚拟现实设备上供使用者观看，能够取得更好的教学与认知效果。该发明的优点如下：

①能够将现实场景通过非常简单的步骤快速制作为全景式虚拟场景，虚拟场景可以为静态的照片，也可以是动态的视频；

②虚拟现实设备可以让使用者体验到媲美身处真实场景的虚拟体验，但是却没有任何危险，非常适合例如煤矿等危险场景与行业的学生进行模拟实习与体验；

③该系统的投入很小，不仅避免了例如环形投影等大型设备的投入，而且对场地的要求低，可以在任何地点使用虚拟现实设备体验虚拟现实场景，另外还能无限重复使用已经拍摄并制作好的虚拟现实场景，没有后期额外成本；

④使用者通过虚拟现实设备看到的画面是全景相机在捕捉现实场景时所处位置的全景第一视角，并能通过转动头部等动作改变显示视角，从而看到横向360°、纵向180°的球形全景虚拟现实场景，同时头戴式设备完全遮挡现实场景，因此使用者可以体验因此可以获得比环形投影等方法更好的沉浸感。

附图说明

图1为全景相机拍摄照片或录制视频的示意图；

图2为使用虚拟现实设备观看虚拟现实场景示意图；

图3为该设备与方法的使用流程图。

具体实施方式

本发明公开了一种矿井井下场景全景捕捉与重现的设备与方法，通过该设备与方法可以快速地建立基于井下真实场景的全景虚拟场景，使用者可以利用虚拟现实设备，在任何地点排除现实世界的干扰，体验身临其境的井下全景虚拟场景。

由于全景相机的特性，拍摄全景照片或录制全景视频时，横向360°、纵向180°的球形范围内容都包含在照片或视频内。使用者在虚拟现实设备中观看时，结合虚拟现实设备的陀螺仪、加速度传感器和地磁传感器等组件，使用者可以通过头部转动或移动等操作，在虚拟现实设备显示器中实时变换观看到的虚拟场景视角，进而得到一种强烈的沉浸式体验，此外该系统还能实现不同全景虚拟场景之间的变换、全景照片内的文字说明、全景视频内的语音讲解等功能。

本发明所公开的矿井井下场景全景捕捉与重现的设备与方法包括三个组成部分，分别是：全景相机、头戴式虚拟现实设备以及配套软件。

全景相机与普通相机的最大区别，在于全景相机的视角覆盖相机四周的整个球形全景，原理是全景相机拥有多个围绕在一个中心点的朝外的副相机，副相机数量需保证所有副相机的视角加在一起能达到横向360°、纵向180°。在拍照或摄像时，全景相机包含的所有副相机同时拍摄照片或录制视频，将同一时刻的全景视角内的所有内容都记录下来。然后，全景相机或相关软件还能将所有副相机拍摄到的单一视角照片或视频通过算法进行拼接，就得到了所需的全景照片或视频的素材。拼接的算法与副相机的数量、的角度及相互位置关系有关。

全景相机在井下场景使用时，需要满足特殊的需求，例如在煤矿井下使用，全景相机需要满足煤矿的防爆要求，但是相机的成像原理不变。

头戴式虚拟现实设备，主要由以下四类组件构成：①处理器、内存、储存器、电源或者电池等设备运行必备硬件，负责提供虚拟现实设备所需的运行、计算与储存能力；②陀螺仪、加速度传感器、地磁传感器、摄像头、鼠标、键盘等使用者输入设备，其中陀螺仪、加速度传感器和地磁传感器负责监测使用者头部的转动与移动；③位于使用者眼睛前方的显示器、耳机或扬声器等输出设备，负责将处理后的画面与声音传递给使用者，帮助使用者获得身临其境的沉浸式体验；④另外还有头戴式虚拟现实设备正常运行需要的其他辅助组件，例如将设备固定在使用者头上的头戴式外壳，虚拟现实设备显示器与人眼之间的透镜等等。

头戴式虚拟现实设备的形式可以是一体式设备，也可以是分离式设备：一体式设备例如市面上Oculus公司的Oculus Rift设备，单独硬件就可以实现虚拟现实的功能；分离式设备是指运算、输入、输出、辅助等各个功能性组件之间相互组合，组成不同的部件，所有部件组合后才能实现虚拟现实功能。目前比较成熟的方法是利用智能手机作为运算、输入、输出设备，在外面单独配置一个有透镜的头部固定装置，例如市面上的Samsung Galaxy系列手机与Gear VR设备配合使用。

在这个设备与方法中，软件的作用是非常重要的，软件可以分为虚拟现实场景制作与优化软件和虚拟现实设备配套软件。

虚拟现实场景制作与优化软件主要负责将全景相机拍摄到的照片或者视频进行优化、编辑等操作，例如：①优化全景图片，并在图片相应的位置标注文本信息；②为全景图片标注经纬度信息、方位信息等，并在不同的全景图片之间建立位置关系；③为全景视频制作语音讲解等内容。虚拟现实场景制作与优化软件可以用现成的软件进行，例如Pano2VR、Photoshop等，也可以通过C、C++等语言进行编写。

虚拟现实设备配套软件主要负责虚拟现实设备的输出内容及其与使用者之间的人机交互功能，例如：①将全景照片或视频从储存器中调用，并正确地在显示器中现实；②处理陀螺仪等传感器接收到的输入信号，计算并控制虚拟现实设备输出更新后的画面与声音；③结合鼠标、键盘、语音等输入方式，控制虚拟现实场景之间的切换等功能。

配套软件的开发与虚拟现实设备类型有很大关系，但总体都可以利用Unity3D、Unreal等引擎进行全景场景的制作，并结合需要实现的各个功能的SDK，利用C++、C#等语言编写程序，从而实现虚拟现实设备的软件开发。另外，基于iOS或者Android系统的手机与虚拟现实眼镜结合的虚拟现实解决方案，也可以用Unity3D、Unreal等引擎直接进行手机端APP的制作，来实现虚拟现实设备显示全景相机拍到的全景照片或者视频。

下面结合示意图对该发明进行详细的说明。

如图1所示，该图展示了全景相机在现实场景拍摄全景照片或者视频时的情况，图中显示的是井下交叉巷道。图中的11为全景相机，它在图中所处的位置是第一个拍摄位置，相机周围的箭头表示相机的视角范围可以达到横向360°、纵向180°，该相机由三脚架支撑，也可以用其他方法和设备支撑。图中12为全景相机的第二个拍摄位置，也就是在第一个位置拍摄完需要去的下一个位置，由于全景相机还未去第二个位置，因此12所表示的全景相机是虚线。图中13为真实的场景，是被拍摄的主体。图中14是全景相机11从第一个位置移动到第二个位置需要经过的路径，对于全景照片，这个路径是无关紧要的，但是对于全景视频的拍摄，这个路径就决定了拍摄之后，使用者通过虚拟现实设备所能看到的全景视频中的行走路径，因此在全景视频的录制过程，14是非常重要的。

如图2所示，该图展示了虚拟现实设备使用者通过虚拟现实设备对虚拟场景进行观看时的情况。图中的21、22为使用者看到的两个不同的虚拟现实场景，分别对应图1中全景相机11所处的11所在的第一处和12所在的第二个拍摄位置，由于两个场景都不是真实场景，因此都用虚线表示。23为虚拟现实设备的使用者，其头部带有头戴式虚拟现实设备，设备通常包含显示器与透镜，位于使用者眼睛前方，使用者透过透镜观看显示器，并且由于设备完全遮挡真实场景，使用者可以产生置身显示器中所展示的虚拟场景的感受。使用者旁边的箭头表示使用者可以通过转动头部，来获得横向360°、纵向180°的球形全景视角。图2中的21全景虚拟场景为使用者23看到的图1中的全景相机11位于第一个拍摄位置时的全景场景，图2中的22全景虚拟场景为使用者23看到的图1中的全景相机12位于第二个拍摄位置时的全景场景。图中的24可以理解为场景的运动方向。可以看出，在图1中，获得不同的全景照片或视频，是通过移动全景相机的位置来实现的，而在图2中，使用者23不需要移动自己的位置，而是虚拟场景本身的变换或移动，使使用者23观看到的虚拟场景有了变化，虚拟场景本身的移动路径就是图中的24，该路径与图1中的全景相机的移动路径14是完全相反的。

图3展示了本发明矿井井下场景全景捕捉与重现的设备与方法的技术流程，其中：

步骤S31，利用全景相机进行井下真实场景的照片或视频的拍摄，由于全景相机包含朝向多个方向的相机，所有相机的取景范围加起来一次性可以达到横向360°、纵向180°，因此在同一时间就可以将全景相机周围的球形的全景场景一次性记录下来。拍摄视频时也会对声音进行录制。

步骤S32，将全景相机包含的不同朝向的每个相机摄到的单张照片或者视频，在全景相机内或电脑上，通过包含特定算法的软件合并为完整的一张全景照片或一段全景视频，该步骤软件的算法与全景相机包含所有相机的数量、每个相机的角度有关。

步骤S33，将合并后得到的全景照片或视频通过Pano2VR、Photoshop等相关软件进行优化，例如调整曝光、对比度、亮度等，进一步可以对全景照片加上相关的文字说明，对全景视频配上声音解说等。

步骤S34，将制作并处理好的全景照片或视频导入虚拟现实设备，使用配套软件控制显示器和透镜等输出设备，将处理后的全景照片或者全景视频展现给虚拟现实设备的使用者。

步骤S35，在使用过程中，虚拟现实设备通过的陀螺仪、加速度传感器、地磁传感器等传感器捕捉使用者头部的移动、转动等动作，并鼠标、键盘等传统的输入设备接收使用者的操作指令。

步骤S36，虚拟现实设备配套软件将使用者头部的移动、转动等信息，以及鼠标、键盘等输入设备的操作信息进行处理，并计算虚拟现实场景应该有的变化与更新，并将更新后的虚拟现实场景通过显示器与透镜等输出设备展现给使用者。

通过这个流程，就能简单、方便地将矿井井下现实场景转化为虚拟现实设备可用的全景虚拟场景，使用者通过虚拟现实设备，可以真实、方便地在任何时间、地点观看平时难以看到的井下全景场景，例如煤矿的井下场景。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本方法的技术人员在本发明披露的方法范围内，可轻易想到的改动或变化，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种矿井井下场景全景捕捉与重现的设备与方法，其特征在于：本设备与方法需要用到全景相机、虚拟现实设备与配套软件。

2.如权利要求1所述的一种矿井井下场景全景捕捉与重现的设备与方法，其特征在于：该设备使用的全景相机，其视角覆盖相机四周的整个球形范围，原理是全景相机拥有多个围绕在一个中心点的朝外的副相机，副相机数量需保证所有副相机的视角加在一起能达到横向360°、纵向180°。

3.如权利要求1、2所述的一种矿井井下场景全景捕捉与重现的设备与方法，其特征在于：全景相机拍照或摄像时，得到原始照片或视频是所有副相机拍摄到的单一视角的照片或视频，而所需的全景照片或者全景视频，是通过算法将所有副相机在同一时刻单独拍摄到的照片或视频进行拼接后得到的，拼接的算法与副相机的数量、角度及相互位置关系有关，将所有副相机拍摄的照片或视频拼接为全景照片或视频的过程，可以在全景相机内完成，也可以在电脑上完成，得到的全景图片或视频通过普通方式观察时是矩形的。

4.如权利要求1、2、3所述的一种矿井井下场景全景捕捉与重现的设备与方法，其特征在于：全景相机要满足矿井对机电设备的特殊要求，例如防爆等要求。

5.如权利要求1所述的一种矿井井下场景全景捕捉与重现的设备与方法，其特征在于，该设备与方法使用的虚拟现实设备包含：处理器、内存、储存器等运行必备硬件；显示器、扬声器等输出设备；陀螺仪、加速度传感器、地磁传感器等输入设备；固定在使用者头部的头戴式外壳、帮助使用者观看显示器的透镜等辅助配件。

6.如权利要求1、5所述的一种矿井井下场景全景捕捉与重现的设备与方法，其特征在于：虚拟现实设备为头戴式，能够完全覆盖使用者的眼睛，使用者无法看到现实场景，只能看到虚拟现实设备显示器中现实的虚拟场景，因此能够获得强烈的沉浸感。

7.如权利要求1、5、6所述的一种矿井井下场景全景捕捉与重现的设备与方法，其特征在于：虚拟现实设备形式上可以是一体的，即所有必备组件包含在一个头戴式设备中；也可以是分开的，即负责不同功能的必备组件组合成了两个或多个部件，所有部件组合在一起才能实现虚拟现实体验功能。

8.如权利要求1所述的一种矿井井下场景全景捕捉与重现的设备与方法，其特征在于，该系统的配套软件需要实现的核心功能有：将矩形的全景图片或者全景视频还原成一个球形，观看者则位于球形的中心；控制虚拟现实设备的显示器显示某一个具体的视角；结合陀螺仪、加速度传感器和地磁传感器等输入设备感应到的使用者的头部转动、移动等信息，计算显示器应该显示的新的内容，并更新显示器画面。

9.如权利要求1、8所述的一种矿井井下场景全景捕捉与重现的设备与方法，其特征在于，为了拥有更好的使用体验，配套软件还需实现的辅助功能有：人机交互功能、不同虚拟场景之间的切换功能、全景图片上面的文字说明功能、学习过程中的语音讲解功能等。

10.如权利要求1、8、9所述的一种矿井井下场景全景捕捉与重现的设备与方法，其特征在于：该配套软件的开发平台是根据虚拟现实设备所处的系统或平台确定的，一般可以分为Windows、OS X等桌面系统平台和Android、iOS等移动系统平台，而且不同平台都可以使用相同的引擎开发，例如Unity3D或Unreal引擎等。