CN106447705A - 应用于室内场景虚拟现实直播的多目立体视觉系统及方法 - Google Patents

Abstract

本发明公开的应用于室内场景虚拟现实直播的多目立体视觉系统，包括设置在室内的M个导轨、在M个滑轨上滑动的N个独立的摄像机、N个能够带动摄像机在滑轨上移动的驱动小车、处理器、虚拟现实输出设备，其中M≥1，N≥3；所述N个独立的摄像机能够两两组合在一起对目标物进行拍摄，并将拍摄的信息传输给处理器，处理器经过处理后，将虚拟现实视频信号传输至虚拟现实输出设备，用户通过虚拟现实输出设备对目标物进行观察。本发明的视觉系统及方法，通过多个摄像头，两两组成多对双目立体视觉系统，对物体进行观察摄像，确保能够最大限度得提取到物体及其周边环境的环境信息，使得3D建模更为准确精细。

Description

应用于室内场景虚拟现实直播的多目立体视觉系统及方法

技术领域

本发明涉及虚拟现实应用领域，特别涉及应用于室内场景虚拟现实直播的多目立体视觉系统及方法。

背景技术

如今，随着虚拟现实技术的不断发展，基于双目视觉原理的摄像系统已经在人类社会的工业生产和现实生活中扮演者越来越重要的角色。与一般传统的单目摄像方式不同，双目视觉利用两个摄像机对同一个物体进行摄像，从两个或者多个点观察一个物体，获取在不同视角下的图像，根据图像之间像素的匹配关系，通过三角测量原理计算出像素之间的偏移来获取物体的三维信息。得到了物体的景深信息，就可以计算出物体与相机之间的实际距离，物体三维大小，两点之间实际距离。目前也有很多研究机构进行三维物体识别，来解决2D算法无法处理遮挡，姿态变化的问题，提高物体的识别率，用以获取环境当中的景深信息。

中国专利号：201510357389.X，名称：一种双目视觉测量方法，该发明提供一种双目视觉测量方法，利用双目相机的左右两个相机同时拍摄同一个物体进行双目图像采集，得到左右两幅图像；使用SURF算法对所述左右两幅图像进行特征点提取，并且粗略匹配特征点对；使用RANSAC算法对所述粗略匹配的特征点对根据几何成像的线性关系进行筛选，得到可信的特征点对；根据所述可信的特征点对在所述左右两幅图像中的位置信息，同时使用双目立体视觉三维测量的相关公式，对物体进行测量。本发明利用了双目视觉原理，结合SURF和RANSAC算法，实现对物体与相机的远近进行了实时的测量，其用于无人机时，可以解决无人机在飞行过程中的测距问题，具有现实的实用意义。

中国专利号：201520834809.4，名称：一种多目视觉系统，该发明公开了一种多目视觉系统，包括视觉系统，视觉系统通过减震器安装在一个驱动系统上，视觉系统可在驱动系统的作用下在水平面内旋转；视觉系统包括壳体，壳体外侧分布有一对主眼相机和多个副眼相机，其中一对主眼相机的光轴相互平行。本实用新型提供了一种多目的视觉系统，保留死角小，盲区小，对于主眼前方物体的定位功能也有大幅度的提升。可以对主眼前方的物体进行定位；在装置减震方面：弹簧减震装置在经过防锈处理后，不仅抗腐蚀能力强，性能稳定，可在恶劣环境下正常工作。使用寿命长。而且工艺简单，维修方便。

综上，尽管双目立体视觉系统能够测量出目标物的景深信息，但由于两个摄像机的覆盖面小，并不能够提供360°全方位的拍摄。而采用了一对主眼相机和多个副眼相机的多目视觉系统，也因主眼相机和副眼相机是固定在同一个部件上而失去了多目视觉系统的灵活性，副眼相机的运动范围受到了主眼相机的运动制约，使得其并不能同时从多个角度拍摄目标物体。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供应用于室内场景虚拟现实直播的多目立体视觉系统。

本发明的另一目的在于提供应用于室内场景虚拟现实直播的多目立体视觉方法。

本发明的目的通过以下的技术方案实现：

应用于室内场景虚拟现实直播的多目立体视觉系统，包括设置在室内的M个导轨、在M个滑轨上滑动的N个独立的摄像机、N个能够带动摄像机在滑轨上移动的驱动小车、处理器、虚拟现实输出设备，其中M≥1，N≥3；所述N个独立的摄像机能够两两组合在一起对目标物进行拍摄，并将拍摄的信息传输给处理器，处理器经过处理后，将虚拟现实视频信号传输至虚拟现实输出设备，用户通过虚拟现实输出设备对目标物进行观察。

所述摄像机的自由度大于等于3，当目标物的位置改变时，摄像机根据实际情况实时通过左右转动和上下摆动来获取所需的摄影角度；由于实际环境的限制，当滑轨不能围合成封闭的几何形状时，多个摄像机之间通过调整各自的角度来实时跟踪目标物。

所述驱动小车包括滑动平台、支撑滑动平台的K个轮子；所述滑轨的横截面的形状为工字形，滑轨的左侧形成第一凹槽，滑轨的右侧形成第二凹槽；其中滑动平台上固定有摄像机，m个轮子设置在第一凹槽中，n个轮子设置在第一凹槽中，K、m、n均为正整数，且K＝m+n。滑轨截面形状为“工”字型，两端的凹槽能够固定住滑动平台的轮子，使得摄像机能够更为牢固稳定的在滑轨上运动。滑轨截面形状为“工”字型，两端的凹槽能够固定住滑动平台的轮子，使得摄像机能够更为牢固稳定的在滑轨上运动，同时，也使得将滑轨布置在房间顶部成为了可能。

所述M＝3，N＝3；则三条滑轨上个分别设置一个摄像机；三条滑轨处于同一平面，该平面平行于室内地面，且任意两条滑轨之间的夹角为60°，每个摄像机的视角均大于120°。目标物的位置可以根据实际需求设置，可以与三条滑轨处于同一平面，也可以处于不同平面，将目标物置于三条滑轨所在平面的正下方。

所述M＝1，N＝3；则一条滑轨上设置三个摄像机，滑轨为封闭的圆形，该滑轨所在平面平行于室内地面。目标物的位置可以根据实际需求设置，可以与圆形滑轨处于同一平面，也可以处于不同平面，将目标物置于圆形滑轨所在平面的正下方。

所述虚拟现实输出设备包括VR头戴显示器。

本发明的另一目的通过以下的技术方案实现：

应用于室内场景虚拟现实直播的多目立体视觉方法，包含以下步骤：

S1、设置在M个滑轨上的N个独立的摄像机进行自标定；其中M≥1，N≥3；所述N个独立的摄像机能够两两组合在一起对目标物进行拍摄，并将拍摄的信息传输给处理器；由于在后期的摄影过程当中，N个摄像机将会根据目标物体的移动而移动，因此采用了摄像机的自定标方法，保证摄像机在移动改变位置后仍然能够较快的完成标定。

S2、根据目标物的位置，处理器分别控制N个独立的摄像机移动至合适的位置；所述N个独立的摄像机是分别通过N个驱动小车带动摄像机在滑轨上移动的；

S3、处理器进行立体匹配；

S4、处理器进行三维重建；

S5、处理器输出虚拟现实视频信号，得到一个完整的三维虚拟场景；使用者通过虚拟现实输出设备(VR头戴显示器等)对目标物进行全方位的观察。

所述M＝3，N＝3；则三条滑轨上个分别设置一个摄像机；三条滑轨处于同一平面，该平面平行于室内地面，且任意两条滑轨之间的夹角为60°，每个摄像机的视角均大于120°；

首先基于视差原理，通过两个观测点(即两个摄像机所在位置)观察同一目标物，获得在不同视觉情况下的同一目标物的图像；

然后通过三角测量原理计算出图像像素间的视差来获得目标物的三维空间信息；

N个独立的摄像机能够两两组合在一起对目标物进行拍摄，当N＝3时，摄像机有三组不同的组合，处理器进行三次立体匹配和三维重建。

在信息处理的流程中，一个双目立体视觉系统需要先后实现立体匹配和三维重建。在本发明中，由于系统中包含有三组双目立体视觉系统，因此，在系统的运行过程中，需要同时进行三次立体匹配和三维重建。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明所提出的多目立体视觉系统则提供了多个能独立运动，且性能相同的摄像机，使得本发明能够同时从多个不同的摄像点对目标物体进行拍摄，进而在获得其景深信息的同时获得目标物的全方位信息。

2、本发明通过多个摄像头，两两组成多对双目立体视觉系统，对物体进行观察摄像，确保能够最大限度得提取到物体及其周边环境的环境信息，使得3D建模更为准确精细。

3、本发明结合双目视觉摄像技术，一方面，通过布置在房间内的导轨，配合以在导轨上滑动的多个独立的摄像头，进而组合成多对双目摄像机，对物件的景深信息进行重复比对，得出在不同方向上观察物件的最佳角度。

4、本发明提供了多条滑轨，使得摄像头能够在滑轨上自由滑动，使得物件始终处于多个摄像头的最佳摄像范围内。

5、本发明采用了多个摄像机对物体进行摄像，摄像机两两间相互组成为双目立体视觉摄像系统，确保物件的三维信息能够被全方位的记录，在往后也能构建出更加准确的三维虚拟环境。

6、本发明采用了滑轨用于提供摄像机滑行轨道，使得各个摄像机能够根据目标物体的移动而改变位置，使得目标物体始终处于被摄的最佳位置。

7、本发明中采用的滑轨数量和形状能够根据实际的拍摄环境由用户自主选择，具有一定的灵活性。

8、相对于一般的双目立体视觉系统而言，本发明由于增加了摄像机的数目，减少了测量中的盲区，同时尽可能地避免了由于特征点模糊而产生的误匹配现象。

附图说明

图1为本发明所述应用于室内场景虚拟现实直播的多目立体视觉方法的流程图。

图2为实例一的摄像机布置示意图。

图3为实例一中，目标物位置变化后摄像机的运动示意图。

图4为实例一中，目标物位置处于轨道平面以外时摄像机的运动示意图。

图5为实例二的摄像机布置示意图。

图6为实例二中，目标物位置处于轨道平面以外时摄像机的运动示意图。

图7为滑轨、摄像机与驱动小车的装配示意图。

图8为摄像机的结构示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例一

本实施例一中实现了一种具有三条独立滑轨的应用于室内场景虚拟现实直播的三目立体视觉系统。

图1是本实施例一的运行流程图，摄像机的部署示意图如图2所示，图中的阴影部分即为摄像机的共同拍摄区域。本实施例采用了三条独立的滑轨，三个摄像机的视角范围均为120°以上，并分别布置于三条滑轨之上。

当系统开始运行后，首先进行摄像机的标定，由于在后期的摄影过程当中，三个摄像机将会根据目标物体的移动而移动，因此，本发明采用了摄像机的自定标方法，保证摄像机在移动改变位置后仍然能够较快的完成标定。

双目立体视觉三维测量原理的基础是基于视差原理，通过两个观测点观察同一观测物，以获得在不同视觉情况下的同一观测物的图像，通过三角测量原理计算出图像像素间的视差来获得观测物的三维空间信息。在信息处理的流程中，一个双目立体视觉系统需要先后实现立体匹配和三维重建。在本发明中，由于系统中包含有三组双目立体视觉系统，因此，在系统的运行过程中，需要同时进行三次立体匹配和三维重建。

在经过三维重建后，系统将会得出一个完整的三维虚拟场景，使用者能够透过虚拟现实输出设备(VR头戴显示器等)对目标物进行全方位的观察。

在本发明中，为了使得目标物能够时刻处于三个摄像机的最佳摄影位置，摄影机将会随着目标物位置的改变而时刻调整自身的位置，以求目标物始终处于三个摄像机的延长线交点中。

在图3中，图中的阴影部分为摄像机的共同拍摄区域，当目标物位置改变了以后，摄像机能够根据目标物的位置即时改变自身的位置，保证目标物始终处于三个摄像机的共同拍摄范围之内。

如图4所示，当目标物处于滑轨平面以外时，摄像机也能通过相应的运动保持对目标物的跟踪拍摄。图4中虚线围成的立体部分即为摄像机的共同拍摄区域。

实施例二

本实施例二中实现了一种具有两条弧形滑轨的应用于室内场景虚拟现实直播的三目立体视觉系统。

本实施例采用了两段弧形的滑轨，两条滑轨共同组成了一条环形轨道，三个摄像机布置在滑轨上，并能够独立的自由活动。

系统的运行流程与实施例一中的相同，而附图5则为实施例二的摄像机分布示意图。

与实施例一类似，如图6所示，由于摄像机具有三个自由度，因此，当目标物处于滑轨平面以外时，摄像机也能运动至相应的位置，配合以合适的拍摄角度对目标物实行跟踪拍摄。

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图，对本发明作进一步详细的说明。

此处的说明以具有三个摄像机的实例进行，在实际的使用过程中，用户可以根据自身的使用环境自主增加摄像机的个数。

在本发明中，运行在滑轨上的为三个参数性能相同的摄像机，每条滑轨及摄像机的组合如图7所示，摄像机1的视角均为120°，为了保证虚拟摄像的拍摄质量，摄像机的分辨率应在700线以上。在系统的运行过程中，三个摄像机将会从三个不同的观察点对目标物进行观察，拍摄出的影像通过立体匹配和三维重建形成全方位的虚拟影像输出给用户。

滑轨2的形状为“工”字型，两端的凹槽能够固定住滑动平台的轮子，使得摄像机能够更为牢固稳定的在滑轨上运动，同时，也使得使用者能够根据实际的使用环境将滑轨布置到房间的顶部，而不影响系统的运行。

摄像机和滑轨的驱动小车3具有四个驱动轮，能够带动摄像机沿着滑轨前后移动，以达到合适的摄影位置。

图8为本发明所使用的摄像机的结构示意图。其中，连接摄像机主体与支架的转动马达4使得摄像机能够实现转动功能。支撑着摄像机主体的摇动支架5使得摄像机具有前后摇动的功能。驱动小车3、转动马达4、摇动支架5相结合，使得本发明的摄像机具有三个自由度，从而能够通过改变自身位置和拍摄角度来实现更好的拍摄效果。

更优的，由于本发明的滑轨相互独立，因此，本发明具有较强的灵活性，用户能够根据实际拍摄场地的环境自主布置滑轨的位置，甚至增加滑轨和摄像机的数目，以达到更佳的摄影效果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.应用于室内场景虚拟现实直播的多目立体视觉系统，其特征在于：包括设置在室内的M个导轨、在M个滑轨上滑动的N个独立的摄像机、N个能够带动摄像机在滑轨上移动的驱动小车、处理器、虚拟现实输出设备，其中M≥1，N≥3；所述N个独立的摄像机能够两两组合在一起对目标物进行拍摄，并将拍摄的信息传输给处理器，处理器经过处理后，将虚拟现实视频信号传输至虚拟现实输出设备，用户通过虚拟现实输出设备对目标物进行观察。

2.根据权利要求1所述应用于室内场景虚拟现实直播的多目立体视觉系统，其特征在于：所述摄像机的自由度大于等于3，当目标物的位置改变时，摄像机根据实际情况实时通过左右转动和上下摆动来获取所需的摄影角度；当滑轨不能围合成封闭的几何形状时，多个摄像机之间通过调整各自的角度来实时跟踪目标物。

3.根据权利要求1所述应用于室内场景虚拟现实直播的多目立体视觉系统，其特征在于：所述驱动小车包括滑动平台、支撑滑动平台的K个轮子；所述滑轨的横截面的形状为工字形，滑轨的左侧形成第一凹槽，滑轨的右侧形成第二凹槽；其中滑动平台上固定有摄像机，m个轮子设置在第一凹槽中，n个轮子设置在第一凹槽中，K、m、n均为正整数，且K＝m+n。

4.根据权利要求1至3任一权利要求所述应用于室内场景虚拟现实直播的多目立体视觉系统，其特征在于：所述M＝3，N＝3；则三条滑轨上个分别设置一个摄像机；三条滑轨处于同一平面，该平面平行于室内地面，且任意两条滑轨之间的夹角为60°，每个摄像机的视角均大于120°。

5.根据权利要求1至3任一权利要求所述应用于室内场景虚拟现实直播的多目立体视觉系统，其特征在于：所述M＝1，N＝3；则一条滑轨上设置三个摄像机，滑轨为封闭的圆形，该滑轨所在平面平行于室内地面。

6.根据权利要求1所述应用于室内场景虚拟现实直播的多目立体视觉系统，其特征在于：所述虚拟现实输出设备包括VR头戴显示器。

7.基于权利要求1至6任一项权利要求所述应用于室内场景虚拟现实直播的多目立体视觉系统的应用于室内场景虚拟现实直播的多目立体视觉方法，包含以下步骤：

S1、设置在M个滑轨上的N个独立的摄像机进行自标定；其中M≥1，N≥3；所述N个独立的摄像机能够两两组合在一起对目标物进行拍摄，并将拍摄的信息传输给处理器；

S2、根据目标物的位置，处理器分别控制N个独立的摄像机移动至合适的位置；所述N个独立的摄像机是分别通过N个驱动小车带动摄像机在滑轨上移动的；

S3、处理器进行立体匹配；

S4、处理器进行三维重建；

S5、处理器输出虚拟现实视频信号，得到一个完整的三维虚拟场景；使用者通过虚拟现实输出设备对目标物进行全方位的观察。

8.根据权利要求7所述应用于室内场景虚拟现实直播的多目立体视觉系统，其特征在于：所述M＝3，N＝3；则三条滑轨上个分别设置一个摄像机；三条滑轨处于同一平面，该平面平行于室内地面，且任意两条滑轨之间的夹角为60°，每个摄像机的视角均大于120°；

首先基于视差原理，通过两个观测点观察同一目标物，获得在不同视觉情况下的同一目标物的图像；

然后通过三角测量原理计算出图像像素间的视差来获得目标物的三维空间信息；

N个独立的摄像机能够两两组合在一起对目标物进行拍摄，当N＝3时，摄像机有三组不同的组合，处理器进行三次立体匹配和三维重建。