CN109640144A - 全景视频处理方法及终端 - Google Patents

Abstract

本发明公开了一种全景视频处理方法及终端，方法包括：同时采集第一视场范围的第一图像信息和第二视场范围的第二图像信息；根据所述第一图像信息获取第一视频流信息，根据所述第二图像信息获取第二视频流信息；根据操作系统缓冲技术对所述第一视频流信息和第二视频流信息进行同步处理，得到同步视频流信息；对所述同步视频流信息分别进行稳定处理和标定处理；输出全景视频。采用操作系统缓冲技术对第一视频流信息和第二视频流信息进行同步处理，可以保证两路视频信息的同步性和连续性；且对同步视频流信息进行稳定处理和标定处理，可以保证输出的全景视频的质量。

Description

全景视频处理方法及终端

技术领域

本发明涉及摄像技术领域，尤其涉及一种全景视频处理方法及终端。

背景技术

随着VR技术的不断成熟和发展，VR技术已经开始在医疗、娱乐和教育等社会领域发挥了重要的作用，VR技术的发展将对社会的发展进步起到巨大的推动作用。

全景摄像机最早应用于勇气号火星探测器，作为人类遣往其他行星上的第一个地面移动机器人，上面装有一对可拍摄火星表面彩色照片的全景摄像机以及各种传感器设备。2007年瑞典厄勒布鲁大学AASS移动机器人实验室研制出一种球形安全机器人GroundBot。该机器人在球形主体的两侧安置了可变焦摄像机拍摄周围环境，生成360度虚拟全景空间。利用获取的全景图像增强机器人对环境的观测感知能力和远程监控能力，并采用机器人的SLAM(Simultaneous Localization and Mapping，同步定位与建图)技术进行机器人自主定位和导航。同年，卡内基梅隆大学与美国宇航局在合作的GlobalConnection项目中，研发出一款全景摄像机器人Gigapan。该全景摄像机器人采用具有重叠的单张图像拍摄方法，生成高达10亿像素的全景图像。

目前全景摄像机根据硬件组成的不同，可以分为多镜头式全景摄像机和单镜头式全景摄像机。单镜头式全景摄像机一般采用单个鱼眼镜头，鱼眼镜头是一种超短焦距、超广角的镜头，其拍摄视野能够达到甚至超过180°。基于光的折射原理，鱼眼镜头的设计与制造一般遵循某个特定的投影模型，如等距投影模型，其投影模型及参数决定了鱼眼镜头的视野、分辨率分布情况。鱼眼图像有严重的畸变，如场景中的直线在鱼眼图像中可能成了曲线，因此鱼眼图像不适合人眼观察，需要把鱼眼图像校正成“看起来”正常的图像，去除或减少畸变，这一过程一般被称作鱼眼镜头畸变校正。多镜头式全景摄像机首先通过有规律地排列多个普通镜头来覆盖整个拍摄视野，然后通过图像配准、图像拼接及图像融合等技术来生成完整、无缝的全景图像。

全景摄像机的成功研制己经有将近十年的时间，但却一直没有得到广泛的应用，主要是由于技术和成本的限制。多镜头式需要使用多个摄像机，成本较高且图像拼接融合技术较为复杂；单鱼眼式相对普通镜头来讲同样价格偏高，且畸变图像后的分辨率及效果不尽如人意。随着计算摄影领域的深入研究和图像处理技术的逐步发展，人们对全景摄像水平的要求也越来越高，将畸变校正、稳像技术、自动曝光和拼接技术等多种图像处理技术融入到全景摄像机的自动处理功能中，从而得到稳定、高清的视频图像。

2016年被誉为VR全景相机的元年，国外Google、三星、诺基亚等大厂都进入了这个领域，还有360Heros、Jaunt VR、Next VR以及Bubl等较知名的厂商；国内推出全景相机的厂商包括暴风魔镜、Wipet、完美幻境、Insta 360、UCVR等等。如此多厂商进入全景相机领域，最大的源头在于Oculus这个将虚拟现实商业化的厂商给了一个很广阔的前景，而目前虚拟现实的主要支撑有两点，一点是基于交互的沉浸式VR游戏，另一种是基于全景拍摄的实景体验。

VR直播产生的全景视频体验，很大一部分都是由专业摄影机组合而成的VR摄影机拍摄而成，最著名的就是红龙摄像机，而最早利用红龙摄像机进行VR直播的大概就是NextVR。随后国内电影级VR摄影机Upano J2VR也开始出现，并成为国内大型体育赛事、音乐会、综艺节目等VR直播的最多选择。Upano J2VR整体价格在200万人民币左右，以租赁拍摄服务为主，采用了4台Red Epic Dragon(俗称红龙)6K摄像机组合而成。红龙摄像机对于动态捕捉、复杂的舞美环境拍摄等均能取得良好的效果，是拍摄电影画面的首选。电影级VR摄影机Upano J2VR的同类产品有NextVR(只出售VR直播服务)。

近年来，随着高清化、3D视频、VR的概念迅速被人们所熟知，一场视觉的变革正在如火如荼的发生着。任何一种产品的产生都离不开客户的需求及市场的发展，在这场革命中，扮演着重要角色的全景摄像机满足了单点拍摄实现大范围全景视角的覆盖，大范围视角获得到的信息量非常大，这也要求得到的图像像素需要非常高，这也是早期标清时代全景摄像机得不到广泛应用的重要原因之一，当然早期还受图像拼接及矫正技术的制约。然而，如何在低成本条件下保证多路视频帧的同步性和连续性仍是全景VR摄像机亟需解决的问题。

发明内容

本发明所要解决的技术问题是：提供一种全景视频处理方法及终端，可以很好地保证多路视频帧的同步性和连续性，且成本低。

为了解决上述技术问题，本发明采用的技术方案为：

一种全景视频处理方法，包括：

同时采集第一视场范围的第一图像信息和第二视场范围的第二图像信息；

根据所述第一图像信息获取第一视频流信息，根据所述第二图像信息获取第二视频流信息；

根据操作系统缓冲技术对所述第一视频流信息和第二视频流信息进行同步处理，得到同步视频流信息；

对所述同步视频流信息分别进行稳定处理和标定处理；

输出全景视频。

本发明采用的另一技术方案为：

一种全景视频处理终端，包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，

所述处理器执行所述计算机程序时实现以下步骤：

同时采集第一视场范围的第一图像信息和第二视场范围的第二图像信息；

根据所述第一图像信息获取第一视频流信息，根据所述第二图像信息获取第二视频流信息；

根据操作系统缓冲技术对所述第一视频流信息和第二视频流信息进行同步处理，得到同步视频流信息；

对所述同步视频流信息分别进行稳定处理和标定处理；

输出全景视频。

本发明的有益效果在于：采用操作系统缓冲技术对第一视频流信息和第二视频流信息进行同步处理，可以保证两路视频信息的同步性和连续性；且对同步视频流信息进行稳定处理和标定处理，可以保证输出的全景视频的质量。本发明的全景视频处理方法及终端，其成本低，得到的视频效果好。

附图说明

图1为本发明实施例一的全景视频处理方法的流程图；

图2为本发明实施例一的全景视频处理方法的另一流程图；

图3为本发明实施例二的全景视频处理终端的结构示意图。

标号说明：

100、全景视频处理终端；1、处理器；2、存储器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：采用操作系统缓冲技术对第一视频流信息和第二视频流信息进行同步处理，可以保证两路视频信息的同步性和连续性。

请参照图1以及图2，一种全景视频处理方法，包括：

同时采集第一视场范围的第一图像信息和第二视场范围的第二图像信息；

根据所述第一图像信息获取第一视频流信息，根据所述第二图像信息获取第二视频流信息；

根据操作系统缓冲技术对所述第一视频流信息和第二视频流信息进行同步处理，得到同步视频流信息；

对所述同步视频流信息分别进行稳定处理和标定处理；

输出全景视频。

从上述描述可知，本发明的有益效果在于：采用操作系统缓冲技术对第一视频流信息和第二视频流信息进行同步处理，可以保证两路视频信息的同步性和连续性；且对同步视频流信息进行稳定处理和标定处理，可以保证输出的全景视频的质量。本发明的全景视频处理方法，其成本低，得到的视频效果好。

进一步的，所述同时采集第一视场范围的第一图像信息和第二视场范围的第二图像信息之前还包括：

预设第一鱼眼镜头和第二鱼眼镜头，使所述第一鱼眼镜头两端的视角与所述第二鱼眼镜头两端的视角至少存在5°的重叠区。

由上述描述可知，第一鱼眼镜头和第二鱼眼镜头的设置方式可以是相背错位设置，且第一鱼眼镜头靠近第二鱼眼镜头设置，两个鱼眼镜头保证至少5°的重叠区可以实现球形视角的全方位覆盖。

进一步的，所述根据操作系统缓冲技术对所述第一视频流信息和第二视频流信息进行同步处理，得到同步视频流信息具体包括：

预设第一视频帧缓冲队列和第二视频帧缓冲队列；

当所述第一视频流信息或第二视频流信息达到预设内存时，生产者线程获得互斥锁，生产者将所述第一视频流信息加入到所述第一视频帧缓冲队列中或将所述第二视频流信息加入到所述第二视频帧缓冲队列中，得到排队视频帧，然后生产者线程释放互斥锁；

当所述第一视频帧缓冲队列和第二视频帧缓冲队列均不为空时，消费者线程获得互斥锁，消费者将所述第一视频帧缓冲队列和第二视频帧缓冲队列中队首的排队视频帧同时输出，得到同步视频流信息。

由上述描述可知，每一路视频流对应一个视频帧缓冲队列，通过互斥锁实现两个线程的读写同步，使得两个线程的读写同步率可以达到百分之百。

进一步的，所述根据操作系统缓冲技术对所述第一视频流信息和第二视频流信息进行同步处理，得到同步视频流信息具体还包括：

当所述第一视频帧缓冲队列或第二视频帧缓冲队列中的排队视频帧达到预设上限时，丢弃达到预设上限的视频帧缓冲队列的队首的排队视频帧。

由上述描述可知，丢弃达到预设上线的视频帧缓冲队列的队首的排队视频帧，便于新的视频帧进入。

进一步的，所述对所述同步视频流信息分别进行稳定处理和标定处理具体包括：

对所述同步视频流信息进行电子稳像处理，消除所述同步视频流信息的视频旋转和视频抖动；

对稳定处理后的同步视频流信息分别进行畸变矫正、投影变换、视频帧配准和拼接融合处理。

由上述描述可知，对同步视频流信息进行电子稳像处理、畸变矫正、投影变换、视频帧配准和拼接融合处理等，可以提高输出的全景视频的质量。

请参照图3，本发明涉及的另一技术方案为：

一种全景视频处理终端100，包括处理器1、存储器2以及存储在所述存储器2上并可在所述处理器1上运行的计算机程序，

所述处理器1执行所述计算机程序时实现以下步骤：

同时采集第一视场范围的第一图像信息和第二视场范围的第二图像信息；

根据所述第一图像信息获取第一视频流信息，根据所述第二图像信息获取第二视频流信息；

根据操作系统缓冲技术对所述第一视频流信息和第二视频流信息进行同步处理，得到同步视频流信息；

对所述同步视频流信息分别进行稳定处理和标定处理；

输出全景视频。

进一步的，所述处理器1执行所述计算机程序时还实现以下步骤：

所述同时采集第一视场范围的第一图像信息和第二视场范围的第二图像信息之前还包括：

预设第一鱼眼镜头和第二鱼眼镜头，使所述第一鱼眼镜头两端的视角与所述第二鱼眼镜头两端的视角至少存在5°的重叠区。

进一步的，所述根据操作系统缓冲技术对所述第一视频流信息和第二视频流信息进行同步处理，得到同步视频流信息具体包括：

预设第一视频帧缓冲队列和第二视频帧缓冲队列；

当所述第一视频流信息或第二视频流信息达到预设内存时，生产者线程获得互斥锁，生产者将所述第一视频流信息加入到所述第一视频帧缓冲队列中或将所述第二视频流信息加入到所述第二视频帧缓冲队列中，得到排队视频帧，然后生产者线程释放互斥锁；

当所述第一视频帧缓冲队列和第二视频帧缓冲队列均不为空时，消费者线程获得互斥锁，消费者将所述第一视频帧缓冲队列和第二视频帧缓冲队列中队首的排队视频帧同时输出，得到同步视频流信息。

进一步的，所述根据操作系统缓冲技术对所述第一视频流信息和第二视频流信息进行同步处理，得到同步视频流信息具体还包括：

当所述第一视频帧缓冲队列或第二视频帧缓冲队列中的排队视频帧达到预设上限时，丢弃达到预设上限的视频帧缓冲队列的队首的排队视频帧。

进一步的，所述对所述同步视频流信息分别进行稳定处理和标定处理具体包括：

对所述同步视频流信息进行电子稳像处理，消除所述同步视频流信息的视频旋转和视频抖动；

对稳定处理后的同步视频流信息分别进行畸变矫正、投影变换、视频帧配准和拼接融合处理。

请参照图1及图2，本发明的实施例一为：

一种全景视频处理方法，包括如下步骤：

S1、同时采集第一视场范围的第一图像信息和第二视场范围的第二图像信息。本实施例中，步骤S1之前还包括：

预设第一鱼眼镜头和第二鱼眼镜头，使所述第一鱼眼镜头两端的视角与所述第二鱼眼镜头两端的视角至少存在5°的重叠区。第一鱼眼镜头和第二鱼眼镜头的设置方式可以是相背错位设置，且第一鱼眼镜头靠近第二鱼眼镜头设置。本实施例中，两个鱼眼镜头的视场角均为230°。

S2、根据所述第一图像信息获取第一视频流信息，根据所述第二图像信息获取第二视频流信息。

S3、根据操作系统缓冲技术对所述第一视频流信息和第二视频流信息进行同步处理，得到同步视频流信息。

本实施例中，步骤S3具体包括：

S31、预设第一视频帧缓冲队列和第二视频帧缓冲队列。本实施例中，每一路视频流对应一个视频帧缓冲队列。

S32、当所述第一视频流信息或第二视频流信息达到预设内存时，生产者线程获得互斥锁，生产者将所述第一视频流信息加入到所述第一视频帧缓冲队列中或将所述第二视频流信息加入到所述第二视频帧缓冲队列中，得到排队视频帧，然后生产者线程释放互斥锁。

S33、当所述第一视频帧缓冲队列和第二视频帧缓冲队列均不为空时，消费者线程获得互斥锁，消费者将所述第一视频帧缓冲队列和第二视频帧缓冲队列中队首的排队视频帧同时输出，得到同步视频流信息。

异步时间差T_diff的公式表示为：B_size表示视频帧缓冲队列的大小，F_c为摄像装置的采集帧率，N_c为摄像装置的数量，D表示网络延时，视频采集传输线路和系统总线、带宽受限等原因都会产生网络延时。在摄像装置数量固定的条件下，视频帧缓冲队列越小，采集的图像就表现得越同步。但是，视频帧缓冲队列设置得过小，当场景复杂度突然发生较大变化时，采集帧率突然下降，缓冲区供应的图像比消费的更慢，即缓冲区队列有较大概率为空，这时采集的视频就会发生较明显的丢帧和滞后现象。本实施例中，通过设置第一视频帧缓冲队列和第二视频帧缓冲队列，能够保证最新采集的视频流信息能够及时供应以满足消费需求，从而保证了两路视频流信息的同步性和连续性。

本实施例中，步骤S3具体还包括：

S34、当所述第一视频帧缓冲队列或第二视频帧缓冲队列中的排队视频帧达到预设上限时，丢弃达到预设上限的视频帧缓冲队列的队首的排队视频帧。

S4、对所述同步视频流信息分别进行稳定处理和标定处理。

步骤S4具体包括：

S41、对所述同步视频流信息进行电子稳像处理，消除所述同步视频流信息的视频旋转和视频抖动。

S42、对稳定处理后的同步视频流信息分别进行畸变矫正、投影变换、视频帧配准和拼接融合处理。

S5、输出全景视频。

请参照图3，本发明的实施例二为：

一种全景视频处理终端100，与实施例一的方法相对应，包括处理器1、存储器2以及存储在所述存储器2上并可在所述处理器1上运行的计算机程序，

所述处理器1执行所述计算机程序时实现以下步骤：

同时采集第一视场范围的第一图像信息和第二视场范围的第二图像信息；

根据所述第一图像信息获取第一视频流信息，根据所述第二图像信息获取第二视频流信息；

根据操作系统缓冲技术对所述第一视频流信息和第二视频流信息进行同步处理，得到同步视频流信息；

对所述同步视频流信息分别进行稳定处理和标定处理；

输出全景视频。

进一步的，所述处理器1执行所述计算机程序时还实现以下步骤：

所述同时采集第一视场范围的第一图像信息和第二视场范围的第二图像信息之前还包括：

预设第一鱼眼镜头和第二鱼眼镜头，使所述第一鱼眼镜头两端的视角与所述第二鱼眼镜头两端的视角至少存在5°的重叠区。

进一步的，所述根据操作系统缓冲技术对所述第一视频流信息和第二视频流信息进行同步处理，得到同步视频流信息具体包括：

预设第一视频帧缓冲队列和第二视频帧缓冲队列；

当所述第一视频流信息或第二视频流信息达到预设内存时，生产者线程获得互斥锁，生产者将所述第一视频流信息加入到所述第一视频帧缓冲队列中或将所述第二视频流信息加入到所述第二视频帧缓冲队列中，得到排队视频帧，然后生产者线程释放互斥锁；

当所述第一视频帧缓冲队列和第二视频帧缓冲队列均不为空时，消费者线程获得互斥锁，消费者将所述第一视频帧缓冲队列和第二视频帧缓冲队列中队首的排队视频帧同时输出，得到同步视频流信息。

进一步的，所述根据操作系统缓冲技术对所述第一视频流信息和第二视频流信息进行同步处理，得到同步视频流信息具体还包括：

当所述第一视频帧缓冲队列或第二视频帧缓冲队列中的排队视频帧达到预设上限时，丢弃达到预设上限的视频帧缓冲队列的队首的排队视频帧。

进一步的，所述对所述同步视频流信息分别进行稳定处理和标定处理具体包括：

对所述同步视频流信息进行电子稳像处理，消除所述同步视频流信息的视频旋转和视频抖动；

对稳定处理后的同步视频流信息分别进行畸变矫正、投影变换、视频帧配准和拼接融合处理。

综上所述，本发明提供的一种全景视频处理方法及终端，采用操作系统缓冲技术对第一视频流信息和第二视频流信息进行同步处理，每一路视频流对应一个视频帧缓冲队列，通过互斥锁实现两个线程的读写同步，使得两个线程的读写同步率可以达到百分之百。本发明的全景视频处理方法及终端，其成本低，得到的视频效果好。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种全景视频处理方法，其特征在于，包括：

同时采集第一视场范围的第一图像信息和第二视场范围的第二图像信息；

根据所述第一图像信息获取第一视频流信息，根据所述第二图像信息获取第二视频流信息；

根据操作系统缓冲技术对所述第一视频流信息和第二视频流信息进行同步处理，得到同步视频流信息；

对所述同步视频流信息分别进行稳定处理和标定处理；

输出全景视频。

2.根据权利要求1所述的全景视频处理方法，其特征在于，所述同时采集第一视场范围的第一图像信息和第二视场范围的第二图像信息之前还包括：

预设第一鱼眼镜头和第二鱼眼镜头，使所述第一鱼眼镜头两端的视角与所述第二鱼眼镜头两端的视角至少存在5°的重叠区。

3.根据权利要求1所述的全景视频处理方法，其特征在于，所述根据操作系统缓冲技术对所述第一视频流信息和第二视频流信息进行同步处理，得到同步视频流信息具体包括：

预设第一视频帧缓冲队列和第二视频帧缓冲队列；

当所述第一视频流信息或第二视频流信息达到预设内存时，生产者线程获得互斥锁，生产者将所述第一视频流信息加入到所述第一视频帧缓冲队列中或将所述第二视频流信息加入到所述第二视频帧缓冲队列中，得到排队视频帧，然后生产者线程释放互斥锁；

当所述第一视频帧缓冲队列和第二视频帧缓冲队列均不为空时，消费者线程获得互斥锁，消费者将所述第一视频帧缓冲队列和第二视频帧缓冲队列中队首的排队视频帧同时输出，得到同步视频流信息。

4.根据权利要求3所述的全景视频处理方法，其特征在于，所述根据操作系统缓冲技术对所述第一视频流信息和第二视频流信息进行同步处理，得到同步视频流信息具体还包括：

当所述第一视频帧缓冲队列或第二视频帧缓冲队列中的排队视频帧达到预设上限时，丢弃达到预设上限的视频帧缓冲队列的队首的排队视频帧。

5.根据权利要求1所述的全景视频处理方法，其特征在于，所述对所述同步视频流信息分别进行稳定处理和标定处理具体包括：

对所述同步视频流信息进行电子稳像处理，消除所述同步视频流信息的视频旋转和视频抖动；

对稳定处理后的同步视频流信息分别进行畸变矫正、投影变换、视频帧配准和拼接融合处理。

6.一种全景视频处理终端，包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，

所述处理器执行所述计算机程序时实现以下步骤：

同时采集第一视场范围的第一图像信息和第二视场范围的第二图像信息；

根据所述第一图像信息获取第一视频流信息，根据所述第二图像信息获取第二视频流信息；

根据操作系统缓冲技术对所述第一视频流信息和第二视频流信息进行同步处理，得到同步视频流信息；

对所述同步视频流信息分别进行稳定处理和标定处理；

输出全景视频。

7.根据权利要求6所述的全景视频处理终端，其特征在于，所述处理器执行所述计算机程序时还实现以下步骤：

所述同时采集第一视场范围的第一图像信息和第二视场范围的第二图像信息之前还包括：

预设第一鱼眼镜头和第二鱼眼镜头，使所述第一鱼眼镜头两端的视角与所述第二鱼眼镜头两端的视角至少存在5°的重叠区。

8.根据权利要求6所述的全景视频处理终端，其特征在于，所述根据操作系统缓冲技术对所述第一视频流信息和第二视频流信息进行同步处理，得到同步视频流信息具体包括：

预设第一视频帧缓冲队列和第二视频帧缓冲队列；

当所述第一视频流信息或第二视频流信息达到预设内存时，生产者线程获得互斥锁，生产者将所述第一视频流信息加入到所述第一视频帧缓冲队列中或将所述第二视频流信息加入到所述第二视频帧缓冲队列中，得到排队视频帧，然后生产者线程释放互斥锁；

当所述第一视频帧缓冲队列和第二视频帧缓冲队列均不为空时，消费者线程获得互斥锁，消费者将所述第一视频帧缓冲队列和第二视频帧缓冲队列中队首的排队视频帧同时输出，得到同步视频流信息。

9.根据权利要求8所述的全景视频处理终端，其特征在于，所述根据操作系统缓冲技术对所述第一视频流信息和第二视频流信息进行同步处理，得到同步视频流信息具体还包括：

当所述第一视频帧缓冲队列或第二视频帧缓冲队列中的排队视频帧达到预设上限时，丢弃达到预设上限的视频帧缓冲队列的队首的排队视频帧。

10.根据权利要求6所述的全景视频处理终端，其特征在于，所述对所述同步视频流信息分别进行稳定处理和标定处理具体包括：

对所述同步视频流信息进行电子稳像处理，消除所述同步视频流信息的视频旋转和视频抖动；

对稳定处理后的同步视频流信息分别进行畸变矫正、投影变换、视频帧配准和拼接融合处理。