CN105516596A

CN105516596A - 一种全景拍摄处理方法、装置及系统

Info

Publication number: CN105516596A
Application number: CN201511015633.0A
Authority: CN
Inventors: 宋翔; 郭跃; 张紫巍
Original assignee: Perfant Technology Co Ltd
Current assignee: Perfant Technology Co Ltd
Priority date: 2015-12-30
Filing date: 2015-12-30
Publication date: 2016-04-20
Also published as: WO2017113534A1

Abstract

本发明实施例提供一种全景拍摄处理方法、装置及系统，所述方法包括：获取至少两个图片集合，所述至少两个图片集合分别由对应的至少两台相机生成，每个图片集合包括至少一张图片，所述至少两台相机的视域能够全景覆盖，且所述至少两台相机之间实现成像参数同步；对所述至少两个图片集合中的图片进行像素点映射，并根据重合区域进行拼接处理，获得全景图片；对所述全景图片进行编码压缩处理。如此方案，有助于降低处理过程消耗的资源，实现全景图像或全景视频的实时在线处理。

Description

一种全景拍摄处理方法、装置及系统

技术领域

本发明涉及图像处理领域，特别涉及一种全景拍摄处理方法、装置及系统。

背景技术

全景拍摄，通常是指以某个点为中心进行水平360度和垂直180度拍摄，将所拍摄的多张图片拼接成一张全景图片的拍摄及图片拼接方法。

一般来说，全景拍摄至少可包括全景图像和全景视频两种形式。

具体地，全景图像的处理过程为：将单个相机安装在可转动支架上，由该相机在多个角度分别拍摄获得多张图片，再通过计算机软件对所述多张图片进行拼接处理，最终获得全景图像。

具体地，全景视频的处理过程为：使用多个相机同时拍摄多个角度获得多个视频文件，并通过计算机软件对所述多个视频文件进行拼接处理，最后再合成全景视频文件。

也就是，全景拍摄一般都需要计算机参与，由计算机对拍摄获得的图片或视频文件做离线处理。由于各个相机之间的成像参数存在一定的差异，不仅加大了计算机的计算量，造成计算机处理资源的大量消耗，还可能会影响全景图像或全景视频文件的图像质量。此外，考虑到计算机本身冗余电路的功耗，还导致整个全景拍摄系统存在功耗高的缺点。需要说明的是，冗余电路可以理解为用于生成全景图像或全景视频之外的电路。

发明内容

本发明实施例提供一种全景拍摄处理方法、装置及系统，有助于降低处理过程消耗的资源，实现全景图像或全景视频的实时在线处理。

一种全景拍摄处理方法，所述方法包括：

获取至少两个图片集合，所述至少两个图片集合分别由对应的至少两台相机生成，每个图片集合包括至少一张图片，所述至少两台相机的视域能够全景覆盖，且所述至少两台相机之间实现成像参数同步；

对所述至少两个图片集合中的图片进行像素点映射，并根据重合区域进行拼接处理，获得全景图片；

对所述全景图片进行编码压缩处理。

可选地，所述对所述至少两个图片集合中的图片进行像素点映射，并根据重合区域进行拼接处理，获得全景图片，包括：

将所述至少两个图片集合写入第一内存，并控制图形处理器GPU获得所述第一内存的操作权；

所述GPU控制进行所述像素点映射和所述拼接处理，获得所述全景图片。

可选地，所述对所述全景图片进行编码压缩处理，包括：

控制编码器获得所述第一内存的操作权，并由所述编码器对所述全景图片进行编码处理。

可选地，所述全景拍摄用于拍摄全景视频，所述方法还包括：

获取音频数据，并对所述音频数据进行编码压缩处理，获得音频文件；

根据时间戳信息，对所述全景图片和所述音频文件进行混合处理，获得全景视频文件。

可选地，所述对所述音频数据进行编码压缩处理，获得音频文件，包括：

将所述音频数据保存至第二内存，并控制编码器获得所述第二内存的操作权；

所述编码器对所述音频数据进行编码处理，获得所述音频文件。

一种全景拍摄处理装置，其特征在于，所述装置包括：

图片集合获取单元，用于获取至少两个图片集合，所述至少两个图片集合分别由对应的至少两台相机生成，每个图片集合包括至少一张图片，所述至少两台相机的视域能够全景覆盖，且所述至少两台相机之间实现成像参数同步；

全景图片获得单元，用于对所述至少两个图片集合中的图片进行像素点映射，并根据重合区域进行拼接处理，获得全景图片；

编码压缩处理单元，用于对所述全景图片进行编码压缩处理。

可选地，所述全景图片获得单元，具体用于将所述至少两个图片集合写入第一内存，并控制图形处理器GPU获得所述第一内存的操作权；所述GPU控制进行所述像素点映射和所述拼接处理，获得所述全景图片。

可选地，所述编码压缩处理单元，具体用于控制编码器获得所述第一内存的操作权，并由所述编码器对所述全景图片进行编码处理。

可选地，所述全景拍摄用于拍摄全景视频，所述装置还包括：

音频文件获得单元，用于获取音频数据，并对所述音频数据进行编码压缩处理，获得音频文件；

混合处理单元，用于根据时间戳信息，对所述全景图片和所述音频文件进行混合处理，获得全景视频文件。

可选地，所述音频文件获得单元，具体用于将所述音频数据保存至第二内存，并控制编码器获得所述第二内存的操作权；所述编码器对所述音频数据进行编码处理，获得所述音频文件。

一种全景拍摄处理系统，其特征在于，所述系统包括：上述全景拍摄处理装置、全景拍摄平台和控制器；

所述控制器，用于对所述全景拍摄平台进行成像参数同步；

所述全景拍摄平台，用于根据所述控制器同步的成像参数，生成至少两个图片集合。

可选地，所述全景拍摄平台包括至少两个传感器板和至少两台相机，所述至少两台相机的视域能够全景覆盖，每台相机安装于一个传感器板上，所述控制器通过所述传感器板对所述相机进行成像参数同步。

可选地，所述全景拍摄平台包括三个传感器板和三台185度鱼眼相机，

所述三个传感器板之间采用60度内夹角方式连接，所述三台185度鱼眼相机分别安装于所述三个传感器板上，实现水平360度和垂直180度的全景覆盖。

可选地，所述控制器，还用于在不进行全景拍摄时，控制所述全景拍摄平台切换为休眠状态。

与现有技术相比，本发明实施例提供的全景拍摄处理方法、装置及系统，全景拍摄平台接受控制，在各个相机之间进行成像参数同步，尽量减小各个相机所拍图像之间的差异，为降低计算量、节省处理资源提供了技术基础，同时还为生成高质量的全景图片提供了技术保障。另外，本发明实施例的处理过程脱离了计算机，由专用全景拍摄处理装置实现，还有助于解决冗余电路造成的全景拍摄系统的整体功耗高的问题。综上，本发明实施例提供的处理方案，有助于实现全景图像或全景视频的实时在线处理，实用性较强。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例全景拍摄处理方法实施例1的流程图；

图2是本发明实施例全景拍摄处理方法实施例2的流程图；

图3是本发明实施例全景拍摄处理装置的结构示意图；

图4是本发明实施例中全景拍摄平台的俯视示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参考图1，示出了本发明实施例全景拍摄处理方法实施例1的流程图，可以包括以下步骤：

S101，获取至少两个图片集合，所述至少两个图片集合分别由对应的至少两台相机生成，每个图片集合包括至少一张图片，所述至少两台相机的视域能够全景覆盖，且所述至少两台相机之间实现成像参数同步。

在介绍本发明实施例处理方法之前，需要说明的是，本发明实施例在各个相机之间进行了成像参数同步，也就是说，各个相机采用相同的成像参数拍摄照片或者录制视频，这就为有效降低全景图片计算量提供了一定的技术基础。举例来说，本发明实施例中的成像参数可以为曝光、白平衡、宽动态等等，具体可根据实际拍摄需求而定，本发明实施例对此可不做具体限定。

另外，本发明实施例中，可以通过合理布置相机的位置以及拍摄视域，由至少两台相机实现视域的全景覆盖，也就是说可实现水平360度和垂直180度的覆盖。本发明实施例中，通过全景拍摄平台来拍摄照片或录制视频，具体可参照下文所做介绍，其中图4示出了本发明实施例中全景拍摄平台的一种结构示例图。

举例来说，本发明实施例可通过以下方式在各个相机之间进行成像参数同步：手动为各个相机设定相同的成像参数；或者，由第三方设备向各个相机输入相同的成像参数，例如下文中介绍的控制器。需要说明的是，第三方设备向相机输入的成像参数，可以是人为手动设置，也可以是第三方平台根据需要自动生成，本发明实施例对此可不做具体限定。

需要说明的是，本发明实施例方案既可适用于全景图像生成过程，又可适用于全景视频生成过程。如果全景拍摄用于拍摄全景图像，则图片集合中的图片为相机拍摄的照片；如果全景拍摄用于拍摄全景视频，则图片集合中的图片为相机录制视频中提取的图像帧。

举例来说，为了节省数据传输带宽，图片可以Bayer格式RAW数据流方式传输，如此，针对图片集合中的图片还可先进行预处理，将其处理成彩色图像。作为一种示例，本发明实施例中的预处理可以为：通过曝光和增益来控制图像亮度、通过白平衡来控制色彩分量比重、通过伽马来控制不同亮度区域的对比度，等等，本发明实施例对此可不做具体限定。

S102，对所述至少两个图片集合中的图片进行像素点映射，并根据重合区域进行拼接处理，获得全景图片。

本步骤主要用于通过映射处理和拼接处理生成全景图片。作为一种示例，可通过图形处理器(英文：GraphicsProcessingUnit，简称：GPU)生成全景图片。

具体地，将获得的图片集合写入第一内存后，可通过向GPU赋操作权的方式，由GPU对图片集合做映射和拼接处理。举例来说，可通过将第一内存标记为GPU控制的方式，实现向GPU赋操作权的目的。举例来说，本发明实施例中的映射处理可以体现为将图片集合中的每张图片的像素点映射到全景图片的对应位置，拼接处理则可体现为对重叠区域的融合过渡处理。

S103，对所述全景图片进行编码压缩处理。

为了方便全景图片的存储与传输，还可对全景图片做编码压缩处理，具体可通过编码器(Encoder)实现，如高清H.264/H.265编码器。具体地，在GPU生成全景图片后，可通过向Encoder赋操作权的方式，由Encoder对全景图片进行编码压缩处理。举例来说，可通过将第一内存标记为Encoder控制的方式，实现向Encoder赋操作权的目的。

综上就完成了本发明实施例的全景拍摄处理过程，首先，作为处理对象的图片，因为各相机之间进行了成像参数同步，所以图片之间不会存在过多的差异，为降低计算量提供了技术基础，同时还为生成高质量的全景图片提供了技术保障；其次，本发明实施例的处理过程脱离了计算机，由专用全景拍摄处理装置实现，还有助于解决冗余电路造成的全景拍摄系统的整体功耗高的问题。

参考图2，示出了本发明实施例全景拍摄处理方法实施例2的流程图。本实施例主要适用于拍摄全景视频，可以包括以下步骤：

S103，对所述全景图片进行编码压缩处理。

步骤S101～S103的实现过程可参照上文图1处所做介绍，此处不再赘述。

S201，获取音频数据，并对所述音频数据进行编码压缩处理，获得音频文件；

S202，根据时间戳信息，对所述全景图片和所述音频文件进行混合处理，获得全景视频文件。

也就是说，在拍摄全景视频时，除了全景图片之外，还需要获得全景图片对应的音频文件。具体地，在全景拍摄平台生成图片集合时，还可同步采集此时对应出现的音频数据，并由全景拍摄处理装置将获得的音频数据写入第二内存，然后由编码器对音频数据进行编码压缩处理，获得音频文件，进而再对全景图片和音频文件做混合处理，生成全景视频文件。需要说明的是，同样可通过将第二内存标记为Encoder控制的方式，实现向Encoder赋操作权的目的。

另外，需要说明的是，音频信息可以由全景拍摄处理装置采集获得，也可以由全景拍摄平台采集获得，或者还可以由其他第三方设备采集获得，本发明实施例对此可不做具体限定。

与上文所述方法相对应地，本发明实施例还提供一种全景拍摄处理装置，参见图3，示出了全景拍摄处理装置的结构示意图，可包括：

图片集合获取单元301，用于获取至少两个图片集合，所述至少两个图片集合分别由对应的至少两台相机生成，每个图片集合包括至少一张图片，所述至少两台相机的视域能够全景覆盖，且所述至少两台相机之间实现成像参数同步；

全景图片获得单元302，用于对所述至少两个图片集合中的图片进行像素点映射，并根据重合区域进行拼接处理，获得全景图片；

编码压缩处理单元303，用于对所述全景图片进行编码压缩处理。

与上文所述方法相对应地，本发明实施例还提供一种全景拍摄处理系统，所述系统包括：上文所述的全景拍摄处理装置、全景拍摄平台和控制器。其中，所述控制器，用于对所述全景拍摄平台进行成像参数同步；所述全景拍摄平台，用于根据所述控制器同步的成像参数，生成至少两个图片集合。

可选地，所述全景拍摄平台包括至少两个传感器板(SensorBoard)和至少两台相机，所述至少两台相机相互配合，共同实现视域的全景覆盖，每台相机安装于各自对应的一个传感器板上，所述控制器通过所述传感器板对所述相机进行成像参数同步。

作为一种示例，全景拍摄平台可以包括两个传感器板和两台185度相机，其中，两个传感器板呈背靠背方式设置，每台185度相机安装于一块传感器板上，实现水平360度和垂直180度的全景覆盖。

作为一种示例，全景拍摄平台可以包括三个传感器板和三台185度鱼眼相机，其中，三个传感器板之间采用60度内夹角方式连接，每台185度鱼眼相机安装于一个传感器板上，实现水平360度和垂直180度的全景覆盖。具体可参见图4所示全景拍摄平台的俯视示意图。

作为一种示例，全景拍摄平台可以包括四个传感器板和四台150度～160度鱼眼相机，其中，四个传感器板之间采用90度内夹角方式连接，每台鱼眼相机安装于一个传感器板上，实现水平360度和垂直180度的全景覆盖。

当然，可以根据实际拍摄需要，设置全景拍摄平台的多种实现方式，本发明实施例仅以上文所举示例做简单说明，但并不对全景拍摄平台的具体结构做具体限定。另外，还需要说明的是，全景拍摄平台除了可实现视域的全景覆盖之外，相邻相机之间还可存在一定的重叠(overlap)区域，如此可更好的保证全景拍摄平台的全景覆盖。

可选地，全景拍摄平台还可根据外部控制，在全景图像模式和全景视频模式之间切换，分别用于生成全景图像或者全景视频。

可选地，所述控制器，还用于在不进行全景拍摄时，控制所述全景拍摄平台切换为休眠状态。也就是说，全景拍摄平台可根据控制器的控制，在工作状态和休眠状态之间切换，如此还有助于进一步降低全景拍摄系统的整体功耗。

需要说明的是，控制器可仅用于同步成像参数、切换全景拍摄平台状态，对应于此，本发明实施例全景拍摄处理系统的交互方式可以为：全景拍摄平台分别与控制器和全景拍摄处理装置通信，全景拍摄平台生成的图片集合直接发送至全景拍摄处理装置。

或者，除同步成像参数、切换全景拍摄平台状态等功能外，还可将部分对图片集合的处理移植控制器实现，如控制器通过FPGA(Field-ProgrammableGateArray，中文：现场可编程门阵列)实现，FPGA可先对图片集合中的图片稍作处理，然后再传输至全景拍摄处理装置进行后续处理，如由FPGA对图片做水平对齐、预处理等等，本发明实施例对此可不做具体限定。对应于此，本发明实施例全景拍摄处理系统的交互方式可以为：控制器分别与全景拍摄处理装置和全景拍摄平台通信，即全景拍摄平台生成的图片集合通过控制器发送至全景拍摄处理装置。

综上，上文仅是对本发明实施例系统所含部件的划分方式做的举例说明，但本发明实施例对此并不做具体限定。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类和系统类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的方案进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种全景拍摄处理方法，其特征在于，所述方法包括：

对所述全景图片进行编码压缩处理。

2.根据权利要求1所述的方法，其特征在于，所述对所述至少两个图片集合中的图片进行像素点映射，并根据重合区域进行拼接处理，获得全景图片，包括：

3.根据权利要求1所述的方法，其特征在于，所述对所述全景图片进行编码压缩处理，包括：

4.根据权利要求1至3任一项所述的方法，其特征在于，所述全景拍摄用于拍摄全景视频，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述对所述音频数据进行编码压缩处理，获得音频文件，包括：

6.一种全景拍摄处理装置，其特征在于，所述装置包括：

7.一种全景拍摄处理系统，其特征在于，所述系统包括：如权利要求6所述的全景拍摄处理装置、全景拍摄平台和控制器；

所述控制器，用于对所述全景拍摄平台进行成像参数同步；

8.根据权利要求7所述的系统，其特征在于，所述全景拍摄平台包括至少两个传感器板和至少两台相机，所述至少两台相机的视域能够全景覆盖，每台相机安装于一个传感器板上，所述控制器通过所述传感器板对所述相机进行成像参数同步。

9.根据权利要求8所述的系统，其特征在于，所述全景拍摄平台包括三个传感器板和三台185度鱼眼相机，

10.根据权利要求7至9任一项所述的系统，其特征在于，

所述控制器，还用于在不进行全景拍摄时，控制所述全景拍摄平台切换为休眠状态。