CN105516597B

CN105516597B - 一种全景拍摄处理方法及装置

Info

Publication number: CN105516597B
Application number: CN201511015635.XA
Authority: CN
Inventors: 宋翔; 郭跃; 王健军
Original assignee: Perfant Technology Co Ltd
Current assignee: Perfant Technology Co Ltd
Priority date: 2015-12-30
Filing date: 2015-12-30
Publication date: 2018-11-13
Anticipated expiration: 2035-12-30
Also published as: WO2017113533A1; CN105516597A

Abstract

本发明实施例提供一种全景拍摄处理方法及装置，所述方法包括：获取待处理图片和预设坐标映射表，所述待处理图片由至少两张原始图片水平拼接而成，所述预设坐标映射表保存有所述待处理图片上的像素点坐标与全景图片上的像素点坐标之间的对应关系；将所述全景图片中的像素点作为目标像素点，利用所述预设坐标映射表，确定所述目标像素点对应于所述待处理图片上的源像素点；利用所述源像素点进行投射，并根据投射结果获得所述全景图片。如此方案，可降低处理过程中的计算量，有助于实现全景图片的实时在线处理。

Description

一种全景拍摄处理方法及装置

技术领域

本发明涉及图像处理领域，特别涉及一种全景拍摄处理方法及装置。

背景技术

全景拍摄，通常是指以某个点为中心进行水平360度和垂直180度拍摄，将所拍摄的多张图片拼接成一张全景图片的拍摄及图片拼接方法。

一般来说，全景拍摄至少可包括全景图像和全景视频两种形式。

具体地，全景图像的处理过程为：将单个相机安装在可转动支架上，由该相机在多个角度分别拍摄获得多张原始图片，再基于全景拼接算法，通过计算机软件对原始图片进行拼接处理，最终获得全景图像。

具体地，全景视频的处理过程为：使用多个相机同时拍摄多个角度获得多个视频文件，并将从视频文件中提取图像帧作为原始图片，再基于全景拼接算法，通过计算机软件对原始图片进行拼接处理，最后再合成全景视频文件。

通常，全景拼接算法分为映射和拼接两部分。其中，映射是指将原始图片上的像素点投射到全景图片对应的位置上，拼接是指对重叠区域进行融合过渡。处理过程可以理解为：将原始图片逐张映射到全景图片，每完成相邻两张原始图片的映射，就对二者之间的重叠区域做一次融合过渡。也就是说，利用全景拼接算法对多张原始图片进行拼接处理的过程，是一个Multi-Pass的计算过程，整个处理过程的计算量非常庞大，对计算机处理资源的消耗也很大，通常采用计算机离线方式实现，目前还无法实现实时在线处理。另外，考虑到普适性，计算机需要为原始图片上的每一个像素点都进行一次完整的投射计算，如此势必会进一步加大处理过程的计算量，进一步加剧计算机资源消耗。

发明内容

本发明实施例提供一种全景拍摄处理方法及装置，有助于降低处理过程的计算量，有助于实现全景图片的实时在线处理。

一种全景拍摄处理方法，所述方法包括：

获取待处理图片和预设坐标映射表，所述待处理图片由至少两张原始图片水平拼接而成，所述预设坐标映射表保存有所述待处理图片上的像素点坐标与全景图片上的像素点坐标之间的对应关系；

将所述全景图片中的像素点作为目标像素点，利用所述预设坐标映射表，确定所述目标像素点对应于所述待处理图片上的源像素点；

利用所述源像素点进行投射，并根据投射结果获得所述全景图片。

优选的，所述利用所述预设坐标映射表，确定所述目标像素点对应于所述待处理图片上的源像素点，包括：

获取所述目标像素点的第一坐标，并从所述预设坐标映射表中查找与所述第一坐标具有对应关系的第二坐标；

将所述待处理图片中具有第二坐标的像素点确定为所述源像素点。

优选的，所述利用所述源像素点进行投射，并根据投射结果获得所述全景图片，包括：

判断所述目标像素点是否位于重叠区域；

如果未位于所述重叠区域，则获取所述源像素点的像素值进行投射，以获得所述全景图片；

如果位于所述重叠区域，则获取所述源像素点的混合像素值进行投射，以获得所述全景图片。

优选的，所述判断所述目标像素点是否位于重叠区域，包括：

判断利用所述目标像素点确定出的所述源像素点的数目是否为一；

如果所述数目为一，则判定所述目标像素点未位于所述重叠区域；否则判定所述目标像素点位于所述重叠区域。

优选的，获取所述预设坐标映射表的方式为：

分别估算每张原始图片的校正参数，并根据所述校正参数计算每张原始图片对应的坐标映射子表，所述坐标映射子表保存有原始图片上的像素点坐标与所述全景图片上的像素点坐标之间的对应关系；

将各个坐标映射子表进行水平拼接，获得所述预设坐标映射表。

一种全景拍摄处理装置，所述装置包括：

获取单元，用于获取待处理图片和预设坐标映射表，所述待处理图片由至少两张原始图片水平拼接而成，所述预设坐标映射表保存有所述待处理图片上的像素点坐标与全景图片上的像素点坐标之间的对应关系；

确定单元，用于将所述全景图片中的像素点作为目标像素点，利用所述预设坐标映射表，确定所述目标像素点对应于所述待处理图片上的源像素点；

投射单元，用于利用所述源像素点进行投射，并根据投射结果获得所述全景图片。

优选的，所述确定单元，具体用于获取所述目标像素点的第一坐标，并从所述预设坐标映射表中查找与所述第一坐标具有对应关系的第二坐标；将所述待处理图片中具有第二坐标的像素点确定为所述源像素点。

优选的，所述投射单元，具体用于判断所述目标像素点是否位于重叠区域；如果未位于所述重叠区域，则获取所述源像素点的像素值进行投射，以获得所述全景图片；如果位于所述重叠区域，则获取所述源像素点的混合像素值进行投射，以获得所述全景图片。

优选的，所述投射单元，具体用于判断利用所述目标像素点确定出的所述源像素点的数目是否为一；如果所述数目为一，则判定所述目标像素点未位于所述重叠区域；否则判定所述目标像素点位于所述重叠区域。

优选的，所述装置还包括：

映射表获得单元，用于分别估算每张原始图片的校正参数，并根据所述校正参数计算每张原始图片对应的坐标映射子表，所述坐标映射子表保存有原始图片上的像素点坐标与所述全景图片上的像素点坐标之间的对应关系；将各个坐标映射子表进行水平拼接，获得所述预设坐标映射表。

与现有技术相比，本发明实施例提供的全景拍摄处理方法及装置，预先保存用于表示待处理图片和全景图片之间坐标对应关系的预设坐标映射表，并在需要映射处理时，通过查表方式，获得与全景图片中的目标像素点相对应的待处理图片上的源像素点，再利用查找出的源像素点完成像素值投射，获得全景图片。如此方案，以查表方式代替现有技术中的大量计算机计算，就可大大的降低全景拍摄过程中的计算量，以及处理过程消耗的资源，使超高分辨率全景图片的实时在线处理成为了可能。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例全景拍摄处理方法的流程图；

图2是本发明实施例中全景拍摄平台的俯视示意图；

图3是本发明实施例中像素点投射的流程图；

图4是本发明实施例全景拍摄处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参考图1，示出了本发明实施例全景拍摄处理方法的流程图，可以包括以下步骤：

S101，获取待处理图片和预设坐标映射表，所述待处理图片由至少两张原始图片水平拼接而成，所述预设坐标映射表保存有所述待处理图片上的像素点坐标与全景图片上的像素点坐标之间的对应关系。

为了最大可能的减小图片处理过程中的计算量，本发明实施例提供一种通过在线查表方式进行映射的方案。具体可分为离线处理和在线处理两部分，其中，离线处理主要是指离线生成预设坐标映射表，在线处理主要是结合预设坐标映射表进行映射拼接获得全景图片。举例来说，离线处理可以在出厂配置时实现，或者，在全景拍摄之前实现，本发明实施例对此可不做具体限定。

下面对本发明实施例获得预设坐标映射表的方式做解释说明。

具体方式为：分别估算每张原始图片的校正参数，并根据所述校正参数计算每张原始图片对应的坐标映射子表，所述坐标映射子表保存有原始图片上的像素点坐标与全景图片上的像素点坐标之间的对应关系；将各个坐标映射子表进行水平拼接，获得预设坐标映射表。举例来说，目前有三张原始图片，则可先获得三张原始图片对应的三个坐标映射子表，然后再将这三张坐标映射子表水平拼接为一张表，即为本发明实施例中的预设坐标映射表。需要说明的是，全景拍摄需要满足视域在水平360度和垂直180度的全景覆盖，因此，三张原始图片中相邻两张图片之间存在一定的重叠区域，也就是说，针对重叠区域来说，预设坐标映射表为其保存两组对应关系。另外，作为一种示例，本发明实施例中的校正参数可以为：镜头偏心、相机三维姿态、镜头畸变参数等等，本发明实施例对此可不做具体限定。

需要在线处理时，可先读入待处理图片和预设映射表。举例来说，预设映射表可存储于非易失性存储器中，并在需要时被读出。结合上文所举示例，待处理图片由三张原始图片水平拼接而成，可以在映射的前一个步骤中实现。

作为一种示例，本发明实施例的处理过程可以由图形处理器(英文：GraphicsProcessing Unit，简称·GPU)实现，具体地，将待处理图片和预设映射表读入内存后，可通过向GPU赋操作权的方式，由GPU对图片做映射和拼接处理。举例来说，可通过将内存标记为GPU控制的方式，实现向GPU赋操作权的目的。

作为一种优选方案，为了进一步减小图片处理过程中的计算量，提高全景图片的质量，用于拍摄原始图片的各个相机之间可以进行成像参数同步。举例来说，成像参数同步方式可以为：手动为各个相机设定相同的成像参数；通过第三方设备向各个相机输入相同的成像参数；等等。本发明实施例中，成像参数可以为：曝光、白平衡、宽动态等等，具体可根据实际拍摄需求而定，本发明实施例同步方式以及成像参数等可不做具体限定。

作为一种示例，用于拍摄原始图片的全景拍摄平台可以为：至少两个传感器板(Sensor Board)和至少两台相机。其中，至少两台相机的视域能够共同实现水平360度和垂直180度的全景覆盖，每台相机安装于各自对应的一个传感器板上，并通过传感器板接收第三方设备输入的成像参数，实现参数同步。参见图2，示出了一种全景拍摄平台的俯视示意图，其中，三个传感器板之间采用60度内夹角方式连接，每台185度鱼眼相机安装于各自对应的传感器板上，实现了全景覆盖。

S102，将所述全景图片中的像素点作为目标像素点，利用所述预设坐标映射表，确定所述目标像素点对应于所述待处理图片上的源像素点。

映射可以理解为，将待处理图片上的像素点的像素值投射到全景图片上的像素点上，至少可包括两个处理动作：一是查找对应的像素点，二是像素值投射。

举例来说，可以将全景图片上的像素点作为目标像素点，针对每个目标像素点做如下处理，找到其对应的源像素点：获取所述目标像素点的第一坐标，并从所述预设坐标映射表中查找与所述第一坐标具有对应关系的第二坐标；将所述待处理图片中具有第二坐标的像素点确定为所述源像素点。也就是说，先通过预设坐标映射表，确定出源像素点的坐标，再结合待处理图片，进一步查找得到目标像素点对应的源像素点。

S103，利用所述源像素点进行投射，并根据投射结果获得所述全景图片。

如上文所做介绍，查找到目标像素点对应的源像素点后，可进行像素值投射，进而生成全景图片。参见图3，示出了本发明实施例中像素点投射的流程图，可包括：

S201，判断所述目标像素点是否位于重叠区域，如果未位于所述重叠区域，则执行S202；如果位于所述重叠区域，则执行S203。

S202，获取所述源像素点的像素值进行投射，以获得所述全景图片。

S203，获取所述源像素点的混合像素值进行投射，以获得所述全景图片。

为了确保全景拍摄实现水平360度和垂直180度的全景覆盖，相邻相机所拍原始图片之间会存在一定的重叠区域，以图2所示全景拍摄平台为例，相邻原始图片之间存在9度或者12度的重叠区域。因此，在生成全景图片时，根据目标像素点所在位置的不同，存在如下两种投射方式：

方式一，目标像素点未位于重叠区域，也就是说，经S102仅为该目标像素点查找到一个对应的源像素点，对应于此，可获取该源像素点的像素值，并将该像素值投射到目标像素点。

方式二，目标像素点位于重叠区域，也就是说，经S102为该目标像素点查找到两个对应的源像素点，对应于此，可获取这两个源像素点的像素值，并得到二者的混合像素值，将该混合像素值投射到目标像素点。举例来说，可对两个源像素点的像素值做Alpha混合得到混合像素值。

结合上述两种方式，对每个目标像素点完成像素值投射后，就得到了待处理图片对应的全景图片，或者，也可以理解为全景拍摄平台采集的原始图片对应的全景图片。

另外，需要说明的是，由上文所做介绍可知，本发明实施例判断目标像素点是否位于重叠区域的方式可简述为：判断利用所述目标像素点确定出的所述源像素点的数目是否为一；如果所述数目为一，则判定所述目标像素点未位于所述重叠区域；否则判定所述目标像素点位于所述重叠区域。

综上就完成了本发明实施例的全景拍摄处理过程，以查表方式代替现有技术中的大量计算机计算，大大的降低了全景拍摄过程中的计算量，可有效降低处理过程消耗的资源。另外，考虑到本发明实施例将水平拼接后的待处理图片作为处理对象，仅一次One Pass映射处理即可，相对现有技术有几张原始图片就进行几次处理的Multi-Pass映射来说，同样有助于降低本发明处理过程的计算量。如此，就使超高分辨率全景图片的实时在线处理成为了可能。

与上文所述方法相对应地，本发明实施例还提供一种全景拍摄处理装置，参见图4，示出了全景拍摄处理装置的结构示意图，可包括：

获取单元301，用于获取待处理图片和预设坐标映射表，所述待处理图片由至少两张原始图片水平拼接而成，所述预设坐标映射表保存有所述待处理图片上的像素点坐标与全景图片上的像素点坐标之间的对应关系；

确定单元302，用于将所述全景图片中的像素点作为目标像素点，利用所述预设坐标映射表，确定所述目标像素点对应于所述待处理图片上的源像素点；

投射单元303，用于利用所述源像素点进行投射，并根据投射结果获得所述全景图片。

可选地，所述确定单元，具体用于获取所述目标像素点的第一坐标，并从所述预设坐标映射表中查找与所述第一坐标具有对应关系的第二坐标；将所述待处理图片中具有第二坐标的像素点确定为所述源像素点。

可选地，所述投射单元，具体用于判断所述目标像素点是否位于重叠区域；如果未位于所述重叠区域，则获取所述源像素点的像素值进行投射，以获得所述全景图片；如果位于所述重叠区域，则获取所述源像素点的混合像素值进行投射，以获得所述全景图片。

可选地，所述投射单元，具体用于判断利用所述目标像素点确定出的所述源像素点的数目是否为一；如果所述数目为一，则判定所述目标像素点未位于所述重叠区域；否则判定所述目标像素点位于所述重叠区域。

可选地，所述装置还包括：

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的方案进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种全景拍摄处理方法，其特征在于，所述方法包括：

利用所述源像素点进行投射，并根据投射结果获得所述全景图片；

获取所述预设坐标映射表的方式为：

2.根据权利要求1所述的方法，其特征在于，所述利用所述预设坐标映射表，确定所述目标像素点对应于所述待处理图片上的源像素点，包括：

3.根据权利要求1所述的方法，其特征在于，所述利用所述源像素点进行投射，并根据投射结果获得所述全景图片，包括：

判断所述目标像素点是否位于重叠区域；

4.根据权利要求3所述的方法，其特征在于，所述判断所述目标像素点是否位于重叠区域，包括：

5.一种全景拍摄处理装置，其特征在于，所述装置包括：

投射单元，用于利用所述源像素点进行投射，并根据投射结果获得所述全景图片；

所述装置还包括：

6.根据权利要求5所述的装置，其特征在于，所述确定单元，具体用于获取所述目标像素点的第一坐标，并从所述预设坐标映射表中查找与所述第一坐标具有对应关系的第二坐标；将所述待处理图片中具有第二坐标的像素点确定为所述源像素点。

7.根据权利要求5所述的装置，其特征在于，所述投射单元，具体用于判断所述目标像素点是否位于重叠区域；如果未位于所述重叠区域，则获取所述源像素点的像素值进行投射，以获得所述全景图片；如果位于所述重叠区域，则获取所述源像素点的混合像素值进行投射，以获得所述全景图片。

8.根据权利要求7所述的装置，其特征在于，所述投射单元，具体用于判断利用所述目标像素点确定出的所述源像素点的数目是否为一；如果所述数目为一，则判定所述目标像素点未位于所述重叠区域；否则判定所述目标像素点位于所述重叠区域。