CN105959562A - 获取全景拍摄数据的方法、装置以及便携式全景拍摄设备 - Google Patents

Abstract

本发明公开了一种获取全景拍摄数据的方法、装置以及便携式全景拍摄设备，包括：采集至少两个相反拍摄方向上的同步拍摄数据；对两路同步拍摄数据分别做预处理并分别存储预处理后的同步拍摄数据；对存储的同步拍摄数据做映射变换拼接处理，形成全景拍摄数据，该方法由于两路同步拍摄数据在水平方向上存在较大的交叠区域，进而能够保证精确的映射参数计算，同时该种采集同步拍摄数据的方式通常会产生两条竖立的拼接带，然而这种规整的拼接带会对后续两路同步拍摄数据的高效处理提供良好基础。

Description

获取全景拍摄数据的方法、装置以及便携式全景拍摄设备

技术领域

本发明涉及摄像技术领域，特别涉及一种获取全景拍摄数据的方法、装置以及便携式全景拍摄设备。

背景技术

全景拍摄是通过摄像设备360度拍摄的一组或多组照片拼接成一个全景图像信息。

全景拍摄通常为图像拍摄和视频拍摄。其中，对于生成360度全景图像一般是将单个相机安装于可转动支架上，在多个位置上分别拍摄图像，然后通过计算机软件对多个拍摄图像进行拼接，从而形成360度全景图像。该全景图像拍摄流程需要在拍摄后离线实施。

对于生成360度全景视频一般采用的方法为使用多个摄像机同时拍摄多个角度的视频，然后通过计算机软件对多个视频文件进行解码、同步、拼接并重新合成为新的全景视频文件。该全景视频拍摄流程同样也只能在拍摄后离线实施，且需要大量的计算能力；同时由于多个摄像机的成像参数差异很大且无法良好同步，导致生成的全景视频质量较差。

因此，现有全景拍摄系统臃肿，低效，极大地限制了全景视频拍摄的实用性。

发明内容

本发明提供一种获取全景拍摄数据的方法，以解决上述存在的技术问题。

本发明提供一种获取全景拍摄数据的方法，包括：

采集至少两个相反拍摄方向上的同步拍摄数据；

对两路同步拍摄数据分别做预处理并分别存储预处理后的同步拍摄数据；

对存储的同步拍摄数据做映射变换拼接处理，形成全景拍摄数据。

优选的，所述采集至少两个相反拍摄方向上的同步拍摄数据，其中，所述两个相反拍摄方向在水平方向上具有交叠区域。

优选的，所述对所述同步拍摄数据分别做预处理，包括：

对所述同步拍摄数据的每一帧做格式转换处理。

优选的，所述采集至少两个相反拍摄方向上的同步拍摄数据，包括：

采集与所述同步拍摄数据相匹配的音频数据并存储；

所述对存储的同步拍摄数据做映射变换拼接处理，形成全景拍摄数据，包括：

分别对所述音频数据和所述全景拍摄数据编码，形成音频数据字节流和全景拍摄数据字节流；

将所述音频数据字节流和所述全景拍摄数据字节流混合，生成全景拍摄数据音视频流。

优选的，将所述音频数据字节流和所述全景拍摄数据字节流混合具体为，根据音频数据字节流的时间戳和全景拍摄数据字节流的时间戳对准后混合二者。

优选的，所述形成全景拍摄数据之后，包括：对所述全景拍摄数据编码并输出。

本发明还提供一种获取全景拍摄数据的装置，包括：

同步拍摄数据采集单元，用于采集至少两个相反拍摄方向上的同步拍摄数据；

预处理存储单元，用于对两路所述同步拍摄数据分别做预处理并分别存储预处理后的同步拍摄数据；

映射变换拼接处理单元，用于对存储的同步拍摄数据做映射变换拼接处理，形成全景拍摄数据。

优选的，所述同步拍摄数据采集单元包括：

音频数据采集存储单元，用于采集与所述同步拍摄数据相匹配的音频数据并存储；

所述映射变换拼接处理单元包括：字节流形成单元，用于分别对所述音频数据和所述全景拍摄数据编码，形成音频数据字节流和全景拍摄数据字节流；以及

生成单元，将所述音频数据字节流和所述全景拍摄数据字节流混合，生成全景拍摄数据音视频流。

优选的，包括：编码输出单元，用于对形成的所述360全景拍摄数据编码并输出或者对所述生成全景拍摄数据流编码及输出。

本发明还提供一种便携式全景拍摄设备，包括：

至少两个采集镜头，且背靠背设置，用于采集两个相反拍摄方向上的同步拍摄数据；

处理器，对接收的所述同步拍摄数据做预处理并存储，对存储后的同步拍摄数据做映射拼接，形成全景拍摄数据。

本发明提供的一种获取全景拍摄数据的方法与现有技术相比，本发明提供的一种获取全景拍摄数据的方法，通过至少采集两个相反方向上的同步拍摄数据，并通过MIPI CSI-2接口将采集的同步拍摄数据分别传输，对两个同步拍摄数据分别进行预处理和存储，对存储后的两路同步拍摄数据做映射变换拼接处理，进而形成360全景拍摄数据，由于两路同步拍摄数据在水平方向上存在较大的交叠区域，进而能够保证精确的映射参数计算，同时该种采集同步拍摄数据的方式通常会产生两条竖立的拼接带，然而这种规整的拼接带会对后续两路同步拍摄数据的高效处理提供良好基础。

附图说明

图1是本发明提供的一种获取全景拍摄数据的方法实施例的流程图；

图2是本发明提供的一种获取全景拍摄数据的方法实施例中采集拍摄数据方式的示意图；

图3是本发明提供的一种获取全景拍摄数据的方法实施例中拍摄数据传输方式的示意图；

图4是本发明提供的一种获取全景拍摄数据的装置的示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。

请参考图1所示，图1是本发明提供的一种获取全景拍摄数据的方法实施例的流程图。

如图1所示，本发明提供的一种获取全景拍摄数据的方法，包括：

步骤101：采集至少两个相反拍摄方向上的同步拍摄数据并传输。

该步骤101具体可以通过至少采用两个拍摄镜头，分别采集二者相反拍摄方向上的同步拍摄数据。结合图1参考图2所示，图2是是本发明提供的一种获取全景拍摄数据的方法实施例中采集拍摄数据方式的示意图。其中，至少两个拍摄镜头可以采用200度的鱼眼镜头，以背靠背的形式采集拍摄数据，因此，通过至少两个拍摄镜头能够采集到360×180度的视场。

通过该种采集方式能够通过优化光路，进而在小尺寸空间中良好的控制色散畸变，使成像质量高。

可以理解的是，两个拍摄方向反向设置的拍摄镜头，在拍摄的水平方向上具有较大的交叠区域，该交叠区域能够保证精确的映射参数计算，且该种采集拍摄数据的采集方式仅能够产生两条竖立的拼接带，较有规则的拼接带便于对后续拍摄数据的处理。

在本实施中，采集的所述同步拍摄数据可以通过MIPI-CSI2传输，例如：对采集的Bayer格式的RAW拍摄数据通过MIPI-CSI2接口传输至处理器(ARM SOC)中。其中，同步拍摄数据可以是图像也可以视频。

步骤102：对所述同步拍摄数据分别做预处理并存储预处理后的同步拍摄数据。

该步骤102的具体实现过程是，通过MIPI-CSI2接口接收所述同步拍摄数据，并对所述同步拍摄数据做预处理，所述预处理在本实施中可以通过两路ISP电路分别对采集的两个相反拍摄方向上的同步拍摄数据进行预处理，其中ISP(Image Signal Processing)为图像信号处理。本实施中的预处理可以是对同步拍摄数据从bayer格式变换为rgb颜色空间格式的转换过程，转换过程可以是对每一帧同步拍摄数据进行存储，并标记为GPU控制，形成预处理后的同步拍摄数据。

通过ISP分别对两路同步拍摄数据进行预处理能够充分发挥ISP的颜色还原能力。

步骤103：对存储的同步拍摄数据做映射变换拼接处理，形成360度全景拍摄数据。

该步骤103中对预处理后的同步拍摄数据做映射变换拼接，包括：对同步拍摄数据的映射、变换以及拼接等处理，从而形成最终的360度全景拍摄数据， 该映射变换拼接处理过程可以是对存储同步拍摄数据通过GPU(Graphics Processing Unit：图像处理器)实现相应的处理操作，对存储有同步拍摄数据的内存区域标记为GPU控制，从而使GPU控制对存储的同步拍摄数据完成相应的处理操作。

在本实施中，对预处理后的同步拍摄数据做映射可以通过GPU处理器将同步拍摄数据图像的投影图像变换为柱形全景(equirectangle)投影图像的一对一变换。

变换可以为颜色变换，具体可以通过统计交叠区域的各个颜色分量，并基于该些交叠区域的差异计算多点增益，并全局平滑乘以该增益，所述差异是指两个拍摄数据中交叠区域颜色分量相比较进而获得差异，根据该些差异计算出交叠区域中针对哪一个拍摄数据需要增益，可以通过下述公式实现：

dest＝src1×alpha+src2×(1-alpha)；

上述公式实际上是将存储的两路同步拍摄数据按照百分比相加，形成全景拍摄数据。

在上述公式中，所述src1是交叠区域1内所有像素点的像素值；src2是交叠区域2内所有像素点的像素值；dest是所有所述像素点对应的最终输出像素值；alpha是混合强度，由所述像素点的水平位置相比交叠区域的水平起始位置决定该混合强度。

拼接可以通过对交叠区域通过淡入淡出的处理完成两个同步拍摄数据的拼接。

可以理解的是，在上述映射变换拼接处理完成后，可以对形成的360度全景拍摄数据通过压缩编码完成输出，具体可以是通过对存储360度全景拍摄数据的存储区域标记为Encoder控制，通过Encoder将全景拍摄数据编码压缩为全景拍摄数据字节流，并根据输出需求将全景拍摄数据字节流输出至各个终端，例如：输出至具有RTSP流服务功能、RTMP流推送功能、HLS流推送功能及本地MP4文件存储到SD卡功能等终端上。

对于本发明提供的获取全景拍摄数据的方法，可以每秒处理30帧拍摄数据，分辨率可以达到4096×2048，处理速度达到采集帧率，从而能够实现获取全景拍摄数据实时播放的功能。

结合上述，参考图3所示，图3是本发明提供的一种获取全景拍摄数据的 方法实施例中拍摄数据传输方式的示意图。可以理解的是，如图3所示，在形成全景拍摄数据时，可以根据需求采集与所述全景拍摄数据相匹配的音频数据并对采集的音频数据存储。

需要说明的是，采集与所述全景拍摄数据相匹配的音频数据过程可以在采集同步拍摄数据时进行，也可以在对同步拍摄数据预处理时进行，或者在形成360度全景拍摄数据时进行等等，因此，采集与所述全景拍摄数据相匹配的音频数据不受采集全景拍摄数据过程的限制，只要根据需求完成采集相应的音频数据即可。

在本实施例中，采集音频数据可以在采集至少两个相反拍摄方向上的同步拍摄数据时实现，具体包括：

采集与所述同步拍摄数据相匹配的音频数据并存储。

对采集的音频数据实现音频数据处理，可以在对存储的同步拍摄数据做映射变换拼接处理，形成360度全景拍摄数据时完成，具体为：

分别对所述存储的音频数据和全景拍摄数据分别进行编码处理，形成音频数据字节流和全景拍摄数据字节流，之后将所述音频数据字节流和全景拍摄数据字节流混合，生成具有音频流的全景拍摄数据。

其中，对于所述音频数据的编码处理可以通过是将存储音频数据的存储区域标记为Encoder控制，并将音频数据编码压缩处理后的音频数据字节流与所述全景拍摄数据字节流混合，再根据需求将混合后的全景拍摄数据输出或分派至各个终端；同样的，混合后的全景拍摄数据可以被输出至具有RTSP流服务功能、RTMP流推送功能、HLS流推送功能及本地MP4文件存储到SD卡功能等终端上。

所述生成具有音频流的全景拍摄数据后可以对所述全景拍摄数据编码后输出。

以上是基于全景拍摄数据具有同步的音频数据上将二者整合后输出，可以理解的是，实际上全景拍摄数据存在没有音频数据的情况，此时，则无需采集音频数据，直接通过上述步骤生成全景拍摄数据即可。

需要说明的是，所述将全景拍摄数据字节流与所述音频数据字节流混合可以通过在所述全景拍摄数据字节流中加入音频数据显示时间戳完成二者的混合。

本发明提供的一种获取全景拍摄数据的方法，通过至少采集两个相反方向上的同步拍摄数据，并通过MIPI CSI-2接口将采集的同步拍摄数据分别传输，对两个同步拍摄数据分别进行预处理和存储，对存储后的两路同步拍摄数据做映射变换拼接处理，进而形成360全景拍摄数据。而由于两路同步拍摄数据在水平方向上存在较大的交叠区域，进而能够保证精确的映射参数计算，同时该种采集同步拍摄数据的方式通常会产生两条竖立的拼接带，然而这种规整的拼接带会对后续两路同步拍摄数据的高效处理提供良好基础。

以上是对本发明提供的一种获取全景拍摄数据的方法进行的详细说明，全景拍摄数据可以是视频数据也可以是图像数据，音频数据根据需求与所述视频数据或音频数据进行混合处理，最终形成完整的全景拍摄数据，再根据不同需求分派至不同的终端。与前述获取全景拍摄数据的方法实施例相对应，本发明还公开了一种获取全景拍摄数据的装置的实施例，请参看图4，图4是本发明提供的一种获取全景拍摄数据的装置的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

如图4所示，本发明提供的一种获取全景拍摄数据的装置包括：

同步拍摄数据采集单元401，用于采集至少两个相反拍摄方向上的同步拍摄数据；

预处理单元402，用于对所述同步拍摄数据分别做预处理并存储预处理后的同步拍摄数据；

映射拼接处理单元403，用于对存储的同步拍摄数据做映射拼接处理，形成360度全景拍摄数据。

其中，所述同步拍摄数据采集单元401包括：

音频数据采集存储单元，用于采集与所述同步拍摄数据相匹配的音频数据并存储；

所述映射变换拼接处理单元包括：字节流形成单元，用于分别对所述音频数据和所述全景拍摄数据编码，形成音频数据字节流和全景拍摄数据字节流；以及

生成单元，将所述音频数据字节流和所述全景拍摄数据字节流混合，生成具有音频流的全景拍摄数据。

所述获取全景拍摄数据的装置还包括：

编码输出单元，用于对形成的所述全景拍摄数据编码并输出。

以上为本发明提供的一种获取全景拍摄数据的装置的详细说明，基于上述提供的本发明提供的一种获取全景拍摄数据的方法及装置，本发明还提供一种便携式全景拍摄设备，包括：至少两个采集镜头，且背靠背设置，用于采集两个相反拍摄方向上的同步拍摄数据；处理器，对接收的所述tongue拍摄数据做预处理并存储，对存储后的同步拍摄数据做映射转换拼接处理，形成全景拍摄数据；所述处理器能够对所述形成的360度全景拍摄数据进行编码并输出，或者对生成的全景拍摄数据流编码并输出。

需要说明的是，所述处理器可以选用ARM SOC(SOC：System on a chip)，在处理过程中，可将存储有不同拍摄数据的存储区进行标记，进而实现不同的处理。

本发明虽然以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。

Claims (10)

1.一种获取全景拍摄数据的方法，其特征在于，包括：

采集至少两个相反拍摄方向上的同步拍摄数据；

对两路同步拍摄数据分别做预处理并分别存储预处理后的同步拍摄数据；

对存储的同步拍摄数据做映射变换拼接处理，形成全景拍摄数据。

2.根据权利要求1所述的获取全景拍摄数据的方法，其特征在于：所述采集至少两个相反拍摄方向上的同步拍摄数据，其中，所述两个相反拍摄方向在水平方向上具有交叠区域。

3.根据权利要求1所述的获取全景拍摄数据的方法，其特征在于，所述对所述同步拍摄数据分别做预处理，包括：

对所述同步拍摄数据的每一帧做格式转换处理。

4.根据权利要求1所述的获取全景拍摄数据的方法，其特征在于，所述采集至少两个相反拍摄方向上的同步拍摄数据，包括：

采集与所述同步拍摄数据相匹配的音频数据并存储；

所述对存储的同步拍摄数据做映射变换拼接处理，形成全景拍摄数据，包括：

分别对所述音频数据和所述全景拍摄数据编码，形成音频数据字节流和全景拍摄数据字节流；

将所述音频数据字节流和所述全景拍摄数据字节流混合，生成具有音频流的全景拍摄数据。

5.根据权利要求4所述的获取全景拍摄数据的方法，其特征在于，将所述音频数据字节流和所述全景拍摄数据字节流混合具体为，根据音频数据字节流的时间戳和全景拍摄数据字节流的时间戳对准后混合二者。

6.根据权利要求1或5所述的获取全景拍摄数据的方法，其特征在于，所述形成全景拍摄数据之后，包括：

对所述全景拍摄数据编码并输出。

7.一种获取全景拍摄数据的装置，其特征在于，包括：

同步拍摄数据采集单元，用于采集至少两个相反拍摄方向上的同步拍摄数据；

预处理存储单元，用于对两路所述同步拍摄数据分别做预处理并分别存储预处理后的同步拍摄数据；

映射变换拼接处理单元，用于对存储的同步拍摄数据做映射变换拼接处理，形成全景拍摄数据。

8.根据权利要求7所述的获取全景拍摄数据的装置，其特征在于，所述同步拍摄数据采集单元包括：

音频数据采集存储单元，用于采集与所述同步拍摄数据相匹配的音频数据并存储；

所述映射变换拼接处理单元包括：字节流形成单元，用于分别对所述音频数据和所述全景拍摄数据编码，形成音频数据字节流和全景拍摄数据字节流；以及

生成单元，将所述音频数据字节流和所述全景拍摄数据字节流混合，生成全景拍摄数据音视频流。

9.根据权利要求8所述的获取全景拍摄数据的装置，其特征在于，包括：

编码输出单元，用于对形成的所述全景拍摄数据编码并输出或者对所述生成全景拍摄数据流编码及输出。

10.一种便携式全景拍摄设备，其特征在于，包括：

至少两个采集镜头，且背靠背设置，用于采集两个相反拍摄方向上的同步拍摄数据；

处理器，对接收的所述同步拍摄数据做预处理并存储，对存储后的同步拍摄数据做映射拼接，形成全景拍摄数据。