CN108234933A - 基于多路图像信号处理的实时拼接全景影像的方法及系统 - Google Patents

Abstract

本发明公开了一种基于多路图像信号处理的实时拼接全景影像的方法及系统，实现机内直接、实时拼接，做ISP处理并编码保存和输出。其技术方案为：多路拍摄模组，用以原始格式的图像的同步拍摄；多路图像信号处理模块，每一路图像信号处理模块各自对应连接一路拍摄模组，将原始格式的图像数据处理成可视化数据，同时向各自对应的拍摄模组提供时钟信号以保证所有拍摄模组的拍摄图像的同步性；图像数据拼接处理模块，连接每一路的图像信号处理模块，将每一路图像信号处理模块输出的可视化数据处理为全景图像数据，同时向各路图像信号处理模块发送统一的时钟信号，以保证同步性；视频编码模块，连接图像数据拼接处理模块，对全景图像数据进行图片或者视频文件的编码。

Description

基于多路图像信号处理的实时拼接全景影像的方法及系统

技术领域

本发明涉及全景影像拼接技术，尤其涉及对全景影像拼接的实时性和精度方面要求更高的拼接方法和系统。

背景技术

目前全景视频的内容生成主要有三种方式：

第一种方案实现如下：使用相机拍摄反光镜的方式，进行全景视频的录制。其中，反光镜的作用是反射环境影像至相机中。根据反光镜反光面的类型不同，主要有双曲面、抛物面、蛋形等。反射光线覆盖环境的俯仰角度范围依设计不同，从几十度到一百十几度不等，水平是360度。其使用过程，通常是先拍摄照片或者视频，记录反光镜反射影像的照片或者视频文件，再将文件导入到电脑中，用软件做后处理。如果拍摄的是照片，则将照片矫正为柱形全景，如果拍摄的是视频，则先用软件对该视频解码，再一帧帧矫正为柱形全景，然后重新编码为视频文件。后期，可以通过全景视频播放器进行播放。这种方式，因为单相机分辨率有限，反光镜反光面处理精度受限，光线反射损失大，反射影像有效区域是环形，浪费感光传感器面积等原因，导致画面质量往往很差。而且，因为反光镜竖直方向拍摄不到顶底，只能做柱形全景。同时，处理过程需要将文件导入到电脑中，比较麻烦，不能实时输出。

第二种方案实现如下：使用带有超广角镜头的相机，进行环境影像的录制。这种相机带的超广角镜头，通常都会超过180度，最高的目前见到有280度，和相机的感光传感器的匹配，通常是控制成像面为一个圆形。其使用过程，通常是先用超广角镜头，拍摄下环境影像的图片或者视频文件，再将文件导入到电脑中。如果拍摄的是图片，则用软件直接进行全景图展开，如果拍摄的是视频，则用软件对该视频解码，并逐帧进行全景图展开，再重新编码为视频文件。后期，可以通过全景视频播放器进行播放。也有用拍摄下来的圆形照片或者视频，直接进行环境映射从而播放的。这种方式，因为单相机分辨率有限，以及超广角鱼眼镜头通常沿径向成像质量会迅速衰退，导致整个画面除了中间会比较好以外，其他区域会比较差。同时，因为单镜头永远不可能做到覆盖整个空间360度，所以作为全景视频，使用场景上，也会有一定的限制。同时，处理过程需要将文件导入到电脑中，比较麻烦，不能实时输出。

第三种方案实现如下：使用多相机组合，令拍摄视角覆盖整个空间的方式。其使用过程，通常是使用一个专用相机架子，将多个相机按照规划的角度，捆绑到一起，再使用遥控器，或者手动按相机快门，触发相机拍摄照片或者视频，然后将文件导入到电脑中进行后处理。如果拍摄的是照片，则使用软件直接进行全景拼接，如果拍摄的是视频，则需要通过软件先进行视频帧在时间轴上的同步，再进行视频解码，然后逐帧进行颜色亮度一致性调节和拼接，最后重新编码为视频文件。后期，可以通过全景视频播放器进行播放。这种方式，因为牵扯到多个相机联动的问题，操作比较繁琐，不方便同时触发。多个相机拍摄，每路视频都会独立做ISP处理和编码，会带来数据精度下降，各路视频不同步，视频颜色亮度不一致的问题，导致拼接出来的效果无法做到最佳。多个相机也会让成本高起。同时，处理过程需要将多个相机的文件导入到电脑中，不能错漏文件，否则无法拼接，比较麻烦，不能实时输出。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

本发明的目的在于解决上述问题，提供了一种基于多路图像信号处理的实时拼接全景影像的方法及系统，能够实现机内直接的、实时的拼接，在机内做ISP处理并完成编码保存和输出，同时能完全基于原始图像传感器数据保持最大精度。

本发明的技术方案为：本发明揭示了一种基于多路图像信号处理的实时拼接全景影像的系统，系统包括：

多路拍摄模组，用以原始格式的图像的同步拍摄；

多路图像信号处理模块，每一路图像信号处理模块各自对应连接一路拍摄模组，将原始格式的图像数据处理成可视化数据，同时向各自对应的拍摄模组提供时钟信号以保证所有拍摄模组的拍摄图像的同步性；

图像数据拼接处理模块，连接每一路的图像信号处理模块，将每一路图像信号处理模块输出的可视化数据处理为全景图像数据，同时向各路图像信号处理模块发送统一的时钟信号，以保证同步性；

视频编码模块，连接图像数据拼接处理模块，对全景图像数据进行图片或者视频文件的编码。

根据本发明的基于多路图像信号处理的实时拼接全景影像的系统的一实施例，多路拍摄模组拍摄的图像数据的原始格式是RAW格式，图像信号处理模块处理成的可视化数据的格式是RGB或YUV格式。

根据本发明的基于多路图像信号处理的实时拼接全景影像的系统的一实施例，图像数据拼接处理模块基于多路拍摄模组的相对位置关系、镜头的畸变参数，投影并融合为全景图像数据。

根据本发明的基于多路图像信号处理的实时拼接全景影像的系统的一实施例，视频编码模块输出的经编码的图片或者视频文件用于存储、显示、或者推流广播。

根据本发明的基于多路图像信号处理的实时拼接全景影像的系统的一实施例，多路拍摄模组、多路图像信号处理模块、图像数据拼接处理模块、视频编码模块设置于同一电路板上或者分别设置于不同电路板并通过接口相连以进行数据传输。

本发明还揭示了一种基于多路图像信号处理的实时拼接全景影像的方法，方法包括：

使用多路拍摄模组同步拍摄原始格式的图像，其中拍摄图像的同步性来自于多路图像信号处理模块所提供的同步时钟信号；

使用多路图像信号处理模块将每一路的拍摄模组拍摄到的原始格式的图像处理成可视化数据，其中多路图像信号处理模块的同步性来自于图像数据拼接处理模块所提供的统一的时钟信号；

通过图像数据拼接处理模块将每一路图像信号处理模块输出的可视化数据处理为全景图像数据；

通过视频编码模块对全景图像数据进行图片或者视频文件的编码。

根据本发明的基于多路图像信号处理的实时拼接全景影像的方法的一实施例，多路拍摄模组拍摄的图像数据的原始格式是RAW格式，图像信号处理模块处理成的可视化数据的格式是RGB或YUV格式。

根据本发明的基于多路图像信号处理的实时拼接全景影像的方法的一实施例，图像数据拼接处理模块基于多路拍摄模组的相对位置关系、镜头的畸变参数，投影并融合为全景图像数据。

根据本发明的基于多路图像信号处理的实时拼接全景影像的方法的一实施例，方法还包括：

将视频编码模块输出的经编码的图片或者视频文件继续用于包括但不限于存储、显示、或者推流广播。

根据本发明的基于多路图像信号处理的实时拼接全景影像的方法的一实施例，方法中使用到的多路拍摄模组、多路图像信号处理模块、图像数据拼接处理模块、视频编码模块设置于同一电路板上或者分别设置于不同电路板并通过接口相连以进行数据传输。

本发明对比现有技术有如下的有益效果：本发明在机内通过图像数据拼接处理模块直接拼接成全景图片或者全景视频帧序列，而不需要先将数据导出到设备外部再在外部拼接。在处理的过程中，本发明采用了多路相机模组进行同步拍摄，可以有效解决拼接时拼缝部分活动物体影像不一致导致的拼接效果不佳的问题，而且可以一定程度上保证所有的图像数据采集芯片的色度、亮度等的一致性，优化所生成的全景影像的拼接拼缝效果。本发明通过视频编码模块机内进行图片或者视频文件的编码，编码完成后的数据可以直接加以保存、直播推流、外部设备显示或者其他数据消费使用方式，而不需要导出到设备外部，通过其他处理方式进行这一工作。

附图说明

图1示出了本发明的基于多路图像信号处理的实时拼接全景影像的系统的一实施例的原理图。

图2示出了本发明的基于多路图像信号处理的实时拼接全景影像的方法的一实施例的流程图。

具体实施方式

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

基于多路图像信号处理的实时拼接全景影像的系统的一实施例

图1示出了本发明的基于多路图像信号处理的实时拼接全景影像的系统的一个实施例的实现原理。请参见图1，本实施例的实时拼接全景影像的系统包括：多路拍摄模组1a～1n、多路图像信号处理模块2a～2n、图像数据拼接处理模块3、视频编码模块4。每一路拍摄模组对应一路图像信号处理模块，每一路图像信号处理模块均连接到图像数据拼接处理模块3，图像数据拼接处理模块3的输出端连接视频编码模块4。

拍摄模组1a～1n同步拍摄原始格式的图像，本实施例的原始格式是指RAW格式。拍摄模组通常是指相机模块，这些相机的视场相互重合，共同组成一片连续更大的范围，该范围可以是整个空间水平360度，竖直180度，也可以仅仅覆盖部分空间。每一个相机模块都是由镜头、感光元件以及相应的电路板组成，这些相机的感光同步，通过接收已经做过同步的各自独立的图像信号处理模块(ISP模块，即Image Signal Processing模块)传输过来的时钟信号来实现。

图像信号处理模块2a～2n将各自对应的拍摄模组输出的原始格式的图像处理成可视化数据，本实施例的可视化数据的格式是RGB或YUV格式。同时向多路拍摄模组1a～1n发送时钟信号，以保证多路相机的感光同步。图像信号处理模块由ISP核心处理芯片、内存颗粒、及其他辅助元器件组成。其核心处理芯片根据所需要的性能和成本考虑，可以使用FPGA、DSP、CPU、GPU或者专有芯片。

图像数据拼接处理模块3将每一路图像信号处理模块输出的可视化数据处理为全景图像数据。具体而言，是基于多路拍摄模组1a～1n的相对位置关系、事先标定好的相机空间姿态参数、镜头的畸变参数，投影并融合为全景图像数据，也可以将标定好的前述参数转化为目标图像素和原始图像素之间的坐标权重关系表，然后通过查表算法进行全景图像像素的投影融合运算。同时图像数据拼接处理模块3向各路图像信号处理模块2a～2n发送统一的时钟信号保证多路数据同步。图像数据拼接处理模块3由核心处理芯片、内存颗粒、及其他辅助元器件组成，其中核心处理芯片基于所需要的性能和成本考虑，可以使用FPGA、DSP、CPU、GPU或者专有芯片。

视频编码模块4对图像数据拼接处理模块3输出的全景图像数据进行图片或者视频文件的编码，例如JPG等图片文件或者AVC\H.264、HEVC\H.265等视频文件格式。视频编码模块4由核心处理芯片、内存颗粒及其他辅助元器件组成，其中核心处理芯片，根据所需要的性能和成本考虑，可以使用FPGA、DSP、CPU、GPU或者专有芯片。

视频编码模块4输出的经编码的图片或者视频文件可以存储到本地存储芯片中，可以使用HDMI或者其他显示接口输出到显示设备上显示，也可以通过RJ45推流到网络服务器上广播访问。以上只是一些典型应用，可以根据不同的需求，减少功能或者扩展和定义新功能，比如通过USB接口访问内部存储中的文件，通过USB口推送数据到电脑中，通过SDI口将数据输出到外部设备中等。

多路拍摄模组1a～1n、多路图像信号处理模块2a～2n、图像数据拼接处理模块3、视频编码模块4设置于同一电路板上或者分别设置于不同电路板并通过接口相连以进行数据传输。

基于多路图像信号处理的实时拼接全景影像的方法的一实施例

图2示出了本发明的基于多路图像信号处理的实时拼接全景影像的方法的一实施例的流程图。请参见图2，下面是对本实施例的各步骤的详细描述。

步骤S1：使用多路拍摄模组同步拍摄原始格式的图像，其中拍摄图像的同步性来自于多路图像信号处理模块所提供的同步时钟信号。

本实施例的原始格式是指RAW格式。拍摄模组通常是指相机模块，这些相机的视场相互重合，共同组成一片连续更大的范围，该范围可以是整个空间水平360度，竖直180度，也可以仅仅覆盖部分空间。每一个相机模块都是由镜头、感光元件以及相应的电路板组成，这些相机的感光同步，通过接收已经做过同步的各自独立的图像信号处理模块(ISP模块，即Image Signal Processing模块)传输过来的时钟信号来实现。

步骤S2：使用多路图像信号处理模块将每一路的拍摄模组拍摄到的原始格式的图像处理成可视化数据。

本实施例的可视化数据的格式是RGB或YUV格式。同时向多路拍摄模组发送时钟信号，以保证多路相机的感光同步。图像信号处理模块由ISP核心处理芯片、内存颗粒、及其他辅助元器件组成。其核心处理芯片根据所需要的性能和成本考虑，可以使用FPGA、DSP、CPU、GPU或者专有芯片。

步骤S3：通过图像数据拼接处理模块将每一路图像信号处理模块输出的可视化数据处理为全景图像数据。

具体而言，是基于多路拍摄模组的相对位置关系、事先标定好的相机空间姿态参数、镜头的畸变参数，投影并融合为全景图像数据，也可以将标定好的前述参数转化为目标图像素和原始图像素之间的坐标权重关系表，然后通过查表算法进行全景图像像素的投影融合运算。同时图像数据拼接处理模块向各路图像信号处理模块发送统一的时钟信号保证多路数据同步。图像数据拼接处理模块由核心处理芯片、内存颗粒、及其他辅助元器件组成，其中核心处理芯片基于所需要的性能和成本考虑，可以使用FPGA、DSP、CPU、GPU或者专有芯片。

步骤S4：通过视频编码模块对全景图像数据进行图片或者视频文件的编码。

例如JPG等图片文件或者AVC\H.264、HEVC\H.265等视频文件格式。视频编码模块由核心处理芯片、内存颗粒及其他辅助元器件组成，其中核心处理芯片，根据所需要的性能和成本考虑，可以使用FPGA、DSP、CPU、GPU或者专有芯片。

在编码完成之后，输出的经编码的图片或者视频文件可以存储到本地存储芯片中，可以使用HDMI或者其他显示接口输出到显示设备上显示，也可以通过RJ45推流到网络服务器上广播访问。以上只是一些典型应用，可以根据不同的需求，减少功能或者扩展和定义新功能，比如通过USB接口访问内部存储中的文件，通过USB口推送数据到电脑中，通过SDI口将数据输出到外部设备中等。

上述实现方法的步骤中提到的多路拍摄模组、多路图像信号处理模块、图像数据拼接处理模块、视频编码模块设置于同一电路板上或者分别设置于不同电路板并通过接口相连以进行数据传输。

使用本发明的实时拼接全景影像的系统或者方法，能带来如下的优点：

1、由于全景拼接是在机内实现，因此全景图片和全景视频制作效率高，可以直接输出，而不需要繁琐的后期处理步骤。

2、相对于背景技术中的第一种和第二种方案，视频质量高。详细而言，相对于第一种方案，不采用反光镜，减少了中间衰减缓解。相对于第二种方案，采用了多路镜头和感光，完成信号采集，通过合理排列镜头，可以避开广角镜头边缘成像质量衰减严重的问题。

3、相对于背景技术中的第三种方案，可以做到多路摄像头微秒级别的同步，提高了拼接精度。

4、相对于背景技术中的第三种方案，可以对镜头的结构布局上进行优化，提高拼接处理的效果。

5、相对于背景技术中的第三种方案，减少了器件数量，会有更好的集成度，而且将设备的体积和重量能做的更小。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。

结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (10)

1.一种基于多路图像信号处理的实时拼接全景影像的系统，其特征在于，系统包括：

多路拍摄模组，用以原始格式的图像的同步拍摄；

多路图像信号处理模块，每一路图像信号处理模块各自对应连接一路拍摄模组，将原始格式的图像数据处理成可视化数据，同时向各自对应的拍摄模组提供时钟信号以保证所有拍摄模组的拍摄图像的同步性；

图像数据拼接处理模块，连接每一路的图像信号处理模块，将每一路图像信号处理模块输出的可视化数据处理为全景图像数据，同时向各路图像信号处理模块发送统一的时钟信号，以保证同步性；

视频编码模块，连接图像数据拼接处理模块，对全景图像数据进行图片或者视频文件的编码。

2.根据权利要求1所述的基于多路图像信号处理的实时拼接全景影像的系统，其特征在于，多路拍摄模组拍摄的图像数据的原始格式是RAW格式，图像信号处理模块处理成的可视化数据的格式是RGB或YUV格式。

3.根据权利要求1所述的基于多路图像信号处理的实时拼接全景影像的系统，其特征在于，图像数据拼接处理模块基于多路拍摄模组的相对位置关系、镜头的畸变参数，投影并融合为全景图像数据。

4.根据权利要求1所述的基于多路图像信号处理的实时拼接全景影像的系统，其特征在于，视频编码模块输出的经编码的图片或者视频文件用于包括但不限于存储、显示、或者推流广播。

5.根据权利要求1所述的基于多路图像信号处理的实时拼接全景影像的系统，其特征在于，多路拍摄模组、多路图像信号处理模块、图像数据拼接处理模块、视频编码模块设置于同一电路板上或者分别设置于不同电路板并通过接口相连以进行数据传输。

6.一种基于多路图像信号处理的实时拼接全景影像的方法，其特征在于，方法包括：

使用多路拍摄模组同步拍摄原始格式的图像，其中拍摄图像的同步性来自于多路图像信号处理模块所提供的同步时钟信号；

使用多路图像信号处理模块将每一路的拍摄模组拍摄到的原始格式的图像处理成可视化数据，其中信号处理的同步性来自于图像数据拼接处理模块统一发送的时钟信号；

通过图像数据拼接处理模块将每一路图像信号处理模块输出的可视化数据处理为全景图像数据；

通过视频编码模块对全景图像数据进行图片或者视频文件的编码。

7.根据权利要求6所述的基于多路图像信号处理的实时拼接全景影像的方法，其特征在于，多路拍摄模组拍摄的图像数据的原始格式是RAW格式，图像信号处理模块处理成的可视化数据的格式是RGB或YUV格式。

8.根据权利要求6所述的基于多路图像信号处理的实时拼接全景影像的方法，其特征在于，图像数据拼接处理模块基于多路拍摄模组的相对位置关系、镜头的畸变参数，投影并融合为全景图像数据。

9.根据权利要求6所述的基于多路图像信号处理的实时拼接全景影像的方法，其特征在于，方法还包括：

将视频编码模块输出的经编码的图片或者视频文件继续用于包括但不限于存储、显示、或者推流广播。

10.根据权利要求6所述的基于多路图像信号处理的实时拼接全景影像的方法，其特征在于，方法中使用到的多路拍摄模组、多路图像信号处理模块、图像数据拼接处理模块、视频编码模块设置于同一电路板上或者分别设置于不同电路板并通过接口相连以进行数据传输。