CN108234820A - 基于单路图像信号处理的实时拼接全景影像的方法及系统 - Google Patents

基于单路图像信号处理的实时拼接全景影像的方法及系统 Download PDF

Info

Publication number
CN108234820A
CN108234820A CN201611192591.2A CN201611192591A CN108234820A CN 108234820 A CN108234820 A CN 108234820A CN 201611192591 A CN201611192591 A CN 201611192591A CN 108234820 A CN108234820 A CN 108234820A
Authority
CN
China
Prior art keywords
module
image
splicing
multichannel
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611192591.2A
Other languages
English (en)
Inventor
王帅
甘宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI JIETU SOFTWARE TECHN CO Ltd
Original Assignee
SHANGHAI JIETU SOFTWARE TECHN CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI JIETU SOFTWARE TECHN CO Ltd filed Critical SHANGHAI JIETU SOFTWARE TECHN CO Ltd
Priority to CN201611192591.2A priority Critical patent/CN108234820A/zh
Publication of CN108234820A publication Critical patent/CN108234820A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0733—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于单路图像信号处理的实时拼接全景影像的方法及系统，实现机内直接、实时的影像拼接。其技术方案为：多路拍摄模组，用以多路视频同步拍摄；图像数据拼接处理模块，对多路拍摄模组的拍摄进行同步性控制，并接收多路拍摄模组拍摄的每一帧视频图像，将之拼接成全景视频帧；图像信号处理模块，提供时钟信号至图像数据拼接处理模块用于多路拍摄模组拍摄的同步性控制，并接受图像数据拼接处理模块传输过来的全景视频帧，对每一全景视频帧进行图像信号处理，转换为RGB或者YUV数据；视频编码模块接收图像信号处理模块传输过来的RGB或者YUV数据，将该数据编码成视频格式文件或图片格式文件，并将之存储下来。

Description

基于单路图像信号处理的实时拼接全景影像的方法及系统
技术领域
本发明涉及全景影像拼接技术，尤其涉及对全景影像拼接的实时性和精度方面要求更高的拼接方法和系统。
背景技术
目前全景视频的内容生成主要有三种方式：
第一种方案实现如下：使用相机拍摄反光镜的方式，进行全景视频的录制。其中，反光镜的作用是反射环境影像至相机中。根据反光镜反光面的类型不同，主要有双曲面、抛物面、蛋形等。反射光线覆盖环境的俯仰角度范围依设计不同，从几十度到一百十几度不等，水平是360度。其使用过程，通常是先拍摄照片或者视频，记录反光镜反射影像的照片或者视频文件，再将文件导入到电脑中，用软件做后处理。如果拍摄的是照片，则将照片矫正为柱形全景，如果拍摄的是视频，则先用软件对该视频解码，再一帧帧矫正为柱形全景，然后重新编码为视频文件。后期，可以通过全景视频播放器进行播放。这种方式，因为单相机分辨率有限，反光镜反光面处理精度受限，光线反射损失大，反射影像有效区域是环形，浪费感光传感器面积等原因，导致画面质量往往很差。而且，因为反光镜竖直方向拍摄不到顶底，只能做柱形全景。同时，处理过程需要将文件导入到电脑中，比较麻烦，不能实时输出。
第二种方案实现如下：使用带有超广角镜头的相机，进行环境影像的录制。这种相机带的超广角镜头，通常都会超过180度，最高的目前见到有280度，和相机的感光传感器的匹配，通常是控制成像面为一个圆形。其使用过程，通常是先用超广角镜头，拍摄下环境影像的图片或者视频文件，再将文件导入到电脑中。如果拍摄的是图片，则用软件直接进行全景图展开，如果拍摄的是视频，则用软件对该视频解码，并逐帧进行全景图展开，再重新编码为视频文件。后期，可以通过全景视频播放器进行播放。也有用拍摄下来的圆形照片或者视频，直接进行环境映射从而播放的。这种方式，因为单相机分辨率有限，以及超广角鱼眼镜头通常沿径向成像质量会迅速衰退，导致整个画面除了中间会比较好以外，其他区域会比较差。同时，因为单镜头永远不可能做到覆盖整个空间360度，所以作为全景视频，使用场景上，也会有一定的限制。同时，处理过程需要将文件导入到电脑中，比较麻烦，不能实时输出。
第三种方案实现如下：使用多相机组合，令拍摄视角覆盖整个空间的方式。其使用过程，通常是使用一个专用相机架子，将多个相机按照规划的角度，捆绑到一起，再使用遥控器，或者手动按相机快门，触发相机拍摄照片或者视频，然后将文件导入到电脑中进行后处理。如果拍摄的是照片，则使用软件直接进行全景拼接，如果拍摄的是视频，则需要通过软件先进行视频帧在时间轴上的同步，再进行视频解码，然后逐帧进行颜色亮度一致性调节和拼接，最后重新编码为视频文件。后期，可以通过全景视频播放器进行播放。这种方式，因为牵扯到多个相机联动的问题，操作比较繁琐，不方便同时触发。多个相机拍摄，每路视频都会独立做ISP处理和编码，会带来数据精度下降，各路视频不同步，视频颜色亮度不一致的问题，导致拼接出来的效果无法做到最佳。多个相机也会让成本高起。同时，处理过程需要将多个相机的文件导入到电脑中，不能错漏文件，否则无法拼接，比较麻烦，不能实时输出。
发明内容
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
本发明的目的在于解决上述问题，提供了一种基于单路图像信号处理的实时拼接全景影像的方法及系统，能够实现机内直接的、实时的拼接，在机内做ISP处理并完成编码保存和输出，同时能完全基于原始图像传感器数据保持最大精度。
本发明的技术方案为：本发明揭示了一种基于单路图像信号处理的实时拼接全景影像的系统，全景影像是全景图片，系统包括：
多路拍摄模组，用以多路影像的同步拍摄；
图像数据拼接处理模块，连接多路拍摄模组，对多路拍摄模组的同步性进行控制，接收并基于来自多路拍摄模组拍摄的影像，将之拼接出全景影像。
根据本发明的基于单路图像信号处理的实时拼接全景影像的系统的一实施例，多路相机模组拍摄到的多路影像，图像数据拼接处理模块拼接出的全景影像均为原始格式。
根据本发明的基于单路图像信号处理的实时拼接全景影像的系统的一实施例，图像数据拼接处理模块具有直接将原始格式的全景影像输出的端口。
根据本发明的基于单路图像信号处理的实时拼接全景影像的系统的一实施例，系统还包括：
图像信号处理模块，连接图像数据拼接处理模块，提供时钟信号至图像数据拼接处理模块用于多路拍摄模组拍摄的同步性控制，并接收图像数据拼接处理模块传输过来的全景影像，对每一全景影像进行图像信号处理，转换为RGB或者YUV数据；
数据编码模块，连接图像信号处理模块，接收图像信号处理模块传输来的RGB或YUV数据，将该数据编码成视频格式文件或图片格式文件。
根据本发明的基于单路图像信号处理的实时拼接全景影像的系统的一实施例，多路拍摄模组、图像数据拼接处理模块、图像信号处理模块、数据编码模块集成在同一个设备内。
本发明还揭示了一种基于单路图像信号处理的实时拼接全景影像的方法，方法包括：
使用多路拍摄模组同步拍摄多路影像；
使用图像数据拼接处理模块接收并基于来自多路相机模组拍摄的影像，将之拼接出原始格式的全景影像；
其中多路拍摄模组的同步性是由图像数据拼接处理模块控制的。
根据本发明的基于单路图像信号处理的实时拼接全景影像的方法的一实施例，多路拍摄模组拍摄到的多路影像、图像数据拼接处理模块拼接出的全景影像均为原始格式。
根据本发明的基于单路图像信号处理的实时拼接全景影像的方法的一实施例，方法还包括：在图像数据拼接处理模块拼接出全景影像后直接输出。
根据本发明的基于单路图像信号处理的实时拼接全景影像的方法的一实施例，方法还包括：
使用图像信号处理模块对每一全景影像进行图像信号处理，转换为RGB或者YUV数据；
使用数据编码模块将RGB或者YUV数据编码成视频格式文件或图片格式文件；
其中图像信号处理模块提供时钟信号至图像数据拼接处理模块，进而实现多路相机模组拍摄的同步性控制。
根据本发明的基于单路图像信号处理的实时拼接全景影像的方法的一实施例，多路拍摄模组、图像数据拼接处理模块、图像信号处理模块、数据编码模块集成在同一个设备内。
本发明对比现有技术有如下的有益效果：本发明在机内通过图像数据拼接处理模块直接拼接成全景图片或者全景视频帧序列，而不需要先将数据导出到设备外部再在外部拼接。此外，本发明通过机内的ISP处理模块对全景影像进行处理并完成编码保存和输出，不需要在设备外部，通过其他处理方式进行这一工作。而且，在处理的过程中，本发明采用了多路相机模组进行同步拍摄，可以有效解决拼接时拼缝部分活动物体影像不一致导致的拼接效果不佳的问题，而且可以有效的保证所有的图像数据采集芯片的色度、亮度等的一致性，最终保障所生成的全景影像的拼接效果。本发明的处理过程完全基于原始图像传感器数据，保持最大精度，可以直接输出原始数据生成的全景图像或者全景视频帧，给与了后期最大限度的编辑空间。
附图说明
图1示出了本发明的实时拼接全景影像的系统的第一实施例的原理图。
图2示出了本发明的实时拼接全景影像的系统的第二实施例的原理图。
图3示出了本发明的实时拼接全景影像的系统的第三实施例的原理图。
图4示出了本发明的实时拼接全景影像的方法的第一实施例的流程图。
图5示出了本发明的实时拼接全景影像的方法的第二实施例的流程图。
图6示出了本发明的实时拼接全景影像的方法的第三实施例的流程图。
具体实施方式
在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
实时拼接全景影像的系统的第一实施例
图1示出了本发明的实时拼接全景影像的系统的第一实施例的原理。请参见图1，本实施例的系统包括多路拍摄模组10a～10n、图像数据拼接处理模块11。多路拍摄模组10a～10n的输出端连接到图像数据拼接处理模块11的输入端。
多路拍摄模组10a～10n用以多张原始格式的影像(包括图片、视频等)的同步拍摄。原始格式在本发明中是指RAW格式。这多路拍摄模组的视场相互重合，共同组成一片连续更大的范围，该范围可以是整个空间水平360度、竖直180度，也可以仅仅覆盖部分空间。每一路拍摄模组都是由镜头、感光元件以及相应的电路板组成。多路拍摄模组10a～10n的感光同步，是通过接收图像数据拼接处理模块11的时钟信号来实现的。
图像数据拼接处理模块11接收并基于来自多路拍摄模组拍摄的原始格式的影像，将之拼接出原始格式的全景图片。这里所说的拼接，可以采用事先标定好的相机空间姿态参数、镜头畸变矫正参数，直接进行全景图像像素的投影融合运算，也可以将标定好的前述参数转化为目标图像像素和原始图像像素之间的坐标权重关系表，然后通过查表算法进行全景图像像素的投影融合运算。这一模块由核心处理芯片、内存颗粒、及其他辅助元器件组成。其中核心处理芯片根据所需要的性能和成本考虑，可以使用FPGA、DSP、CPU、GPU或者专有芯片。
拼接完成的原始格式的全景影像可以用作保存、直播推流、外部设备显示或者其他数据消费使用方式。更详细而言，可参见图1所示的数据输出模块。可以存储到本地存储芯片中，可以通过HDMI或者其他显示接口输出到显示设备上显示，也可以通过RJ45推流到网络服务器上广播访问。以上只是介绍一些典型应用，这些功能模块可以根据不同的需求，减少功能或者扩展和定义新功能，比如说通过USB口访问内部存储中的文件，通过USB口推送数据到电脑中，通过SDI口将数据输出到外部设备等。
实时拼接全景影像的系统的第二实施例
图2示出了本发明的实时拼接全景影像的系统的第二实施例的原理。请参见图2，本实施例的系统包括多路拍摄模组20a～20n、图像数据拼接处理模块21、图像信号处理模块22、视频编码模块23。本实施例的全景影像是指全景视频。多路拍摄模组20a～20n的输出端均连接至图像数据拼接处理模块21的输入端，图像数据拼接处理模块21的输出端连接图像信号处理模块22的输入端，图像信号处理模块22的输出端连接视频编码模块23的输入端。
多路拍摄模组20a～20n用以多个影像(图片或视频)的同步拍摄。在本发明中拍摄的影像格式是指RAW格式。这多路拍摄模组的视场相互重合，共同组成一片连续更大的范围，该范围可以是整个空间水平360度、竖直180度，也可以仅仅覆盖部分空间。每一路拍摄模组都是由镜头、感光元件以及相应的电路板组成。多路拍摄模组20a～20n的感光同步，是通过接收图像数据拼接处理模块21的时钟信号来实现的。
图像数据拼接处理模块21对多路拍摄模组20a～20n的同步性进行控制，接收多路拍摄模组20a～20n拍摄的影像，将之拼接成全景影像。这里所说的拼接，可以采用事先标定好的相机空间姿态参数、镜头畸变矫正参数，直接进行全景图像像素的投影融合运算，也可以将标定好的前述参数转化为目标图像像素和原始图像像素之间的坐标权重关系表，然后通过查表算法进行全景图像像素的投影融合运算。这一模块由核心处理芯片、内存颗粒、及其他辅助元器件组成。其中核心处理芯片根据所需要的性能和成本考虑，可以使用FPGA、DSP、CPU、GPU或者专有芯片。
图像信号处理模块22也就是ISP(Image Signal Processing)处理模块，提供时钟信号至图像数据拼接处理模块21用于多路拍摄模组20a～20n拍摄的同步性控制，接收图像数据拼接处理模块传输来的全景影像，对每一全景影像进行图像信号处理，转换为RGB或者YUV数据。
数据编码模块23接收图像信号处理模块22传输来的RGB或者YUV数据，将RGB或者YUV数据编码成视频格式文件或图片格式文件。
图像信号处理模块22和数据编码模块23通常设置在同一个电路板上，其核心功能ISP处理、以及数据编码，根据选择器件的不同，可以在一块芯片上，也可以是不同的芯片，甚至于以上过程，直接通过软件方式进行计算。
拼接完成的全景影像可以用作保存、直播推流、外部设备显示或者其他数据消费使用方式。更详细而言，可参见图1所示的数据输出模块。可以存储到本地存储芯片中，可以通过HDMI或者其他显示接口输出到显示设备上显示，也可以通过RJ45推流到网络服务器上广播访问。以上只是介绍一些典型应用，这些功能模块可以根据不同的需求，减少功能或者扩展和定义新功能，比如说通过USB口访问内部存储中的文件，通过USB口推送数据到电脑中，通过SDI口将数据输出到外部设备等。
多路拍摄模组20a～20n、图像数据拼接处理模块21、图像信号处理模块22、数据编码模块23集成在同一个设备内。
实时拼接全景影像的系统的第三实施例
图3示出了本发明的实时拼接全景影像的系统的第三实施例的原理。请参见图3，本实施例的系统包括多路拍摄模组30a～30n、图像数据拼接处理模块31、图像信号处理模块32、视频编码模块33。多路拍摄模组30a～30n的输出端均连接至图像数据拼接处理模块31的输入端，图像数据拼接处理模块31的一个输出端连接图像信号处理模块32的输入端，图形数据拼接处理模块31另一个输出端用于全景图片的直接输出，图像信号处理模块32的输出端连接视频编码模块33的输入端。
多路拍摄模组30a～30n用以影像的同步拍摄。在本发明中拍摄的影像格式是RAW格式。这多路拍摄模组的视场相互重合，共同组成一片连续更大的范围，该范围可以是整个空间水平360度、竖直180度，也可以仅仅覆盖部分空间。每一路拍摄模组都是由镜头、感光元件以及相应的电路板组成。多路拍摄模组30a～30n的感光同步，是通过接收图像数据拼接处理模块31的时钟信号来实现的。
图像数据拼接处理模块31对多路拍摄模组30a～30n的同步性进行控制，接收多路拍摄模组30a～30n拍摄的每一影像，将之拼接成全景影像。而同时也能接收来自多路拍摄模组30a～30n拍摄的RAW格式的影像并将其拼接成RAW格式的全景影像。图像数据拼接处理模块31有两种处理方式，第一种是将拼接出的RAW格式的全景影像直接做输出，第二种是将拼接出的全景影像传输给图像信号处理模块32再做处理。
这里所说的拼接，可以采用事先标定好的相机空间姿态参数、镜头畸变矫正参数，直接进行全景图像像素的投影融合运算，也可以将标定好的前述参数转化为目标图像像素和原始图像像素之间的坐标权重关系表，然后通过查表算法进行全景图像像素的投影融合运算。这一模块由核心处理芯片、内存颗粒、及其他辅助元器件组成。其中核心处理芯片根据所需要的性能和成本考虑，可以使用FPGA、DSP、CPU、GPU或者专有芯片。
图像信号处理模块32也就是ISP(Image Signal Processing)处理模块，提供时钟信号至图像数据拼接处理模块31用于多路拍摄模组30a～30n拍摄的同步性控制，并接收图像数据拼接处理模块传输来的全景影像，对每一全景影像进行图像信号处理，转换为RGB或者YUV数据。
数据编码模块33将图像信号处理模块32传输来的RGB或者YUV数据编码成视频格式文件或图片格式文件。
图像信号处理模块32和数据编码模块33通常设置在同一个电路板上，其核心功能ISP处理、以及数据编码，根据选择器件的不同，可以在一块芯片上，也可以是不同的芯片，甚至于以上过程，直接通过软件方式进行计算。
拼接完成的全景影像可以用作保存、直播推流、外部设备显示或者其他数据消费使用方式。更详细而言，可参见图1所示的数据输出模块。可以存储到本地存储芯片中，可以通过HDMI或者其他显示接口输出到显示设备上显示，也可以通过RJ45推流到网络服务器上广播访问。以上只是介绍一些典型应用，这些功能模块可以根据不同的需求，减少功能或者扩展和定义新功能，比如说通过USB口访问内部存储中的文件，通过USB口推送数据到电脑中，通过SDI口将数据输出到外部设备等。
多路拍摄模组30a～30n、图像数据拼接处理模块31、图像信号处理模块32、数据编码模块33集成在同一个设备内。
实时拼接全景影像的方法的第一实施例
图4示出了本发明的实施拼接全景影像的方法的第一实施例的流程图。请参见图4，本实施例的方法的实现步骤如下所述。
步骤S11：使用多路拍摄模组同步拍摄原始格式的影像。
原始格式在本发明中是指RAW格式。这多路拍摄模组的视场相互重合，共同组成一片连续更大的范围，该范围可以是整个空间水平360度、竖直180度，也可以仅仅覆盖部分空间。每一路拍摄模组都是由镜头、感光元件以及相应的电路板组成。多路拍摄模组的感光同步，是通过接收图像数据拼接处理模块的时钟信号来实现的。
步骤S12：使用图像数据拼接处理模块接收并基于来自多路相机模组拍摄的原始格式的影像，拼接出原始格式的全景影像。
这里所说的拼接，可以采用事先标定好的相机空间姿态参数、镜头畸变矫正参数，直接进行全景图像像素的投影融合运算，也可以将标定好的前述参数转化为目标图像像素和原始图像像素之间的坐标权重关系表，然后通过查表算法进行全景图像像素的投影融合运算。这一模块由核心处理芯片、内存颗粒、及其他辅助元器件组成。其中核心处理芯片根据所需要的性能和成本考虑，可以使用FPGA、DSP、CPU、GPU或者专有芯片。
拼接完成的原始格式的全景影像可以用作保存、直播推流、外部设备显示或者其他数据消费使用方式。更详细而言，可以存储到本地存储芯片中，可以通过HDMI或者其他显示接口输出到显示设备上显示，也可以通过RJ45推流到网络服务器上广播访问。以上只是介绍一些典型应用，这些功能模块可以根据不同的需求，减少功能或者扩展和定义新功能，比如说通过USB口访问内部存储中的文件，通过USB口推送数据到电脑中，通过SDI口将数据输出到外部设备等。
实时拼接全景影像的方法的第二实施例
图5示出了本发明的实施拼接全景影像的方法的第二实施例的流程图。请参见图5，本实施例的方法的实现步骤如下所述。
步骤S21：使用多路拍摄模组同步拍摄多路影像。
在本发明中拍摄的影像格式是指RAW格式。这多路拍摄模组的视场相互重合，共同组成一片连续更大的范围，该范围可以是整个空间水平360度、竖直180度，也可以仅仅覆盖部分空间。每一路拍摄模组都是由镜头、感光元件以及相应的电路板组成。多路拍摄模组的感光同步，是通过接收图像数据拼接处理模块的时钟信号来实现的。
步骤S22：使用图像数据拼接处理模块接收多路相机模组拍摄的每一影像，并将之拼接成每一全景影像。
这里所说的拼接，可以采用事先标定好的相机空间姿态参数、镜头畸变矫正参数，直接进行全景图像像素的投影融合运算，也可以将标定好的前述参数转化为目标图像像素和原始图像像素之间的坐标权重关系表，然后通过查表算法进行全景图像像素的投影融合运算。这一模块由核心处理芯片、内存颗粒、及其他辅助元器件组成。其中核心处理芯片根据所需要的性能和成本考虑，可以使用FPGA、DSP、CPU、GPU或者专有芯片。
步骤S23：使用图像信号处理模块对每一全景影像进行图像信号处理，转换为RGB或者YUV数据。
图像信号处理模块也就是ISP(Image Signal Processing)处理模块，提供时钟信号至图像数据拼接处理模块用于多路拍摄模组拍摄的同步性控制，对每一全景影像进行图像信号处理，转换为RGB或者YUV数据。
步骤S24：使用数据编码模块将RGB或者YUV数据编码成视频格式文件或图片格式文件。
图像信号处理模块和数据编码模块通常设置在同一个电路板上，其核心功能ISP处理、以及数据编码，根据选择器件的不同，可以在一块芯片上，也可以是不同的芯片，甚至于以上过程，直接通过软件方式进行计算。
本实施例中的多路拍摄模组、图像数据拼接处理模块、图像信号处理模块、数据编码模块集成在同一个设备内。
拼接完成的全景影像可以用作保存、直播推流、外部设备显示或者其他数据消费使用方式。更详细而言，可以存储到本地存储芯片中，可以通过HDMI或者其他显示接口输出到显示设备上显示，也可以通过RJ45推流到网络服务器上广播访问。以上只是介绍一些典型应用，这些功能模块可以根据不同的需求，减少功能或者扩展和定义新功能，比如说通过USB口访问内部存储中的文件，通过USB口推送数据到电脑中，通过SDI口将数据输出到外部设备等。
实时拼接全景影像的方法的第三实施例
图6示出了本发明的实施拼接全景影像的方法的第三实施例的流程图。请参见图6，本实施例的方法的实现步骤如下所述。
本实施例的方法包括两套流程。第一套流程是全景拼接后原始格式的影像直接输出的处理，第二套流程是全景拼接后的影像再经过编码后输出的处理。
步骤S31：使用多路拍摄模组同步拍摄影像。
原始格式在本发明中是指RAW格式，因此图片以及视频均为RAW格式。这多路拍摄模组的视场相互重合，共同组成一片连续更大的范围，该范围可以是整个空间水平360度、竖直180度，也可以仅仅覆盖部分空间。每一路拍摄模组都是由镜头、感光元件以及相应的电路板组成。多路拍摄模组的感光同步，是通过接收图像数据拼接处理模块的时钟信号来实现的。
步骤S32：使用图像数据拼接处理模块接收并基于多路相机模组拍摄的原始格式的影像，拼接出原始格式的全景影像。
这里所说的拼接，可以采用事先标定好的相机空间姿态参数、镜头畸变矫正参数，直接进行全景图像像素的投影融合运算，也可以将标定好的前述参数转化为目标图像像素和原始图像像素之间的坐标权重关系表，然后通过查表算法进行全景图像像素的投影融合运算。这一模块由核心处理芯片、内存颗粒、及其他辅助元器件组成。其中核心处理芯片根据所需要的性能和成本考虑，可以使用FPGA、DSP、CPU、GPU或者专有芯片。
对于第一套流程，直接执行步骤S35的处理，对于第二套流程，则继续执行步骤S33。
步骤S33：使用图像信号处理模块对每一全景影像进行图像信号处理，转换为RGB或者YUV数据。
图像信号处理模块也就是ISP(Image Signal Processing)处理模块，提供时钟信号至图像数据拼接处理模块用于多路拍摄模组拍摄的同步性控制，对每一全景影像进行图像信号处理，转换为RGB或者YUV数据。
步骤S34：使用数据编码模块将RGB或者YUV数据编码成视频格式文件或图片格式文件。最后执行步骤S35。
图像信号处理模块和数据编码模块通常设置在同一个电路板上，其核心功能ISP处理、以及数据编码，根据选择器件的不同，可以在一块芯片上，也可以是不同的芯片，甚至于以上过程，直接通过软件方式进行计算。
步骤S35：输出拼接后的全景影像。
对于第一套流程，输出的全景影像包括原始格式的全景拼接后的全景图片、全景视频；对于第二套流程，输出的全景影像包括全景拼接后的可视化格式的全景图片、全景视频。
本实施例中的多路拍摄模组、图像数据拼接处理模块、图像信号处理模块、数据编码模块集成在同一个设备内。
拼接完成的全景影像可以用作保存、直播推流、外部设备显示或者其他数据消费使用方式。更详细而言，可以存储到本地存储芯片中，可以通过HDMI或者其他显示接口输出到显示设备上显示，也可以通过RJ45推流到网络服务器上广播访问。以上只是介绍一些典型应用，这些功能模块可以根据不同的需求，减少功能或者扩展和定义新功能，比如说通过USB口访问内部存储中的文件，通过USB口推送数据到电脑中，通过SDI口将数据输出到外部设备等。
使用本发明的实时拼接全景影像的系统或者方法，能带来如下的优点：
1、由于全景拼接是在机内实现，因此全景图片和全景视频制作效率高，可以直接输出，而不需要繁琐的后期处理步骤。
2、相对于背景技术中的第一种和第二种方案，视频质量高。详细而言，相对于第一种方案，不采用反光镜，减少了中间衰减缓解。相对于第二种方案，采用了多路镜头和感光，完成信号采集，通过合理排列镜头，可以避开广角镜头边缘成像质量衰减严重的问题。
3、本发明的一系列处理均使用了感光器件的原始数据，这样可以最大程度的保持精度。
4、相对于背景技术中的第三种方案，可以做到多路摄像头纳秒级别的同步，提高了拼接精度。
5、相对于背景技术中的第三种方案，可以通过单路ISP来作为多个摄像头的数据处理和控制，令数据的一致性更好。
6、相对于背景技术中的第三种方案，可以有更小的功耗达到更好的效果。
7、相对于背景技术中的第三种方案，减少了器件数量，而且将设备的体积和重量能做的更小。
尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。
本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。
结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。
结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。
在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。
提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (10)

1.一种基于单路图像信号处理的实时拼接全景影像的系统，其特征在于，系统包括：
多路拍摄模组，用以多路影像的同步拍摄；
图像数据拼接处理模块，连接多路拍摄模组，对多路拍摄模组的同步性进行控制，接收并基于来自多路拍摄模组拍摄的影像，将之拼接出全景影像。
2.根据权利要求1所述的基于单路图像信号处理的实时拼接全景影像的系统，其特征在于，多路相机模组拍摄到的多路影像，图像数据拼接处理模块拼接出的全景影像均为原始格式。
3.根据权利要求2所述的基于单路图像信号处理的实时拼接全景影像的系统，其特征在于，图像数据拼接处理模块具有直接将原始格式的全景影像输出的端口。
4.根据权利要求2所述的基于单路图像信号处理的实时拼接全景影像的系统，其特征在于，系统还包括：
图像信号处理模块，连接图像数据拼接处理模块，提供时钟信号至图像数据拼接处理模块用于多路拍摄模组拍摄的同步性控制，并接收图像数据拼接处理模块传输过来的全景影像，对全景影像进行图像信号处理，转换为RGB或者YUV数据；
数据编码模块，连接图像信号处理模块，接收图像信号处理模块传输来的RGB或YUV数据，将该数据编码成视频格式文件或图片格式文件。
5.根据权利要求4所述的基于单路图像信号处理的实时拼接全景影像的系统，其特征在于，多路拍摄模组、图像数据拼接处理模块、图像信号处理模块、数据编码模块集成在同一个设备内。
6.一种基于单路图像信号处理的实时拼接全景影像的方法，其特征在于，方法包括：
使用多路拍摄模组同步拍摄多路影像；
使用图像数据拼接处理模块接收并基于来自多路相机模组拍摄的影像，将之拼接出全景影像；
其中多路拍摄模组的同步性是由图像数据拼接处理模块控制的。
7.根据权利要求6所述的基于单路图像信号处理的实时拼接全景影像的方法，其特征在于，多路拍摄模组拍摄到的多路影像、图像数据拼接处理模块拼接出的全景影像均为原始格式。
8.根据权利要求7所述的基于单路图像信号处理的实时拼接全景影像的方法，其特征在于，方法还包括：在图像数据拼接处理模块拼接出全景影像后直接输出。
9.根据权利要求7所述的基于单路图像信号处理的实时拼接全景影像的方法，其特征在于，方法还包括：
使用图像信号处理模块对每一全景影像进行图像信号处理，转换为RGB或者YUV数据；
使用数据编码模块将RGB或者YUV数据编码成视频格式文件或图片格式文件；
其中图像信号处理模块提供时钟信号至图像数据拼接处理模块，进而实现多路相机模组拍摄的同步性控制。
10.根据权利要求9所述的基于单路图像信号处理的实时拼接全景影像的方法，其特征在于，多路拍摄模组、图像数据拼接处理模块、图像信号处理模块、数据编码模块集成在同一个设备内。
CN201611192591.2A 2016-12-21 2016-12-21 基于单路图像信号处理的实时拼接全景影像的方法及系统 Pending CN108234820A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611192591.2A CN108234820A (zh) 2016-12-21 2016-12-21 基于单路图像信号处理的实时拼接全景影像的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611192591.2A CN108234820A (zh) 2016-12-21 2016-12-21 基于单路图像信号处理的实时拼接全景影像的方法及系统

Publications (1)

Publication Number Publication Date
CN108234820A true CN108234820A (zh) 2018-06-29

Family

ID=62651919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611192591.2A Pending CN108234820A (zh) 2016-12-21 2016-12-21 基于单路图像信号处理的实时拼接全景影像的方法及系统

Country Status (1)

Country Link
CN (1) CN108234820A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110087032A (zh) * 2019-04-24 2019-08-02 招商局重庆公路工程检测中心有限公司 一种全景式隧道视频监视装置及方法
CN111726566A (zh) * 2019-03-21 2020-09-29 上海飞猿信息科技有限公司 一种实时校正拼接防抖的实现方法
CN112004023A (zh) * 2020-08-31 2020-11-27 深圳创维数字技术有限公司 拍摄方法、多摄像头模组以及存储介质
CN112311959A (zh) * 2020-10-29 2021-02-02 济南浪潮高新科技投资发展有限公司 一种多路模拟摄像头数据拼接处理系统及方法
CN112785973A (zh) * 2019-11-05 2021-05-11 西安诺瓦星云科技股份有限公司 图像拼接方法及装置
CN113194269A (zh) * 2021-03-26 2021-07-30 深圳市广和通无线股份有限公司 图像输出系统和方法
CN113556497A (zh) * 2020-04-26 2021-10-26 北京君正集成电路股份有限公司 一种传输多摄像头数据的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050128286A1 (en) * 2003-12-11 2005-06-16 Angus Richards VTV system
CN104301677A (zh) * 2014-10-16 2015-01-21 北京十方慧通科技有限公司 面向大场景的全景视频监控的方法及装置
CN105959562A (zh) * 2016-06-14 2016-09-21 完美幻境(北京)科技有限公司 获取全景拍摄数据的方法、装置以及便携式全景拍摄设备
CN106027886A (zh) * 2016-05-17 2016-10-12 深圳市极酷威视科技有限公司 一种全景视频实现同步帧的方法及系统
CN106060606A (zh) * 2016-05-26 2016-10-26 福建凯米网络科技有限公司 数字视听场所的大屏分区显示方法、播放终端、系统及数字点播系统
CN106210535A (zh) * 2016-07-29 2016-12-07 北京疯景科技有限公司 全景视频实时拼接方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050128286A1 (en) * 2003-12-11 2005-06-16 Angus Richards VTV system
CN104301677A (zh) * 2014-10-16 2015-01-21 北京十方慧通科技有限公司 面向大场景的全景视频监控的方法及装置
CN106027886A (zh) * 2016-05-17 2016-10-12 深圳市极酷威视科技有限公司 一种全景视频实现同步帧的方法及系统
CN106060606A (zh) * 2016-05-26 2016-10-26 福建凯米网络科技有限公司 数字视听场所的大屏分区显示方法、播放终端、系统及数字点播系统
CN105959562A (zh) * 2016-06-14 2016-09-21 完美幻境(北京)科技有限公司 获取全景拍摄数据的方法、装置以及便携式全景拍摄设备
CN106210535A (zh) * 2016-07-29 2016-12-07 北京疯景科技有限公司 全景视频实时拼接方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726566A (zh) * 2019-03-21 2020-09-29 上海飞猿信息科技有限公司 一种实时校正拼接防抖的实现方法
CN110087032A (zh) * 2019-04-24 2019-08-02 招商局重庆公路工程检测中心有限公司 一种全景式隧道视频监视装置及方法
CN112785973A (zh) * 2019-11-05 2021-05-11 西安诺瓦星云科技股份有限公司 图像拼接方法及装置
CN112785973B (zh) * 2019-11-05 2022-07-15 西安诺瓦星云科技股份有限公司 图像拼接方法及装置
CN113556497A (zh) * 2020-04-26 2021-10-26 北京君正集成电路股份有限公司 一种传输多摄像头数据的方法
CN112004023A (zh) * 2020-08-31 2020-11-27 深圳创维数字技术有限公司 拍摄方法、多摄像头模组以及存储介质
CN112311959A (zh) * 2020-10-29 2021-02-02 济南浪潮高新科技投资发展有限公司 一种多路模拟摄像头数据拼接处理系统及方法
CN113194269A (zh) * 2021-03-26 2021-07-30 深圳市广和通无线股份有限公司 图像输出系统和方法

Similar Documents

Publication Publication Date Title
CN108234820A (zh) 基于单路图像信号处理的实时拼接全景影像的方法及系统
CN108234933A (zh) 基于多路图像信号处理的实时拼接全景影像的方法及系统
US5703604A (en) Immersive dodecaherdral video viewing system
KR100968378B1 (ko) 파노라마 이미지를 생성하는 장치, 방법 및 그 방법을 실행하는 프로그램이 기록된 기록 매체
JP6316910B2 (ja) シーン基準のメタデータ捕捉のための基準カード
CN108881889B (zh) 基于光场显示的文物3d展示方法
CN108848354B (zh) 一种vr内容摄像系统及其工作方法
CN104685868A (zh) 用于校准成像装置的方法及设备
CN105635602A (zh) 一种采用两路视频间亮度和色偏对视频拼接的系统及其调整方法
CN102724477A (zh) 基于fpga的监控视频实时拼接装置及拼接方法
CN104363385A (zh) 一种图像融合的基于行的硬件实现方法
CN109064415A (zh) 图像处理方法、系统、可读存储介质及终端
CN105635603A (zh) 一种采用两路视频间亮度和色偏对视频拼接的系统
CN113923377A (zh) 一种led环幕虚拟制片系统
CN115866160A (zh) 一种低成本的电影虚拟化制作系统及方法
CN105959562A (zh) 获取全景拍摄数据的方法、装置以及便携式全景拍摄设备
WO2023010751A1 (zh) 图像高亮区域的信息补偿方法、装置、设备及存储介质
Wilburn High-performance imaging using arrays of inexpensive cameras
CN108174119A (zh) 摄像装置的控制方法、多光谱摄像设备、无人机及介质
WO2023010755A1 (zh) 一种hdr视频转换方法、装置、设备及计算机存储介质
CN102630026A (zh) 一种处理视频的方法及系统
CN101345887B (zh) 改良的rgb影像缩放方法
CN112003999A (zh) 基于Unity 3D的三维虚拟现实合成算法
CN208623757U (zh) 一种图像拼接融合系统
CN109218602A (zh) 影像撷取装置、影像处理方法及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180629

RJ01 Rejection of invention patent application after publication