CN103297668A - 全景视频图像摄录系统及方法 - Google Patents

Abstract

本发明公开了一种全景视频图像摄录系统及方法，包括：用于从多个角度分别同时采集得到多个图像的图像采集装置；与图像采集装置接收多个图像、并将多个图像拼接成全景图像的图像拼接装置；以及与图像拼接装置连接、并输出全景图像的图像传输装置。相比与现有技术中采集图像、传输图像、拼接图像、显示图像的处理过程，本发明的全景视频图像摄录系统中，处理过程为采集图像、拼接图像、传输全景图像、显示全景图像，在传输图像之前将采集的多个图像拼接成全景图像，并优选采用基于FPGA的硬件拼接方法，使得拼接处理耗时短，拼接后的全景图像近似实时传输至图像显示装置进行显示，从而在实现360°全景监控的基础上，还能够实现实时监控。

Description

全景视频图像摄录系统及方法

技术领域

本发明涉及视频图像摄录系统及方法，尤其涉及一种全景视频图像摄录系统及方法。

背景技术

视频图像摄录系统作为监控系统，广泛应用于公共安全领域、军事领域以及私人领域等等。随着技术的发展，监控系统在监控图像品质以及图像传输能力有了显著的提升。进一步地，人们不再满足只从单一角度进行监控，希望能实现多角度多方位或全景监控。然而，由于现代技术发展对于海量数字信息采集、处理和传输中的种种限制，安防中的视频监控死角难题至今无法彻底解决。具体而言，在现有的多角度或全景监控系统中，通常是图像采集后，传输至中央处理器(例如服务器或个人电脑)，在中央服务器中利用软件处理拼接采集的多个图像，再在显示器上显示拼接后的图像。在这个过程中，一方面对系统的数据传输能力要求很高，因为多角度或全景监控系统中传输的图像数据量是单一角度监控系统中的数倍。另一方面，采用软件对采集的图像进行拼接，耗时较长，因此无法真正实现实时监控。

发明内容

本发明要解决的技术问题在于针对现有技术中无法实时显示全景图像的缺陷，提供一种全景视频图像摄录系统及方法。

本发明解决其技术问题所采用的技术方案是：提供一种全景视频图像摄录系统，包括：

用于从多个角度分别同时采集得到多个图像的图像采集装置；

与所述图像采集装置接收所述多个图像、并将所述多个图像拼接成全景图像的图像拼接装置；以及

与所述图像拼接装置连接、并输出所述全景图像的图像传输装置。

在依据本发明实施例的全景视频图像摄录系统中，所述全景视频图像摄录系统进一步包括与所述图像传输装置连接接收所述全景图像、并显示所述全景图像的图像显示装置。

在依据本发明实施例的全景视频图像摄录系统中，所述图像采集装置包括至少三个摄像头，所述摄像头等间隔排布在同一圆周上。

在依据本发明实施例的全景视频图像摄录系统中，所述图像拼接装置为基于FPGA的图像拼接装置。

在依据本发明实施例的全景视频图像摄录系统中，所述基于FPGA的图像拼接装置包括：

与所述图像采集装置连接接收的所述多个图像、并缓存所述多个图像的缓存器；

与所述缓存器连接提取所述多个图像、并分别对所述多个图像进行失真处理的失真处理模块；

与所述失真处理模块连接接收所述多个图像、并拼接所述多个图像以形成全景图像的拼接模块；以及

与所述拼接模块连接接收全景图像、并对所述全景图像的边沿重影进行融合的融合模块。

在依据本发明实施例的全景视频图像摄录系统中，所述全景视频图像摄录系统进一步包括：

与所述图像拼接装置连接接收所述全景图像、压缩所述全景图像、并将压缩的所述全景图像输出至所述图像传输装置的图像压缩装置。

在依据本发明实施例的全景视频图像摄录系统中，所述全景视频图像摄录系统进一步包括：

与所述图像传输装置连接接收压缩的所述全景图像、解压缩所述全景图像、并将解压缩的所述全景图像输出至所述图像显示装置的图像解压缩装置。

在依据本发明实施例的全景视频图像摄录系统中，所述图像压缩装置为基于FPGA的图像压缩装置。

在依据本发明实施例的全景视频图像摄录系统中，所述基于FPGA的图像压缩装置包括：

与所述图像拼接装置连接接收所述全景图像、并缓存所述全景图像的全景图像缓存器；

与所述全景图像缓存器连接提取的所述全景图像、并对所述全景图像进行JPEG压缩的JPEG压缩模块；以及

用于配置所述JPEG压缩模块的压缩参数以控制所述JPEG压缩的处理器，其中，所述处理器通过处理器局部总线与所述JPEG压缩模块连接。

在依据本发明实施例的全景视频图像摄录系统中，所述图像传输装置包括用以通过以太网发送拼接的所述全景图像的以太网接口。

本发明还提供了一种全景视频图像摄录方法，包括步骤：

采用图像采集装置从多个角度分别同时采集得到多个图像；

采用图像拼接装置从所述图像采集装置接收所述多个图像、并将所述多个图像拼接成全景图像；以及

采用图像传输装置输出所述全景图像。

在依据本发明实施例的全景视频图像摄录方法中，所述图像拼接装置为基于FPGA的图像拼接装置；所述基于FPGA的图像拼接装置包括：

与所述图像采集装置连接接收的所述多个图像、并缓存所述多个图像的缓存器；

与所述缓存器连接提取所述多个图像、并分别对所述多个图像进行失真处理的失真处理模块；

与所述失真处理模块连接接收所述多个图像、并拼接所述多个图像以形成全景图像的拼接模块；以及

与所述拼接模块连接接收全景图像、并对所述全景图像的边沿重影进行融合的融合模块。

在依据本发明实施例的全景视频图像摄录方法中，所述方法进一步包括：

采用图像压缩装置从所述图像拼接装置接收所述全景图像、压缩所述全景图像、并将压缩的所述全景图像输出至所述图像传输装置；

采用图像解压缩装置从所述图像传输装置接收压缩的所述全景图像、解压缩所述全景图像、并将解压缩的所述全景图像输出至图像显示装置。

本发明产生的有益效果是：相比与现有技术中采集图像、传输图像、拼接图像、显示图像的处理过程，在依据本发明实施例的全景视频图像摄录系统中，处理过程为采集图像、拼接图像、传输全景图像、显示全景图像，在传输图像之前将采集的多个图像拼接成全景图像，从而在实现360°全景监控的基础上，还能够实现实时监控。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的全景视频图像摄录系统的逻辑框图；

图2是本发明实施例的图像拼接装置的逻辑框图；

图3是本发明优选实施例的全景视频图像摄录系统的逻辑框图；

图4是图3中全景视频图像摄录系统的图像压缩装置的逻辑框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图1示出了依据本发明的全景视频图像摄录系统的逻辑框图，如图1所示，全景视频图像摄录系统包括依次连接的图像采集装置100、图像拼接装置200、图像传输装置300以及可选的图像显示装置400。此处所说的连接包括电连接和/或通信连接，使得连接后的各个装置之间可以进行数据传输。其中，图像采集装置100从多个角度分别同时采集多个图像；图像拼接装置200从图像采集装置100接收采集的多个图像，并将多个图像拼接成全景图像；图像传输装置300发送拼接的全景图像；以及图像显示装置400从图像传输装置300接收全景图像并显示全景图像。

图像采集装置100为多通路摄录装置，包括多个摄像头，可从多个角度进行图像或视频摄录，因此本文中所说的图像既可以是动态的图像，也可以是动态的图像，例如视频。如果进行全景摄录，则包括多个摄像头(优选至少三个)，摄像头等间隔排布在同一圆周上，从而实现360°全景摄录。如果进行预设方位摄录，则包括至少两个摄像头，根据摄录角度或方位的需要来安放摄像头。总而言之，可根据特定的需要来具体设置摄像头的位置摆放。在本发明的实施例中，可在同一圆周上等间隔设置6个摄像头，用以实现360°全景摄录。可例如采用500万像素的CMOS传感器(型号为Micron MT9P031)作为摄像头。

在本发明的优选实施例中，图像拼接装置200为基于FPGA的图像拼接装置200。现场可编程门阵列(FPGA)也称为可编程ASIC(专用集成电路)，属于专用集成电路中的一种半定制集成电路。本发明中的基于FPGA的图像拼接装置200可采用市面上可售的现有FPGA。

如图2所示，该基于FPGA的图像拼接装置200包括图像预处理模块210、缓存器220、失真处理模块230、拼接模块240以及融合模块250。图像预处理模块210为可选模块，与图像采集装置100连接以接收多个图像，可首先分别对多个图像进行预先处理，使得图像显示效果更佳。图像预处理模块210可例如包括：用于生成彩色图像的颜色生成模块、对色温引起的色差进行校正的色差校正模块、用于校正采集的图像与真实颜色的偏差的色彩校正模块、以及用于消除光电响应导致的非线性特性的非线性特性校正模块。由于图像采集装置100一次采集多个图像，因此首先采用缓存器220从图像采集装置100或图像预处理模块210接收多个图像，并缓存在该缓存器220中。该缓存器220可例如为RAM。失真处理模块230为FPGA芯片，与缓存器220连接提取所述多个图像，并分别对多个图像进行失真处理，其中可采用本领域技术人员已知的方法对多个图像进行处理。拼接模块240为FPGA芯片，与失真处理模块230连接接收多个图像，并拼接多个图像以形成全景图像。其中可采用本领域技术人员已知的方法拼接多个图像以形成全景图像。由于多个图像分别从不同的角度摄录得到，因此多个图像之间必然存成有重复的部分，直接拼接后将导致全景图像上出现边沿重影。因此，为了获得更佳的图像显示，需要消除该边沿重影。融合模块250为FPGA芯片，与拼接模块240连接接收全景图像，并对全景图像的边沿重影进行融合。其中可采用本领域技术人员已知的方法拼接多个图像以形成全景图像。从以上可以看出，基于FPGA的图像拼接装置200通过硬件拼接图像，处理速度快，因此可以直接从图像采集装置100获取多个图像后，实时拼接多个图像以形成全景图像，相比于通过软件拼接图像的方法，在这个过程中延迟时间非常短。

在本发明的实施例中，图像拼接装置200与图像传输装置300连接，可将形成的全景图像直接输出给图像传输装置300，并通过图像输出装置输出至图像显示装置400以显示该全景图像。但是全景图像通常比较大，为了高效快速发送全景图像至图像显示装置400，可在发送前压缩该全景图像，因此，在本发明的优选实施例中，全景视频图像摄录系统进一步包括图像压缩装置500和图像解压缩装置600。如图3所示，图像压缩装置500分别与图像拼接装置200和图像传输装置300连接，用以从图像拼接装置200接收全景图像，压缩该全景图像后输出至图像传输装置300。图像解压缩装置600分别与图像传输装置300和图像显示装置400连接，用以从图像传输装置300接收压缩后的全景图像，对其解压缩后输出至图像显示装置400以显示该全景图像。

在本发明的优选实施例中，图像压缩装置500为基于FPGA的图像压缩装置500。如图4所示，基于FPGA的图像压缩装置500包括全景图像缓存器510、JPEG压缩模块520以及处理器530。其中，全景图像缓存器510与图像拼接装置200连接以接收全景图像，并将其缓存在该全景图像缓存器510中，该全景图像缓存器510可例如为RAM。JPEG压缩模块520为FPGA芯片，与全景图像缓存器510连接，用以从全景图像缓存器510提取全景图像，并将提取的全景图像进行JPEG压缩。可采用本领域技术人员已知的JPEG压缩方法来压缩全景图像。处理器530可例如为CPU，通过处理器局部(PLB)总线540与JPEG压缩模块520连接。处理器530配置JPEG压缩模块520的压缩参数，例如压缩后图像x轴的尺寸和y轴的尺寸。该配置的压缩参数通过PLB总线540传输至JPEG压缩模块520，JPEG压缩模块520将基于该压缩参数对全景图像进行压缩。

在本发明的一个实施例中，图像传输装置300与图像拼接装置200连接，用以接收全景图像。将全景图像封包后，以任意已知的有线通信或无线通信方式发送至图像显示装置400。例如，图像传输装置300可例如包括以太网接口，从而通过以太网将封包后的全景图像传输至图像显示装置400。在本发明的实施例中，可例如是只有一个以太网接口，也可以是有多个以太网接口，当传输的图像非常大时，可以通过多个以太网接口并行地传输图像。在本发明的优选实施例中，图像传输装置300与图像压缩装置500连接以接收压缩的全景图像。对应地，全景视频图像摄录系统还包括图像解压缩装置600，分别与图像传输装置300和图像显示装置400连接，从而从图像传输装置300接收压缩的全景图像，解压缩后输出至图像显示装置400，从而在图像显示装置400上显示该全景图像。图像显示装置400可例如为PC机的显示屏，此时图像解压缩装置600可例如为PC机的CPU。

从以上可以看出，相比与现有技术中采集图像、传输图像、拼接图像、显示图像的处理过程，在依据本发明实施例的全景视频图像摄录系统中，处理过程为采集图像、拼接图像、传输全景图像、显示全景图像，在传输图像之前将采集的多个图像拼接成全景图像，优选采用基于FPGA的硬件拼接方法，使得拼接处理耗时短，拼接后的全景图像近似实时传输至图像显示装置进行显示，从而在实现360°全景监控的基础上，还能够实现实时监控。另外，优选地在拼接成全景图像后，采用基于FPGA的硬件压缩方法压缩全景图像，对压缩后的图像进行传输，从传输方面进一步提高了实时显示的效率。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种全景视频图像摄录系统，其特征在于，包括：

用于从多个角度分别同时采集得到多个图像的图像采集装置；

与所述图像采集装置接收所述多个图像、并将所述多个图像拼接成全景图像的图像拼接装置；以及

与所述图像拼接装置连接、并输出所述全景图像的图像传输装置。

2.根据权利要求1所述的全景视频图像摄录系统，其特征在于，所述全景视频图像摄录系统进一步包括与所述图像传输装置连接接收所述全景图像、并显示所述全景图像的图像显示装置。

3.根据权利要求1所述的全景视频图像摄录系统，其特征在于，所述图像采集装置包括多个摄像头，所述摄像头等间隔排布在同一圆周上。

4.根据权利要求1所述的全景视频图像摄录系统，其特征在于，所述图像拼接装置为基于FPGA的图像拼接装置；其中，

所述基于FPGA的图像拼接装置包括：

与所述图像采集装置连接接收的所述多个图像、并缓存所述多个图像的缓存器；

与所述缓存器连接提取所述多个图像、并分别对所述多个图像进行失真处理的失真处理模块；

与所述失真处理模块连接接收所述多个图像、并拼接所述多个图像以形成全景图像的拼接模块；以及

与所述拼接模块连接接收全景图像、并对所述全景图像的边沿重影进行融合的融合模块。

5.根据权利要求1-4任一项所述的全景视频图像摄录系统，其特征在于，所述全景视频图像摄录系统进一步包括：

与所述图像拼接装置连接接收所述全景图像、压缩所述全景图像、并将压缩的所述全景图像输出至所述图像传输装置的图像压缩装置；

与所述图像传输装置连接接收压缩的所述全景图像、解压缩所述全景图像、并将解压缩的所述全景图像输出至所述图像显示装置的图像解压缩装置。

6.根据权利要求5所述的全景视频图像摄录系统，其特征在于，所述图像压缩装置为基于FPGA的图像压缩装置；其中，

所述基于FPGA的图像压缩装置包括：

与所述图像拼接装置连接接收所述全景图像、并缓存所述全景图像的全景图像缓存器；

与所述全景图像缓存器连接提取的所述全景图像、并对所述全景图像进行JPEG压缩的JPEG压缩模块；以及

用于配置所述JPEG压缩模块的压缩参数以控制所述JPEG压缩的处理器，其中，所述处理器通过处理器局部总线与所述JPEG压缩模块连接。

7.根据权利要求1所述的全景视频图像摄录系统，其特征在于，所述图像传输装置包括用以通过以太网发送拼接的所述全景图像的以太网接口。

8.一种全景视频图像摄录方法，其特征在于，包括步骤：

采用图像采集装置从多个角度分别同时采集得到多个图像；

采用图像拼接装置从所述图像采集装置接收所述多个图像、并将所述多个图像拼接成全景图像；以及

采用图像传输装置输出所述全景图像。

9.根据权利要求8所述的全景视频图像摄录方法，其特征在于，所述图像拼接装置为基于FPGA的图像拼接装置；所述基于FPGA的图像拼接装置包括：

与所述图像采集装置连接接收的所述多个图像、并缓存所述多个图像的缓存器；

与所述缓存器连接提取所述多个图像、并分别对所述多个图像进行失真处理的失真处理模块；

与所述失真处理模块连接接收所述多个图像、并拼接所述多个图像以形成全景图像的拼接模块；以及

与所述拼接模块连接接收全景图像、并对所述全景图像的边沿重影进行融合的融合模块。

10.根据权利要求8或9所述的全景视频图像摄录方法，其特征在于，所述方法进一步包括：

采用图像压缩装置从所述图像拼接装置接收所述全景图像、压缩所述全景图像、并将压缩的所述全景图像输出至所述图像传输装置；

采用图像解压缩装置从所述图像传输装置接收压缩的所述全景图像、解压缩所述全景图像、并将解压缩的所述全景图像输出至图像显示装置。

Images