CN203352678U

CN203352678U - 六摄像头全景图像硬件成像装置

Info

Publication number: CN203352678U
Application number: CN 201320054397
Authority: CN
Inventors: 徐渊; 周清海; 李昆华; 朱明程; 冯雁军; 张建国; 孙伟昶; 赖泽勇
Original assignee: Shenzhen Zhenhua Microelectronics Co Ltd
Current assignee: Shenzhen Zhenhua Microelectronics Co Ltd
Priority date: 2013-01-30
Filing date: 2013-01-30
Publication date: 2013-12-18
Anticipated expiration: 2023-01-30

Abstract

本实用新型公开了一种六摄像头全景图像硬件成像装置，包括：壳体；用于从各个角度同时摄录图像的六个摄像头，六个摄像头设置在壳体上，并等间隔排布在同一圆周上；用于将摄录的六个图像拼接成全景图像的图像拼接模块，图像拼接模块为基于数字芯片的图像拼接模块，设置在壳体内；以及与图像拼接装置连接、并输出全景图像的图像传输装置，其包括设置在壳体上的通信接口。由于能够实时拼接形成全景图像，因此本实用新型中的六摄像头全景图像硬件成像装置能够实现即时全景图像成像，只要将其与外界显示装置或处理装置连接，即可马上显示或获取该全景图像，不需其它额外的处理，因此，使用非常便捷，使用范围广。

Description

六摄像头全景图像硬件成像装置

技术领域

本实用新型涉及成像装置，尤其涉及一种六摄像头全景图像硬件成像装置。

背景技术

视频图像摄录系统作为监控系统，广泛应用于公共安全领域、军事领域以及私人领域等等。随着技术的发展，监控系统在监控图像品质以及图像传输能力有了显著的提升。进一步地，人们不再满足只从单一角度进行监控，希望能实现多角度多方位或全景监控。然而，由于现代技术发展对于海量数字信息采集、处理和传输中的种种限制，安防中的视频监控死角难题至今无法彻底解决。具体而言，在现有的多角度或全景监控系统中，通常是图像采集后，传输至中央处理器（例如服务器或个人电脑），在中央服务器中利用软件处理拼接采集的多个图像，再在显示器上显示拼接后的图像。在这个过程中，一方面对系统的数据传输能力要求很高，因为多角度或全景监控系统中传输的图像数据量是单一角度监控系统中的数倍。另一方面，采用软件对采集的图像进行拼接，耗时较长，因此无法真正实现实时监控。因此，现有技术中不存在一种即时的全景图像成像装置。

实用新型内容

本实用新型要解决的技术问题在于，针对现有技术中不存在一种即时的全景图像成像装置的缺陷，提供一种六摄像头全景图像硬件成像装置。

本实用新型解决其技术问题所采用的技术方案是：提供一种六摄像头全景图像硬件成像装置，包括：

壳体；

用于从各个角度同时摄录图像的六个摄像头，所述六个摄像头设置在所述壳体上，并等间隔排布在同一圆周上；

用于将所述六个摄像头摄录的六个图像拼接成全景图像的图像拼接模块，所述图像拼接模块为基于数字芯片的图像拼接模块，设置在所述壳体内，并分别与所述六个摄像头通信连接；以及

与所述图像拼接装置连接、并输出所述全景图像的图像传输装置，其中所述图像传输装置包括设置在所述壳体上的通信接口。

在依据本实用新型实施例的六摄像头全景图像硬件成像装置中，所述六摄像头全景图像硬件成像装置进一步包括根据预先确定的畸变系数查找表分别对所述六个图像进行失真校正的图像校正模块；其中，

所述图像校正模块为基于数字芯片的图像校正模块，设置在所述壳体内，输入端分别与所述六个摄像头通信连接，输出端与所述图像拼接模块的输入端连接。

在依据本实用新型实施例的六摄像头全景图像硬件成像装置中，所述图像校正模块进一步包括：

用于分别以所述六个摄像头的光学中心点为中心点建立空白图像、并在所述空白图像中建立所述图像对应的校正坐标（x,y）的空白图像生成单元，其中所述空白图像的中心点坐标为（x₀,y₀）；

用于基于所述校正坐标与所述中心点之间的距离R，从所述畸变系数查找表获得每个所述校正坐标对应的畸变系数S的畸变系数查找单元；

用于通过所述畸变系数S计算所述校正坐标（x,y）在所述图像中对应的失真坐标（x_u,y_u）的失真坐标计算单元，其中，x_u=x₀-S×(x₀-x)，y_u=y₀-S×(y₀-y)；以及

用于将所述图像的失真坐标上的像素点映射到所述空白图像的校正坐标上以形成校正图像的图像映射单元。

在依据本实用新型实施例的六摄像头全景图像硬件成像装置中，所述六摄像头全景图像硬件成像装置进一步包括用于生成所述畸变系数查找表的畸变系数查找表生成模块。

在依据本实用新型实施例的六摄像头全景图像硬件成像装置中，所述图像拼接装置包括：

根据预先标定的标准图像尺寸分别对所述六个图像进行裁剪以分别去除各自重叠区域的图像裁剪单元；以及

拼接裁剪后的所述六个图像以形成全景图像的图像拼接单元。

在依据本实用新型实施例的六摄像头全景图像硬件成像装置中，所述图像拼接装置进一步包括用于生成所述标准图像的标准图像生成模块。

在依据本实用新型实施例的六摄像头全景图像硬件成像装置中，所述数字芯片为FPGA。

在依据本实用新型实施例的六摄像头全景图像硬件成像装置中，所述接口为以太网接口。

在依据本实用新型实施例的六摄像头全景图像硬件成像装置中，所述壳体上还设有用于开启或关闭所述六个摄像头的按键。

本实用新型具有以下有益效果：本实用新型中的六摄像头全景图像成像装置基于硬件将多个图像拼接成无缝的全景图像，相比于现有的软件拼接图像装置及方法，处理速度快，可以实时拼接好的图像。由于能够实时拼接形成全景图像，因此本实用新型中的六摄像头全景图像硬件成像装置能够实现即时全景图像成像，只要将本实用新型中的六摄像头全景图像硬件成像装置与外界显示装置或处理装置连接，即可马上显示或获取该全景图像，不需其它额外的处理，因此，使用非常便捷，使用范围广。

附图说明

下面将结合附图及实施例对本实用新型作进一步说明，附图中：

图1示出了依据本实用新型实施例的六摄像头全景图像硬件成像装置的逻辑框图；

图2示出了六个摄像头的结构示意图；

图3示出了依据本实用新型另一实施例的六摄像头全景图像硬件成像装置的逻辑框图；

图4示出了依据本实用新型实施例的图像校正模块的逻辑框图；

图5示出了拼接前的两个相邻图像的结构示意图；

图6是图5中两个图像拼接成一幅图像的结构示意图。

具体实施方式

为了使本实用新型的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本实用新型进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本实用新型，并不用于限定本实用新型。

依据本实用新型实施例的六摄像头全景图像硬件成像装置包括壳体、设置在壳体上的六个摄像头100、以及设置在壳体内的图像拼接模块200和图像传输模块300。具体地，图1示出了依据本实用新型实施例的六摄像头全景图像硬件成像装置的逻辑框图，其中，六个摄像头100包括摄像头110、120、…、160，分别设置在壳体上，六个摄像头分别从各自角度同时进行摄录，从而获得六个摄录的图像。六个摄像头的输出分别与图像拼接模块200的输入端连接，从而将摄录的六个图像传输至图像拼接模块200。图像拼接模块200为硬件模块，将接收的六个图像拼接成一幅全景图像。图像传输装置包括通信接口，从而通过该通信接口将拼接的全景图像传输至其它设备，例如显示设备。

图2示出了六个摄像头的结构示意图，如图2所示，六个摄像头（摄像头110、120、…、160）按照精确的刻度，等间隔排布在同一圆周上，从而实现360°全景摄录。摄录过程中，相邻两个图像之间存在重叠区域，因此摄录的图像在地理上是连续的。可例如采用500万像素的CMOS传感器（型号为Micron MT9P031）作为摄像头。另外，所摄录的图像既可以是静态图片，也可以是动态的视频类图像。

图3示出了依据本实用新型另一实施例的六摄像头全景图像硬件成像装置的逻辑框图，如图3所示，六摄像头全景图像硬件成像装置进一步包括根据预先确定的畸变系数查找表分别对六个图像进行失真校正的图像校正模块。其中，图像校正模块为基于数字芯片的图像校正模块，设置在壳体内，其输入端分别与六个摄像头通信连接，以从摄像头接收摄录的六个图像；输出端与图像拼接模块200的输入端连接，把校正后的六个图像传输至图像拼接模块200以进行拼接形成全景图像。

在图像摄录过程中，易于出现桶形失真，如果直接对图像进行拼接的话，将造成拼接后的图像不连续，效果较差，因此在拼接前优选对其进行失真校正。依据本实用新型实施例的图像校正模块为基于数字芯片（优选为FPGA，当然，也可以采用其他形式的数字芯片）的图像校正模块，可例如根据预先确定的畸变系数查找表分别对多个图像进行失真校正以形成多个校正图像，下面将以基于FPGA的图像校正模块为例进行讨论。该图像校正模块为可选的。

相应地，六摄像头全景图像硬件成像装置进一步包括用于生成畸变系数查找表的畸变系数查找表生成模块，当然也可采用已有的畸变系数查找表。可采用畸变系数查找表生成模块（也可为基于FPGA的畸变系数查找表生成模块）预先生成摄像头对应的畸变系数查找表。畸变系数查找表生成模块以摄像头的光学中心点为中心点建立空白图像（该空白图像的建立仅仅是为了生成畸变系数），由于桶形畸变是径向畸变的，也就是说其畸变系数只与点离光学中心点的距离（即半径R）有关，因此在本实用新型实施例的畸变系数查找表中，不存储点的坐标对应的畸变系数，而是存储每个半径R对应的畸变系数。

随后，计算该空白图像中每一点与所述中心点的距离R。基于已知的摄像头的物理像素的宽度W和镜头的焦距F计算每一点对应的畸变系数S，其中S=arctan(K)/K，K=(R×W)/F。例如，如果像素尺寸为2.2×2.2（μm），则W=2.2×0.001（mm）。最后，基于畸变系数S建立畸变系数查找表，其中在畸变系数查找表中，畸变系数S与距离R一一对应，通过R值查找畸变系数S。

图4示出了依据本实用新型实施例的图像校正模块的逻辑框图，如图4所示，图像校正模块400进一步包括空白图像生成单元410、畸变系数查找单元420、失真坐标计算单元430以及图像映射单元440。因为即使摄录图像出现了失真，其光学中心点不会发生畸变，即不会发生改变，仍与摄像头的光学中心点对应，因此空白图像生成单元410首先以摄像头的光学中心点为中心点建立空白图像，此处的空白图像不同于畸变系数查找表生成模块500中生成的空白图像，在此处生成空白图像是为了生成校正图像。生成空白图像后，并相应在该空白图像中建立摄录图像对应的校正坐标（x,y），校正坐标即为图像经过校正后所具有的坐标，其中空白图像的中心点坐标为（x₀,y₀）。随后，畸变系数查找单元420基于校正坐标与中心点之间的距离R，从畸变系数查找表获得每个校正坐标对应的畸变系数S。失真坐标计算单元430通过畸变系数S计算校正坐标（x,y）在原始图像中对应的失真坐标（x_u,y_u），其中，x_u＝x₀-S×(x₀-x)，y_u=y₀-S×(y₀-y)。当找到失真坐标（x_u,y_u）后，图像映射单元440将图像的失真坐标（x_u,y_u）上的像素点映射到空白图像的校正坐标（x,y）上，所有像素点映射完成后即形成了校正图像。

图像拼接装置包括根据预先标定的标准图像尺寸分别对六个图像进行裁剪以分别去除各自重叠区域的图像裁剪单元；以及拼接裁剪后的六个图像以形成无缝的全景图像的图像拼接单元。

为了预先标定的标准图像尺寸，六摄像头全景图像成像装置进一步包括标准图像尺寸生成模块（可例如为基于FPGA的标准图像尺寸生成模块），包括显示单元和标准图像尺寸生成单元，还可通过放在相邻两个摄像头前面的透明网格（也称之为标定网格，图中没有示出）进行辅助。其中，显示单元显示两个相邻的校正图像，此处的两个校正图像可以是预先摄录的仅用于标定标准图像尺寸的图像，但是该图像一定需要经过图像校正模块的校正。标准图像尺寸生成单元实质上是一个行列计数比较器，在显示单元显示两个图像的情况下，利用软件（例如MicroBlaze CPU）并采用逼近法手动获取其中一个校正图像的x轴起点坐标x_1-start和y轴起点坐标y_1-start，以及另一个校正图像的x轴终点坐标x_2-end和y轴起点坐标y_2-end。其中x_1-start和x_2-end重合，y_1-start和y_2-end重合。以此类推，重复上述步骤以获得每一个校正图像的x轴起点坐标x_i-start和y轴起点坐标y_i-start，以及x轴终点坐标x_i-end和y轴终点坐标y_i-end；并基于x_i-start、y_i-start、x_i-end、以及y_i-end生成标准图像尺寸。这样，对于第i个图像，其中的任意一个点（x，y），一定满足x_i-start≤x≤x_i-end、y_i-start≤y≤y_i-end。在本实用新型中，只需要标定一次标准图像尺寸，在后续的拼接过程中可以重复使用该标准图像尺寸。

图像拼接模块200是基于数字芯片的图像拼接模块200，该数字芯片可例如为FPGA。图5是拼接前的两个相邻图像的结构示意图，如图5所示，图像裁剪单元可例如为缓存器，用于缓存满足条件的图像数据，例如，对于第i个图像，只有满足x_i-start≤x≤x_i-end、y_i-start≤y≤y_i-end的数据才能保存在图像裁剪单元中；对于其相邻的第i+1个图像，只有满足x_i+1-start≤x≤x_i+1-end、y_i+1-start≤y≤y_i+1-end的数据才能保存在图像裁剪单元中。图像拼接单元可为缓存器，将按坐标将六个图像的数据保存成一个图像文件，以形成全景图像。例如，因为其中x_i-end和x_i+1-start重合，y_i-end和y_i+1-start重合，因此第i个图像和第i+1个图像的图像数据连续存储后即可以获得图6中所示的拼接后的图像，其它相邻的图像以此类推，最后六个图像连续拼接成全景图像。

图像传输模块与图像拼接模块连接，用于从图像拼接模块接口全景图像，并通过通信接口发送至其它外接设备，例如个人电脑（PC）、显示屏等，以用于存储和/或显示该全景图像。其中，可采用多种通信方式发送全景图像，例如，其中的通信接口为以太网接口。

另外，还可在壳体上设置用于开启或关闭六个摄像头的按键，从而控制成像装置的工作。

从以上可以看出，本实用新型中的六摄像头全景图像成像装置基于硬件将多个图像拼接成无缝的全景图像，相比于现有的软件拼接图像装置及方法，处理速度快，可以实时拼接好的图像。由于能够实时拼接形成全景图像，因此本实用新型中的六摄像头全景图像硬件成像装置能够实现即时全景图像成像，只要将本实用新型中的六摄像头全景图像硬件成像装置与外界显示装置或处理装置连接，即可马上显示或获取该全景图像，不需其它额外的处理，因此，使用非常便捷，使用范围广。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本实用新型所附权利要求的保护范围。

Claims

1.一种六摄像头全景图像硬件成像装置，其特征在于，包括：

壳体；

与所述图像拼接装置连接、并输出所述全景图像的图像传输装置，其中，所述图像传输装置包括设置在所述壳体上的通信接口。

2.根据权利要求1所述的六摄像头全景图像硬件成像装置，其特征在于，所述六摄像头全景图像硬件成像装置进一步包括根据预先确定的畸变系数查找表分别对所述六个图像进行失真校正的图像校正模块；其中，

3.根据权利要求1或2所述的六摄像头全景图像硬件成像装置，其特征在于，所述数字芯片为FPGA。

4.根据权利要求1所述的六摄像头全景图像硬件成像装置，其特征在于，所述接口为以太网接口。

5.根据权利要求1所述的六摄像头全景图像硬件成像装置，其特征在于，所述壳体上还设有用于开启或关闭所述六个摄像头的按键。