CN201725141U - 一种多镜头实时全景成像系统 - Google Patents
一种多镜头实时全景成像系统 Download PDFInfo
- Publication number
- CN201725141U CN201725141U CN2010201817680U CN201020181768U CN201725141U CN 201725141 U CN201725141 U CN 201725141U CN 2010201817680 U CN2010201817680 U CN 2010201817680U CN 201020181768 U CN201020181768 U CN 201020181768U CN 201725141 U CN201725141 U CN 201725141U
- Authority
- CN
- China
- Prior art keywords
- camera
- imaging system
- regular polygon
- lens
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
本实用新型公开了一种多镜头的实时全景拼接成像系统，包括光学成像单元、图像处理单元和全景图像显示单元构成，光学成像单元包括正多面体支架和安装于正多面体支架各面心处的镜头和图像传感器，镜头的光轴与其所在的正多面体支架面心到正多面体支架体心的连线重合，并相交于正多面体支架的体心，图像处理单元接受光学成像单元采集到的多幅圆形图像，采用图像定标、裁剪、拼接方法将多幅图像合并成一幅图像，最终由全景图像显示单元通过球面透视投影的方法显示在半球视图中。本实用新型提高了图像处理速度，消除了视场盲区，其成像单元不需要结构复杂的光学镜头，普通镜头即可实现全景成像的要求，有效降低成本。
Description
技术领域
本实用新型涉及全景成像技术领域，尤其涉及一种多镜头实时全景成像系统。
背景技术
全景成像系统在经济、科技、军事、商业等各领域具有广泛的应用。这种系统成像信息量大，特别适合用于各类监视器中。现有的全景成像系统主要有五种实现方式：
第一种是单个光学系统实现超半球凝视成像，其典型的光学系统是鱼眼透镜系统，如图1所示，这是一种可见光波段鱼眼透镜，具有200度的视场角，整个系统由8组10片透镜组组成，结构相当复杂，并且由于其不可避免的大畸变，边缘视场的分辨率相对于中心视场会大大下降，设计成本较高，加工难度较大。
第二种是非球面反射面前置全景成像，如图2所示，这是一种采用非球面反射面作为前置元件的全景成像系统，利用前置非球面减小轴外光线的入射角度，再使用通常的光学系统成像。这种方式的缺点在于对于图像传感器位置之后的空间无法成像，存在中心盲区。
第三种是圆柱平面投影的环带成像，如图3所示，这种系统可以实现360度环带成像，通过传感器的拼接可获得高分辨图像，但是镜头中心是一个反射面，视场存在中心盲区。
第四种是多镜头阵列全景成像，这种系统利用多个镜头构成阵列实现全景成像，能成像的空间范围由镜头的排列方式决定。图4是一种环形排列的全景无缝摄像机(专利号ZL 200720112359.3)，可实现360°环带范围内的全景图像，但无法实现对摄像机顶部和底部视觉盲区的景物成像。
第五种是单镜头扫描全景成像，这种系统利用高分辨小视场的单个摄像头扫描全景空间，然后将扫描得到的图像进行拼接和成像。但是，当目标移动很快时，就有可能在监视过程中遗漏重要目标，扫描瞬时存在盲区，而且图像拼接算法速度较慢。
基于边缘检测的传统图像拼接方法是基于对图像信息的提取，对两幅存在信息重叠的图像进行边缘检测和匹配，然后完成拼接，这种方法适用于高分辨率小视场情况下的图像拼接，而对于大视场明显畸变情况下边缘检测算法则有局限性。这种方法需要对图像中的每个像素点的信息进行提取并处理，因此运算速度较慢。
发明内容
本实用新型针对传统全景成像系统结构复杂，存在视场盲区，图像处理速度慢等缺点，提供了一种多镜头实时全景成像系统，采用正多面体方式安装多个镜头，同时对空间各个方向进行成像，克服视场盲区，图像拼接不采用传统特征检测方法，运行速度快，实现实时全景成像。
一种多镜头实时全景成像系统，包括光学成像单元、图像处理单元、全景图像显示单元；
所述的光学成像单元包括由上盖和底座构成的球形外壳，正多面体支架内接于球形外壳，正多面体支架与底座上的支柱用螺钉连接并固定，正多面体支架的各面心处设有一个镜头和一个图像传感器，球型外壳上开有与镜头数目相同的镜头孔，每个镜头孔处设有镜头盖，用于保护镜头。图像传感器通过USB数据线与USB集线器的一端相连接，USB集线器的另一端通过USB数据线与图像处理单元传输数据。
所述的镜头的光轴与其所在正多面体支架的面心到正多面体支架的体心连线重合，所有镜头的光轴相交于正多面体支架的体心，这些镜头具有相同的视场角，该视场角大于正多面体支架一个面的外接圆直径对正多面体支架体心的张角，这个张角是使得相邻两个镜头所摄的图像内容出现交叠的最小视场角，即当镜头的视场角大于这个最小视场角时，相邻两个镜头所摄的图像内容出现交叠，该成像单元采集到若干幅圆形图像，并通过图像传感器将这些图像传送给图像处理单元。
所述的图像处理单元接收光学成像单元采集到的多幅圆形图像，首先判断镜头是否已定标，如果未定标，则先对镜头定标。使用OpenCV的图形学算法对镜头进行定标操作，得到圆形图像的视场中心坐标、图像直径N和畸变矫正多项式系数，根据畸变矫正多项式系数对图像进行畸变矫正，接着将每幅圆形图像裁剪成所需的正多边形图像，此正多边形图像的边长L由下式确定：
其中，N是镜头采集到的圆形图像直径，α是正多面体支架一个面的外接圆直径对正多面体支架体心的张角，θ是镜头的视场角，n是正多面体支架一个面的边数。由于镜头排布的空间对称性，只需对一个镜头进行定标操作，所得到的参数可以运用到其他图像，加快了系统处理图像的速度。
然后按照镜头排布的空间位置关系将裁剪得到的多幅正多边形图像拼接成一幅无缝平面图像，传送到全景图像显示单元，最终由全景图像显示单元通过球面透视投影的方法显示在半球视图中，得到实时全景图像。
本实用新型由于采用了镜头按照正多面体排布的方式，可以对空间内各个方向都进行成像，从而在图像处理和拼接时可以不采用传统基于图像边缘特征检测的方法，直接采取图像裁剪的方式完成图像拼接，大大提高了图像处理速度，同时消除了视场盲区，其成像单元也不需要结构复杂的光学镜头，普通镜头即可实现全景成像的要求，有效降低成本。
附图说明
图1是可见光波段鱼眼透镜；
图2是采用非球面反射面作为前置元件的全景成像系统原理图；
图3是全景环带凝视成像系统的光路图；
图4是在专利ZL 200720112359.3中公开的一种全景无缝显示摄像机；
图5是本实用新型一种实施方式支架与底座的立体结构示意图；
图6是图5所示实施方式中光学成像单元的剖面图；
图7是图5所示实施方式中最小视场角的示意图；
图8是本实用新型图像处理的流程图；
图9是本实用新型中图像处理单元的程序流程图。
具体实施方式
以下结合附图说明本实用新型的一种实施方式：
一种多镜头实时全景成像系统包括光学成像单元、图像处理单元、全景图像显示单元。
如图5、6所示，光学成像单元包括由上盖2和底座3构成的球型外壳1，在底座3上安装内接于球型外壳1的正六面体支架4，其边长为12cm，正六面体支架4与底座3上的支柱5用螺钉连接并固定，在正六面体支架4的各面心处安装镜头6，镜头6的后面设有图像传感器7，球型外壳1上开有与镜头数目相同的镜头孔8，每个镜头孔8处设置镜头盖，用于保护镜头6。
镜头6的光轴与其所在正六面体支架4的面心到正六面体支架4的体心连线重合，且所有镜头6的光轴相交于正六面体支架4的体心，这六个镜头6具有相同的视场角，该视场角大于正六面体支架4一个面的外接圆直径对正六面体支架4体心的张角。如图7所示，这个角为正六面体体心P与一个面外接圆直径d的两端点C、D之间连线的夹角α，为109.5°，R为正六面体外接球半径。
在本实施例中，所采用的镜头4的视场角均为135°，大于此时的最小视场角109.5°，可以保证采集到的图像有重叠区域，有效覆盖全空间。
如图8所示，所述的图像传感器7通过USB数据线与USB集线器的一端相连接，USB集线器的另一端通过USB数据线与图像处理单元传输数据。本实施例对图像的处理过程为：
光学成像单元的六个镜头6采集到六幅圆形图像，通过图像传感器7、USB集线器、USB数据线将六路视频信号传送给图像处理单元。图像处理单元接收这六幅图像，每帧图像的像素大小为1024×768，帧频为5fps。
如图9所示，图像处理单元在接收六路视频数据之后，首先判断镜头6是否已定标，如果没有定标，则先对镜头6进行定标。对其中一幅图像运用OpenCV的图形学算法，得到其视场中心坐标(即视场中心在图像像素坐标系中的坐标)、图像直径、畸变矫正多项式系数。由于镜头6在排布上具有空间对称性，则只需对一个图形进行操作，所得到的参数可以运用到其他图像中，这也加快了图像处理的速度。
接着，根据定标得到的畸变矫正多项式系数对图像矫正畸变像差。然后对图像进行裁剪，得到正方形的图像，这个正方形的中心坐标即为视场中心坐标，其边长L由下式确定：
其中，N是圆形图像的直径，为988px，α为109.5°，θ是镜头6的视场角135°，n为正方形的边数4，可以算得裁剪得到的正方形边长为409px，圆形图像被裁剪掉的部分即为相邻两个镜头6对空间景物拍摄的重合部分。
然后，按照镜头6之间的空间位置关系，将裁剪得到的六幅正方形图像直接拼接，得到关于周围环境的一幅无缝平面图像，将这幅平面图像传送给全景图像显示单元，最终由全景图像显示单元通过球面透视投影的方法将这幅平面图像显示在半球视图中，得到实时的全景图像。
Claims (6)
1.一种多镜头实时全景成像系统，包括采集图像的光学成像单元、对光学成像单元所采集的图像进行裁剪拼接处理的图像处理单元和显示处理后图像的全景图像显示单元，其特征在于，所述的光学成像单元包括一个正多面体支架(4)，正多面体支架(4)的各面心处设有一个镜头(6)。
2.如权利要求1所述的多镜头实时全景成像系统，其特征在于，所述的各面心处的镜头(6)的光轴与其所在正多面体支架(4)的面心到正多面体支架(4)的体心连线重合，且所有镜头(6)的光轴相交于正多面体支架(4)的体心。
3.如权利要求1所述的多镜头实时全景成像系统，其特征在于，所述的各面心处的镜头(6)具有相同的视场角，该视场角大于正多面体支架(4)一个面的外接圆直径对正多面体支架(4)体心的张角。
4.如权利要求1所述的多镜头实时全景成像系统，其特征在于，所述的光学成像单元包括由上盖(2)和底座(3)构成的球形外壳(1)，正多面体支架(4)内接于球形外壳(1)，正多面体支架(4)与底座(3)上的支柱(5)连接并固定。
5.如权利要求1所述的多镜头实时全景成像系统，其特征在于，所述的球型外壳(1)上开有与镜头(6)数目相同的镜头孔(8)，每个镜头孔(8)处设有镜头盖。
6.如权利要求1所述的多镜头实时全景成像系统，其特征在于，所述的各镜头(6)后面设有一个图像传感器(7)，图像传感器(7)通过USB数据线与USB集线器的一端相连接，USB集线器的另一端通过USB数据线与图像处理单元传输数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010201817680U CN201725141U (zh) | 2010-05-06 | 2010-05-06 | 一种多镜头实时全景成像系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010201817680U CN201725141U (zh) | 2010-05-06 | 2010-05-06 | 一种多镜头实时全景成像系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN201725141U true CN201725141U (zh) | 2011-01-26 |
Family
ID=43493481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010201817680U Expired - Fee Related CN201725141U (zh) | 2010-05-06 | 2010-05-06 | 一种多镜头实时全景成像系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN201725141U (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101825840A (zh) * | 2010-05-06 | 2010-09-08 | 浙江大学 | 一种多镜头实时全景成像系统 |
| CN104360488A (zh) * | 2014-11-14 | 2015-02-18 | 山东理工大学 | 紧凑型立体显示系统及其显示方法 |
| CN106331459A (zh) * | 2016-10-31 | 2017-01-11 | 北京小米移动软件有限公司 | 拍摄系统及移动终端 |
| TWI578778B (zh) * | 2016-03-21 | 2017-04-11 | 群邁通訊股份有限公司 | 多鏡頭系統及具有該多鏡頭系統之可攜式電子裝置 |
| CN106647148A (zh) * | 2017-01-25 | 2017-05-10 | 成都中信华瑞科技有限公司 | 一种获取全景图像的装置及其组装方法 |
| CN106773512A (zh) * | 2017-03-22 | 2017-05-31 | 黄深喜 | 一体式多镜头全景相机 |
| CN108224008A (zh) * | 2017-12-22 | 2018-06-29 | 罗普特（厦门）科技集团有限公司 | 一种基于逐圈扫描广域全景成像光电转台装置 |
| CN109345587A (zh) * | 2018-09-01 | 2019-02-15 | 哈尔滨工程大学 | 一种基于全景与单目视觉的混合视觉定位方法 |
| CN111510621A (zh) * | 2014-05-06 | 2020-08-07 | 扎卡里亚·尼亚齐 | 成像系统 |
-
2010
- 2010-05-06 CN CN2010201817680U patent/CN201725141U/zh not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101825840A (zh) * | 2010-05-06 | 2010-09-08 | 浙江大学 | 一种多镜头实时全景成像系统 |
| CN111510621A (zh) * | 2014-05-06 | 2020-08-07 | 扎卡里亚·尼亚齐 | 成像系统 |
| CN104360488A (zh) * | 2014-11-14 | 2015-02-18 | 山东理工大学 | 紧凑型立体显示系统及其显示方法 |
| TWI578778B (zh) * | 2016-03-21 | 2017-04-11 | 群邁通訊股份有限公司 | 多鏡頭系統及具有該多鏡頭系統之可攜式電子裝置 |
| CN106331459A (zh) * | 2016-10-31 | 2017-01-11 | 北京小米移动软件有限公司 | 拍摄系统及移动终端 |
| CN106647148A (zh) * | 2017-01-25 | 2017-05-10 | 成都中信华瑞科技有限公司 | 一种获取全景图像的装置及其组装方法 |
| CN106773512A (zh) * | 2017-03-22 | 2017-05-31 | 黄深喜 | 一体式多镜头全景相机 |
| CN108224008A (zh) * | 2017-12-22 | 2018-06-29 | 罗普特（厦门）科技集团有限公司 | 一种基于逐圈扫描广域全景成像光电转台装置 |
| CN108224008B (zh) * | 2017-12-22 | 2019-12-13 | 罗普特（厦门）科技集团有限公司 | 一种基于逐圈扫描广域全景成像光电转台装置 |
| CN109345587A (zh) * | 2018-09-01 | 2019-02-15 | 哈尔滨工程大学 | 一种基于全景与单目视觉的混合视觉定位方法 |
| CN109345587B (zh) * | 2018-09-01 | 2022-02-22 | 哈尔滨工程大学 | 一种基于全景与单目视觉的混合视觉定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN201725141U (zh) | 一种多镜头实时全景成像系统 | |
| CN101825840A (zh) | 一种多镜头实时全景成像系统 | |
| US10061130B2 (en) | Wide-field of view (FOV) imaging devices with active foveation capability | |
| CN101004538B (zh) | 无死角的全方位视觉传感器 | |
| US7649690B2 (en) | Integrated panoramic and forward optical device, system and method for omnidirectional signal processing | |
| ES2326965T3 (es) | Metodo para capturar una imagen panoramica por medio de un captador rectangular de imagenes. | |
| CN105139332A (zh) | 以硬件方式进行图像处理的图像传感器 | |
| US9503638B1 (en) | High-resolution single-viewpoint panoramic camera and method of obtaining high-resolution panoramic images with a single viewpoint | |
| CN103293845B (zh) | 一种全景成像装置及方法 | |
| CN109040565A (zh) | 全景摄像系统 | |
| JP5484453B2 (ja) | 複数の動作モードの光学機器 | |
| CN204168378U (zh) | 一种全景摄像系统 | |
| CN110376725B (zh) | 一种鱼眼镜头系统 | |
| CN102609152B (zh) | 大视场角图像检测电子白板图像采集方法及装置 | |
| CN110412751A (zh) | 基于球透镜的大视场分区域多级侦测红外成像系统 | |
| CN103176346A (zh) | 基于叠加异构双镜面的红外全景成像装置及方法 | |
| CN110928113B (zh) | 一种可变空间分辨率的光场采集装置 | |
| CN103501404B (zh) | 全景观察镜 | |
| CN211880472U (zh) | 图像采集装置及摄像机 | |
| JPH10107975A (ja) | 画像入力装置 | |
| JP3805631B2 (ja) | 多重焦点全方位撮像装置 | |
| CN105824184A (zh) | 一种新型半球面和侧面全景成像系统 | |
| CN217384242U (zh) | 一种复眼光谱装置 | |
| CN211149044U (zh) | 广角镜头以及图像拍摄装置 | |
| CN110737078A (zh) | 一种用于全方位图像采集复合镜头的双焦距摄像镜头 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110126 Termination date: 20130506 |