CN102355545A - 一种360度实时全景摄像机 - Google Patents
一种360度实时全景摄像机 Download PDFInfo
- Publication number
- CN102355545A CN102355545A CN2011102802766A CN201110280276A CN102355545A CN 102355545 A CN102355545 A CN 102355545A CN 2011102802766 A CN2011102802766 A CN 2011102802766A CN 201110280276 A CN201110280276 A CN 201110280276A CN 102355545 A CN102355545 A CN 102355545A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- real time
- degree
- time panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种360度实时全景摄像机，由至少四路、并且呈同轴环绕分布的多路摄像单元、主控芯片、视频采集模块、图像矫正模块、图像拼接模块以及图像输出模块组成，在主控芯片的控制下，视频采集模块采集来自摄像单元的多路视频信号，然后通过图像矫正模块分别对各路视频信号进行图像矫正，最后通过图像拼接模块进行图像拼接后经图像输出模块输出至显示器。与现有技术相比，本发明能够实现对监控区域的360度范围全覆盖观察，并且能够以超宽屏方式直观显示低失真的视频信号，具有良好的市场应用前景。
Description
技术领域
本发明涉及一种视频监控装置，尤其涉及一种360度实时全景摄像机。
背景技术
随着安防行业的快速发展，视频监控技术也取得了长足的进步，其中广角和全景监控技术得到了快速的发展。
目前，市场上的广角和全景监控产品主要有两种：球型摄像机和360度全景镜头摄像机。其中，球型摄像机是通过遥控云台的旋转对监控区域进行360度范围的场景观察，并可以通过调整镜头焦距放大某方位的画面。但是，该类产品不能在同一时刻观察到监控区域360度范围的全景。与球型摄像头相比，360度全景镜头摄像机能够实现同一时刻对监控区域进行360度范围的场景观察。但是，由于该类产品采用了特殊的非球面成像技术，因此，一方面价格昂贵，另一方面图像的失真度较高，即使经过后期的展开处理和运算，图像的弯曲变形还是非常明显。
另外，专利号为ZL200920156815.3的中国实用新型专利公开了一种360度无盲区实时监控摄像机，包括四个分布在不同角度的普通摄像机单元，在主控芯片的中控下对监控区域的视频信号同时进行采集，从而得到监控区域的全方位的视频信号。但是，该监控摄像机的每个摄像机单元采集到的视频信号彼此独立，因此只能直观再现某个角度的视频信号，而不能直观再现整个广角区域的视频。
发明内容
本发明的技术目的是针对上述技术现状，提供一种360度实时全景摄像机，能够实现对监控区域的360度范围全覆盖观察，并且能够以超宽屏方式直观显示低失真的视频信号。
本发明实现上述技术目的所采用的技术方案为：一种360度实时全景摄像机，如图1所示，包括摄像部分和数据处理部分，所述的数据处理部分包括主控芯片、视频采集模块以及图像输出模块，其特征是：所述的摄像部分由至少四路，并且呈同轴环绕分布的多路摄像单元组成；所述的数据处理单元还包括图像矫正模块与图像拼接模块；在主控芯片的控制下，视频采集模块采集来自摄像单元的多路视频信号，然后通过图像矫正模块分别对各路视频信号进行图像矫正，最后通过图像拼接模块进行图像拼接后经图像输出模块输出至显示器。
所述的主控芯片优选是ARM主控芯片，进一步优选为ARM9系列芯片。
所述的图像矫正模块与图像拼接模块采用TI DaVinci系列DSP芯片。
所述的视频采集模块优选采用TVP5158芯片。
所述的图像输出模块支持高清格式输出并提供网络接口。
所述的多路摄像单元优选采用四路鱼眼摄像头组成，该四路鱼眼摄像头彼此间隔90度共轴放置。
与现有技术相比，本发明提供的360度实时全景摄像机的有益效果体现在如下方面：
(1)采用至少四路的多路普通摄像单元，将其同轴环绕布置，通过该巧妙的结构能够保证实现对监控区域的360度范围全景监控；
(2)在主控芯片控制下，视频采集模块采集来自多路摄像单元的多路视频信号后，并非经图像输出模块直接将所采集的视频信号输出至显示器，而是将所采集的视频信号通过图像矫正模块首先进行图像矫正，然后通过图像拼接模块进行图像拼接后经图像输出模块以超宽屏方式直观显示在显示器上，因而能够得到低失真、直观显示的360度范围的全景监控视频；
因此，本发明提供的全景摄像机能够保证实现对监控区域的360度范围全覆盖观察，并且能够以超宽屏方式直观显示低失真的视频信号，另外，该全景摄像机具有体积小、携带方便、可靠性高等特点，具有良好的市场应用前景。
附图说明
图1是本发明360度实时全景摄像机的原理结构连接图；
图2是本发明实施例中360度实时全景摄像机的电路结构连接图；
图3是本发明实施例中360度实时全景摄像机的软件流程图；
图4是本发明实施例中360度实时全景摄像机的DSP图像处理流程图。
具体实施方式
下面对本发明作进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
本实施例提供的360度实时全景摄像机包括四个鱼眼摄像头和数据处理部分。四个个鱼眼摄像头采用共轴环绕布置，每个鱼眼摄像头正好间隔90度均匀布局。数据处理单元包括ARM主控芯片、视频采集模块、图像矫正模块、图像拼接模块以及图像输出模块。在ARM主控芯片的控制下，视频采集模块采集来自摄像单元的四路视频信号，然后通过图像矫正模块分别对各路视频信号进行图像矫正，最后通过图像拼接模块进行图像拼接后经图像输出模块输出至显示器。图像输出模块支持高清格式输出并提供网络接口。
图2是本实施例中的360度实时全景摄像机的电路结构连接图。从图2可以看出，本实施例中，视频采集模块采用1块TVP5158芯片；ARM主控芯片、图像矫正模块、图像拼接模块以及图像输出模块集成在TI的DaVinci DM6467T处理芯片中，该芯片集成了ARM9和C64+DSP芯片以及外围器件，简化了设计。其中，软件的应用层由ARM9的内核进行处理，主要负责对外围模块与接口的控制，而C64+DSP芯片进行的DSP图像处理包括视频数据解复用、图像矫正、图像归一化、图像匹配拼接，实现了图像矫正模块与图像拼接模块的功能，即DSP图像处理将多个处理模块合并在一起，统一在C64+DSP中通过嵌入式软件实现。图像输出模块是EDMA模块以及视频接口VPIF模块，利用EDMA方法把经矫正与拼接后的图像搬移到VPIF并显示到显示器上，显示器支持超宽屏格式。
图3为本实施例360度实时全景摄像机的软件流程图，具体包括如下过程。
(1)系统初始化
系统在正式投入使用之前首先进行系统初始化，进行一次相机标定。本实施例中，相机标定采用一种基于经典针孔模型和畸变模型的算法。通过相机标定确定相机的内参和外参，并存入到系统中。
(2)视频采集与解复用
开机工作后，在ARM9主控芯片的控制下，ARM9端软件开启视频采集芯片TVP5158采集来自四个鱼眼摄像头的四路视频信号：视频1、视频2、视频3和视频4，采集到的数据为交织格式的四路图像数据，通过C64+DSP的视频解复用函数(DEMUX)把四路图像数据单独分离出来，存放到存储器的缓冲区中。
(3)DSP图像处理
利用C64+DSP嵌入式软件分别对四路图像数据单独进行DSP图像处理。
DSP图像处理流程如图4所示。首先对每一路图像数据进行基于针孔模型的图像矫正，使鱼眼相机拍到的畸变图像恢复成正常的图像，然后对矫正之后的四路图像数据进行图像融合拼接处理。图像融合拼接处理主要包括两个步骤，首先经过图像归一化处理，使得四路图像的亮度均衡化，然后利用基于Harris角点的匹配算法对四路图像进行自动拼接。
(4)图像输出
利用DSP的EDMA模块把经矫正、拼接后的图像数据搬移到图像接口并以超宽屏格式显示到显示器上，同时利用DSP算法及内置高清视频协处理器(HD-VICP)，实现图像的H.264压缩，并通过网络接口进行数据包的传送。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改和改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种360度实时全景摄像机，包括摄像部分和数据处理部分，所述的数据处理部分包括主控芯片、视频采集模块以及图像输出模块，其特征是：所述的摄像部分由至少四路、并且呈同轴环绕分布的多路摄像单元组成；所述的数据处理单元还包括图像矫正模块与图像拼接模块；在主控芯片的控制下，视频采集模块采集来自摄像单元的多路视频信号，然后通过图像矫正模块分别对各路视频信号进行图像矫正，最后通过图像拼接模块进行图像拼接后经图像输出模块输出至显示器。
2.根据权利要求1所述的一种360度实时全景摄像机，其特征是：所述的主控芯片是ARM主控芯片。
3.根据权利要求1所述的一种360度实时全景摄像机，其特征是：所述的图像矫正模块与图像拼接模块采用TI DaVinci系列DSP芯片。
4.根据权利要求1所述的一种360度实时全景摄像机，其特征是：所述的视频采集模块采用TVP5158芯片。
5.根据权利要求1所述的一种360度实时全景摄像机，其特征是：所述的图像输出模块设置网络接口。
6.根据权利要求1所述的一种360度实时全景摄像机，其特征是：所述的网络接口为RJ45接口或RS485接口。
7.根据权利要求1至6中任一权利要求所述的一种360度实时全景摄像机，其特征是：所述的多路摄像单元采用四路鱼眼摄像头组成，所述的四路鱼眼摄像头彼此间隔90度共轴放置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011102802766A CN102355545A (zh) | 2011-09-20 | 2011-09-20 | 一种360度实时全景摄像机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011102802766A CN102355545A (zh) | 2011-09-20 | 2011-09-20 | 一种360度实时全景摄像机 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102355545A true CN102355545A (zh) | 2012-02-15 |
Family
ID=45579035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011102802766A Pending CN102355545A (zh) | 2011-09-20 | 2011-09-20 | 一种360度实时全景摄像机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102355545A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103618882A (zh) * | 2013-12-12 | 2014-03-05 | 湖南理工学院 | 一种基于鱼眼镜头的多路视频智能监控系统 |
| CN103905741A (zh) * | 2014-03-19 | 2014-07-02 | 合肥安达电子有限责任公司 | 超高清全景视频实时生成与多通道同步播放系统 |
| CN105472344A (zh) * | 2015-12-28 | 2016-04-06 | 北京极图科技有限公司 | 四路拼接式实时全景成像装置 |
| CN105847851A (zh) * | 2016-04-19 | 2016-08-10 | 北京金山安全软件有限公司 | 全景视频直播方法、装置和系统以及视频源控制设备 |
| CN106341662A (zh) * | 2016-09-19 | 2017-01-18 | 安徽爱她有果电子商务有限公司 | 一种基于计算机图像处理的可视化系统 |
| CN106683044A (zh) * | 2015-11-10 | 2017-05-17 | 中国航天科工集团第四研究院指挥自动化技术研发与应用中心 | 一种多通道光学探测系统的图像拼接方法、装置 |
| CN107274339A (zh) * | 2016-04-08 | 2017-10-20 | 北京黎阳之光科技有限公司 | 一种新型摄像头全景畸形矫正系统 |
| WO2017215331A1 (zh) * | 2016-06-14 | 2017-12-21 | 杭州海康威视数字技术股份有限公司 | 全景摄像机及其拍摄方法 |
| CN107948472A (zh) * | 2017-11-29 | 2018-04-20 | 北京星云环影科技有限责任公司 | 智能监控摄像头及安防系统 |
| CN108259764A (zh) * | 2018-03-27 | 2018-07-06 | 百度在线网络技术（北京）有限公司 | 摄像机、应用于摄像机的图像处理方法及装置 |
| CN108989762A (zh) * | 2018-08-14 | 2018-12-11 | 张家港江苏科技大学产业技术研究院 | 一种新型智能全景监控系统 |
| CN109640051A (zh) * | 2018-12-20 | 2019-04-16 | 长沙全度影像科技有限公司 | 一种大场景的分布式拼接监控系统 |
| US10277858B2 (en) | 2015-10-29 | 2019-04-30 | Microsoft Technology Licensing, Llc | Tracking object of interest in an omnidirectional video |
| US10516823B2 (en) | 2015-10-15 | 2019-12-24 | Microsoft Technology Licensing, Llc | Camera with movement detection |
| CN111193877A (zh) * | 2019-08-29 | 2020-05-22 | 桂林电子科技大学 | 一种arm-fpga协同的广域视频实时融合方法及嵌入式设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN2927542Y (zh) * | 2006-07-28 | 2007-07-25 | 天津三星电子有限公司 | 多方向监控摄像机 |
| CN101568018A (zh) * | 2008-04-22 | 2009-10-28 | 中兴通讯股份有限公司 | 一种无旋转全景摄像装置及其构成的监控系统 |
| CN201523430U (zh) * | 2009-06-23 | 2010-07-07 | 长峰科技工业集团公司 | 一种全景视频监控系统 |
-
2011
- 2011-09-20 CN CN2011102802766A patent/CN102355545A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN2927542Y (zh) * | 2006-07-28 | 2007-07-25 | 天津三星电子有限公司 | 多方向监控摄像机 |
| CN101568018A (zh) * | 2008-04-22 | 2009-10-28 | 中兴通讯股份有限公司 | 一种无旋转全景摄像装置及其构成的监控系统 |
| CN201523430U (zh) * | 2009-06-23 | 2010-07-07 | 长峰科技工业集团公司 | 一种全景视频监控系统 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103618882A (zh) * | 2013-12-12 | 2014-03-05 | 湖南理工学院 | 一种基于鱼眼镜头的多路视频智能监控系统 |
| CN103905741A (zh) * | 2014-03-19 | 2014-07-02 | 合肥安达电子有限责任公司 | 超高清全景视频实时生成与多通道同步播放系统 |
| CN103905741B (zh) * | 2014-03-19 | 2017-01-11 | 合肥安达创展科技股份有限公司 | 超高清全景视频实时生成与多通道同步播放系统 |
| US10516823B2 (en) | 2015-10-15 | 2019-12-24 | Microsoft Technology Licensing, Llc | Camera with movement detection |
| US10277858B2 (en) | 2015-10-29 | 2019-04-30 | Microsoft Technology Licensing, Llc | Tracking object of interest in an omnidirectional video |
| CN106683044A (zh) * | 2015-11-10 | 2017-05-17 | 中国航天科工集团第四研究院指挥自动化技术研发与应用中心 | 一种多通道光学探测系统的图像拼接方法、装置 |
| CN106683044B (zh) * | 2015-11-10 | 2020-04-28 | 中国航天科工集团第四研究院指挥自动化技术研发与应用中心 | 一种多通道光学探测系统的图像拼接方法、装置 |
| CN105472344A (zh) * | 2015-12-28 | 2016-04-06 | 北京极图科技有限公司 | 四路拼接式实时全景成像装置 |
| CN107274339A (zh) * | 2016-04-08 | 2017-10-20 | 北京黎阳之光科技有限公司 | 一种新型摄像头全景畸形矫正系统 |
| CN105847851A (zh) * | 2016-04-19 | 2016-08-10 | 北京金山安全软件有限公司 | 全景视频直播方法、装置和系统以及视频源控制设备 |
| WO2017215331A1 (zh) * | 2016-06-14 | 2017-12-21 | 杭州海康威视数字技术股份有限公司 | 全景摄像机及其拍摄方法 |
| US10554882B2 (en) | 2016-06-14 | 2020-02-04 | Hangzhou Hikvision Digital Technology Co., Ltd. | Panoramic camera and photographing method thereof |
| CN106341662A (zh) * | 2016-09-19 | 2017-01-18 | 安徽爱她有果电子商务有限公司 | 一种基于计算机图像处理的可视化系统 |
| CN107948472A (zh) * | 2017-11-29 | 2018-04-20 | 北京星云环影科技有限责任公司 | 智能监控摄像头及安防系统 |
| CN108259764A (zh) * | 2018-03-27 | 2018-07-06 | 百度在线网络技术（北京）有限公司 | 摄像机、应用于摄像机的图像处理方法及装置 |
| CN108989762A (zh) * | 2018-08-14 | 2018-12-11 | 张家港江苏科技大学产业技术研究院 | 一种新型智能全景监控系统 |
| CN109640051A (zh) * | 2018-12-20 | 2019-04-16 | 长沙全度影像科技有限公司 | 一种大场景的分布式拼接监控系统 |
| CN109640051B (zh) * | 2018-12-20 | 2020-12-11 | 长沙全度影像科技有限公司 | 一种大场景的分布式拼接监控系统 |
| CN111193877A (zh) * | 2019-08-29 | 2020-05-22 | 桂林电子科技大学 | 一种arm-fpga协同的广域视频实时融合方法及嵌入式设备 |
| CN111193877B (zh) * | 2019-08-29 | 2021-11-30 | 桂林电子科技大学 | 一种arm-fpga协同的广域视频实时融合方法及嵌入式设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102355545A (zh) | 一种360度实时全景摄像机 | |
| CN102510474B (zh) | 一种360度全景监控系统 | |
| US9001227B2 (en) | Combining data from multiple image sensors | |
| US20120081519A1 (en) | Combining data from multiple image sensors | |
| US20140347439A1 (en) | Mobile device and system for generating panoramic video | |
| CN101312526A (zh) | 全景联动视频监控装置及其全景图像的拼接方法 | |
| CN102368816A (zh) | 一种视频会议智能前端系统 | |
| CN105264876A (zh) | 低成本电视制作的方法及系统 | |
| CN101938605A (zh) | 生成全景视频的方法 | |
| CN101146231A (zh) | 根据多视角视频流生成全景视频的方法 | |
| CN102724477A (zh) | 基于fpga的监控视频实时拼接装置及拼接方法 | |
| CN101102514A (zh) | 实时全景无缝无失真视频摄像机 | |
| CN108848354B (zh) | 一种vr内容摄像系统及其工作方法 | |
| CN202818442U (zh) | 全数字全景摄像机 | |
| CN103051884A (zh) | 一种粗精观察模式相结合的全方位视觉监视系统 | |
| CN103369246B (zh) | 一种摄像头分辨率转换装置 | |
| CN106027919A (zh) | 摄像机 | |
| CN202841344U (zh) | 一种基于双摄像头的图像显示装置 | |
| CN204168378U (zh) | 一种全景摄像系统 | |
| CN112040140A (zh) | 一种基于光场的宽视场高分辨混合成像装置 | |
| CN202818504U (zh) | 一种高清全景自动跟踪监控装置 | |
| CN202721763U (zh) | 一种全景视频采集装置 | |
| CN112738425A (zh) | 一种多摄像头采集的视频实时拼接系统 | |
| CN109089048A (zh) | 多镜头全景联动装置及方法 | |
| CN206023940U (zh) | 一种消除盲区的摄像头视频监控装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120215 |