CN103888751A - 一种基于dsp的嵌入式全景立体球视觉图像采集系统 - Google Patents
一种基于dsp的嵌入式全景立体球视觉图像采集系统 Download PDFInfo
- Publication number
- CN103888751A CN103888751A CN201410089789.2A CN201410089789A CN103888751A CN 103888751 A CN103888751 A CN 103888751A CN 201410089789 A CN201410089789 A CN 201410089789A CN 103888751 A CN103888751 A CN 103888751A
- Authority
- CN
- China
- Prior art keywords
- dsp
- cmos
- data
- fpga
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
一种基于DSP的嵌入式全景立体球视觉图像采集系统，属于机器视觉领域。本发明是为基于鱼眼镜头的全景立体球视觉系统提供一套嵌入式4路图像采集和处理系统，该系统包括4路鱼眼镜头及其分别对应的CMOS图像传感器，以及FPGA模块和DSP模块。处理器采用高速的DSP（digital singnal processor），图像传感器采用CMOS，使用FPGA管理和修正图像数据，实现一次拍摄，同时采集4路数据。同时其数据的预处理、畸变校正、匹配等预算都在改嵌入式系统中运行，具有体积小、便携、功耗低、运算速度快等显著特点。
Description
技术领域
本发明属于机器视觉领域，涉及全景立体视觉系统中的图像数据采集和处理。具体是基于DSP（digital singnal processor）构建嵌入式多路图像采集和处理系统，同时获取多路相关图像数据。
背景技术
全景视觉是机器视觉的一个重要分支，它无须视觉系统的机械回转或扫描即可将全部视场内的上、下、左、右、前、后景物一眼看遍。由于其具有几乎无盲区信息采集的显著特点，因此全景视觉有着广泛的应用需求，如辅助驾驶、安全监控、文化娱乐等。当前，全景视觉的构成主要是使用多个同种视觉传感器构成一定结构的组合式视觉系统，采集多路图像数据，再经由处理器分析计算后形成全景图像。常用的全景视觉系统包括多路相机或者图像传感器，为提高图像精度，其镜头采用常规的工业镜头。但由于常规镜头视场较小，为形成相邻传感器之间的图像区域交叠，需要使用的相机数量较多，通常在8只以上。
鱼眼镜头是一种大视场、短焦距的特殊广角镜头，大广角的鱼眼镜头可以实现180°×180°视场范围内的信息。所以采用鱼眼镜头构建全景立体球视觉系统可以有效减少相机的数量，相对于传统的全景系统具有结构简单、体积更小的优势。经过分析和计算得知，利用4个成90°对称分布的大广角鱼眼镜头就可以获取360°×360°的全景信息。如图1所示，利用四个鱼眼镜头水平放置，保持光心在同一水平面上，相邻两镜头夹角为90°。由于鱼眼镜头视场较大，相邻镜头之间的视场区域相互交叠，这样不仅可以保证空间内任意位置上的物点至少会在两个鱼眼镜头中成像，从而满足了立体视觉的条件；并且可以获得360°×360°全球域视场内的图像信息，真正实现了无盲区全景球视觉观测。结合双目视觉技术和图像匹配技术，就可以计算出图像之间的相互关联，从而得到视场中的空间立体信息，从而获取360°×360°全球域的图像信息和空间信息，也就是获得全景球视觉信息。
鱼眼镜头在具有视场区域大的优点，同时也具有图像畸变大的缺点，所以在获取全景信息时首先需要对图像进行滤波、畸变校正等一系列预处理工作，计算量比较大。同时考虑到全景视觉采集时的方便和易用性，其数据计算和匹配最好能够脱离计算机系统而采用嵌入式系统实现。
发明内容
本发明的目的是解决基于鱼眼镜头的全景立体球视觉系统的图像采集和处理问题，提供一种基于DSP的嵌入式全景立体球视觉图像采集系统。
本发明提供的基于DSP的嵌入式全景立体球视觉图像采集系统包括：
4路鱼眼镜头及其分别对应的CMOS图像传感器，以及FPGA模块和DSP模块；4路同型号的CMOS图像传感器分别焊接在4块驱动电路板上，然后通过柔性数据线连接到FPGA模块。4路CMOS的光轴分布在一个平面上，分别按照0°、90°、180°、270°等4个角度，正面向外放置并固定在基座上，并保证0°和180°的CMOS光轴重合；90°和270°的光轴重合。CMOS接收由DSP模块通过I2C总线发出的控制信号，CMOS的输出数据通过柔性数据线传输到FPGA模块中。由于采用了柔性数据线连接CMOS和FPGA模块，所以CMOS驱动电路板的位置易于安装和调整。FPGA模块和DSP模块安装在同一块驱动电路板上，两者之间采用板内数据和控制线连接。
4个CMOS彩色图像传感器型号为MT9T001，分别焊接在对应的驱动电路板上，输入输出信号为柔性通讯线缆连接到FPGA模块上。图像数据从CMOS输出后，进入FPGA模块，在FPGA中进行预处理后送入DSP，从而完成图像的采集工作。图像的处理主要在DSP中进行，整个过程脱离计算机运行。为提高FPGA的数据容量，FPGA带RAM，用来缓存图像数据；DSP同样自带RAM，用来缓存自己的数据，同时还采用FLASH存储固化程序和数据，采用网路同外界通讯。
本发明的优点和有益效果：
为解决基于鱼眼镜头的全景球视觉系统的图像采集和处理问题，本发明采用高速DSP+FPGA的嵌入式系统同时采集和处理4路鱼眼镜头的彩色图像，整个过程完全脱离了传统的计算机。其优点在于：基于嵌入式系统构建全景立体球视觉图像采集和处理系统，脱离计算机系统存在，结构简单、体积小、重量轻、成本低。同整个系统不需要回转结构，一次采集就可以同时获取4路鱼眼镜头图像数据，从而计算获得360°×360°全球域的全景信息。
附图说明
图1是4只鱼眼镜头安装示意图。
图2是系统模块框图。
具体实施方式
如图2所示基于DSP的嵌入式全景立体球视觉图像采集系统，该系统主要由4路鱼眼镜头及其分别对应的CMOS图像传感器，以及FPGA模块和DSP模块构成。4路同型号的CMOS图像传感器分别焊接在4块驱动电路板上，然后通过柔性数据线同时连接到FPGA模块上。4路CMOS的光轴分布在一个平面上，分别按照0°、90°、180°、270°等4个角度正面向外放置并固定在基座上，并保证0°和180°的CMOS光轴重合；90°和270°的光轴重合。
CMOS接收由DSP模块通过I2C总线发出的控制信号，CMOS的输出数据通过柔性数据线传输到FPGA模块中。FPGA模块和DSP模块安装在一块驱动电路板上，两者之间采用板内互联线路。为提高FPGA的数据容量，FPGA带RAM，用来缓存图像数据。DSP同样自带RAM，用来缓存自己的数据，同时还采用FLASH存储固化程序和数据，采用网路同外界通讯。
本发明处理器采用TI公司的高速DSP（TMS320C6657），图像传感器采用型号为MT9T001的CMOS，分辨率为2048×1536像素，逻辑部分采用Altera公司的Stratix IV系列高端FPGA进行控制。高分辨率的彩色图像数据由CMOS输出后送入由FPGA的外置RAM中，由FPGA对其进行时序整理和图像的预处理，主要是图像的滤波、色彩校正等。预处理完成后，再经过DSP的高速数据口送入DSP控制的外部存储器中，就实现了图像的采集。
系统的工作过程
系统上电后，程序由FLASH中载入到DSP中，实现程序的自举和启动，随后开始运行，具体为：
1）DSP程序启动后，对自身的寄存器进行配置，然后采用I2C总线对CMOS的工作模式、宽门宽度、增益进行配置，最后对FPGA的工作方式进行配置。
2）CMOS配置成内部触发方式，也就是平时处于等待状态，收到一个DSP发出的触发信号后才开始采集，采集完一帧图像后重新处于等待状态。
3）启动TCP/IP网络协议栈，为外部设备连接做好准备。
4）DSP利用I2C总线控制CMOS的图像采集，先触发第一个CMOS的图像采集，在FPGA中进行Bayer解码、白平衡校正、彩色增强和畸变校正后，把图像送入RAM中，同时给DSP发出完成信号。DSP收到信号后启动图像传输，把FPGA所外挂的RAM中的数据读入DSP的外部RAM中，完成一个CMOS的图像采集。依次启动第2、3、4个CMOS的图像采集，最终采集完所有CMOS的图像数据。
4）利用CMOS的帧同步信号作为图像同步信号，标识一帧图像，低电平有效。数据采样时钟采用CMOS的输出时钟，上升沿采样。
5）DSP和CMOS之间的通讯采用I2C总线，用来发送CMOS的配置信息，同时也用来发送命令信息，如触发一帧图像等。
6）采集完4帧图像数据有序存放在DSP的外置RAM中，随后就可以由DSP进行相关的全景视觉算法分析和处理了，例如特征点提取、图像拼接、图像匹配、立体重建等。
Claims (2)
1.一种基于DSP的嵌入式全景立体球视觉图像采集系统，其特征在于该系统主要包括4路鱼眼镜头及其分别对应的CMOS图像传感器，以及FPGA模块和DSP模块；4路同型号的CMOS图像传感器分别焊接在4块驱动电路板上，然后通过柔性数据线连接到FPGA模块上；4路CMOS的光轴分布在一个平面上，分别按照0°、90°、180°、270°四个角度，正面向外放置并固定在基座上，且保证0°和180°的CMOS光轴重合；90°和270°的光轴重合；CMOS接收由DSP模块通过I2C总线发出的控制信号，CMOS的输出数据通过柔性数据线传输到FPGA模块中；FPGA模块和DSP模块安装在同一块驱动电路板上，两者之间采用板内互联线路。
2.根据权利要求1所述的基于DSP的嵌入式全景立体球视觉图像采集系统，其特征在于，为提高FPGA的数据容量，FPGA带RAM，用来缓存图像数据；DSP同样自带RAM，用来缓存自己的数据，同时还采用FLASH存储固化程序和数据，采用网路同外界通讯。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410089789.2A CN103888751A (zh) | 2014-03-12 | 2014-03-12 | 一种基于dsp的嵌入式全景立体球视觉图像采集系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410089789.2A CN103888751A (zh) | 2014-03-12 | 2014-03-12 | 一种基于dsp的嵌入式全景立体球视觉图像采集系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103888751A true CN103888751A (zh) | 2014-06-25 |
Family
ID=50957442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410089789.2A Pending CN103888751A (zh) | 2014-03-12 | 2014-03-12 | 一种基于dsp的嵌入式全景立体球视觉图像采集系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103888751A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104516189A (zh) * | 2014-12-26 | 2015-04-15 | 广东光阵光电科技有限公司 | Vtm机180度广角拍摄摄像模组及其拍摄方法 |
| CN104954694A (zh) * | 2015-07-10 | 2015-09-30 | 王俊懿 | 一种通过wifi实时查看全景图像的工业相机 |
| CN105472226A (zh) * | 2016-01-14 | 2016-04-06 | 苏州佳像视讯科技有限公司 | 一种前后双镜头全景运动摄像机 |
| CN105611128A (zh) * | 2015-12-28 | 2016-05-25 | 上海集成电路研发中心有限公司 | 一种全景摄像机 |
| CN105744137A (zh) * | 2016-04-22 | 2016-07-06 | 王俊懿 | 使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的系统 |
| WO2018049699A1 (zh) * | 2016-09-13 | 2018-03-22 | 北京清影机器视觉技术有限公司 | 一种基于微型摄像头矩阵的图像获取装置 |
| CN108363971A (zh) * | 2018-02-05 | 2018-08-03 | 四川东鼎里智信息技术有限责任公司 | 一种视觉识别的嵌入式算法 |
| CN108848354A (zh) * | 2018-08-06 | 2018-11-20 | 四川省广播电视科研所 | 一种vr内容摄像系统及其工作方法 |
| CN113315935A (zh) * | 2021-05-20 | 2021-08-27 | 中国科学院光电技术研究所 | 一种基于fpga的cmos图像传感器数据采集装置及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1932841A (zh) * | 2005-10-28 | 2007-03-21 | 南京航空航天大学 | 基于仿生复眼的运动目标检测装置及其方法 |
| CN2917134Y (zh) * | 2006-03-30 | 2007-06-27 | 哈尔滨工程大学 | 基于dsp的嵌入式实时全景图像采集处理装置 |
| CN101309430A (zh) * | 2008-06-26 | 2008-11-19 | 天津市亚安科技电子有限公司 | 基于fpga的视频图像预处理器 |
| CN101447075A (zh) * | 2008-12-31 | 2009-06-03 | 天津理工大学 | 基于大广角镜头的fpga+dsp嵌入式多值目标阈值分类跟踪装置 |
| CN101561270B (zh) * | 2009-05-27 | 2011-05-04 | 天津理工大学 | 嵌入式全向球视觉目标检测和移动监控系统及方法 |
| CN102137229A (zh) * | 2011-03-09 | 2011-07-27 | 上海贝威科技有限公司 | 嵌入式高清全景摄像机及方法 |
-
2014
- 2014-03-12 CN CN201410089789.2A patent/CN103888751A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1932841A (zh) * | 2005-10-28 | 2007-03-21 | 南京航空航天大学 | 基于仿生复眼的运动目标检测装置及其方法 |
| CN2917134Y (zh) * | 2006-03-30 | 2007-06-27 | 哈尔滨工程大学 | 基于dsp的嵌入式实时全景图像采集处理装置 |
| CN101309430A (zh) * | 2008-06-26 | 2008-11-19 | 天津市亚安科技电子有限公司 | 基于fpga的视频图像预处理器 |
| CN101447075A (zh) * | 2008-12-31 | 2009-06-03 | 天津理工大学 | 基于大广角镜头的fpga+dsp嵌入式多值目标阈值分类跟踪装置 |
| CN101561270B (zh) * | 2009-05-27 | 2011-05-04 | 天津理工大学 | 嵌入式全向球视觉目标检测和移动监控系统及方法 |
| CN102137229A (zh) * | 2011-03-09 | 2011-07-27 | 上海贝威科技有限公司 | 嵌入式高清全景摄像机及方法 |
Non-Patent Citations (4)
| Title |
|---|
| 冯为嘉: "基于鱼眼镜头的全方位视觉及全景立体球视觉研究", 《中国博士学位论文全文数据库-信息科技辑》 * |
| 张宝峰; 冯为嘉; 宗晓宁; 曹丽业: "基于鱼眼镜头的全景立体球视觉研究", 《电子测量与仪器学报》 * |
| 王海林等: "运动物体多角度同步图象信息采集与预处理系统", 《电子器件》 * |
| 陈立栋等: "异构双核的高分辨率折反射全景高速处理系统", 《电子与信息学报》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104516189A (zh) * | 2014-12-26 | 2015-04-15 | 广东光阵光电科技有限公司 | Vtm机180度广角拍摄摄像模组及其拍摄方法 |
| CN104954694A (zh) * | 2015-07-10 | 2015-09-30 | 王俊懿 | 一种通过wifi实时查看全景图像的工业相机 |
| CN105611128A (zh) * | 2015-12-28 | 2016-05-25 | 上海集成电路研发中心有限公司 | 一种全景摄像机 |
| CN105472226A (zh) * | 2016-01-14 | 2016-04-06 | 苏州佳像视讯科技有限公司 | 一种前后双镜头全景运动摄像机 |
| CN105744137A (zh) * | 2016-04-22 | 2016-07-06 | 王俊懿 | 使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的系统 |
| WO2018049699A1 (zh) * | 2016-09-13 | 2018-03-22 | 北京清影机器视觉技术有限公司 | 一种基于微型摄像头矩阵的图像获取装置 |
| US11303786B2 (en) | 2016-09-13 | 2022-04-12 | Beijing Qingying Machine Visual Technology Co. | Image acquisition apparatus based on miniature camera matrix |
| CN108363971A (zh) * | 2018-02-05 | 2018-08-03 | 四川东鼎里智信息技术有限责任公司 | 一种视觉识别的嵌入式算法 |
| CN108848354A (zh) * | 2018-08-06 | 2018-11-20 | 四川省广播电视科研所 | 一种vr内容摄像系统及其工作方法 |
| CN113315935A (zh) * | 2021-05-20 | 2021-08-27 | 中国科学院光电技术研究所 | 一种基于fpga的cmos图像传感器数据采集装置及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103888751A (zh) | 一种基于dsp的嵌入式全景立体球视觉图像采集系统 | |
| CN104570577B (zh) | 一种720度全景照相机 | |
| CN202395858U (zh) | 一种双目摄像装置 | |
| CN204855942U (zh) | 无线远程传输的头戴式显示设备 | |
| CN101312526A (zh) | 全景联动视频监控装置及其全景图像的拼接方法 | |
| CN205320214U (zh) | 3dvr 全景视频成像装置 | |
| CN206117890U (zh) | 一种全景360度虚拟现实成像系统 | |
| CN108460721A (zh) | 一种基于硬件加速卡的全景视频拼接系统及方法 | |
| CN101159852A (zh) | 电子云台智能视频监控系统 | |
| CN102724477A (zh) | 基于fpga的监控视频实时拼接装置及拼接方法 | |
| CN205051781U (zh) | 一种双镜头光学摄像系统 | |
| CN105357433A (zh) | 一种高速旋转焦距自适应全景成像方法 | |
| CN103679166A (zh) | 一种快速获取设备中鱼眼镜头中心偏移量的方法及系统 | |
| CN208956216U (zh) | 基于低照度摄像头同步采集长距传输的大型车环视系统 | |
| CN114765667A (zh) | 用于多视图拼接的固定图案校准 | |
| CN113141442B (zh) | 一种摄像机及其补光方法 | |
| CN204168378U (zh) | 一种全景摄像系统 | |
| CN103376637A (zh) | 一种3d拍照系统 | |
| CN104580895A (zh) | 一种具有摄照同步工作能力的机载成像系统 | |
| CN207429059U (zh) | 一种基于扫地机器人的实时监控系统 | |
| CN109089048A (zh) | 多镜头全景联动装置及方法 | |
| CN105472226A (zh) | 一种前后双镜头全景运动摄像机 | |
| CN105530419B (zh) | 图像采集系统、图像采集处理系统和图像采集处理方法 | |
| CN205123855U (zh) | 一种图像采集设备和模块化相机及监控系统 | |
| CN202565409U (zh) | 监控视频实时拼接装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140625 |