CN102118289B - Ieee1394接口的实时图像分割处理系统与高速智能统一总线接口方法 - Google Patents
Ieee1394接口的实时图像分割处理系统与高速智能统一总线接口方法 Download PDFInfo
- Publication number
- CN102118289B CN102118289B CN 201010577953 CN201010577953A CN102118289B CN 102118289 B CN102118289 B CN 102118289B CN 201010577953 CN201010577953 CN 201010577953 CN 201010577953 A CN201010577953 A CN 201010577953A CN 102118289 B CN102118289 B CN 102118289B
- Authority
- CN
- China
- Prior art keywords
- speed
- image
- real
- bus
- ieee1394
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Abstract
本发明公开了一种IEEE1394接口的实时图像分割处理系统与高速智能统一总线接口方法,用于解决现有的图像处理系统对高速IEEE1394摄像机图像数据流进行实时分割处理速度低的技术问题。技术方案是通过设计IEEE1394控制器实现对高速摄像机IEEE1394总线协议的解析,根据图像帧同步信号接收有效图像数据,在FPGA内部搭建并行图像处理硬件结构采用Sobel边缘检测、阈值分割和形态学腐蚀处理实现对高速图像数据流的实时分割处理,处理后的结果图像通过高速收发器SerDes利用光纤通道实现高速转发;通过多级硬件流水设计实现对系统图像处理的加速;通过时钟控制模块实现IEEE1394总线同步时钟和高速智能总线同步时钟的切换,实现了两种总线图像数据的高速可靠传输。
Description
技术领域
本发明涉及一种总线接口方法,特别是一种IEEE1394接口的实时图像分割处理系统与高速智能统一总线接口方法。
背景技术
在开发高速实时图像处理系统时,前端图像采集单元的性能对整个系统的性能有极大影响。目前图像采集单元多为PAL/NTSC接口输出,其输出图像帧率较低,这样对于一些对图像处理实时性要求苛刻的场合——例如基于图像的导弹末制导以及基于图像的高速目标跟踪系统开发,图像采集和处理单元的性能和处理速度成为系统进一步提高精度和实用性的瓶颈。
IEEE1394是一种高速串行总线标准,该标准的线缆模式支持100Mb/s,200Mb/s,400Mb/s的传输速率,即插即用,支持热插拔并且其传输速度可高速升级到3.2G/s。以IEEE 1394格式输出的数字摄像机,在VGA 640×480的分辨率下,其输出帧率可以达到100fps或者更高。高速的图像采集速率需要与之配套的高性能图像处理平台,传统的以工控机或嵌入式微处理器为核心处理系统很显然无法实时处理如此海量的图像数据。现场可编程逻辑门阵列(FPGA)具有现场可编程性与可重构性,具有较强的并行处理能力。公开发表的文献中,用FPGA作为核心的图像处理系统,其图像处理的速度、处理方式的灵活性和对不同图像算法的适应性可以大大得到提高。
文献“基于IEEE1394接口的图像传输控制器设计,仪器仪表用户,2008,Vol.15(3),p41-43”公开了一种IEEE1394接口的摄像机图像数据的高速传输方法。该方法以FPGA为核心控制器,首先图像数据由数字相机输入,进入IEEE1394物理层后,由物理层打包成为1394等时数据包格式,经链路层进入FPGA。FPGA根据等时数据包事务代码号(0A)检测数据包头,分离出有效的图像数据存入SRAM,FPGA设计SRAM读写“乒乓”操作,以不间断进行数据传输,同时提取出帧同步信号,与图像数据一起发送到PCI接口,才能进行下一步的图像处理。这种方法虽然实现了对图像的实时传输,但是对图像的分割处理需要在工控计算机中进行,一般必定不能实时处理,这样在对系统图像处理性能有较高要求的场合,该种接口方法效果欠佳。另外,此方法仅仅只实现了IEEE1394总线和工控计算机之间通过PCI总线的互联,当IEEE1394摄像机图像数据与其他系统或总线协议进行高速图像传输时由于传输介质和速度各异仍然难以实现数据交互。
发明内容
为克服现有的图像处理系统对高速IEEE1394摄像机图像数据流进行实时分割处理速度低的不足,本发明提供一种IEEE1394接口的实时图像分割处理系统与高速智能统一总线的接口方法,通过设计IEEE1394控制器实现对高速摄像机IEEE1394总线协议的解析,根据图像帧同步信号接收有效图像数据,在FPGA内部搭建并行图像处理硬件结构采用Sobe1边缘检测、阈值分割和形态学腐蚀处理实现对高速图像数据流的实时分割处理,处理后的结果图像通过高速收发器SerDes利用光纤通道实现高速转发;通过多级硬件流水设计实现对系统图像处理的加速;通过时钟控制模块实现IEEE1394总线同步时钟和高速智能总线同步时钟的切换,实现两种总线图像数据的高速可靠传输。
本发明解决其技术问题所采用的技术方案:一种IEEE1394接口的实时图像分割处理系统与高速智能统一总线接口方法,其特点是包括以下步骤:
(a)采用FPGA的I/O口触发IEEE1394摄像机的图像采集,摄像机输出的IEEE1394格式的图像数据通过一片IEEE1394物理层链路层芯片进行协议解码和有效像素数据的提取,FPGA通过摄像机输出的行场同步信号实现对摄像机输出的有效图像数据的实时接收。
(b)IEEE1394摄像机单元向智能总线发送时,通过智能总线编码单元将本部件地址及待发送的信号按照总线编码规则进行编码,然后在低频同步信号控制下将发送信息送入双向存贮器等待发送;接收到向总线发送指令后通过选择开关关闭低频同步信号而开通高频同步信号,通过数据并转串及控制向智能总线发送地址和信号。
(c)在图像处理时利用FPGA的硬件逻辑,搭建Sobel边缘检测、阈值分割和形态学腐蚀处理的硬件电路,实现对图像序列的实时分割处理,图像处理过程中采用多级流水设计,使得多步图像处理进程同步完成。
(d)根据设计的智能总线传输帧格式对实时图像数据流进行封装,并通过高速收发器模块SerDes,实现图像数据在智能总线中的高速实时传输,也方便以其为接口实现图像数据流与其他总线的互联;设置高低速两种时钟,通过时钟切换模块分别同步IEEE1394物理层链路层芯片和高速收发器SerDes的发送时钟,实现信号在高速和低速模式下的可靠转换。
本发明的有益效果是:实现了一种IEEE1394接口的实时图像分割处理系统与高速智能统一总线的接口方法,使得对图像的高速采集、实时分割处理以及在不同传输介质中的实时传输成为现实;采用时钟切换和数据接收发送的优先级设置,并充分利用了高速逻辑阵列并行性可重构性的特点,实现了图像数据在较低速IEEE1394总线和高速智能总线间的双向数据交互,提高了对IEEE1394总线数据的转发速度;只是在与总线相接的存贮单元、并转串、选择开关和高速逻辑阵列使用甚高频器件,而其余部分只需要能满足本单元要求的器件即可,从而降低了对接口硬件性能的要求,增加了数据传输的可靠度。
下面结合附图和实施例对本发明作详细说明。
附图说明
图1是本发明IEEE1394接口的实时图像分割处理系统与高速智能统一总线接口图。
图2是本发明IEEE1394接口图像分割结果图像发送流程图。
图3是本发明基于FPGA实时图像处理模块硬件逻辑框图。
图4是本发明基于FPGA的Sobel边缘检测RTL综合图。
图5是本发明基于FPGA的形态学腐蚀处理的RTL综合图。
图6是本发明基于FPGA的实时图像处理多级流水结构图。
图7是本发明智能总线数据帧格式图。
图8是本发明基于FPGA的Sobel边缘检测处理过程示意图。
具体实施方式
参照图1~8,详细说明本发明。
本实施例为一种基于IEEE1394接口摄像机的实时高速图像分割处理系统与智能总线的接口,实现了对IEEE1394摄像机图像序列的实时分割及其与高速智能总线的接口。本实施例的硬件结构包括IEEE1394图像接收控制器、智能总线数据帧封装及发送控制器、实时图像处理模块和不同总线时钟切换模块。
本实施例中两种总线的调度和接口控制主要在FPGA中完成,FPGA采用美国ALTERA Cyclone II 2C35 FPGA芯片。IEEE1394总线协议中的链路层和物理层采用PHILIPS公司的链路层控制芯片PDI1394L40和物理层芯片PDI1394L25实现;高速收发器SerDes采用BCM8152,可实现10Gbps的数据收发速度。图像采集单元采用IEEE1394a接口输出的A600型数字CCD摄像机;高速双口RAM采用型号为IDT70V3079的芯片,其读写速度最快可达到4ns。FPGA是系统处理和控制的核心,主要进行IEEE1394视频流的采集控制、实时图像处理和时钟切换的工作,实现了对图像数据流的高速分割处理和在不同总线下的传输转换,最大化利用总线的通信能力并避免数据的丢失。
首先FPGA通过I/O端口触发IEEE1394摄像机的图像采集,IEEE1394格式的数据流在经过协议解析后进入实时图像处理模块进行分割。一帧图像开始时,有效像素在同步时钟控制下连续的读进FPGA的FIFO中,很快当这些像素累计到一定的量,Sobel边缘检测开始处理;之后在每一个像素到达时,都可以同步对一个象素进行处理。对于阈值分割,不需要进行象素缓存,对于到达的每一象素直接进行处理并将处理结果输出。而对于形态学腐蚀处理,按照和Sobel边缘检测同样的步骤,先缓存,然后采集、处理和输出并行进行。这样,形成了实时图像处理的四级流水结构。在同一个时钟周期内,有效象素采集、边缘检测、阈值分割和腐蚀同步进行处理;而且在一帧图像采集完毕的有限时钟周期内,能够完成对图像的全部分割处理工作。
在进行Sobel边缘检测处理时,根据图像的行分辨率W,在FPGA内部设置一块固定长度的FIFO,缓存之前到来的2W+4个像素。当之后的象素到达时,首先将其存入FIFO,接着以第W+2个像素为中心按照两个梯度核计算像素的边缘e(x,y)并输出,处理过程如图8所示,其中红色矩形框为当前Sobel算子的像素中心点,蓝色矩形区域为3×3的滤波窗口。从算法的执行过程看,每一个有效像素都先存入FIFO,并在计算Sobel梯度前经过了W+2个时钟周期的延时,运行过程并不影响像素数据流的执行顺序和处理结果。接着,采用固定阈值Seg_Th对其进行阈值分割。
进行形态学腐蚀处理时,定义3×3的全1卷积核,扫描边缘二值图像的每一个像素,用卷积核的结构元素与其覆盖的二值图像做“与”操作,若全为1,则该像素的腐蚀结果为1,否则为0。腐蚀操作的实现与边缘检测相似,都需要在3×3窗口内进行,区别在卷积核不同。腐蚀操作需要将根据查找表获得的周围8邻域的象素值分别和卷积核对应元素做“与”操作,其结果作为中心象素的腐蚀输出。
当进行完分割处理时,结果像素被按照智能总线数据帧格式进行封装,并实时高速投递到高速收发器SerDes的发送缓存;此时,在时钟切换模块的协调下,发送时钟切换到高速模式。当高速时钟的上升沿到达时将数据通过光纤通道发送出去。
Claims (1)
1.一种IEEE1394接口的实时图像分割处理系统与高速智能统一总线接口方法,其特征在于包括以下步骤:
(a)采用FPGA的I/O口触发IEEE1394摄像机的图像采集,摄像机输出的IEEE1394格式的图像数据通过一片IEEE1394物理层链路层芯片进行协议解码和有效像素数据的提取,FPGA通过摄像机输出的行场同步信号实现对摄像机输出的有效图像数据的实时接收;
(b)IEEE1394摄像机单元向智能总线发送时,通过高速智能统一总线编码单元将本部件地址及待发送的信号按照总线编码规则进行编码,然后在低频同步信号控制下将发送信息送入双向存贮器等待发送;接收到向高速智能统一总线发送指令后通过选择开关关闭低频同步信号而开通高频同步信号,通过数据并转串及控制向高速智能统一总线发送地址和信号;
(c)在图像处理时利用FPGA的硬件逻辑,搭建Sobel边缘检测、阈值分割和形态学腐蚀处理的硬件电路,实现对图像序列的实时分割处理,图像处理过程中采用多级流水设计,使得多步图像处理进程同步完成;
(d)根据设计的高速智能统一总线传输帧格式对实时图像数据流进行封装,并通过高速收发器模块SerDes,实现图像数据在高速智能统一总线中的高速实时传输,也方便以其为接口实现图像数据流与其他总线的互联;设置高低速两种时钟,通过时钟切换模块分别同步IEEE1394物理层链路层芯片和高速收发器SerDes的发送时钟,实现信号在高速和低速模式下的可靠转换。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010577953 CN102118289B (zh) | 2010-12-02 | 2010-12-02 | Ieee1394接口的实时图像分割处理系统与高速智能统一总线接口方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010577953 CN102118289B (zh) | 2010-12-02 | 2010-12-02 | Ieee1394接口的实时图像分割处理系统与高速智能统一总线接口方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102118289A CN102118289A (zh) | 2011-07-06 |
CN102118289B true CN102118289B (zh) | 2013-04-17 |
Family
ID=44216893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201010577953 Expired - Fee Related CN102118289B (zh) | 2010-12-02 | 2010-12-02 | Ieee1394接口的实时图像分割处理系统与高速智能统一总线接口方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102118289B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103248945B (zh) * | 2012-02-03 | 2017-08-29 | 海尔集团公司 | 图像传输的方法及系统 |
CN102609922A (zh) * | 2012-03-05 | 2012-07-25 | 天津天地伟业数码科技有限公司 | 基于fpga的图像锐化系统及图像锐化方法 |
CN104023215A (zh) * | 2014-04-15 | 2014-09-03 | 上海电控研究所 | 军用1394数字视频和红外模拟视频光纤融合传输装置 |
CN108154229B (zh) * | 2018-01-10 | 2022-04-08 | 西安电子科技大学 | 基于fpga加速卷积神经网络框架的图片处理方法 |
CN110996120A (zh) * | 2019-12-13 | 2020-04-10 | 湖南君瀚信息技术有限公司 | 一种视频流发送、接收方法 |
CN114563691B (zh) * | 2022-04-29 | 2022-06-28 | 南京宏泰半导体科技有限公司 | 一种集成电路高速数字接口通用检测装置及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2747812Y (zh) * | 2004-08-24 | 2005-12-21 | 海信集团有限公司 | 16∶9背投电视机专用数字会聚自动调整装置 |
EP1901544A1 (en) * | 2005-11-18 | 2008-03-19 | Sony Corporation | Encoding device and method, composite device and method, and transmission system |
CN101426015A (zh) * | 2008-12-12 | 2009-05-06 | 北京航空航天大学 | 面向多媒体传输的IEEE1394/GbE变换器及数据采集系统 |
-
2010
- 2010-12-02 CN CN 201010577953 patent/CN102118289B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2747812Y (zh) * | 2004-08-24 | 2005-12-21 | 海信集团有限公司 | 16∶9背投电视机专用数字会聚自动调整装置 |
EP1901544A1 (en) * | 2005-11-18 | 2008-03-19 | Sony Corporation | Encoding device and method, composite device and method, and transmission system |
CN101426015A (zh) * | 2008-12-12 | 2009-05-06 | 北京航空航天大学 | 面向多媒体传输的IEEE1394/GbE变换器及数据采集系统 |
Also Published As
Publication number | Publication date |
---|---|
CN102118289A (zh) | 2011-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102118289B (zh) | Ieee1394接口的实时图像分割处理系统与高速智能统一总线接口方法 | |
CN107249101A (zh) | 一种高分辨率图像采集与处理装置 | |
CN101694609B (zh) | 一种提高dsp外部存储器接口速度的高清图像实时采集系统和方法 | |
CN103595924B (zh) | 一种基于Cameralink的图像融合系统及其方法 | |
CN104717442B (zh) | 多视频格式向VESA协议1600X1200分辨率60Hz帧率视频的自动转换方法 | |
CN201249721Y (zh) | 一种汽车偏离车道预警装置 | |
CN104717444B (zh) | 多视频格式向VESA协议1920X1440分辨率75Hz帧率视频的自动转换方法 | |
CN106060462A (zh) | 一种基于Zynq平台的高性能视频处理及传输系统 | |
CN109600532B (zh) | 无人机多路视频无缝切换系统和方法 | |
CN109743515A (zh) | 一种基于软核平台的异步视频融合叠加系统及方法 | |
CN105611295A (zh) | 一种在soc上实现视频采集压缩传输的系统和方法 | |
CN109788214A (zh) | 一种基于fpga的多路视频无缝切换系统和方法 | |
CN201608779U (zh) | 一种便携式可见光ccd成像系统 | |
CN104469265A (zh) | 一种玻璃缺陷图像采集处理系统 | |
CN206575517U (zh) | 一种高清图像处理拼接器 | |
CN104836959A (zh) | 基于fpga的面阵cmos图像传感器多模式自动切换采集系统 | |
CN105430297A (zh) | 多视频格式向iidc协议视频格式转换的自动控制系统 | |
CN108134912A (zh) | 一种视频流转换方法 | |
CN105100813A (zh) | 一种视频图像预处理方法和装置 | |
CN101969552B (zh) | 一种视频数据并行处理系统及其方法 | |
CN205385561U (zh) | 一种多屏拼接显示系统 | |
CN102881273B (zh) | 一种面向异步视频的嵌入式图像处理方法 | |
CN204929046U (zh) | 一种实时图像采集系统 | |
CN203522895U (zh) | 基于sopc的双目视频拼装置 | |
CN104463774A (zh) | 一种基于dm642的三路图像融合处理器设计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130417 Termination date: 20191202 |