CN107705250A - 一种基于SoC FPGA嵌入式系统的图像拼接方法及系统 - Google Patents
一种基于SoC FPGA嵌入式系统的图像拼接方法及系统 Download PDFInfo
- Publication number
- CN107705250A CN107705250A CN201710792432.4A CN201710792432A CN107705250A CN 107705250 A CN107705250 A CN 107705250A CN 201710792432 A CN201710792432 A CN 201710792432A CN 107705250 A CN107705250 A CN 107705250A
- Authority
- CN
- China
- Prior art keywords
- image
- linux
- soc fpga
- images
- embedded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 230000004927 fusion Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于SoC FPGA嵌入式系统的图像拼接方法及系统。本发明拼接方法是以SoC FPGA为硬件核心、在Linux系统中完成图像拼接算法的运行。本发明图像拼接系统以SoC FPGA为核心处理器，运行烧写在SD卡中的Linux操作系统，并在Linux系统中完成图像拼接算法的运行，完成图像拼接功能。本发明在基于SoC FPGA的嵌入式系统中实现图像的快速、准确的拼接，完成了基于SoC FPGA的嵌入式系统的图像拼接算法的实现。发明图像拼接系统更加小型化，提高了图像拼接系统的普适性和专用性。
Description
技术领域
本发明属于机器视觉，尤其涉及一种基于SoC FPGA嵌入式系统的图像拼接方法及系统。
背景技术
图像拼接实现将多幅具有重合部分的图像拼接成为一幅大尺寸，高分辨率的全景图。研究图像拼接的意义就在于通过算法将输入的常规相机拍摄的一般分辨率的不同角度下的普通图像，拼接成为全景图像，从而降低对采集图像设备的过高要求，摆脱以往的获取全景图像时对昂贵的专业设备的依赖，也可以将不同的场景下拍摄的图像，或者特殊环境下拍摄的图像拼接到一起，组成全景图像。
常规图像拼接算法大多是在基于PC系统的平台中实现的，有专用的编译环境和大量的函数库的支持。但是，PC系统的装置体积庞大、不易携带、成本较高；由于PC系统有很多冗余的功能和设计端口，缺乏专业性，功耗也很高，导致其应用场合受到限制，而且使用基于PC的拼接算法得到全景图的方式相对于专业设备直接拍摄得到全景图的方式在成本和性能上并没有较大的优势。
发明内容
本发明的目的在于提供一种基于SoC FPGA嵌入式系统的图像拼接方法及系统，旨在解决传统的图像拼接系统装置体积庞大、不易携带、成本高的缺点，使用本发明可以实现图像拼接系统的小型化，提高了图像拼接系统的普适性和专用性。
本发明是这样实现的，一种基于SoC FPGA嵌入式系统的图像拼接方法，该拼接方法是以SoC FPGA为硬件核心、在Linux系统中完成图像拼接算法的运行。
优选地，所述Linux系统中完成图像拼接算法的运行具体包括以下步骤：
S1、开发SoC FPGA的嵌入式系统运行环境，在嵌入式环境中运行Linux系统，在Linux系统中完成bmp文件的编解码；
S2、基于相位相关法的图像配准和基于三角权重融合算法的图像融合，图像拼接后输出图像。
本发明进一步公开了一种图像拼接系统，该系统以SoC FPGA为核心处理器，运行烧写在SD卡中的Linux操作系统，并在Linux系统中完成图像拼接算法的运行，完成图像拼接功能。
优选地，所述Linux系统核心运行在HPS侧，网络接口、按键、指示灯均连接至FPGA侧。
本发明克服现有技术的不足，提供一种基于SoC FPGA嵌入式系统的图像拼接方法及系统。本发明通过开发SoC FPGA的嵌入式系统运行环境；在嵌入式环境中运行Linux系统；在Linux系统中实现bmp文件的编解码、基于相位相关法的图像配准和基于三角权重融合算法的图像融合；完成图像拼接后输出图像。
相比于现有技术的缺点和不足，本发明具有以下有益效果：本发明在基于SoCFPGA的嵌入式系统中实现图像的快速、准确的拼接，完成了基于SoCFPGA的嵌入式系统的图像拼接算法的实现。发明图像拼接系统更加小型化，提高了图像拼接系统的普适性和专用性。
附图说明
图1是本发明系统软件开发流程图；
图2是本发明图像拼接系统的配置图；
图3是本发明图像拼接系统中HPS部分配置图；
图4是本发明图像拼接系统中Qsys系统组成图；
图5是本发明图像拼接系统的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明公开了一种基于SoC FPGA嵌入式系统的图像拼接方法，该拼接方法是以SoC FPGA为硬件核心、在Linux系统中完成图像拼接算法的运行。
更具体的，上述Linux系统中完成图像拼接算法，如图1所示，包括以下步骤：
S1、开发SoC FPGA的嵌入式系统运行环境，在嵌入式环境中运行Linux系统，在Linux系统中完成bmp文件的编解码；
S2、基于相位相关法的图像配准和基于三角权重融合算法的图像融合，图像拼接后输出图像。
如步骤S1所述，主要为嵌入式图像拼接系统的构建。
如步骤S2所述，主要为嵌入式图像拼接算法的设计与实现。使用相位相关法作为图像配准的算法，利用快速傅里叶变换减少计算量，提高运算效率，使用三角函数权重融合算法对配准后的图像进行融合。
本发明在基于SoC FPGA的嵌入式系统中实现图像的快速、准确的拼接，完成了基于SoC FPGA的嵌入式系统的图像拼接算法的实现。
进一步，本发明公开了一种图像拼接系统，该系统以SoC FPGA为核心处理器，运行烧写在SD卡中的Linux操作系统，并在Linux系统中完成图像拼接算法的运行，完成图像拼接功能。
在本发明实施例中，在硬件系统配置方面，在配置SoC FPGA时要使用Qsys集成开发工具，Qsys集成开发工具很好地简化了系统所需硬件资源的配置，节省时间提高效率。其图形化的界面支持多种IP核的互联并且可以自动地建立仿真模型，在建立系统时，根据系统的需求从左侧的IP Catalog窗口中选择需要的组件直接拖到系统中，如图2所示。
在本系统中使用了Cyclone V Hard Processor System作为主处理器，对硬核处理器HPS设置的参数有AXI Bridges的位宽度，主时钟频率，存储器时钟频率，以太网控制器的接口及工作的模式，SD卡控制器的数据传输模式，USB控制器的引脚和工作模式，对HPS的配置部分截图如图3所示。
本发明系统中还用到了对主处理器进行编程调试用到的JTAG to Avalon MasterBridge，用作RAM的On-Chip Memory，系统时钟源Clock Source以及一个通信使用的串口和网络接口芯片的通信IO等资源。Qsys工具的连线需要手动去连接，这种图形化的连接只需要选中两条线中间的交叉点即可，设计好的系统连线图如图4所示。
本发明系统添加好Qsys组件后，设置Qsys系统中所有模块的中断请求，依据所使用的模块的优先级，在IRQ编号下输入对应的中断号。在配置Qsys的地址映射时，可以使用系统中的自动添加基地址的命令进行地址的自动分配，地址成功分配之后就可以生成Qsys系统，完成整个Qsys系统的编译。生成整个系统的.qip文件。.qip文件可以在Quartus II集成开发环境中以原理图的方式进行图形化显示，这时需要将时钟接口与IO连接到物理引脚上再次进行编译，生成.sof文件。
在本发明系统中，以SoC FPGA为核心处理器开发，充分利用HPS侧的运算能力与FPGA侧的接口扩展能力。Linux系统核心运行在HPS侧，网络接口、按键、指示灯均连接至FPGA侧，如图5所示。
使用USB数据线连接PC与板载USB Blaster II将.sof文件下载至芯片中进行测试。使用Win32Disk Imager软件将Poky 8.0系统镜像写入SD中。将SD卡插入SoC FPGA板卡中，上电运行并测试系统运行情况。
在本发明系统处理图像方面，对.BMP图像进行解码，将解码后的图像像素信息转存至数组中，并转化为灰度图像；使用相位相关法寻找待拼接图像的相对位置关系，对两幅图像进行配准；对配准好的图像使用三角函数权重融合算法进行融合；融合后按照BMP文件格式输出图像；将完成拼接的图像通过网口传输至PC中保存。
本发明图像拼接系统更加小型化，提高了图像拼接系统的普适性和专用性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于SoC FPGA嵌入式系统的图像拼接方法，其特征在于，该拼接方法是以SoCFPGA为硬件核心、在Linux系统中完成图像拼接算法的运行。
2.如权利要求1所述的基于SoC FPGA嵌入式系统的图像拼接方法，其特征在于，所述Linux系统中完成图像拼接算法的运行具体包括以下步骤：
S1、开发SoC FPGA的嵌入式系统运行环境，在嵌入式环境中运行Linux系统，在Linux系统中完成bmp文件的编解码；
S2、基于相位相关法的图像配准和基于三角权重融合算法的图像融合，图像拼接后输出图像。
3.一种图像拼接系统，其特征在于，该系统以SoC FPGA为核心处理器，运行烧写在SD卡中的Linux操作系统，并在Linux系统中完成图像拼接算法的运行，完成图像拼接功能。
4.如权利要求1所述的图像拼接系统，其特征在于，所述Linux系统核心运行在HPS侧，网络接口、按键、指示灯均连接至FPGA侧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710792432.4A CN107705250A (zh) | 2017-09-05 | 2017-09-05 | 一种基于SoC FPGA嵌入式系统的图像拼接方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710792432.4A CN107705250A (zh) | 2017-09-05 | 2017-09-05 | 一种基于SoC FPGA嵌入式系统的图像拼接方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107705250A true CN107705250A (zh) | 2018-02-16 |
Family
ID=61172026
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710792432.4A Pending CN107705250A (zh) | 2017-09-05 | 2017-09-05 | 一种基于SoC FPGA嵌入式系统的图像拼接方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107705250A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN2750603Y (zh) * | 2004-12-17 | 2006-01-04 | 深圳清华大学研究院 | 具有存储与多媒体播放功能的便携式数字电视接收机 |
| CN105376585A (zh) * | 2015-11-04 | 2016-03-02 | 四川大学华西医院 | 一种帧图像组合提高视频传输速度的方法 |
| CN105550992A (zh) * | 2015-12-30 | 2016-05-04 | 四川川大智胜软件股份有限公司 | 一种三维全脸照相机中高保真全脸纹理融合方法 |
| CN105721780A (zh) * | 2016-04-05 | 2016-06-29 | 华南理工大学 | 一种基于SoC FPGA的嵌入式图像处理系统与方法 |
| CN105791852A (zh) * | 2016-04-27 | 2016-07-20 | 南京大学 | 一种基于led异步控制的多媒体数据处理方法 |
| CN106991821A (zh) * | 2016-11-26 | 2017-07-28 | 广东技术师范学院 | 违章车辆用手持移动终端数据采集系统 |
-
2017
- 2017-09-05 CN CN201710792432.4A patent/CN107705250A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN2750603Y (zh) * | 2004-12-17 | 2006-01-04 | 深圳清华大学研究院 | 具有存储与多媒体播放功能的便携式数字电视接收机 |
| CN105376585A (zh) * | 2015-11-04 | 2016-03-02 | 四川大学华西医院 | 一种帧图像组合提高视频传输速度的方法 |
| CN105550992A (zh) * | 2015-12-30 | 2016-05-04 | 四川川大智胜软件股份有限公司 | 一种三维全脸照相机中高保真全脸纹理融合方法 |
| CN105721780A (zh) * | 2016-04-05 | 2016-06-29 | 华南理工大学 | 一种基于SoC FPGA的嵌入式图像处理系统与方法 |
| CN105791852A (zh) * | 2016-04-27 | 2016-07-20 | 南京大学 | 一种基于led异步控制的多媒体数据处理方法 |
| CN106991821A (zh) * | 2016-11-26 | 2017-07-28 | 广东技术师范学院 | 违章车辆用手持移动终端数据采集系统 |
Non-Patent Citations (1)
| Title |
|---|
| 赵小川, 北京航空航天大学出版社 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11544895B2 (en) | Surround view generation | |
| CN112580295B (zh) | 多核SoC芯片的自动化验证方法、系统及装置 | |
| US11138083B2 (en) | Apparatuses and methods for a multiple master capable debug interface | |
| WO2020215241A1 (zh) | 一种面向计算资源局限平台部署的实时目标检测的方法 | |
| Giri et al. | ESP4ML: Platform-based design of systems-on-chip for embedded machine learning | |
| US9135678B2 (en) | Methods and apparatus for interfacing panoramic image stitching with post-processors | |
| CN106575249A (zh) | 针对片上系统(soc)和系统的低功率调试架构 | |
| CN107180406A (zh) | 图像处理方法和设备 | |
| CN115146568B (zh) | 一种基于uvm的芯片验证系统及验证方法 | |
| KR20100124748A (ko) | 매끄러운 정사영 이미지 생성 플랫폼 | |
| Pool et al. | An energy model for graphics processing units | |
| CN109408445A (zh) | 一种图形处理器板卡 | |
| CN109801342A (zh) | 动态标识移动设备上运行时贴图合适度的方法及装置 | |
| CN107705250A (zh) | 一种基于SoC FPGA嵌入式系统的图像拼接方法及系统 | |
| US9984436B1 (en) | Method and system for real-time equirectangular projection | |
| Chen et al. | Towards efficient microarchitecture design of simultaneous localization and mapping in augmented reality era | |
| Chen et al. | A parallel reconfigurable architecture for real-time stereo vision | |
| Wigley et al. | ReConfigME: A detailed implementation of an operating system for reconfigurable computing | |
| CN202094950U (zh) | 网络接口设备 | |
| Goulding-Hotta | Specialization as a Candle in the Dark Silicon Regime | |
| Dodd | The application of high performance computing in rock art documentation and research | |
| CN104348865A (zh) | 交通物联网基础设施无盲巡检终端 | |
| Pradeep et al. | Design and verification environment for AMBA AXI protocol for SoC integration | |
| Antochi et al. | Efficient tile-aware bounding-box overlap test for tile-based rendering | |
| Stokke | An FPGA-Based Hardware Accelerator For The Digital Image Correlation Engine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180216 |