CN114363485B - 一种基于fpga的双目摄像头图像拼接处理装置及方法 - Google Patents
一种基于fpga的双目摄像头图像拼接处理装置及方法 Download PDFInfo
- Publication number
- CN114363485B CN114363485B CN202111502351.9A CN202111502351A CN114363485B CN 114363485 B CN114363485 B CN 114363485B CN 202111502351 A CN202111502351 A CN 202111502351A CN 114363485 B CN114363485 B CN 114363485B
- Authority
- CN
- China
- Prior art keywords
- display
- fifo
- image
- blockram
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 title claims abstract description 8
- 230000005540 biological transmission Effects 0.000 claims description 18
- 239000013307 optical fiber Substances 0.000 claims description 10
- 230000003321 amplification Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000010354 integration Effects 0.000 abstract description 5
- 230000003139 buffering effect Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000005493 welding type Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于FPGA的双目摄像头图像拼接处理装置及方法，属于仪器仪表图像采集处理技术领域，本装置包括CMOS图像传感器、FPGA、DDR和显示器；CMOS图像传感器、DDR和显示器分别通过线路与FPGA连接。本发明拼接速度最高支持60帧/秒，可实现缩放、叠加字符显示等功能，具有拼接速度快、支持分辨率高、成本低、集成扩展方便等优点。
Description
技术领域
本发明属于仪器仪表图像采集处理技术领域，具体涉及一种基于FPGA的双目摄像头图像拼接处理装置及方法。
背景技术
光纤测试、光纤熔接等类型仪器，通常需要使用双目摄像头从两个方向获取图像信息，以拼接显示模式同时显示多组图像信息，要求拼接速度快、分辨率高、集成方便，具有缩放、叠加文字等功能。现有技术多采用FPGA加静态存储器方式，或专业图像板卡系统集成方式实现拼接功能，前者在拼接速度、分辨率等方面存在不足，后者价格高、集成难度大。
发明内容
针对现有技术中存在的上述技术问题，本发明提出了一种基于FPGA的双目摄像头图像拼接处理装置及方法，设计合理，克服了现有技术的不足，具有良好的效果。
为了实现上述目的，本发明采用如下技术方案：
一种基于FPGA的双目摄像头图像拼接处理装置，包括CMOS图像传感器、FPGA、DDR和显示器；CMOS图像传感器、DDR和显示器分别通过线路与FPGA连接；
CMOS图像传感器包括CMOS图像传感器-X和CMOS图像传感器-Y；
FPGA包括FIFO-X、FIFO-Y、存储器控制器、BLOCKRAM-X、BLOCKRAM-Y、字符ROM和送显控制器；
CMOS图像传感器-X、FIFO-X、存储器控制器、BLOCKRAM-X、送显控制器、显示器通过线路依次连接；
CMOS图像传感器-Y、FIFO-Y、存储器控制器、BLOCKRAM-Y、送显控制器、显示器通过线路依次连接；
字符ROM与送显控制器通过线路连接；
DDR与存储器控制器通过线路连接；
CMOS图像传感器-X和CMOS图像传感器-Y正交安装，被配置为用于进行光纤成像放大，并产生数字化光纤图像数据；
FIFO-X、FIFO-Y，被配置为用于将传输速率为类型一的图像数据临时缓存；
存储器控制器，被配置为用于进行DDR读、写控制；
BLOCKRAM-X，被配置为用于单行中指定像素数据读取，能够实现多种数据长度输出；
BLOCKRAM-Y，被配置为用于单行中指定像素数据读取，能够实现多种数据长度输出；
送显控制器，被配置为用于将视频变换为显示器支持的数据格式，根据需要叠加文字；
DDR，被配置为用于缓存图像数据；
显示器，被配置为用于显示图像；
通过CMOS图像传感器-X和CMOS图像传感器-Y，实时获取X向和Y向光纤图像数据，并将图像数据通过并行数据接口分别送到FPGA的FIFO-X、FIFO-Y中进行缓存，CMOS图像传感器以传输速率类型一将图像送往FIFO-X、FIFO-Y；
缓存完成后，存储器控制器使用类型二的传输速率将图像数据从FIFO-X和FIFO-Y中读出，并送往DDR中进行缓存；
在DDR中完成缓存图像数据后，存储器控制器再以传输速率类型三，将图像数据从DDR中读出，并送往BLOCKRAM-X、BLOCKRAM-Y中暂存，然后根据图像显示的需要，与字符ROM中的内容一并送往送显控制器中；
在送显控制器中，根据需要，将X和Y两相的图像进行拼接，同时再根据需要，将字符ROM中的信息拼接到图像中，从而得到最终的图像，这个图像通过并行接口，以显示器设定的传输速率类型四将图像数据传输到显示器中，完成全部的图像缓存与显示工作。
优选地，为了不丢失CMOS图像传感器送来的数据，存储器控制器从FIFO-X、FIFO-Y中读取数据的速率类型二大于CMOS图像传感器将图像送往FIFO-X、FIFO-Y的传输速率一。
此外，本发明还提到一种基于FPGA的双目摄像头图像拼接处理方法，该方法采用如上所述的一种基于FPGA的双目摄像头图像拼接处理装置，具体包括如下步骤：
步骤1：通过图像采集模块X向和图像采集模块Y向，实时获取X向和Y向光纤图像数据，按照每行数据为1组分别缓存到FIFO-X、FIFO-Y中；
步骤2：缓存完成后，存储器控制器使用类型二的传输速率将图像数据从FIFO-X和FIFO-Y中读出，并送往DDR中进行缓存；
步骤3：在DDR中完成缓存图像数据后，存储器控制器以传输速率类型三，将图像数据从DDR中读出，并送往BLOCKRAM-X、BLOCKRAM-Y中暂存；
步骤4：通过BLOCKRAM-X和BLOCKRAM-Y，实现任意像素点数据的读取，实现图像放大和缩小功能；
步骤5：根据图像显示的需要，BLOCKRAM-X、BLOCKRAM-Y中暂存的内容与字符ROM中的内容一并送往送显控制器中；
步骤6：通过送显控制器，将视频变换为显示器支持的数据格式，读取字符ROM中数据，实现叠加文字显示；
在送显控制器中，根据需要，将X和Y两相的图像进行拼接，同时再根据需要，将字符ROM中的信息拼接到图像中，从而得到最终的图像，这个图像通过并行接口，以显示器设定的传输速率类型四将图像数据传输到显示器中，完成全部的图像缓存与显示工作。此外，本发明还提到一种基于FPGA的双目摄像头图像拼接处理方法，该方法采用如上所述的一种基于FPGA的双目摄像头图像拼接处理装置，具体包括如下步骤：
本发明所带来的有益技术效果：
本发明拼接速度最高支持60帧/秒，可实现缩放、叠加字符显示等功能，具有拼接速度快、支持分辨率高、成本低、集成扩展方便等优点。
附图说明
图1是本发明装置的原理框图。
其中，1-CMOS图像传感器-X；2-CMOS图像传感器-Y；3-FIFO-X；4-FIFO-Y；5-存储器控制器；6-BLOCKRAM-X；7-BLOCKRAM-Y；8-字符ROM；9-送显控制器；10-DDR；11-显示器。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明：
如图1所示，在FPGA(Field-Programmable Gate Array，即现场可编程门阵列集成电路)内设置有图像采集单器、内存控制器、显示控制器等，负责将采集图像后，先进行缓存，后将缓存数据提取出来并显示。其中图像采集单元由两个CMOS(Complementary Metal-Oxide-Semiconductor，即互补金属氧化物半导体芯片)图像传感器组成，即CMOS图像传感器-X和CMOS图像传感器-Y，两个CMOS图像传感器直接与主控模块FPGA相连。FPGA外挂1片动态随机存储单元DDR 10，该单元用于缓存图像数据。同时FPGA还与一块显示器11相连，用于显示图像。
工作时，两片CMOS图像传感器(CMOS图像传感器-X和CMOS图像传感器-Y)将图像通过并行数据接口分别送到FPGA中，而FPGA中有两个缓存用的FIFO模块(FIFO-X1和FIFO-Y2，用来将传输速率为类型一的图像数据先临时缓存，以便后续再进行处理。
待FPGA内部两片FIFO的数据空间缓存完成后，存储器控制器5使用类型二的传输速率将图像数据从两片FIFO中读出，并送往DDR10中进行缓存。为了不会丢失CMOS图像传感器送来的数据，存储器控制器5从FIFO中读取数据的速率类型二必须大于CMOS图像传感器将图像送往FIFO的传输速率一。
在存储器DDR中缓存完成两片CMOS的图像后，存储器控制器5再以传输速率类型三，将图像数据从DDR存储器中读出，并送往两片BLOCKRAM(BLOCKRAM-X6和BLOCKRAM-Y7)中。图像被送往BLOCKRAM中暂存，再根据图像显示的需要，与字符ROM8中的内容一并送往送显控制器9中。
在送显控制器中，根据需要，将X和Y两相的图像进行拼接，同时再根据需要，将单元字符ROM8中的信息拼接到图像中，从而最终的图像。这个图像通过并行接口，以显示器11设定的传输速率类型四将图像数据传输到显示器11中，完成全部的图像缓存与显示工作。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。
Claims (1)
1.一种基于FPGA的双目摄像头图像拼接处理方法，其特征在于：采用一种基于FPGA的双目摄像头图像拼接处理装置，该装置包括CMOS图像传感器、FPGA、DDR和显示器；CMOS图像传感器、DDR和显示器分别通过线路与FPGA连接；
CMOS图像传感器包括CMOS图像传感器-X和CMOS图像传感器-Y共2个；
FPGA 包括FIFO-X、FIFO-Y、存储器控制器、BLOCKRAM-X、BLOCKRAM-Y、字符ROM和送显控制器；
CMOS图像传感器-X、FIFO-X、存储器控制器、BLOCKRAM-X、送显控制器、显示器通过线路依次连接；
CMOS图像传感器-Y、FIFO-Y、存储器控制器、BLOCKRAM-Y、送显控制器、显示器通过线路依次连接；
字符ROM与送显控制器通过线路连接；
DDR与存储器控制器通过线路连接；
CMOS图像传感器-X和CMOS图像传感器-Y正交安装，被配置为用于进行光纤成像放大，并产生数字化光纤图像数据；
FIFO-X、FIFO-Y，被配置为用于将传输速率为类型一的图像数据临时缓存；
存储器控制器，被配置为用于进行DDR读、写控制；
BLOCKRAM-X，被配置为用于单行中指定像素数据读取，能够实现多种数据长度输出；
BLOCKRAM-Y，被配置为用于单行中指定像素数据读取，能够实现多种数据长度输出；
送显控制器，被配置为用于将视频变换为显示器支持的数据格式，根据需要叠加文字；
DDR，被配置为用于缓存图像数据；
显示器，被配置为用于显示图像；
通过CMOS图像传感器-X和CMOS图像传感器-Y，实时获取X向和Y向光纤图像数据，并将图像数据通过并行数据接口分别送到FPGA 的FIFO-X、FIFO-Y中进行缓存，CMOS图像传感器以传输速率类型一将图像送往FIFO-X、FIFO-Y；
缓存完成后，存储器控制器使用类型二的传输速率将图像数据从FIFO-X和FIFO-Y中读出，并送往DDR中进行缓存；
在DDR中完成缓存图像数据后，存储器控制器再以传输速率类型三，将图像数据从DDR中读出，并送往BLOCKRAM-X、BLOCKRAM-Y中暂存，然后根据图像显示的需要，与字符ROM中的内容一并送往送显控制器中；
具体包括如下步骤：
步骤1：通过图像采集模块X向和图像采集模块Y向，实时获取X向和Y向光纤图像数据，按照每行数据为1组分别缓存到FIFO-X、FIFO-Y中；
步骤2：缓存完成后，存储器控制器使用类型二的传输速率将图像数据从FIFO-X和FIFO-Y中读出，并送往DDR中进行缓存；
步骤3：在DDR中完成缓存图像数据后，存储器控制器以传输速率类型三，将图像数据从DDR中读出，并送往BLOCKRAM-X、BLOCKRAM-Y中暂存；
步骤4：通过BLOCKRAM-X和BLOCKRAM-Y，实现任意像素点数据的读取，实现图像放大和缩小功能；
步骤5：根据图像显示的需要，BLOCKRAM-X、BLOCKRAM-Y中暂存的内容与字符ROM中的内容一并送往送显控制器中；
步骤6：通过送显控制器，将视频变换为显示器支持的数据格式，读取字符ROM中数据，实现叠加文字显示；
在送显控制器中，将X和Y两相的图像进行拼接，同时将字符ROM中的信息拼接到图像中，从而得到最终的图像，这个图像通过并行接口，以显示器设定的传输速率类型四将图像数据传输到显示器中，完成全部的图像缓存与显示工作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111502351.9A CN114363485B (zh) | 2021-12-10 | 2021-12-10 | 一种基于fpga的双目摄像头图像拼接处理装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111502351.9A CN114363485B (zh) | 2021-12-10 | 2021-12-10 | 一种基于fpga的双目摄像头图像拼接处理装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114363485A CN114363485A (zh) | 2022-04-15 |
| CN114363485B true CN114363485B (zh) | 2024-04-16 |
Family
ID=81098782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111502351.9A Active CN114363485B (zh) | 2021-12-10 | 2021-12-10 | 一种基于fpga的双目摄像头图像拼接处理装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114363485B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203522895U (zh) * | 2013-08-27 | 2014-04-02 | 桂林电子科技大学 | 基于sopc的双目视频拼装置 |
| WO2017107672A1 (zh) * | 2015-12-25 | 2017-06-29 | 北京搜狗科技发展有限公司 | 一种信息处理方法和装置、一种用于信息处理的装置 |
| CN109284750A (zh) * | 2018-08-14 | 2019-01-29 | 北京市商汤科技开发有限公司 | 票据识别方法及装置、电子设备及存储介质 |
| CN109698937A (zh) * | 2018-12-13 | 2019-04-30 | 中电科仪器仪表(安徽)有限公司 | 一种基于fpga的自适应lcd控制器 |
| CN112367537A (zh) * | 2020-11-02 | 2021-02-12 | 上海无线电设备研究所 | 一种基于zynq的视频采集-拼接-显示系统 |
| CN113132554A (zh) * | 2019-12-30 | 2021-07-16 | 西安奇维科技有限公司 | 一种基于fpga的实时图像采集及处理系统 |
-
2021
- 2021-12-10 CN CN202111502351.9A patent/CN114363485B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203522895U (zh) * | 2013-08-27 | 2014-04-02 | 桂林电子科技大学 | 基于sopc的双目视频拼装置 |
| WO2017107672A1 (zh) * | 2015-12-25 | 2017-06-29 | 北京搜狗科技发展有限公司 | 一种信息处理方法和装置、一种用于信息处理的装置 |
| CN109284750A (zh) * | 2018-08-14 | 2019-01-29 | 北京市商汤科技开发有限公司 | 票据识别方法及装置、电子设备及存储介质 |
| CN109698937A (zh) * | 2018-12-13 | 2019-04-30 | 中电科仪器仪表(安徽)有限公司 | 一种基于fpga的自适应lcd控制器 |
| CN113132554A (zh) * | 2019-12-30 | 2021-07-16 | 西安奇维科技有限公司 | 一种基于fpga的实时图像采集及处理系统 |
| CN112367537A (zh) * | 2020-11-02 | 2021-02-12 | 上海无线电设备研究所 | 一种基于zynq的视频采集-拼接-显示系统 |
Non-Patent Citations (2)
| Title |
|---|
| 基于FPGA的图像拼接技术研究与实现;徐扬;王晓曼;朱佶;刘鹏;姜浩;;长春理工大学学报(自然科学版);20181215(06);全文 * |
| 基于FPGA的高帧速CMOS成像系统设计;陈必威;梁志毅;王延新;裴改霞;;计算机测量与控制;20120525(05);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114363485A (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110933382A (zh) | 一种基于fpga实现的车载视频图像画中画显示方法 | |
| CN102164236B (zh) | 图像处理方法、图像处理装置、以及摄像装置 | |
| CN114363485B (zh) | 一种基于fpga的双目摄像头图像拼接处理装置及方法 | |
| JP2014191091A (ja) | 撮像装置 | |
| CN100499753C (zh) | 摄像装置及使用该摄像装置的显微镜装置 | |
| CN111212310B (zh) | 一种图像显示方法及装置 | |
| CN116539160A (zh) | 非制冷型红外探测器成像及热时间常数测试系统及方法 | |
| CN111681164B (zh) | 一种全景图像局部首尾相接巡航的装置与方法 | |
| CN102547125A (zh) | 一种图像采集抖动消除装置及其方法 | |
| CN113658049A (zh) | 一种图像转置的方法、设备和计算机可读存储介质 | |
| CN101369417B (zh) | 一种异步显示图像的叠加装置 | |
| KR101849853B1 (ko) | 대용량 영상신호 고속 전송장치 | |
| CN117156075B (zh) | 视频采集注入装置、系统、汽车及回注设备 | |
| CN104915923A (zh) | 不同分辨率图像自适应缩放方法 | |
| EP0321070B1 (en) | Data/image acquisition system | |
| KR100284420B1 (ko) | 디지털 비디오 캡쳐 보드 | |
| CN113315929B (zh) | 一种光轴一致性调整装置 | |
| CN112954241A (zh) | 图像传感器的图像数据读取系统及读取与组织的方法 | |
| US8229271B2 (en) | Microcomputer, system including the same, and data transfer device | |
| CN201974576U (zh) | 测量投影显微镜 | |
| CN115412651A (zh) | 视频处理装置、视频处理方法和显示系统 | |
| KR100286103B1 (ko) | 영상 데이터 처리방법 | |
| CN112911183A (zh) | 具有实时图像输出功能的图像采集卡、图像信息处理设备 | |
| CN105659907B (zh) | 一种基于采集卡的图像翻转方法、装置及系统 | |
| CN112601026A (zh) | 一种基于stm32f103vet的线扫描相机控制系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |