CN105049826A - 基于fpga的实时立体视频融合转换方法 - Google Patents
基于fpga的实时立体视频融合转换方法 Download PDFInfo
- Publication number
- CN105049826A CN105049826A CN201510439414.9A CN201510439414A CN105049826A CN 105049826 A CN105049826 A CN 105049826A CN 201510439414 A CN201510439414 A CN 201510439414A CN 105049826 A CN105049826 A CN 105049826A
- Authority
- CN
- China
- Prior art keywords
- video
- hdmi
- fpga
- module
- format
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 18
- 230000004927 fusion Effects 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 title claims description 7
- 238000004891 communication Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 4
- 238000002156 mixing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005265 energy consumption Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
一种基于FPGA的实时立体视频融合转换算法，包括串口通讯模块，FPGA主板；FPGA主板包括串口通讯模块，HDMI输入寄存器配置模块，HDMI输出寄存器配置模块，IIC接口控制模块，HDMI输入输出子卡，DDR3内存控制模块，时钟生成模块，时序生成模块；由PC输出未经融合的左右格式的视频源，左右格式分辨率为1920*1080,通过HDMI接口输入左右格式图像、HDMI接口输出立体视频，视频源通过HDMI1.4接口输入到FPGA,利用FPGA的并行高速融合算法实现左右格式到立体格式视频的转换；最后通过HDMI1.4的输出接口接到显示屏上显示立体视频，完成高清立体视频的转换与显示，同时通过串口通讯模块可以控制左右格式的融合顺序。
Description
技术领域
本发明属于高清立体视频领域，尤其涉及到高清分辨率的多视点的2D/3D处理技术。特别是一种基于FPGA的实时立体视频融合转换算法.
背景技术
3维立体技术并不是新兴事物，它有着将近170多年的历史。传统的裸眼立体成像系统受到产品重量，系统尺寸，总体功耗的影响，本系统要求在小尺寸、高速度、低功耗的硬件电路上实现。常见的立体显示系统为采用SOC(偏上系统)芯片加上DDR3类似的外部存储器，然后软件控制SOC内部集成的图像处理模块实现图像处理，普遍存在效率低，功耗大，系统结构复杂，成本高的问题。
针对上述存在的问题，本发明基于FPGA的实时立体视频融合转换算法，系统结构简单，体积小，功耗低，增加了FPGA在高清分辨率视频图像处理方面的应用。
发明内容
本发明目的是，提出一种基于FPGA的实时立体视频融合转换算法。具有效率高，功耗低，系统结构简明及可以控制成本。
本发明的技术方案是：一种基于FPGA的实时立体视频融合转换算法，其特征在于：包括串口通讯模块，FPGA主板；FPGA主板包括串口通讯模块，HDMI输入寄存器配置模块，HDMI输出寄存器配置模块，IIC接口控制模块，HDMI子卡即HDMI输入控制模块，HDMI输出控制模块，DDR3内存控制模块，时钟生成模块，HDMI1080P60Hz时序生成模块；由PC输出未经融合的左右格式的视频源，左右格式分辨率为1920*1080,通过HDMI接口输入左右格式图像、HDMI接口输出立体视频，视频源通过HDMI1.4接口输入到FPGA,利用FPGA的并行高速融合算法实现左右格式到立体格式视频的转换；最后通过HDMI1.4的输出接口接到显示屏上显示立体视频，完成高清立体视频的转换与显示，同时通过串口通讯模块可以控制左右格式的融合顺序；串口通讯模块采用UART协议，接受PC发出的指令来调整左右格式图像的融合顺序。
同时通过串口模块可以控制左右格式的融合顺序。相对于传统的软件算法实现视频格式转换。
本发明提出的实时立体视频融合转换接口电路板使用Kintex-7FPGA为主处理芯片，同时配合1080P60HzHDMI输入输出子卡完成一系列图像处理功能，利用FPGA的高速并行性，在速度、成本、稳定性方面有了较大的突破，增加了FPGA在视频图像处理方面的实用性。
具体包括以下步骤：首先由PC(1)输出左右格式的视频源，左右格式的视频源由分辨率为960*1080的单视图从左到右依次排列组成，分辨率为1920*1080。PC(1)输出的全视图格式的视频源流向HDMI输入控制模块的HDMI1.4输入子卡(2)，HDMI1.4输入子卡(2)的视频处理能力为1080P60Hz.经过HDMI1.4输入子卡(2)的视频源进入FPGA主板(3)，在FPGA主板(3)内完成左右视图格式到立体格式视频的转换算法。
转换后的立体格式的视频源进入HDMI1.4输出子卡(4)，最后通过HDMI1.4输出子卡(4)的立体格式视频源在3DLCD(5)上显示，得到分辨率为1080P的立体图像。
HDMI输入寄存器配置模块的作用是配置HDMI视频解码芯片，采用IIC协议来配置。
HDMI输出寄存器配置模块的作用是配置HDMI视频编码芯片，采用IIC协议来配置。
IIC接口控制模块用来产生符合IIC协议的时序。
FPGA主板内部HDMI输入控制模块完成3项功能：1)采取乒乓切换的算法读取输入视频流从而提高了视频流吞吐量，避免了读写冲突；2)将左右格式图像的对应像素点融合成立体格式的像素点；3)生成符合AXI4总线的时序把有效像素写入DDR3_SDRAM；
FPGA主板内部HDMI输出控制模块DDR3_2_HDMI主要完成3项功能1)以1080P60Hz时序输出像素到HDMI输出接口；2)生成符合AXI4总线的时序从DDR3_SDRAM读出融合后的有效像素；3)基于乒乓切换的算法从DDR3中读取视频流，从而避免了读写冲突。
FPGA主板内部DDR3内存控制模块MIG主要完成输入视频流向DDRS_SDRAM的写入控制，DDR3_SDARAM向输出视频流的输出控制。
FPGA主板负责完成左右格式图像到立体格式图像的转换算法，其中时钟生成模块CLK_GEN产生FPGA内部的时钟信号以及复位信号。
FPGA主板内部HDMI1080P60Hz时序生成模块主要完成HDMI输出接口的时序。
FPGA主处理芯片为XILINX公司的Kintex-7FPGA芯片，处理能力强，运算速度快。
本发明有益效果：实现了通过HDMI接口输入左右格式图像、HDMI接口输出融合立体视频，由PC输出未经融合的左右格式的视频源，利用FPGA的并行高速融合算法实现左右格式到立体格式视频的转换。最后通过HDMI1.4的输出接口输入到显示屏上，完成高清立体视频的转换与显示，同时通过串口模块可以控制左右格式的融合顺序。相对于传统的软件算法实现视频格式转换，本发明提出的实时立体视频融合转换接口电路板，使用Kintex-7FPGA为主处理芯片，同时配合1080P60HzHDMI输入输出子卡完成一系列图像处理功能，HDMI1.4输入子卡(2)的视频处理能力为1080P60Hz.HDMI1.4输出子卡(4)的视频处理能力为1080P60Hz；利用FPGA的高速并行性，在速度、成本、稳定性方面有了较大的突破，增加了FPGA在视频图像处理方面的实用性。
附图说明
图1左右视图格式。
图2FPGA内部左右格式到立体格式视频的转换算法。
图3HDMI输入控制模块HDMI_2_DDR3内部生成示意图。
图4HDMI输出控制模块DDR3_2_HDMI内部生成示意图。
具体实施方式
下面将结合附图具体说明本发明的实施方式。
基于FPGA的超高清立体视频接口转换算法系统框图如图2所示。
首先先由PC输出左右视图格式的视频源，左右视图格式如图1由2幅分辨率为960*1080的单视图从左到右依次排列组成。
PC输出的左右格式的视频源流向HDMI1.4输入子卡。HDMI1.4输入子卡的视频处理能力为1080P60Hz.
基于FPGA的超高清立体视频接口转换算法系统，由PC,HDMI1.4输入子卡，Kintex-7FPGA主板，HDMI1.4输出子卡，3DLCD构成，其中：
PC输出的视频源为左右格式的视频源，如图1所示。左右视图格式由2幅分辨率为960*1080的单视图从左到右依次排列组成。
Kintex-7FPGA主板内部串口通讯模块采用UART协议，接受PC发出的指令来调整左右视点图像的融合顺序。
通过HDMI输出寄存器配置模块来配置HDMI视频编码芯片，采用IIC协议来配置。
通过HDMI输入寄存器配置模块来配置HDMI视频解码芯片，采用IIC协议来配置。
Kintex-7FPGA主板负责完成左右格式到立体格式视频的转换算法，其中时钟生成模块CLK_GEN产生FPGA内部的时钟信号以及复位信号。
Kintex-7FPGA主板内部HDMI输入控制模块HDMI_2_DDR3主要完成3项功能,如图三所示。1.采取乒乓切换的算法读取输入视频流从而提高了视频流吞吐量，避免了读写冲突2.将左右格式图像的对应像素点融合成立体格式的像素点3.生成符合AXI4总线的时序把有效像素写入DDR3_SDRAM.
Kintex-7FPGA主板内部HDMI1080P60Hz时序生成模块主要完成HDMI输出接口的时序。
Kintex-7FPGA主板内部DDR3内存控制模块MIG主要完成输入视频流向DDRS_SDRAM的写入控制，DDR3_SDARAM向输出视频流的输出控制。
Kintex-7FPGA主板内部HDMI输出控制模块DDR3_2_HDMI主要完成3项功能。1.以1080P60Hz时序输出像素到HDMI输出接口2.生成符合AXI4总线的时序从DDR3_SDRAM读出融合后的有效像素.3.基于乒乓切换的算法从DDR3中读取视频流，从而避免了读写冲突。
经过HDMI1.4输入子卡的视频源进入Kintex-7FPGA主板，在Kintex-7FPGA主板内完成左右格式到立体格式视频的转换算法。FPGA内部算法结构包括：包括串口通讯模块，HDMI输入寄存器配置模块，HDMI输出寄存器配置模块，IIC接口控制模块，HDMI输入控制模块，HDMI输出控制模块，DDR3内存控制模块，时钟生成模块，HDMI1080P60Hz时序生成模块。其中时钟生成模块CLK_GEN产生FPGA内部的时钟信号以及复位信号，HDMI输入控制模块HDMI_2_DDR3主要完成3项功能。1.采取乒乓切换的算法读取输入视频流从而提高了视频流吞吐量，避免了读写冲突2.将左右格式图像的对应像素点融合成立体格式的像素点3.生成符合AXI4总线的时序把有效像素写入DDR3_SDRAM.HDMI1080P60Hz时序生成模块主要完成HDMI输出接口的时序。DDR3内存控制模块MIG主要完成输入视频流向DDRS_SDRAM的写入控制，DDR3_SDARAM向输出视频流的输出控制。HDMI输出控制模块DDR3_2_HDMI主要完成3项功能。1.以1080P60Hz时序输出像素到HDMI输出接口2.生成符合AXI4总线的时序从DDR3_SDRAM读出融合后的有效像素.3.基于乒乓切换的算法从DDR3中读取视频流，从而避免了读写冲突。串口通讯模块采用UART协议，接受PC发出的指令来调整左右视点图像的融合顺序。IIC接口控制模块用来产生符合IIC协议的时序。
融合后的立体格式的视频源进入HDMI1.4输出子卡，最后通过HDMI1.4输出子卡的立体格式视频源在3DLCD上显示。
Claims (2)
1.一种基于FPGA的实时立体视频融合转换算法，其特征在于：基于串口通讯模块，FPGA主板的平台；FPGA主板包括串口通讯模块，HDMI输入寄存器配置模块，HDMI输出寄存器配置模块，IIC接口控制模块，HDMI输入子卡即HDMI输入控制模块，HDMI输出控制模块即输出子卡，DDR3内存控制模块，时钟生成模块，HDMI1080P60Hz时序生成模块；
由PC输出未经融合的左右格式的视频源，左右格式分辨率为1920*1080,通过HDMI接口输入左右格式图像、HDMI接口输出立体视频，视频源通过HDMI1.4接口输入到FPGA,利用FPGA的并行高速融合算法实现左右格式到立体格式视频的转换；最后通过HDMI1.4的输出接口接到显示屏上显示立体视频，完成高清立体视频的转换与显示，同时通过串口通讯模块可以控制左右格式的融合顺序；串口通讯模块采用UART协议，接受PC发出的指令来调整左右格式图像的融合顺序；
具体包括以下步骤：首先由PC（1）输出左右格式的视频源，左右格式的视频源由分辨率为960*1080的单视图从左到右依次排列组成，分辨率为1920*1080；PC（1）输出的全视图格式的视频源流向HDMI输入控制模块的HDMI1.4输入子卡(2)，HDMI1.4输入子卡（2）的视频处理能力为1080P60Hz.经过HDMI1.4输入子卡（2）的视频源进入FPGA主板（3），在FPGA主板（3）内完成左右视图格式到立体格式视频的转换算法；
转换后的立体格式的视频源进入HDMI1.4输出子卡（4），最后通过HDMI1.4输出子卡（4）的立体格式视频源在3DLCD(5)上显示，得到分辨率为1080P的立体图像；
HDMI输入寄存器配置模块的作用是配置HDMI视频解码芯片，采用IIC协议来配置；
HDMI输出寄存器配置模块的作用是配置HDMI视频编码芯片，采用IIC协议来配置；
IIC接口控制模块用来产生符合IIC协议的时序；
FPGA主板内部HDMI输入控制模块完成3项功能：1）采取乒乓切换的算法读取输入视频流从而提高了视频流吞吐量，避免了读写冲突；2）将左右格式图像的对应像素点融合成立体格式的像素点；3）生成符合AXI4总线的时序把有效像素写入DDR3_SDRAM；
FPGA主板内部HDMI输出控制模块DDR3_2_HDMI主要完成3项功能1）以1080P60Hz时序输出像素到HDMI输出接口；2）生成符合AXI4总线的时序从DDR3_SDRAM读出融合后的有效像素；3）基于乒乓切换的算法从DDR3中读取视频流，从而避免了读写冲突；
FPGA主板内部DDR3内存控制模块MIG主要完成输入视频流向DDRS_SDRAM的写入控制，DDR3_SDARAM向输出视频流的输出控制；
FPGA主板负责完成左右格式图像到立体格式图像的转换算法，其中时钟生成模块CLK_GEN产生FPGA内部的时钟信号以及复位信号；
FPGA主板内部HDMI1080P60Hz时序生成模块主要完成HDMI输出接口的时序。
2.基于FPGA的实时立体视频融合转换算法，其特征在于：FPGA主处理芯片为XILINX公司的Kintex-7FPGA芯片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510439414.9A CN105049826B (zh) | 2015-07-23 | 2015-07-23 | 基于fpga的实时立体视频融合转换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510439414.9A CN105049826B (zh) | 2015-07-23 | 2015-07-23 | 基于fpga的实时立体视频融合转换方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105049826A true CN105049826A (zh) | 2015-11-11 |
| CN105049826B CN105049826B (zh) | 2017-05-31 |
Family
ID=54455976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510439414.9A Active CN105049826B (zh) | 2015-07-23 | 2015-07-23 | 基于fpga的实时立体视频融合转换方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105049826B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105611271A (zh) * | 2015-12-18 | 2016-05-25 | 华中科技大学 | 一种实时立体图像生成系统 |
| CN106934758A (zh) * | 2017-03-01 | 2017-07-07 | 南京大学 | 一种基于fpga的立体图像视频实时融合方法及系统 |
| CN108322725A (zh) * | 2018-02-28 | 2018-07-24 | 哈尔滨理工大学 | 一种基于fpga的视觉融合方法 |
| CN112714264A (zh) * | 2020-11-13 | 2021-04-27 | 长沙湘计海盾科技有限公司 | 一种基于FPGA的HDM转eDP的接口转换装置及接口转换方法 |
| CN113409719A (zh) * | 2021-08-19 | 2021-09-17 | 南京芯视元电子有限公司 | 视频源显示方法、系统、微显示芯片和存储介质 |
| CN114520856A (zh) * | 2020-11-20 | 2022-05-20 | 西安诺瓦星云科技股份有限公司 | 视频时序信号生成方法、可编程逻辑器件及视频控制设备 |
| CN115002304A (zh) * | 2022-04-12 | 2022-09-02 | 华东师范大学 | 一种视频图像分辨率自适应转换装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201225668A (en) * | 2010-12-13 | 2012-06-16 | Da2 Technologies Corp | Three dimensional image conversion system |
| CN102572482A (zh) * | 2012-01-06 | 2012-07-11 | 浙江大学 | 基于fpga的立体视频到多视点视频的3d重构方法 |
| WO2014083568A1 (en) * | 2012-12-02 | 2014-06-05 | Segoma Ltd. | Devices and methods for generating a 3d imaging dataset of an object |
-
2015
- 2015-07-23 CN CN201510439414.9A patent/CN105049826B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201225668A (en) * | 2010-12-13 | 2012-06-16 | Da2 Technologies Corp | Three dimensional image conversion system |
| CN102572482A (zh) * | 2012-01-06 | 2012-07-11 | 浙江大学 | 基于fpga的立体视频到多视点视频的3d重构方法 |
| WO2014083568A1 (en) * | 2012-12-02 | 2014-06-05 | Segoma Ltd. | Devices and methods for generating a 3d imaging dataset of an object |
Non-Patent Citations (3)
| Title |
|---|
| KANG NING ET AL: "Real-time Video Processing Model for Stereoscopic Display System Based on FPGA", 《ICSP2012 PROCEEDINGS》 * |
| ZHENGFENG PENG ET AL: "Ultra High Definition Stereo Video Format Conversion System of Multi View", 《INTERNATIONAL INDUSTRIAL INFORMATICS AND COMPUTER ENGINEERING CONFERENCE》 * |
| 张金龙等: "基于FPGA的立体视频转换系统", 《嵌入式技术》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105611271A (zh) * | 2015-12-18 | 2016-05-25 | 华中科技大学 | 一种实时立体图像生成系统 |
| CN106934758A (zh) * | 2017-03-01 | 2017-07-07 | 南京大学 | 一种基于fpga的立体图像视频实时融合方法及系统 |
| CN106934758B (zh) * | 2017-03-01 | 2019-08-27 | 南京大学 | 一种基于fpga的立体图像视频实时融合方法及系统 |
| CN108322725A (zh) * | 2018-02-28 | 2018-07-24 | 哈尔滨理工大学 | 一种基于fpga的视觉融合方法 |
| CN112714264A (zh) * | 2020-11-13 | 2021-04-27 | 长沙湘计海盾科技有限公司 | 一种基于FPGA的HDM转eDP的接口转换装置及接口转换方法 |
| CN114520856A (zh) * | 2020-11-20 | 2022-05-20 | 西安诺瓦星云科技股份有限公司 | 视频时序信号生成方法、可编程逻辑器件及视频控制设备 |
| CN113409719A (zh) * | 2021-08-19 | 2021-09-17 | 南京芯视元电子有限公司 | 视频源显示方法、系统、微显示芯片和存储介质 |
| CN115002304A (zh) * | 2022-04-12 | 2022-09-02 | 华东师范大学 | 一种视频图像分辨率自适应转换装置 |
| CN115002304B (zh) * | 2022-04-12 | 2024-03-22 | 华东师范大学 | 一种视频图像分辨率自适应转换装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105049826B (zh) | 2017-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105049826A (zh) | 基于fpga的实时立体视频融合转换方法 | |
| CN106934758B (zh) | 一种基于fpga的立体图像视频实时融合方法及系统 | |
| CN103220545B (zh) | 一种立体视频实时深度估计系统硬件实现方法 | |
| CN106603953A (zh) | 一种hdmi接口转化成mipi接口的视频显示方法及系统 | |
| Kowalczyk et al. | Real-time implementation of contextual image processing operations for 4K video stream in Zynq ultrascale+ MPSoC | |
| KR20160146645A (ko) | Led tv에 이용되는 데이터 처리 방법, 장치 및 led tv | |
| CN105049834A (zh) | 基于fpga的实时祼眼3d播放系统 | |
| CN105611270A (zh) | 一种双目视觉自由立体显示系统 | |
| CN103179424A (zh) | 立体图像合成方法及装置 | |
| CN201937771U (zh) | 一种用于高分立体显示器的立体图像处理装置 | |
| WO2020134502A1 (zh) | 一种视频信号生成装置及方法 | |
| CN203457232U (zh) | 一种基于cpci架构的红外图像采集系统 | |
| Wang et al. | FPGA design and implementation of Kinect-like depth sensing | |
| CN107529024A (zh) | 多功能图像视频切换板 | |
| CN103369338B (zh) | 基于fpga的近眼双目成像系统的图像处理系统及方法 | |
| CN208174848U (zh) | 基于fpga的大版面视频监控装置 | |
| Guo et al. | An FPGA implementation of multi-channel video processing and 4K real-time display system | |
| CN111050155A (zh) | 一种可实现硬件加速的双目感知方法 | |
| CN103533327B (zh) | 一种基于硬件实现的dibr系统 | |
| Gudis et al. | Multi-resolution real-time dense stereo vision processing in FPGA | |
| CN212012914U (zh) | 一种双目感知系统 | |
| CN203492154U (zh) | 数字电影放映系统 | |
| Li et al. | Real-time 3D video system based on FPGA | |
| CN103744632A (zh) | 一种基于NiosⅡ的低成本机载显示器图形生成装置及其方法 | |
| CN208724011U (zh) | 一种基于xmc接口的嵌入式多通道图形处理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |