CN105049826B - 基于fpga的实时立体视频融合转换方法 - Google Patents
基于fpga的实时立体视频融合转换方法 Download PDFInfo
- Publication number
- CN105049826B CN105049826B CN201510439414.9A CN201510439414A CN105049826B CN 105049826 B CN105049826 B CN 105049826B CN 201510439414 A CN201510439414 A CN 201510439414A CN 105049826 B CN105049826 B CN 105049826B
- Authority
- CN
- China
- Prior art keywords
- fpga
- video
- hdmi
- input
- format
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
一种基于FPGA的实时立体视频融合转换算法，包括串口通讯模块，FPGA主板；FPGA主板包括串口通讯模块，HDMI输入寄存器配置模块，HDMI输出寄存器配置模块，IIC接口控制模块，HDMI输入输出子卡，DDR3内存控制模块，时钟生成模块，时序生成模块；由PC输出未经融合的左右格式的视频源，左右格式分辨率为1920*1080,通过HDMI接口输入左右格式图像、HDMI接口输出立体视频，视频源通过HDMI1.4接口输入到FPGA,利用FPGA的并行高速融合算法实现左右格式到立体格式视频的转换；最后通过HDMI1.4的输出接口接到显示屏上显示立体视频，完成高清立体视频的转换与显示，同时通过串口通讯模块可以控制左右格式的融合顺序。
Description
技术领域
本发明属于高清立体视频领域，尤其涉及到高清分辨率的多视点的2D/3D处理技术。特别是一种基于FPGA的实时立体视频融合转换算法。
背景技术
三维立体技术并不是新兴事物，它有着将近170多年的历史。传统的裸眼立体成像系统受到产品重量，系统尺寸，总体功耗的影响，本系统要求在小尺寸、高速度、低功耗的硬件电路上实现。常见的立体显示系统为采用SOC(片上系统)芯片加上DDR3类似的外部存储器，然后软件控制SOC内部集成的图像处理模块实现图像处理，普遍存在效率低，功耗大，系统结构复杂，成本高的问题。
针对上述存在的问题，本发明基于FPGA的实时立体视频融合转换算法，系统结构简单，体积小，功耗低，增加了FPGA在高清分辨率视频图像处理方面的应用。
发明内容
本发明目的是，提出一种基于FPGA的实时立体视频融合转换算法。具有效率高，功耗低，系统结构简明及可以控制成本。
本发明的技术方案是：一种基于FPGA的实时立体视频融合转换算法，其特征在于：包括串口通讯模块，FPGA主板；FPGA主板包括串口通讯模块，HDMI输入寄存器配置模块，HDMI输出寄存器配置模块，IIC接口控制模块，HDMI子卡即HDMI输入控制模块，HDMI输出控制模块，DDR3内存控制模块，时钟生成模块，HDMI1080P@60Hz时序生成模块；由PC输出未经融合的左右格式的视频源，左右格式分辨率为1920*1080,通过HDMI接口输入左右格式图像、HDMI接口输出立体视频，视频源通过HDMI1.4接口输入到FPGA,利用FPGA的并行高速融合算法实现左右格式到立体格式视频的转换；最后通过HDMI1.4的输出接口接到显示屏上显示立体视频，完成高清立体视频的转换与显示，同时通过串口通讯模块可以控制左右格式的融合顺序；串口通讯模块采用UART协议，接受PC发出的指令来调整左右格式图像的融合顺序。
同时通过串口模块可以控制左右格式的融合顺序。相对于传统的软件算法实现视频格式转换。
本发明提出的实时立体视频融合转换接口电路板使用Kintex-7 FPGA为主处理芯片，同时配合1080P @60Hz HDMI输入输出子卡完成一系列图像处理功能，利用FPGA的高速并行性，在速度、成本、稳定性方面有了较大的突破，增加了FPGA在视频图像处理方面的实用性。
具体包括以下步骤：首先由PC(1)输出左右格式的视频源，左右格式的视频源由分辨率为960*1080的单视图从左到右依次排列组成，分辨率为1920*1080。PC(1)输出的全视图格式的视频源流向HDMI输入控制模块的HDMI1.4输入子卡(2)，HDMI1.4输入子卡(2)的视频处理能力为1080P@60Hz.经过HDMI1.4输入子卡(2)的视频源进入FPGA主板(3)，在FPGA主板(3)内完成左右视图格式到立体格式视频的转换算法。
转换后的立体格式的视频源进入HDMI1.4输出子卡(4)，最后通过HDMI1.4输出子卡(4)的立体格式视频源在3D LCD(5)上显示，得到分辨率为1080P的立体图像。
HDMI输入寄存器配置模块的作用是配置HDMI视频解码芯片，采用IIC协议来配置。
HDMI输出寄存器配置模块的作用是配置HDMI视频编码芯片，采用IIC协议来配置。
IIC接口控制模块用来产生符合IIC协议的时序。
FPGA主板内部HDMI输入控制模块完成3项功能：1)采取乒乓切换的算法读取输入视频流从而提高了视频流吞吐量，避免了读写冲突；2)将左右格式图像的对应像素点融合成立体格式的像素点；3)生成符合AXI4总线的时序把有效像素写入DDR3_SDRAM。
FPGA主板内部HDMI输出控制模块DDR3_2_HDMI主要完成3项功能1)以1080P@60Hz时序输出像素到HDMI输出接口；2)生成符合AXI4总线的时序从DDR3_SDRAM读出融合后的有效像素；3)基于乒乓切换的算法从DDR3中读取视频流，从而避免了读写冲突。
FPGA主板内部DDR3内存控制模块MIG主要完成输入视频流向DDRS_SDRAM的写入控制，DDR3_SDARAM向输出视频流的输出控制。
FPGA主板负责完成左右格式图像到立体格式图像的转换算法，其中时钟生成模块CLK_GEN产生FPGA内部的时钟信号以及复位信号。
FPGA主板内部HDMI 1080P@60Hz时序生成模块主要完成HDMI输出接口的时序。
FPGA主处理芯片为XILINX公司的Kintex-7 FPGA芯片，处理能力强，运算速度快。
本发明有益效果：实现了通过HDMI接口输入左右格式图像、HDMI接口输出融合立体视频，由PC输出未经融合的左右格式的视频源，利用FPGA的并行高速融合算法实现左右格式到立体格式视频的转换。最后通过HDMI1.4的输出接口输入到显示屏上，完成高清立体视频的转换与显示，同时通过串口模块可以控制左右格式的融合顺序。相对于传统的软件算法实现视频格式转换，本发明提出的实时立体视频融合转换接口电路板，使用Kintex-7FPGA为主处理芯片，同时配合1080P @60Hz HDMI输入输出子卡完成一系列图像处理功能，HDMI1.4输入子卡(2)的视频处理能力为1080P@60Hz.HDMI1.4输出子卡(4)的视频处理能力为1080P@60Hz；利用FPGA的高速并行性，在速度、成本、稳定性方面有了较大的突破，增加了FPGA在视频图像处理方面的实用性。
附图说明
图1 左右视图格式。
图2 FPGA内部左右格式到立体格式视频的转换算法。
图3 HDMI输入控制模块HDMI_2_DDR3内部生成示意图。
图4 HDMI输出控制模块DDR3_2_HDMI内部生成示意图。
具体实施方式
下面将结合附图具体说明本发明的实施方式。
基于FPGA的超高清立体视频接口转换算法系统框图如图2所示。
首先先由PC输出左右视图格式的视频源，左右视图格式如图1由2幅分辨率为960*1080的单视图从左到右依次排列组成。
PC输出的左右格式的视频源流向HDMI1.4输入子卡。HDMI1.4输入子卡的视频处理能力为1080P@60Hz。
基于FPGA的超高清立体视频接口转换算法系统，由PC,HDMI1.4输入子卡，Kintex-7 FPGA主板，HDMI1.4输出子卡，3D LCD构成，其中：
PC输出的视频源为左右格式的视频源，如图1所示。左右视图格式由2幅分辨率为960*1080的单视图从左到右依次排列组成。
Kintex-7 FPGA主板内部串口通讯模块采用UART协议，接受PC发出的指令来调整左右视点图像的融合顺序。
通过HDMI输出寄存器配置模块来配置HDMI视频编码芯片，采用IIC协议来配置。
通过HDMI输入寄存器配置模块来配置HDMI视频解码芯片，采用IIC协议来配置。
Kintex-7 FPGA主板负责完成左右格式到立体格式视频的转换算法，其中时钟生成模块CLK_GEN产生FPGA内部的时钟信号以及复位信号。
Kintex-7 FPGA主板内部HDMI输入控制模块HDMI_2_DDR3主要完成3项功能，如图3所示。1.采取乒乓切换的算法读取输入视频流从而提高了视频流吞吐量，避免了读写冲突2.将左右格式图像的对应像素点融合成立体格式的像素点3.生成符合AXI4总线的时序把有效像素写入DDR3_SDRAM。
Kintex-7 FPGA主板内部HDMI 1080P@60Hz时序生成模块主要完成HDMI输出接口的时序。
Kintex-7 FPGA主板内部DDR3内存控制模块MIG主要完成输入视频流向DDRS_SDRAM的写入控制，DDR3_SDARAM向输出视频流的输出控制。
Kintex-7 FPGA主板内部HDMI输出控制模块DDR3_2_HDMI主要完成3项功能。1)以1080P@60Hz时序输出像素到HDMI输出接口。2)生成符合AXI4总线的时序从DDR3_SDRAM读出融合后的有效像素。3)基于乒乓切换的算法从DDR3中读取视频流，从而避免了读写冲突。
经过HDMI1.4输入子卡的视频源进入Kintex-7 FPGA主板，在Kintex-7 FPGA主板内完成左右格式到立体格式视频的转换算法。FPGA内部算法结构包括：包括串口通讯模块，HDMI输入寄存器配置模块，HDMI输出寄存器配置模块，IIC接口控制模块，HDMI输入控制模块，HDMI输出控制模块，DDR3内存控制模块，时钟生成模块，HDMI1080P@60Hz时序生成模块。其中时钟生成模块CLK_GEN产生FPGA内部的时钟信号以及复位信号，HDMI输入控制模块HDMI_2_DDR3主要完成3项功能。1.采取乒乓切换的算法读取输入视频流从而提高了视频流吞吐量，避免了读写冲突2.将左右格式图像的对应像素点融合成立体格式的像素点3.生成符合AXI4总线的时序把有效像素写入DDR3_SDRAM.HDMI 1080P@60Hz时序生成模块主要完成HDMI输出接口的时序。DDR3内存控制模块MIG主要完成输入视频流向DDRS_SDRAM的写入控制，DDR3_SDARAM向输出视频流的输出控制。HDMI输出控制模块DDR3_2_HDMI主要完成3项功能。1.以1080P@60Hz时序输出像素到HDMI输出接口2.生成符合AXI4总线的时序从DDR3_SDRAM读出融合后的有效像素.3.基于乒乓切换的算法从DDR3中读取视频流，从而避免了读写冲突。串口通讯模块采用UART协议，接受PC发出的指令来调整左右视点图像的融合顺序。IIC接口控制模块用来产生符合IIC协议的时序。
融合后的立体格式的视频源进入HDMI1.4输出子卡，最后通过HDMI1.4输出子卡的立体格式视频源在3D LCD上显示。
Claims (2)
1.一种基于FPGA的实时立体视频融合转换算法，其特征在于：基于串口通讯模块，FPGA主板的平台作为转换算法的基础；FPGA主板包括串口通讯模块，HDMI输入寄存器配置模块，HDMI输出寄存器配置模块，IIC接口控制模块，HDMI输入子卡即HDMI输入控制模块，HDMI输出控制模块即输出子卡，DDR3内存控制模块，时钟生成模块，HDMI1080P@60Hz时序生成模块；
由PC（1）输出未经融合的左右格式的视频源，左右格式分辨率为1920*1080,通过HDMI接口输入左右格式图像、HDMI接口输出立体视频，视频源通过HDMI1.4接口输入到FPGA,利用FPGA的并行高速融合算法实现左右格式到立体格式视频的转换；最后通过HDMI1.4的输出接口接到显示屏上显示立体视频，完成高清立体视频的转换与显示，同时通过串口通讯模块控制左右格式的融合顺序；串口通讯模块采用UART协议，接受PC发出的指令来调整左右格式图像的融合顺序；
具体包括以下步骤：首先由PC（1）输出左右格式的视频源，左右格式的视频源由分辨率为960*1080的单视图从左到右依次排列组成，分辨率为1920*1080；PC（1）输出的全视图格式的视频源流向HDMI输入控制模块的HDMI1.4输入子卡(2)，HDMI1.4输入子卡（2）的视频处理能力为1080P@60Hz；经过HDMI1.4输入子卡（2）的视频源进入FPGA主板（3），在FPGA主板（3）内完成左右视图格式到立体格式视频的转换算法；
转换后的立体格式的视频源进入HDMI1.4输出子卡（4），最后通过HDMI1.4输出子卡（4）的立体格式视频源在3D LCD(5)上显示，得到分辨率为1080P的立体图像；
HDMI输入寄存器配置模块的作用是配置HDMI视频解码芯片，采用IIC协议来配置；
HDMI输出寄存器配置模块的作用是配置HDMI视频编码芯片，采用IIC协议来配置；
IIC接口控制模块用来产生符合IIC协议的时序；
FPGA主板内部HDMI输入控制模块完成3项功能：1）采取乒乓切换的算法读取输入视频流从而提高了视频流吞吐量，避免了读写冲突； 2）将左右格式图像的对应像素点融合成立体格式的像素点；3）生成符合AXI4总线的时序把有效像素写入DDR3_SDRAM；
FPGA主板内部HDMI输出控制模块DDR3_2_HDMI完成3项功能：1）以1080P@60Hz时序输出像素到HDMI输出接口；2）生成符合AXI4总线的时序从DDR3_SDRAM读出融合后的有效像素；3）基于乒乓切换的算法从DDR3中读取视频流，从而避免了读写冲突；
FPGA主板内部 DDR3内存控制模块MIG完成输入视频流向DDRS_SDRAM的写入控制，DDR3_SDARAM向输出视频流的输出控制；
FPGA主板负责完成左右格式图像到立体格式图像的转换算法，其中时钟生成模块CLK_GEN产生FPGA内部的时钟信号以及复位信号；
FPGA主板内部HDMI 1080P@60Hz时序生成模块完成HDMI输出接口的时序。
2.根据权利要求1所述的基于FPGA的实时立体视频融合转换算法，其特征在于：FPGA主处理芯片为XILINX公司的Kintex-7 FPGA芯片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510439414.9A CN105049826B (zh) | 2015-07-23 | 2015-07-23 | 基于fpga的实时立体视频融合转换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510439414.9A CN105049826B (zh) | 2015-07-23 | 2015-07-23 | 基于fpga的实时立体视频融合转换方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105049826A CN105049826A (zh) | 2015-11-11 |
| CN105049826B true CN105049826B (zh) | 2017-05-31 |
Family
ID=54455976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510439414.9A Active CN105049826B (zh) | 2015-07-23 | 2015-07-23 | 基于fpga的实时立体视频融合转换方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105049826B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105611271A (zh) * | 2015-12-18 | 2016-05-25 | 华中科技大学 | 一种实时立体图像生成系统 |
| CN106934758B (zh) * | 2017-03-01 | 2019-08-27 | 南京大学 | 一种基于fpga的立体图像视频实时融合方法及系统 |
| CN108322725A (zh) * | 2018-02-28 | 2018-07-24 | 哈尔滨理工大学 | 一种基于fpga的视觉融合方法 |
| CN112714264B (zh) * | 2020-11-13 | 2023-03-24 | 长沙湘计海盾科技有限公司 | 一种基于FPGA的HDM转eDP的接口转换装置及接口转换方法 |
| CN114520856A (zh) * | 2020-11-20 | 2022-05-20 | 西安诺瓦星云科技股份有限公司 | 视频时序信号生成方法、可编程逻辑器件及视频控制设备 |
| CN113409719B (zh) * | 2021-08-19 | 2021-11-16 | 南京芯视元电子有限公司 | 视频源显示方法、系统、微显示芯片和存储介质 |
| CN115002304B (zh) * | 2022-04-12 | 2024-03-22 | 华东师范大学 | 一种视频图像分辨率自适应转换装置 |
| CN115811584A (zh) * | 2022-11-23 | 2023-03-17 | 中国科学院西安光学精密机械研究所 | 一种接收PAL、HD-SDI和cameralink接口的视频图像拼接模块 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201225668A (en) * | 2010-12-13 | 2012-06-16 | Da2 Technologies Corp | Three dimensional image conversion system |
| CN102572482A (zh) * | 2012-01-06 | 2012-07-11 | 浙江大学 | 基于fpga的立体视频到多视点视频的3d重构方法 |
| WO2014083568A1 (en) * | 2012-12-02 | 2014-06-05 | Segoma Ltd. | Devices and methods for generating a 3d imaging dataset of an object |
-
2015
- 2015-07-23 CN CN201510439414.9A patent/CN105049826B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN105049826A (zh) | 2015-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105049826B (zh) | 基于fpga的实时立体视频融合转换方法 | |
| CN106934758B (zh) | 一种基于fpga的立体图像视频实时融合方法及系统 | |
| CN102622979B (zh) | 一种lcd控制器及其显示控制方法 | |
| CN103139509B (zh) | 一种基于axi总线协议的osd控制显示方法及装置 | |
| CN102193865B (zh) | 存储系统、存储方法和使用其的终端 | |
| Kowalczyk et al. | Real-time implementation of contextual image processing operations for 4K video stream in Zynq ultrascale+ MPSoC | |
| CN105049834A (zh) | 基于fpga的实时祼眼3d播放系统 | |
| CN104243781A (zh) | 一种基于sopc的全方位视觉系统 | |
| CN107529024A (zh) | 多功能图像视频切换板 | |
| CN101729919A (zh) | 基于fpga的全自动平面视频转立体视频系统 | |
| CN103826072B (zh) | 一种小型红外成像系统 | |
| JP2016178667A (ja) | 高度デジタルテレビに関するマルチメディアｉ／ｏシステムアーキテクチャ | |
| CN202584692U (zh) | 一种lcd控制器 | |
| Guo et al. | An FPGA implementation of multi-channel video processing and 4K real-time display system | |
| CN103369338B (zh) | 基于fpga的近眼双目成像系统的图像处理系统及方法 | |
| CN202050505U (zh) | 基于fpga的立体图像处理装置 | |
| Gudis et al. | Multi-resolution real-time dense stereo vision processing in FPGA | |
| CN212012914U (zh) | 一种双目感知系统 | |
| CN111050155A (zh) | 一种可实现硬件加速的双目感知方法 | |
| CN103414898B (zh) | 一种高分辨率视频采集方法及系统 | |
| CN203492154U (zh) | 数字电影放映系统 | |
| CN111726566B (zh) | 一种实时校正拼接防抖的实现方法 | |
| CN111526353A (zh) | 一种基于fpga的裸眼3d图像处理驱动电路及其算法 | |
| CN104299546B (zh) | 一种平视显示器及实现其同源的方法 | |
| Xu et al. | Reconfigurable VLSI architecture for real-time 2D-to-3D conversion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |