CN105049826B - 基于fpga的实时立体视频融合转换方法 - Google Patents

基于fpga的实时立体视频融合转换方法 Download PDF

Info

Publication number
CN105049826B
CN105049826B CN201510439414.9A CN201510439414A CN105049826B CN 105049826 B CN105049826 B CN 105049826B CN 201510439414 A CN201510439414 A CN 201510439414A CN 105049826 B CN105049826 B CN 105049826B
Authority
CN
China
Prior art keywords
fpga
video
hdmi
input
format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510439414.9A
Other languages
English (en)
Other versions
CN105049826A (zh
Inventor
王元庆
彭正枫
梁冬冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201510439414.9A priority Critical patent/CN105049826B/zh
Publication of CN105049826A publication Critical patent/CN105049826A/zh
Application granted granted Critical
Publication of CN105049826B publication Critical patent/CN105049826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种基于FPGA的实时立体视频融合转换算法，包括串口通讯模块，FPGA主板；FPGA主板包括串口通讯模块，HDMI输入寄存器配置模块，HDMI输出寄存器配置模块，IIC接口控制模块，HDMI输入输出子卡，DDR3内存控制模块，时钟生成模块，时序生成模块；由PC输出未经融合的左右格式的视频源，左右格式分辨率为1920*1080,通过HDMI接口输入左右格式图像、HDMI接口输出立体视频，视频源通过HDMI1.4接口输入到FPGA,利用FPGA的并行高速融合算法实现左右格式到立体格式视频的转换；最后通过HDMI1.4的输出接口接到显示屏上显示立体视频，完成高清立体视频的转换与显示，同时通过串口通讯模块可以控制左右格式的融合顺序。

Description

基于FPGA的实时立体视频融合转换方法
技术领域
本发明属于高清立体视频领域，尤其涉及到高清分辨率的多视点的2D/3D处理技术。特别是一种基于FPGA的实时立体视频融合转换算法。
背景技术
三维立体技术并不是新兴事物，它有着将近170多年的历史。传统的裸眼立体成像系统受到产品重量，系统尺寸，总体功耗的影响，本系统要求在小尺寸、高速度、低功耗的硬件电路上实现。常见的立体显示系统为采用SOC(片上系统)芯片加上DDR3类似的外部存储器，然后软件控制SOC内部集成的图像处理模块实现图像处理，普遍存在效率低，功耗大，系统结构复杂，成本高的问题。
针对上述存在的问题，本发明基于FPGA的实时立体视频融合转换算法，系统结构简单，体积小，功耗低，增加了FPGA在高清分辨率视频图像处理方面的应用。
发明内容
本发明目的是，提出一种基于FPGA的实时立体视频融合转换算法。具有效率高，功耗低，系统结构简明及可以控制成本。
本发明的技术方案是：一种基于FPGA的实时立体视频融合转换算法，其特征在于：包括串口通讯模块，FPGA主板；FPGA主板包括串口通讯模块，HDMI输入寄存器配置模块，HDMI输出寄存器配置模块，IIC接口控制模块，HDMI子卡即HDMI输入控制模块，HDMI输出控制模块，DDR3内存控制模块，时钟生成模块，HDMI1080P@60Hz时序生成模块；由PC输出未经融合的左右格式的视频源，左右格式分辨率为1920*1080,通过HDMI接口输入左右格式图像、HDMI接口输出立体视频，视频源通过HDMI1.4接口输入到FPGA,利用FPGA的并行高速融合算法实现左右格式到立体格式视频的转换；最后通过HDMI1.4的输出接口接到显示屏上显示立体视频，完成高清立体视频的转换与显示，同时通过串口通讯模块可以控制左右格式的融合顺序；串口通讯模块采用UART协议，接受PC发出的指令来调整左右格式图像的融合顺序。
同时通过串口模块可以控制左右格式的融合顺序。相对于传统的软件算法实现视频格式转换。
本发明提出的实时立体视频融合转换接口电路板使用Kintex-7 FPGA为主处理芯片，同时配合1080P @60Hz HDMI输入输出子卡完成一系列图像处理功能，利用FPGA的高速并行性，在速度、成本、稳定性方面有了较大的突破，增加了FPGA在视频图像处理方面的实用性。
具体包括以下步骤：首先由PC(1)输出左右格式的视频源，左右格式的视频源由分辨率为960*1080的单视图从左到右依次排列组成，分辨率为1920*1080。PC(1)输出的全视图格式的视频源流向HDMI输入控制模块的HDMI1.4输入子卡(2)，HDMI1.4输入子卡(2)的视频处理能力为1080P@60Hz.经过HDMI1.4输入子卡(2)的视频源进入FPGA主板(3)，在FPGA主板(3)内完成左右视图格式到立体格式视频的转换算法。
转换后的立体格式的视频源进入HDMI1.4输出子卡(4)，最后通过HDMI1.4输出子卡(4)的立体格式视频源在3D LCD(5)上显示，得到分辨率为1080P的立体图像。
HDMI输入寄存器配置模块的作用是配置HDMI视频解码芯片，采用IIC协议来配置。
HDMI输出寄存器配置模块的作用是配置HDMI视频编码芯片，采用IIC协议来配置。
IIC接口控制模块用来产生符合IIC协议的时序。
FPGA主板内部HDMI输入控制模块完成3项功能：1)采取乒乓切换的算法读取输入视频流从而提高了视频流吞吐量，避免了读写冲突；2)将左右格式图像的对应像素点融合成立体格式的像素点；3)生成符合AXI4总线的时序把有效像素写入DDR3_SDRAM。
FPGA主板内部HDMI输出控制模块DDR3_2_HDMI主要完成3项功能1)以1080P@60Hz时序输出像素到HDMI输出接口；2)生成符合AXI4总线的时序从DDR3_SDRAM读出融合后的有效像素；3)基于乒乓切换的算法从DDR3中读取视频流，从而避免了读写冲突。
FPGA主板内部DDR3内存控制模块MIG主要完成输入视频流向DDRS_SDRAM的写入控制，DDR3_SDARAM向输出视频流的输出控制。
FPGA主板负责完成左右格式图像到立体格式图像的转换算法，其中时钟生成模块CLK_GEN产生FPGA内部的时钟信号以及复位信号。
FPGA主板内部HDMI 1080P@60Hz时序生成模块主要完成HDMI输出接口的时序。
FPGA主处理芯片为XILINX公司的Kintex-7 FPGA芯片，处理能力强，运算速度快。
本发明有益效果：实现了通过HDMI接口输入左右格式图像、HDMI接口输出融合立体视频，由PC输出未经融合的左右格式的视频源，利用FPGA的并行高速融合算法实现左右格式到立体格式视频的转换。最后通过HDMI1.4的输出接口输入到显示屏上，完成高清立体视频的转换与显示，同时通过串口模块可以控制左右格式的融合顺序。相对于传统的软件算法实现视频格式转换，本发明提出的实时立体视频融合转换接口电路板，使用Kintex-7FPGA为主处理芯片，同时配合1080P @60Hz HDMI输入输出子卡完成一系列图像处理功能，HDMI1.4输入子卡(2)的视频处理能力为1080P@60Hz.HDMI1.4输出子卡(4)的视频处理能力为1080P@60Hz；利用FPGA的高速并行性，在速度、成本、稳定性方面有了较大的突破，增加了FPGA在视频图像处理方面的实用性。
附图说明
图1 左右视图格式。
图2 FPGA内部左右格式到立体格式视频的转换算法。
图3 HDMI输入控制模块HDMI_2_DDR3内部生成示意图。
图4 HDMI输出控制模块DDR3_2_HDMI内部生成示意图。
具体实施方式
下面将结合附图具体说明本发明的实施方式。
基于FPGA的超高清立体视频接口转换算法系统框图如图2所示。
首先先由PC输出左右视图格式的视频源，左右视图格式如图1由2幅分辨率为960*1080的单视图从左到右依次排列组成。
PC输出的左右格式的视频源流向HDMI1.4输入子卡。HDMI1.4输入子卡的视频处理能力为1080P@60Hz。
基于FPGA的超高清立体视频接口转换算法系统，由PC,HDMI1.4输入子卡，Kintex-7 FPGA主板，HDMI1.4输出子卡，3D LCD构成，其中：
PC输出的视频源为左右格式的视频源，如图1所示。左右视图格式由2幅分辨率为960*1080的单视图从左到右依次排列组成。
Kintex-7 FPGA主板内部串口通讯模块采用UART协议，接受PC发出的指令来调整左右视点图像的融合顺序。
通过HDMI输出寄存器配置模块来配置HDMI视频编码芯片，采用IIC协议来配置。
通过HDMI输入寄存器配置模块来配置HDMI视频解码芯片，采用IIC协议来配置。
Kintex-7 FPGA主板负责完成左右格式到立体格式视频的转换算法，其中时钟生成模块CLK_GEN产生FPGA内部的时钟信号以及复位信号。
Kintex-7 FPGA主板内部HDMI输入控制模块HDMI_2_DDR3主要完成3项功能，如图3所示。1.采取乒乓切换的算法读取输入视频流从而提高了视频流吞吐量，避免了读写冲突2.将左右格式图像的对应像素点融合成立体格式的像素点3.生成符合AXI4总线的时序把有效像素写入DDR3_SDRAM。
Kintex-7 FPGA主板内部HDMI 1080P@60Hz时序生成模块主要完成HDMI输出接口的时序。
Kintex-7 FPGA主板内部DDR3内存控制模块MIG主要完成输入视频流向DDRS_SDRAM的写入控制，DDR3_SDARAM向输出视频流的输出控制。
Kintex-7 FPGA主板内部HDMI输出控制模块DDR3_2_HDMI主要完成3项功能。1)以1080P@60Hz时序输出像素到HDMI输出接口。2)生成符合AXI4总线的时序从DDR3_SDRAM读出融合后的有效像素。3)基于乒乓切换的算法从DDR3中读取视频流，从而避免了读写冲突。
经过HDMI1.4输入子卡的视频源进入Kintex-7 FPGA主板，在Kintex-7 FPGA主板内完成左右格式到立体格式视频的转换算法。FPGA内部算法结构包括：包括串口通讯模块，HDMI输入寄存器配置模块，HDMI输出寄存器配置模块，IIC接口控制模块，HDMI输入控制模块，HDMI输出控制模块，DDR3内存控制模块，时钟生成模块，HDMI1080P@60Hz时序生成模块。其中时钟生成模块CLK_GEN产生FPGA内部的时钟信号以及复位信号，HDMI输入控制模块HDMI_2_DDR3主要完成3项功能。1.采取乒乓切换的算法读取输入视频流从而提高了视频流吞吐量，避免了读写冲突2.将左右格式图像的对应像素点融合成立体格式的像素点3.生成符合AXI4总线的时序把有效像素写入DDR3_SDRAM.HDMI 1080P@60Hz时序生成模块主要完成HDMI输出接口的时序。DDR3内存控制模块MIG主要完成输入视频流向DDRS_SDRAM的写入控制，DDR3_SDARAM向输出视频流的输出控制。HDMI输出控制模块DDR3_2_HDMI主要完成3项功能。1.以1080P@60Hz时序输出像素到HDMI输出接口2.生成符合AXI4总线的时序从DDR3_SDRAM读出融合后的有效像素.3.基于乒乓切换的算法从DDR3中读取视频流，从而避免了读写冲突。串口通讯模块采用UART协议，接受PC发出的指令来调整左右视点图像的融合顺序。IIC接口控制模块用来产生符合IIC协议的时序。
融合后的立体格式的视频源进入HDMI1.4输出子卡，最后通过HDMI1.4输出子卡的立体格式视频源在3D LCD上显示。

Claims (2)

1.一种基于FPGA的实时立体视频融合转换算法，其特征在于：基于串口通讯模块，FPGA主板的平台作为转换算法的基础；FPGA主板包括串口通讯模块，HDMI输入寄存器配置模块，HDMI输出寄存器配置模块，IIC接口控制模块，HDMI输入子卡即HDMI输入控制模块，HDMI输出控制模块即输出子卡，DDR3内存控制模块，时钟生成模块，HDMI1080P@60Hz时序生成模块；
由PC（1）输出未经融合的左右格式的视频源，左右格式分辨率为1920*1080,通过HDMI接口输入左右格式图像、HDMI接口输出立体视频，视频源通过HDMI1.4接口输入到FPGA,利用FPGA的并行高速融合算法实现左右格式到立体格式视频的转换；最后通过HDMI1.4的输出接口接到显示屏上显示立体视频，完成高清立体视频的转换与显示，同时通过串口通讯模块控制左右格式的融合顺序；串口通讯模块采用UART协议，接受PC发出的指令来调整左右格式图像的融合顺序；
具体包括以下步骤：首先由PC（1）输出左右格式的视频源，左右格式的视频源由分辨率为960*1080的单视图从左到右依次排列组成，分辨率为1920*1080；PC（1）输出的全视图格式的视频源流向HDMI输入控制模块的HDMI1.4输入子卡(2)，HDMI1.4输入子卡（2）的视频处理能力为1080P@60Hz；经过HDMI1.4输入子卡（2）的视频源进入FPGA主板（3），在FPGA主板（3）内完成左右视图格式到立体格式视频的转换算法；
转换后的立体格式的视频源进入HDMI1.4输出子卡（4），最后通过HDMI1.4输出子卡（4）的立体格式视频源在3D LCD(5)上显示，得到分辨率为1080P的立体图像；
HDMI输入寄存器配置模块的作用是配置HDMI视频解码芯片，采用IIC协议来配置；
HDMI输出寄存器配置模块的作用是配置HDMI视频编码芯片，采用IIC协议来配置；
IIC接口控制模块用来产生符合IIC协议的时序；
FPGA主板内部HDMI输入控制模块完成3项功能：1）采取乒乓切换的算法读取输入视频流从而提高了视频流吞吐量，避免了读写冲突； 2）将左右格式图像的对应像素点融合成立体格式的像素点；3）生成符合AXI4总线的时序把有效像素写入DDR3_SDRAM；
FPGA主板内部HDMI输出控制模块DDR3_2_HDMI完成3项功能：1）以1080P@60Hz时序输出像素到HDMI输出接口；2）生成符合AXI4总线的时序从DDR3_SDRAM读出融合后的有效像素；3）基于乒乓切换的算法从DDR3中读取视频流，从而避免了读写冲突；
FPGA主板内部 DDR3内存控制模块MIG完成输入视频流向DDRS_SDRAM的写入控制，DDR3_SDARAM向输出视频流的输出控制；
FPGA主板负责完成左右格式图像到立体格式图像的转换算法，其中时钟生成模块CLK_GEN产生FPGA内部的时钟信号以及复位信号；
FPGA主板内部HDMI 1080P@60Hz时序生成模块完成HDMI输出接口的时序。
2.根据权利要求1所述的基于FPGA的实时立体视频融合转换算法，其特征在于：FPGA主处理芯片为XILINX公司的Kintex-7 FPGA芯片。
CN201510439414.9A 2015-07-23 2015-07-23 基于fpga的实时立体视频融合转换方法 Active CN105049826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510439414.9A CN105049826B (zh) 2015-07-23 2015-07-23 基于fpga的实时立体视频融合转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510439414.9A CN105049826B (zh) 2015-07-23 2015-07-23 基于fpga的实时立体视频融合转换方法

Publications (2)

Publication Number Publication Date
CN105049826A CN105049826A (zh) 2015-11-11
CN105049826B true CN105049826B (zh) 2017-05-31

Family

ID=54455976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510439414.9A Active CN105049826B (zh) 2015-07-23 2015-07-23 基于fpga的实时立体视频融合转换方法

Country Status (1)

Country Link
CN (1) CN105049826B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105611271A (zh) * 2015-12-18 2016-05-25 华中科技大学 一种实时立体图像生成系统
CN106934758B (zh) * 2017-03-01 2019-08-27 南京大学 一种基于fpga的立体图像视频实时融合方法及系统
CN108322725A (zh) * 2018-02-28 2018-07-24 哈尔滨理工大学 一种基于fpga的视觉融合方法
CN112714264B (zh) * 2020-11-13 2023-03-24 长沙湘计海盾科技有限公司 一种基于FPGA的HDM转eDP的接口转换装置及接口转换方法
CN114520856A (zh) * 2020-11-20 2022-05-20 西安诺瓦星云科技股份有限公司 视频时序信号生成方法、可编程逻辑器件及视频控制设备
CN113409719B (zh) * 2021-08-19 2021-11-16 南京芯视元电子有限公司 视频源显示方法、系统、微显示芯片和存储介质
CN115002304B (zh) * 2022-04-12 2024-03-22 华东师范大学 一种视频图像分辨率自适应转换装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201225668A (en) * 2010-12-13 2012-06-16 Da2 Technologies Corp Three dimensional image conversion system
CN102572482A (zh) * 2012-01-06 2012-07-11 浙江大学 基于fpga的立体视频到多视点视频的3d重构方法
WO2014083568A1 (en) * 2012-12-02 2014-06-05 Segoma Ltd. Devices and methods for generating a 3d imaging dataset of an object

Also Published As

Publication number Publication date
CN105049826A (zh) 2015-11-11

Similar Documents

Publication Publication Date Title
CN105049826B (zh) 基于fpga的实时立体视频融合转换方法
CN106934758B (zh) 一种基于fpga的立体图像视频实时融合方法及系统
CN102622979B (zh) 一种lcd控制器及其显示控制方法
CN103139509B (zh) 一种基于axi总线协议的osd控制显示方法及装置
CN106603953A (zh) 一种hdmi接口转化成mipi接口的视频显示方法及系统
CN105049834B (zh) 基于fpga的实时祼眼3d播放系统
CN102572482A (zh) 基于fpga的立体视频到多视点视频的3d重构方法
Kowalczyk et al. Real-time implementation of contextual image processing operations for 4K video stream in Zynq ultrascale+ MPSoC
CN104506872B (zh) 一种平面视频转立体视频的方法及装置
KR20160146645A (ko) Led tv에 이용되는 데이터 처리 방법, 장치 및 led tv
CN104243781A (zh) 一种基于sopc的全方位视觉系统
CN101729919A (zh) 基于fpga的全自动平面视频转立体视频系统
JP2016178667A (ja) 高度デジタルテレビに関するマルチメディアｉ／ｏシステムアーキテクチャ
CN107529024A (zh) 多功能图像视频切换板
CN202050505U (zh) 基于fpga的立体图像处理装置
Guo et al. An FPGA implementation of multi-channel video processing and 4K real-time display system
CN109089048A (zh) 多镜头全景联动装置及方法
CN103369338B (zh) 基于fpga的近眼双目成像系统的图像处理系统及方法
CN111050155A (zh) 一种可实现硬件加速的双目感知方法
Gudis et al. Multi-resolution real-time dense stereo vision processing in FPGA
CN212012914U (zh) 一种双目感知系统
Kiran et al. Mobile cloud computing for medical applications
CN103414898B (zh) 一种高分辨率视频采集方法及系统
CN104065948A (zh) 高清裸眼便携式立体影视播放器专用可编程逻辑器件
CN203492154U (zh) 数字电影放映系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant