CN112367509B - 一种国产四路超清图像综合显示装置的实现方法 - Google Patents

一种国产四路超清图像综合显示装置的实现方法 Download PDF

Info

Publication number
CN112367509B
CN112367509B CN202011244950.0A CN202011244950A CN112367509B CN 112367509 B CN112367509 B CN 112367509B CN 202011244950 A CN202011244950 A CN 202011244950A CN 112367509 B CN112367509 B CN 112367509B
Authority
CN
China
Prior art keywords
module
video
fpga
display
gpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011244950.0A
Other languages
English (en)
Other versions
CN112367509A (zh
Inventor
刘更
郑赛
刘慕贤
郭庆鹏
冉云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Computer Technology and Applications
Original Assignee
Beijing Institute of Computer Technology and Applications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Computer Technology and Applications filed Critical Beijing Institute of Computer Technology and Applications
Priority to CN202011244950.0A priority Critical patent/CN112367509B/zh
Publication of CN112367509A publication Critical patent/CN112367509A/zh
Application granted granted Critical
Publication of CN112367509B publication Critical patent/CN112367509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/22—Adaptations for optical transmission
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及一种国产四路超清图像综合显示装置的实现方法，属于图像处理显示技术领域。本发明采用基于国产GPU的二维、三维图像显示技术、基于国产SOC的音视频编解码技术、基于国产FPGA的雷达视频预处理和图形图像缩放、叠加的综合显示技术等，通过高度集成嵌入式软、硬件设计，实现了4路4K视频图像的综合显示，能够将雷达一次视频、监控视频、光电图像处理成标准图像数据并通过开窗的方式，叠加到单个或多个显示屏中，同时支持三维GIS及态势显示，满足新型武器系统空天合一联合作战的显示要求。

Description

一种国产四路超清图像综合显示装置的实现方法
技术领域
本发明涉及图像处理显示技术领域，具体涉及一种国产四路超清图像综合显示装置的实现方法。
背景技术
随着技术的发展，空天一体化联合作战需求日益迫切升，武器装备前端传感器的性能大幅提升，提供的信息量指数增加，对显控系统2维、3维综合态势、3维GIS地图显示性能要求大幅提升。同时为了提升武器装备载荷能力，要求线控类产品采用高集成度轻量化设计。现有综合显示装置主要性能参数如下：
1)GPU图像输出通道。双通道，提供双通道DVI视频图像信号，用于显示作战操控图形界面及各传感器和各分系统的通信信息。
2)雷达视频图像传输通道。采用千兆以太网、模拟信号传输，数据带宽最大1000Mbps，用于传输前端传感器节点采集的雷达、光电视频信息。
3)显示分辨率。1920×1080，采用传统的2K分辨率进行显示作战操控界面及传感器图像信息。
4)显示模式。以二维显示为主，包括二维地图、传感器视频图像、目标信息等。
5)自主可控程度。以进口芯片为主，GPU、SOC、FPGA采用美国芯片公司器件。
6)集成度。目前综合显示装置，一般由GPU模块、视频编解码模块、图像综合显示模块、视频预处理模块构成。
由此可见，现有综合显示装置在显示通道数量、显示分辨率、显示模式、显示接口类型、自主可控程度等多个方面已不能满足新型武器系统在指挥控制、武器控制、传感器控制的应用需求，基于国产软硬件设计四通道超清图像综合显示装置，实现支持多通道、高带宽传感器输入的多通道超清分辨率图像综合显示，满足空天一体化联合作战，多元信息态势感知融合显示的需求，成为亟待解决的技术问题。
发明内容
(一)要解决的技术问题
如何针对新型武器系统综合显示的应用需求，基于国产化软硬件，在标准6U板卡的形态下，设计高集成度、高性能的综合显示装置，提供多路高带宽传感通道的超清视频图像叠加、缩放的综合显示功能。
(二)技术方案
为了解决上述技术问题，本发明提供了一种国产四路超清图像综合显示装置的实现方法，该方法中，将该装置设计为包括综合显示FPGA模块5、第一GPU模块6、第二GPU模块7、PCIe交换模块8、视频编解码SOC模块9和光模块10这几个模块；
所述光模块10用于将外部雷达、光电视频总线上的光信号转换为电信号，送入综合显示FPGA模块5进行解析；
所述光模块10用于实现4路光口，单路达到10.3125Gbps的通信速率，可同时支持万兆光网络和光纤通道总线网络；
所述PCIe交换模块8，用于将CPU的1路PCIe x8信号，通过总线交换的形式扩展为2路PCIe x8信号，实现同时连接2个PCIe x8的GPU芯片，即第一GPU模块6和第二GPU模块7；所述第一GPU模块6和第二GPU模块7均用于实现CPU输出的HDMI视频信号，通过应用程序调用GPU驱动实现图形界面显示、三维GIS地图显示以及通信信息的实时显示功能；
所述视频编解码SOC模块9用于将实现1路网络视频信号的编解码，4K视频信号的编解码基于H.265，2K视频信号的编解码基于H.264；
所述综合显示FPGA模块5用于接收基于第一GPU模块6的2路HDMI视频流和第二GPU模块7输出的2路HDMI视频流，并将此四路视频分别设置一个第一图层，作为每一路视频输出的底层；综合显示FPGA模块5同时接收基于视频编解码SOC模块9输出的标准HDMI视频流，将该路标准HDMI视频流设置为第二图层，通过FPGA内部逻辑进行缩放、透明度设置后，叠加在底层上；综合显示FPGA模块5还同时接收光纤视频总线上的雷达视频数据，经过处理后将雷达视频数据设置为第三图层，过FPGA内部逻辑进行缩放、透明度设置后，叠加在底层或第二图层上；综合显示FPGA模块5基于一PCIe接口通过PCIe总线同时处理鼠标数据，将鼠标绘制于第四图层；最终实现多层图像叠加的综合显示功能。
优选地，其中，该装置在工作时，CPU与本装置的PCIe交换模块8通过PCIe总线相连，CPU与本装置视频编解码SOC模块9通过PCIe总线相连，外部4个超清液晶显示器与本装置内的综合显示FPGA模块5通过HDMI总线相连，外部光纤总线与本装置的光模块10通过10G光纤相连，外部编码视频总线与视频编解码SOC模块9通过千兆以太网相连。在装置内部，PCIe交换模块8与第一GPU模块6通过PCIe总线相连，PCIe交换模块8与第二GPU模块7通过PCIe总线相连，综合显示FPGA模块5与第一GPU模块6通过HDMI总线相连，综合显示FPGA模块5与第二GPU模块7通过HDMI总线相连，综合显示FPGA模块5与视频编解码SOC模块9通过HDMI和MIPI总线相连。
优选地，所述第一GPU模块6和第二GPU模块7均采用国产景嘉微JM7200显卡芯片。
优选地，所述综合显示FPGA模块5包括综合显示模块；所述综合显示模块包括HDMIPHY控制器、光纤视频模块、PCIe控制模块、调色板模块、缩放模块、视频叠加模块、HDMI输出接口模块；
HDMI PHY控制器用于接收基于HDMI的视频输入信号，经过解码后，转换为标准24bitVGA色彩数据；
光纤视频模块用于接收外部FC-AE-ASM协议通道上的、来自光纤总线协议接口模块的光纤视频数据，经过协议解析和数据预处理后形成标准24bit VGA色彩数据；
调色版模块用于接收基于所述HDMI PHY控制器及光纤视频模块输出的标准24bitVGA色彩数据，通过FPGA内部逻辑实现图像处理；
缩放模块用于接收所述调色板模块处理后的视频图像，同时接收PCIe控制模块发送的视频开窗和缩放参数；在FPGA内设计双线性插值算法，实现超清分辨率图像的调节和自动压缩；图像的双线性插值算法经过采样、水平线性插值和垂直先行插值三步实现，根据双线性插值算法特性，在缩放模块内设计双端口输入处理模块，可同时读出相邻两点的图像数据，定义4个双端口输入处理模块，第一双端口输入处理模块进行第一行第1、2像素的图像数据获取，然后进行水平插值计算，此时第二双端口输入处理模块1进行第2、3像素的图像数据获取及水平插值计算，通过第一、第二双端口输入处理模块；在完成所有像素水平插值运算后，由第三、第四双端口输入处理模块完成所有像素的垂直插值计算，最终实现整帧图像的高性能实时缩放处理；
视频叠加模块用于接收内存中经过缩放模块处理后的视频图像数据，根据开窗参数进行叠加；
HDMI输出接口模块接收基于视频叠加模块处理后的4路视频数据，经过FPGA内部逻辑实现HDMI格式的视频数据输出。
优选地，所述综合显示FPGA模块5还包括光纤总线协议接口模块；所述光纤总线协议接口模块，按照FC-AE-ASM协议解析光纤视频数据，将解析出来的光纤视频数据发送给综合显示模块。
优选地，所述装置采用FPGA固件2、BMC固件3、SOC固件4实现。
优选地，所述光模块10采用中航光电HTA8525-MD+003YY4光模块。
优选地，所述视频编解码SOC模块9采用国产海思高性能视频处理SOC Hi3559A芯片。
优选地，所述综合显示FPGA模块5采用复旦微电子公司JFM7VX690T36实现。
本发明还提供了一种利用所述方法设计实现的国产四路超清图像综合显示装置。
(三)有益效果
本发明提供的一种国产四路超清图像综合显示模块，采用基于国产GPU的二维、三维图像显示技术、基于国产SOC的音视频编解码技术、基于国产FPGA的雷达视频预处理和图形图像缩放、叠加的综合显示技术等，通过高度集成嵌入式软、硬件设计，实现了4路4K视频图像的综合显示，能够将雷达一次视频、监控视频、光电图像处理成标准图像数据并通过开窗的方式，叠加到单个或多个显示屏中，同时支持三维GIS及态势显示，满足新型武器系统空天合一联合作战的显示要求。
附图说明
图1为本发明的装置总体架构图；
图2为图1的硬件层原理框图；
图3为图1中综合显示FPGA模块中综合显示模块原理框图；
图4为图1中综合显示FPGA模块中光纤总线协议接口模块原理框图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
本发明设计了一种国产四路超清视频综合显示装置，基于国产GPU、国产视频处理SOC、国产高性能FPGA设计实现，通过总体硬件设计，以及FPGA固件设计，实现了2路基于光纤通道的雷达、光电图像接口、基于千兆以太网的音视频编解码、4路4K超清图像与传感器一次视频信号、网络视频编码信号的任意缩放、开窗、叠加等综合显示功能，为满足新型武器装备空天合一联合作战所需的2维、3维综合态势显示提供了必要的技术手段。
如图1，本发明提供的一种国产四路超清图像综合显示装置的实现方法中，将该装置设计为包括硬件层1和软件层，其中软件层包括FPGA固件2、BMC固件3和SOC固件4。硬件层1包括：综合显示FPGA模块5、第一GPU模块6、第二GPU模块7、PCIe交换模块8、视频编解码SOC模块9和光模块10；
其中，该装置在工作时，CPU与本装置PCIe交换模块8通过PCIe总线相连，CPU与本装置视频编解码SOC模块9通过PCIe总线相连，外部4个超清液晶显示器与本装置内的综合显示FPGA模块5通过HDMI总线相连，外部光纤总线与本装置的光模块10通过10G光纤相连，外部编码视频总线与视频编解码SOC模块9通过千兆以太网相连。在装置内部，PCIe交换模块8与第一GPU模块6通过PCIe总线相连，PCIe交换模块8与第二GPU模块7通过PCIe总线相连，综合显示FPGA模块5与第一GPU模块6通过HDMI总线相连，综合显示FPGA模块5与第二GPU模块7通过HDMI总线相连，综合显示FPGA模块5与视频编解码SOC模块9通过HDMI和MIPI总线相连。
其中，第一GPU模块6和第二GPU模块7均采用国产景嘉微JM7200显卡芯片，用于实现CPU输出的HDMI视频信号，通过应用程序调用GPU驱动实现图形界面显示、三维GIS地图显示以及通信信息的实时显示功能。虽然JM7200能够输出4路HDMI视频信号，但如果同时输出，单路分辨率无法达到3840x2160分辨率，因此本发明采用2片GPU同时工作，单片GPU输出2组4K视频信号。
所述光模块10用于将外部雷达、光电视频总线上的光信号转换为电信号，送入综合显示FPGA模块5进行解析；光模块10采用中航光电HTA8525-MD+003YY4光模块，实现4路光口，单路达到10.3125Gbps的通信速率，可同时支持万兆光网络和光纤通道总线网络。
所述PCIe交换模块8，用于将CPU的1路PCIe x8信号，通过总线交换的形式扩展为2路PCIe x8信号，实现同时连接2个PCIe x8的GPU芯片，即第一GPU模块6和第二GPU模块7；
所述视频编解码SOC模块9，采用国产海思高性能视频处理SOC Hi3559A芯片，用于将实现1路网络视频信号的编解码，4K视频信号的编解码基于H.265，2K视频信号的编解码基于H.264。
所述综合显示FPGA模块5，采用复旦微电子公司JFM7VX690T36实现，FPGA内部逻辑主要分为2部分，图3的综合显示模块与图4的光纤总线协议接口模块。
综合显示FPGA模块5用于接收基于第一GPU模块6的2路HDMI视频流和第二GPU模块7输出的2路HDMI视频流，并将此四路视频分别设置一个第一图层，作为每一路视频输出的底层；综合显示FPGA模块5同时接收基于视频编解码SOC模块9输出的标准HDMI视频流，将该路标准HDMI视频流设置为第二图层，通过FPGA内部逻辑进行缩放、透明度设置后，叠加在底层上；综合显示FPGA模块5还同时接收光纤视频总线上的雷达视频数据，经过处理后将雷达视频数据设置为第三图层，过FPGA内部逻辑进行缩放、透明度设置后，叠加在底层或第二图层上；综合显示FPGA模块5基于一PCIe接口通过PCIe总线同时处理鼠标数据，将鼠标绘制于第四图层；最终实现多层图像叠加的综合显示功能。
主要实现方案如下：
a)采用国产复旦微公司高性能V7系列FPGA—JFM7V690T36，具有693120个逻辑单元，最大Block RAM 52920Kb，3路PCIe3.0接口，36个GTH高速差分接口，用户IO数量850个等特性；
b)综合显示模块的输入输出包括：1路PCIe2.0 x8接口、4路HDMI输入接口、4路HDMI输出接口和2路光纤视频数据接口，共占用24个外部GTH高速差分通道；
c)综合显示模块的内部按功能化分为多个功能子模块，包括HDMI PHY控制器、光纤视频模块、PCIe控制模块、调色板模块、缩放模块、视频叠加模块、HDMI输出接口模块，模块功能描述见下表：
Figure BDA0002769668340000081
Figure BDA0002769668340000091
d)FPGA内部逻辑实现的功能原理描述如下：
1)HDMI PHY控制器用于接收基于HDMI的视频输入信号，经过解码后，转换为标准24bitVGA色彩数据；
2)光纤视频模块用于接收外部FC-AE-ASM协议通道上的、来自光纤总线协议接口模块的光纤视频数据，经过协议解析和数据预处理后形成标准24bit VGA色彩数据；
3)调色版模块用于接收基于所述HDMI PHY控制器及光纤视频模块输出的标准24bit VGA色彩数据，通过FPGA内部逻辑，实现对比度、色温、颜色调节等图像处理和增强；
4)缩放模块用于接收所述调色板模块处理后的视频图像，同时接收PCIe控制模块发送的视频开窗和缩放参数；在FPGA内设计双线性插值算法，实现超清分辨率图像的调节和自动压缩，基于FPGA硬件的缩放算法具有较高的实时处理性能，4K视频超清视频处理性能达到25fps；图像的双线性插值算法经过采样、水平线性插值和垂直先行插值三步。根据双线性插值算法特性，结合FPGA先天的并行处理性能优势，设计了双端口输入处理模块，可同时读出相邻两点的图像数据以提高并行处理效率。实际应用中，定义了4个双端口输入处理模块，处理模块0进行第一行第1、2像素的图像数据获取，然后进行水平插值计算，此时处理模块1进行第2、3像素的图像数据获取及水平插值计算，通过双端口输入处理模块0和1，实现二级循环调度并行处理能力提升一倍；在完成所有像素水平插值运算后，由双端口输入处理模块2和3完成所有像素的垂直插值计算，最终实现整帧图像的高性能实时缩放处理；
5)视频叠加模块用于接收内存中经过缩放模块处理后的视频图像数据，根据开窗参数进行叠加；
6)HDMI输出接口模块接收基于视频叠加模块处理后的4路视频数据，经过FPGA内部逻辑实现HDMI格式的视频数据输出。
如图4所示的光纤总线协议接口模块，按照FC-AE-ASM协议解析光纤视频数据，通过FPGA内另一路PCIe接口与主处理器交互光纤通道中的雷达、光电视频图像数据，将解析出来的光纤视频数据发送给综合显示模块。
可以看出，本发明主要采用了如下技术手段：
1)基于国产GPU实现4路超清图像显示输出：受限于国产GPU性能，单个GPU仅能满足2路4K超清图像输出，采用了双GPU并行架构，实现了同时4路4K超清图像的输出；
2)多种光纤视频输入接口兼容性设计：通过10G光模块，在物理层兼容万兆以太网光纤和光纤通道传输；通过可编程FPGA固件设计，在协议层兼容两种光纤协议，实现了模块的硬件通用化设计；
3)基于FPGA的多路超清视频综合显示：通过对高性能国产FPGA的编程及模块化设计，实现多通道视频缩放、叠加等硬件综合显示功能，降低CPU核GPU的图像处理负担，使产品性能得到优化。
4)基于嵌入式视频SOC Hi3559A的音视频编解码：本装置集成高性能视频处理SOCHi3559A，最大8K@30帧视频的同时编解码能力。通过标准HDMI和高速MIPI接口，实现了标准视频图像数据与FPGA的交互。采用视频处理SOC的方案实现编解码，能够充分利用SOC内部的编解码硬核，能够降低开发难度，缩短开发周期，同时取得良好的编解码效率。
5)高集成度设计：本装置采用模块化设计，将发热量较高的两个国产GPU和1个高性能FPGA设计在6U VPX板卡上，将视频处理SOC设计为一个单独的XMC模块，与6U板卡通过标准XMC连接器进行互联，整板功耗约90W，板卡高度集成化设计，减少了多个模块互联导致的接口匹配性问题，提高了产品的稳定性。
综上，本发明所提出的一种国产四路超清视频综合显示装置，基于国产GPU+国产视频处理SOC+国产高性能FPGA设计实现，通过高度集成的总体硬件架构设计，SOC SDK编解码应用设计以及FPGA固件设计，实现了4路4K图像与光纤通道一次视频信号、网络视频编码信号的任意缩放、开窗、叠加等综合显示，能够满足武器装备显控系统的日益提升的对2维、3维综合态势、3维GIS地图显示需求。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种国产四路超清图像综合显示装置的实现方法，其特征在于，该方法中，将该装置设计为包括综合显示FPGA模块（5）、第一GPU模块（6）、第二GPU模块（7）、PCIe交换模块（8）、视频编解码SOC模块（9）和光模块（10）这几个模块；
所述光模块（10）用于将外部雷达、光电视频总线上的光信号转换为电信号，送入综合显示FPGA模块（5）进行解析；
所述光模块（10）用于实现4路光口，单路达到10.3125Gbps的通信速率，可同时支持万兆光网络和光纤通道总线网络；
所述PCIe交换模块（8），用于将CPU的1路PCIe x8 信号，通过总线交换的形式扩展为2路PCIe x8信号，实现同时连接2个PCIe x8的GPU芯片，即第一GPU模块（6）和第二GPU模块（7）；所述第一GPU模块（6）和第二GPU模块（7）均用于实现CPU输出的HDMI视频信号，通过应用程序调用GPU驱动实现图形界面显示、三维GIS地图显示以及通信信息的实时显示功能；
所述视频编解码SOC模块（9）用于实现1路网络视频信号的编解码，4K视频信号的编解码基于H.265，2K视频信号的编解码基于H.264；
所述综合显示FPGA模块（5）用于接收基于第一GPU模块（6）的2路HDMI视频流和第二GPU模块（7）输出的2路HDMI视频流，并将此四路视频分别设置一个第一图层，作为每一路视频输出的底层；综合显示FPGA模块（5）同时接收基于视频编解码SOC模块（9）输出的标准HDMI视频流，将该路标准HDMI视频流设置为第二图层，通过FPGA内部逻辑进行缩放、透明度设置后，叠加在底层上；综合显示FPGA模块（5）还同时接收光纤视频总线上的雷达视频数据，经过处理后将雷达视频数据设置为第三图层，通过FPGA内部逻辑进行缩放、透明度设置后，叠加在底层或第二图层上；综合显示FPGA模块（5）基于一PCIe接口通过PCIe总线同时处理鼠标数据，将鼠标绘制于第四图层；最终实现多层图像叠加的综合显示功能。
2.如权利要求1所述的方法，其特征在于，其中，该装置在工作时，CPU与本装置的PCIe交换模块（8）通过PCIe总线相连，CPU与本装置视频编解码SOC模块（9）通过PCIe总线相连，外部4个超清液晶显示器与本装置内的综合显示FPGA模块（5）通过HDMI总线相连，外部光纤总线与本装置的光模块（10）通过10G光纤相连，外部编码视频总线与视频编解码SOC模块（9）通过千兆以太网相连；在装置内部，PCIe交换模块（8）与第一GPU模块（6）通过PCIe总线相连，PCIe交换模块（8）与第二GPU模块（7）通过PCIe总线相连，综合显示FPGA模块（5）与第一GPU模块（6）通过HDMI总线相连，综合显示FPGA模块（5）与第二GPU模块（ 7）通过HDMI总线相连，综合显示FPGA模块（5）与视频编解码SOC模块（9）通过HDMI和MIPI总线相连。
3.如权利要求1所述的方法，其特征在于，所述第一GPU模块（6）和第二GPU模块（7）均采用国产景嘉微JM7200显卡芯片。
4.如权利要求1所述的方法，其特征在于，所述综合显示FPGA模块（5）包括综合显示模块；所述综合显示模块包括HDMI PHY控制器、光纤视频模块、PCIe控制模块、调色板模块、缩放模块、视频叠加模块、HDMI 输出接口模块；
HDMI PHY控制器用于接收基于HDMI的视频输入信号，经过解码后，转换为标准24bitVGA色彩数据；
光纤视频模块用于接收外部FC-AE-ASM协议通道上的、来自光纤总线协议接口模块的光纤视频数据，经过协议解析和数据预处理后形成标准24bit VGA色彩数据；
调色板模块用于接收基于所述HDMI PHY控制器及光纤视频模块输出的标准24bit VGA色彩数据，通过FPGA内部逻辑实现图像处理；
缩放模块用于接收所述调色板模块处理后的视频图像，同时接收PCIe控制模块发送的视频开窗和缩放参数；在FPGA内设计双线性插值算法，实现超清分辨率图像的调节和自动压缩；图像的双线性插值算法经过采样、水平线性插值和垂直线性插值三步实现，根据双线性插值算法特性，在缩放模块内设计双端口输入处理模块，可同时读出相邻两点的图像数据，定义4个双端口输入处理模块，第一双端口输入处理模块进行第一行第1、2像素的图像数据获取，然后进行水平插值计算，此时第二双端口输入处理模块1进行第2、3像素的图像数据获取及水平插值计算，通过第一、第二双端口输入处理模块，实现二级循环调度并行处理能力提升一倍；在完成所有像素水平插值运算后，由第三、第四双端口输入处理模块完成所有像素的垂直插值计算，最终实现整帧图像的高性能实时缩放处理；
视频叠加模块用于接收内存中经过缩放模块处理后的视频图像数据，根据开窗参数进行叠加；
HDMI输出接口模块接收基于视频叠加模块处理后的4路视频数据，经过FPGA内部逻辑实现HDMI格式的视频数据输出。
5.如权利要求4所述的方法，其特征在于，所述综合显示FPGA模块（5）还包括光纤总线协议接口模块；所述光纤总线协议接口模块，按照FC-AE-ASM协议解析光纤视频数据，将解析出来的光纤视频数据发送给综合显示模块。
6.如权利要求1所述的方法，其特征在于，所述装置采用FPGA固件（2）、BMC固件（3）、SOC固件（4）实现。
7.如权利要求1所述的方法，其特征在于，所述光模块（10）采用中航光电HTA8525-MD+003YY4光模块。
8.如权利要求1所述的方法，其特征在于，所述视频编解码SOC模块（9）采用国产海思高性能视频处理SOC Hi3559A芯片。
9.如权利要求1所述的方法，其特征在于，所述综合显示FPGA模块（5）采用复旦微电子公司JFM7VX690T36实现。
10.一种利用权利要求1至9中任一项所述方法设计实现的国产四路超清图像综合显示装置。
CN202011244950.0A 2020-11-10 2020-11-10 一种国产四路超清图像综合显示装置的实现方法 Active CN112367509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011244950.0A CN112367509B (zh) 2020-11-10 2020-11-10 一种国产四路超清图像综合显示装置的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011244950.0A CN112367509B (zh) 2020-11-10 2020-11-10 一种国产四路超清图像综合显示装置的实现方法

Publications (2)

Publication Number Publication Date
CN112367509A CN112367509A (zh) 2021-02-12
CN112367509B true CN112367509B (zh) 2022-10-14

Family

ID=74508576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011244950.0A Active CN112367509B (zh) 2020-11-10 2020-11-10 一种国产四路超清图像综合显示装置的实现方法

Country Status (1)

Country Link
CN (1) CN112367509B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113852826A (zh) * 2021-09-06 2021-12-28 歌尔光学科技有限公司 图像数据传输方法、装置及系统
CN113965711A (zh) * 2021-09-28 2022-01-21 天津七所精密机电技术有限公司 一种基于国产化海思平台的4k视频显示控制装置及方法
CN114257838B (zh) * 2021-11-29 2024-04-16 新奥特（北京）视频技术有限公司 一种视频数据处理方法、装置、电子设备和存储介质
CN116563098A (zh) * 2022-06-20 2023-08-08 广州视源电子科技股份有限公司 图像处理方法、装置及设备
CN117710271B (zh) * 2024-02-06 2024-04-19 成都戎盛科技有限公司 一种基于海思2d加速平台的透明度处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905741A (zh) * 2014-03-19 2014-07-02 合肥安达电子有限责任公司 超高清全景视频实时生成与多通道同步播放系统
WO2018076898A1 (zh) * 2016-10-28 2018-05-03 深圳市中兴微电子技术有限公司 一种信息输出显示方法、装置及计算机可读存储介质
CN209044577U (zh) * 2018-12-27 2019-06-28 北京盛博协同科技有限责任公司 综合显示控制模块
CN111064906A (zh) * 2019-11-27 2020-04-24 北京计算机技术及应用研究所 国产处理器和国产fpga多路4k高清视频综合显示方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9672586B2 (en) * 2015-10-22 2017-06-06 Texas Instruments Incorporated Image synthesis method with DSP and GPU

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905741A (zh) * 2014-03-19 2014-07-02 合肥安达电子有限责任公司 超高清全景视频实时生成与多通道同步播放系统
WO2018076898A1 (zh) * 2016-10-28 2018-05-03 深圳市中兴微电子技术有限公司 一种信息输出显示方法、装置及计算机可读存储介质
CN209044577U (zh) * 2018-12-27 2019-06-28 北京盛博协同科技有限责任公司 综合显示控制模块
CN111064906A (zh) * 2019-11-27 2020-04-24 北京计算机技术及应用研究所 国产处理器和国产fpga多路4k高清视频综合显示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
支持双路显示的GPU显示控制单元设计与实现;任向隆等;《小型微型计算机系统》;20150915(第09期);全文 *

Also Published As

Publication number Publication date
CN112367509A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN112367509B (zh) 一种国产四路超清图像综合显示装置的实现方法
CN103544130B (zh) 一种多窗口显示设备及显示方法
CN201577135U (zh) 一种多输入格式高速率矩阵
CN101516015B (zh) 多路视频数据采集处理和传输的方法
CN111064906A (zh) 国产处理器和国产fpga多路4k高清视频综合显示方法
CN102857738A (zh) 多屏控制的图像显示系统、方法及多屏控制装置
US9374534B2 (en) Display and method for displaying multiple frames thereof
CN106952609B (zh) 显示系统以及显示屏控制器
CN206865570U (zh) 视频处理器
CN101963895B (zh) 一种边缘融合处理器、系统及叠加方法
CN102103826A (zh) 一种led显示屏拼接控制系统及led显示屏
CN211184115U (zh) 一种具有多路视频显示功能的车载显控终端
CN107249107B (zh) 视频控制器和图像处理方法及装置
CN102572398B (zh) 多路视频处理装置、系统及方法
CN102611869A (zh) 一种面向输出的多屏拼接系统网络传输技术
CN105704407A (zh) 一种显示处理装置、设备及方法
CN104243964A (zh) 立体led显示控制系统及方法、显示控制卡
CN101944352A (zh) 基于同步显示的双画面同屏显示方法
CN103618869A (zh) 多画面视频拼接方法及装置
CN107529024A (zh) 多功能图像视频切换板
CN102905080A (zh) 一种利用单处理器实现双路视频输出的设备及方法
CN105404487A (zh) 一种支持回显功能的拼接控制器及其控制方法
CN102970490A (zh) 基于pc的多路混合视频处理装置
CN113132783B (zh) 一种多机共享的多屏显示控制系统及方法
CN114339070A (zh) 一种基于MPSoC的多路图像处理显示交互系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant