CN112995557B - 多通道影像的并行处理方法及设备 - Google Patents

多通道影像的并行处理方法及设备 Download PDF

Info

Publication number
CN112995557B
CN112995557B CN202110199552.XA CN202110199552A CN112995557B CN 112995557 B CN112995557 B CN 112995557B CN 202110199552 A CN202110199552 A CN 202110199552A CN 112995557 B CN112995557 B CN 112995557B
Authority
CN
China
Prior art keywords
data
clock data
clock
fpga
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110199552.XA
Other languages
English (en)
Other versions
CN112995557A (zh
Inventor
温凯
刘群昌
韩明晶
陶金
李朝伟
杨发亮
翟致恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CASIC Rocket Technology Co
Original Assignee
CASIC Rocket Technology Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CASIC Rocket Technology Co filed Critical CASIC Rocket Technology Co
Priority to CN202110199552.XA priority Critical patent/CN112995557B/zh
Publication of CN112995557A publication Critical patent/CN112995557A/zh
Application granted granted Critical
Publication of CN112995557B publication Critical patent/CN112995557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例公开了一种多通道影像的并行处理设备，主FPGA分别与所述辅FPGA，所述HDM I解码电路，所述LVDS解码电路和所述Camera l i nk Med i um编码电路电性连接；所述辅FPGA一端与所述主FPGA连接，另一端依次与所述物理PHY电路和所述网络变压器连接；将第一视频数据通过所述HDM I解码电路解码后的第一时钟数据传输给所述主FPGA，将第二视频数据通过所述LVDS解码电路解码后的第二时钟数据传输给所述主FPGA，以及将图像数据通过所述网络变压器和所述物理PHY电路输入给所述辅FPGA进行解码得到第三时钟数据。本发明实施例提供的多通道影像的并行处理方法及设备，能够解决现有技术中采集的数据与飞行器上的数据压缩处理接口的数据格式不同的问题，实现多种数据格式统一转换传输，简化数据传输的电气通道的效果。

Description

多通道影像的并行处理方法及设备
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种多通道影像的并行处理方法及设备。
背景技术
随着飞行技术的飞速发展，使得例如无人机等飞行器应用越来越广，在飞行器上通常会安装有多种传感器来采集对应的数据，例如飞行器上会安装有HDMI接口可见光传感器、LVDS接口红外传感器和接口照相机，具备昼夜观察、监视，并对有价值目标进行拍照取证的功能，使得飞行器具有多种功能，方便用户使用。
现有的飞行器上的数据压缩处理接口通常为Camera link Medium接口，但其是通过HDMI接口可见光传感器、LVDS接口红外传感器和接口照相机来采集的数据，使得采集的数据与飞行器上的数据压缩处理接口的数据格式不同，从而亟需一种解决采集数据与处理数据的数据格式不同的转换设备。
发明内容
本发明实施例提供了一种多通道影像的并行处理方法及设备，能够解决现有技术中采集的数据与飞行器上的数据压缩处理接口的数据格式不同的问题，实现多种数据格式统一转换传输，简化数据传输的电气通道的效果。
本发明实施例第一方面提供了一种多通道影像的并行处理设备，包括主FPGA、辅FPGA，HDMI解码电路，LVDS解码电路和网络变压器、物理PHY电路和Camera link Medium编码电路，其中，所述主FPGA分别与所述辅FPGA，所述HDMI解码电路，所述LVDS解码电路和所述Camera link Medium编码电路电性连接；所述辅FPGA一端与所述主FPGA连接，另一端依次与所述物理PHY电路和所述网络变压器连接；将第一视频数据通过所述HDMI解码电路解码后的第一时钟数据传输给所述主FPGA，将第二视频数据通过所述LVDS解码电路解码后的第二时钟数据传输给所述主FPGA，以及将图像数据通过所述网络变压器和所述物理PHY电路输入给所述辅FPGA进行解码得到第三时钟数据。
可选的，还包括：
静态存储器，电性连接所述主FPGA，用于缓存所述第一时钟数据和所述第二时钟数据。
可选的，还包括：
动态存储器，电性连接所述辅FPGA，用于将所述辅FPGA解码所述图像数据得到的第三时钟数据进行缓存。
可选的，还包括：
数据接口电路，与所述主FPGA电性连接，用于将接收到的指令数据传输给所述主FPGA。
可选的，还包括：
电源电路，用于给所述并行处理设备中的各个电路进行供电。
可选的，还包括：
晶振电路，用于与所述主FPGA电性连接。
本发明实施例第二方面提供了一种多通道影像的并行处理方法，应用在如上述第一方面提供的多通道影像的并行处理设备中，包括：
通过主FPGA接收HDMI解码电路发送的第一时钟数据，其中，所述第一时钟数据是所述HDMI解码电路对第一视频数据进行解码后得到的；
通过所述主FPGA接收LVDS解码电路发送的第一时钟数据，其中，所述第二时钟数据是所述LVDS解码电路对第二视频数据进行解码后得到的；
通过辅FPGA接收通过所述网络变压器和所述物理PHY电路传输的图像数据，并对所述图像数据进行解码，得到第三时钟数据；
将所述第一时钟数据，所述第二时钟数据和所述第三时钟数据，转换成Cameralink Medium编码电路支持的目标格式的数据进行传输。
可选的，所述将所述第一时钟数据，所述第二时钟数据和所述第三时钟数据，转换成Camera link Medium编码电路支持的目标格式的数据进行传输，包括：
若所述第一时钟数据和所述第二时钟数据缓存在静态存储器中，则通过所述主FPGA读取存储在所述静态存储器中的所述第一时钟数据和所述第二时钟数据，并将所述第一时钟数据和所述第二时钟数据转换成所述目标格式数据进行传输。
可选的，所述将所述第一时钟数据，所述第二时钟数据和所述第三时钟数据，转换成Camera link Medium编码电路支持的目标格式的数据进行传输，包括：
若所述第三时钟数据缓存在动态存储器中，则控制所述主FPGA通过所述辅FPGA读取存储在所述动态存储器中的所述第三时钟数据，并将所述第三时钟数据转换成所述目标格式的数据进行传输。
可选的，所述方法还包括：
通过所述主FPGA接收数据接口电路发送的指令数据，并通过所述主FPGA执行所述指令数据。
本发明实施例第三方面提供了一种飞行器，包括飞行主体和设置在所述飞行主体中的如第一方面提供的多通道影像的并行处理设备。
本发明实施例的有益效果如下：
基于上述技术方案，由于主FPGA分别与所述辅FPGA，所述HDMI解码电路，所述LVDS解码电路和所述Camera link Medium编码电路电性连接；所述辅FPGA一端与所述主FPGA连接，另一端依次与所述物理PHY电路和所述网络变压器连接，将第一视频数据通过HDMI解码电路解码后的第一时钟数据传输给所述主FPGA，将第二视频数据通过所述LVDS解码电路解码后的第二时钟数据传输给所述主FPGA，以及将图像数据通过所述网络变压器和所述物理PHY电路输入给所述辅FPGA进行解码，如此，将第一视频数据、第二视频数据和图像数据进行解码得到第一时钟数据、第二时钟数据和第三时钟数据，使得第一时钟数据、第二时钟数据和第三时钟数据能够通过主FPGA按照Camera link Medium编码电路的时序进行编码后进行传输，从而使得第一视频数据、第二视频数据和图像数据转换成Camera link Medium编码电路支持的数据格式的数据进行传输，实现多种数据格式转换成目标格式后进行混合传输的效果；而且无需为每一种数据单独提供一种数据传输的电气通道，进而实现了简化数据传输的电气通道的效果。
附图说明
图1为本发明实施例中多通道影像的并行处理设备的结构示意图；
图2为本发明实施例中第一视频数据通过2个静态存储器进行数据格式转换的数据流向图；
图3为本发明实施例中第二视频数据通过2个静态存储器进行数据格式转换的数据流向图；
图4为本发明实施例中Bank文件格式的结构示意图；
图5为本发明实施例中多通道影像的并行处理方法的方法流程图。
具体实施方式
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本发明实施例的技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明实施例技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
如图1所示，本发明实施例提供了一种多通道影像的并行处理设备，包括主FPGA10、辅FPGA11，HDMI解码电路12，LVDS解码电路13和网络变压器14、物理PHY电路15和Camera link Medium编码电路16，其中，主FPGA10分别与辅FPGA11，HDMI解码电路12，LVDS解码电路13和Camera link Medium编码电路16电性连接；辅FPGA11一端与主FPGA10连接，另一端依次与物理PHY电路15和网络变压器14连接；将第一视频数据通过HDMI解码电路12解码后的第一时钟数据传输给主FPGA10，将第二视频数据通过LVDS解码电路13解码后的第二时钟数据传输给主FPGA10，以及将图像数据通过网络变压器14和物理PHY电路15输入给辅FPGA11进行解码得到第三时钟数据。
本说明书实施例中，第一视频数据是HDMI接口可见光传感器采集到的，第二视频数据数据是LVDS接口红外传感器采集到的，图像数据是接口照相机采集到的。如此，在HDMI接口可见光传感器采集到第一视频数据之后，由于HDMI解码电路12与HDMI接口可见光传感器相连，从而可以接收到HDMI解码电路12接收到第一视频数据，并对第一视频数据进行解码得到第一时钟数据再传输给主FPGA10。以及，在采集到LVDS接口红外传感器采集到第二视频数据之后，由于LVDS解码电路13与LVDS接口红外传感器相连，从而使得LVDS解码电路13接收到第二视频数据并对其进行解码，得到第二时钟数据并将其传输给主FPGA10。以及，接口照相机采集到图像数据之后，由于网络变压器14与接口照相机相连，从而使得网络变压器14接收到图像数据之后，通过物理PHY电路15传输给辅FPGA11进行解码得到第三时钟数据，以及将第三时钟数据传输给主FPGA进行格式转换后发送给Camera link Medium编码电路16。
具体来讲，第一视频数据通过HDMI解码电路12解码后的第一时钟数据传输给主FPGA10，主FPGA10将第一时钟数据转换成Camera link Medium编码电路16电性支持的目标格式的数据后传输给Camera link Medium编码电路16；相应地，第二视频数据通过LVDS解码电路13解码后的第二时钟数据传输给主FPGA10，主FPGA10将第二时钟数据转换成Cameralink Medium编码电路16电性支持的目标格式的数据后传输给Camera link Medium编码电路16，从而实现HDMI和LVDS接口视频到Camera link Medium接口的转换。
以及，图像数据通过网络变压器14和物理PHY电路15传输给辅FPGA11进行解码，得到第三时钟数据；辅FPGA11将第三时钟数据传输给主FPGA10进行格式转换，将第三时钟数据转换成目标格式的数据后传输给Camera link Medium编码电路16，从而实现图像数据到Camera link Medium接口的转换；如此，使得主FPGA10能够将第一视频数据、第二视频数据和图像数据通过Camera link Medium编码电路16编码后实现混合传输，实现多种数据格式转换成目标格式后进行混合传输的效果；而且无需为每一种数据单独提供一种数据传输的电气通道，进而实现了简化数据传输的电气通道的效果。
在实际应用过程中，如图1所示，在将第一视频和第二视频数据转换成目标格式的数据过程中，可以异步执行，以使得并行处理设备能够将第一视频和第二视频数据转换成目标格式的数据。当然，在将第一视频和第二视频数据转换成目标格式的数据过程中，可以同步执行，此时，可以通过增加主FPGA10的处理线程实现，也可以采用多个静态存储器的方式实现，本说明书不作具体限制。
本说明书实施例中，多通道影像的并行处理设备还包括静态存储器17，电性连接主FPGA10，用于缓存第一时钟数据和第二时钟数据。
具体来讲，多通道影像的并行处理设备还可以包括多个静态存储器17，以降低缓存数据过大导致静态存储器容量不足的概率。此时，参见图1，多通道影像的并行处理设备包括2个静态存储器，分别为静态存储器17和静态存储器18，均用于缓存第一时钟数据和第二时钟数据。
本说明书实施例中，多通道影像的并行处理设备还包括动态存储器19，电性连接辅FPGA11，用于将辅FPGA11解码图像数据得到的第三时钟数据进行缓存。
本说明书实施例中，多通道影像的并行处理设备还包括数据接口电路20，与主FPGA10电性连接，用于将接收到的指令数据传输给主FPGA10。
具体来讲，通过指令数据发送给主FPGA10，使得主FPGA10执行指令数据，以将第一时钟数据、第二时钟数据和第三时钟数据转换成目标格式的数据后传输给Camera linkMedium编码电路16进行编码后进行混合传输。
本说明书实施例中，多通道影像的并行处理设备还包括电源电路21，用于给并行处理设备中的各个电路进行供电，以及在实际应用过程中，可以在给每个电路供电时为每个电路设定相应的电压，本说明书不作具体限制。
本说明书实施例中，多通道影像的并行处理设备还包括晶振电路22，用于与主FPGA10电性连接，以提高多通道影像的并行处理设备的抗干扰性能。
本说明书实施例中，主FPGA10可以选用EP4CE115F29I7等，辅FPGA11可以选用EP4CE115F23I7等，HDMI解码电路12可以选用ADV7612等，LVDS解码电路13可以选用SN65LVDT386DGG和SN65LVDT390PW等，静态存储器17和静态存储器18可以选用CY7C1480BV33等，网络变压器14可以选用HX5004NL等，物理PHY电路15可以选用88E1111等，Camera link Medium编码电路16可以选用DS90CR287MTD等，动态存储器19可以选用MT47H64M16CF等，电源电路21可以选用LTM4644、TPS51116和PTH04070等。
本说明书实施例中，第一视频数据通常为可见光视频；相应地，第二数据为红外视频。以及，图像数据可以是图片数据等，通常为高分辨率照片。
具体来讲，第一视频数据为HDMI接口可见光传感器采集到的，具体为HDMI接口电平；如此，HDMI解码电路12接收到HDMI接口电平之后，将其解码生成视频行信号hs1，场信号vs1，时钟信号clk1和数据data1等第一TTL信号作为第一时钟数据。
相应地，第二视频数据数据是LVDS接口红外传感器采集到的，具体为LVDS接口电平；如此，LVDS解码电路13接收到LVDS接口电平之后，将其解码生成视频行信号hs2，场信号vs2，时钟信号clk2和数据data2等第二TTL信号作为第二时钟数据。
以及，图像数据是千兆以太网GigE接口照相机采集到的，使得图像数据依次通过网络变压器14和物理PHY电路15接入到辅FPGA11中，使用辅FPGA11的三速以太网的IP核进行解码后得到clk4和data4，根据clk4和data4组成第三时钟数据，将第三时钟数据缓存到动态存储器19中，辅FPGA11安照Camera link Medium编码电路16的时序将第三时钟数据发给主FPGA10，主FPGA10将第三时钟数据进行格式转换，转换成目标格式的数据包括时钟信号clk4和数据data4，将转换为目标格式的数据传输给Camera link Medium编码电路16进行编码。
以及，Camera link Medium编码电路16接收到第一时钟数据、第二时钟数据和第三时钟数据转换成目标格式的数据之后进行编码，并将编码后的数据混合传输。
本说明书实施例中，在静态存储器为2个时，如图2所示，HDMI接口电平经过HDMI解码电路12之后，生成视频行信号hs1，场信号vs1，时钟信号clk1和数据data1等第一TTL信号作为第一时钟数据，将第一时钟数据传输给主FPGA10。在此之后，主FPGA10通过乒乓算法，将data1在clk1时钟速度下，首先写入静态存储器17，等静态存储器17写满后，开始写静态存储器18,待静态存储器18写满后重复写静态存储器17，循环往复。在对静态存储器17和静态存储器18进行数据读取时，先读静态存储器18中的数据，等静态存储器18中的数据读完后再读静态存储器17的数据，在Camera link Medium标准时序下，通过hs4,vs4,clk4读取，完成HDMI到Camera link Medium接口数据的转换。
本说明书实施例中，在静态存储器为2个时，如图3所示，LVDS接口电平经过LVDS解码电路13之后，生成视频行信号hs2，场信号vs2，时钟信号clk2和数据data2等第二TTL信号作为第二时钟数据，将第二时钟数据传输给主FPGA10。在此之后，主FPGA10通过乒乓算法，将data2在clk2时钟速度下，首先写入静态存储器17，等静态存储器17写满后，开始写静态存储器18,待静态存储器18写满后重复写静态存储器17，循环往复。在对静态存储器17和静态存储器18进行数据读取时，先读静态存储器18中的数据，等静态存储器18中的数据读完后再读静态存储器17的数据，在Camera link Medium标准时序下，通过hs4,vs4,clk4读取，完成LVDS到Camera link Medium接口数据的转换。
本说明书实施例中，以图像数据中的一张照片(File)为例,一张照片File切分成若干Bank文件，每个Bank文件格式如图4所示，每个Bank文件由帧头SOF，总包号(TotalMsg)，当前包号(Msg id)，有效数据(Payload)、校验和(Check)和帧尾(EOF)组成，将图像数据解码后的第三时钟数据缓存到动态存储器19中,再用Camera link Medium时序读动态存储器19中的数据，完成GigE到Camera link Medium接口的转换。
本说明书实施例中，由于FPGA集成度高，变成灵活的优点，解决了光电传感器数据接口转换的问题，减轻了电气通道的复杂性，提高了电气系统的鲁棒性。
具体来讲，网络变压器14和物理PHY电路15均可以是千兆以太网的设备，能够实现了以太网接口数据到Camera link Medium接口数据的传输。
以及，由于主FPGA分别与所述辅FPGA，所述HDMI解码电路，所述LVDS解码电路和所述Camera link Medium编码电路电性连接；所述辅FPGA一端与所述主FPGA连接，另一端依次与所述物理PHY电路和所述网络变压器连接，将第一视频数据通过HDMI解码电路解码后的第一时钟数据传输给所述主FPGA，将第二视频数据通过所述LVDS解码电路解码后的第二时钟数据传输给所述主FPGA，以及将图像数据通过所述网络变压器和所述物理PHY电路输入给所述辅FPGA进行解码，如此，将第一视频数据、第二视频数据和图像数据进行解码得到第一时钟数据、第二时钟数据和第三时钟数据，使得第一时钟数据、第二时钟数据和第三时钟数据能够通过主FPGA按照Camera link Medium编码电路的时序进行编码后进行传输，从而使得第一视频数据、第二视频数据和图像数据转换成Camera link Medium编码电路支持的数据格式的数据进行传输，实现多种数据格式转换成目标格式后进行混合传输的效果；而且无需为每一种数据单独提供一种数据传输的电气通道，进而实现了简化数据传输的电气通道的效果。
本发明实施例第二方面提供了一种多通道影像的并行处理方法，应用在第一方面提供的多通道影像的并行处理设备中，如图5所示，包括：
S501、通过主FPGA接收HDMI解码电路发送的第一时钟数据，其中，所述第一时钟数据是所述HDMI解码电路对第一视频数据进行解码后得到的；
S502、通过所述主FPGA接收LVDS解码电路发送的第一时钟数据，其中，所述第二时钟数据是所述LVDS解码电路对第二视频数据进行解码后得到的；
S503、通过辅FPGA接收通过所述网络变压器和所述物理PHY电路传输的图像数据，并对所述图像数据进行解码，得到第三时钟数据；
S504、将所述第一时钟数据，所述第二时钟数据和所述第三时钟数据，转换成Camera link Medium编码电路支持的目标格式的数据进行传输。
本说明书实施例中，步骤S501、S502和S503可以同步执行，也可以异步执行，本说明书不作具体限制。
在一种可选的实施方式中，所述将所述第一时钟数据，所述第二时钟数据和所述第三时钟数据，转换成Camera link Medium编码电路支持的目标格式的数据进行传输，包括：
若所述第一时钟数据和所述第二时钟数据缓存在静态存储器中，则通过所述主FPGA读取存储在所述静态存储器中的所述第一时钟数据和所述第二时钟数据，并将所述第一时钟数据和所述第二时钟数据转换成所述目标格式数据进行传输。
在一种可选的实施方式中，所述将所述第一时钟数据，所述第二时钟数据和所述第三时钟数据，转换成Camera link Medium编码电路支持的目标格式的数据进行传输，包括：
若所述第三时钟数据缓存在动态存储器中，则控制所述主FPGA通过所述辅FPGA读取存储在所述动态存储器中的所述第三时钟数据，并将所述第三时钟数据转换成所述目标格式的数据进行传输。
在一种可选的实施方式中，所述方法还包括：
通过所述主FPGA接收数据接口电路发送的指令数据，并通过所述主FPGA执行所述指令数据，将所述第一时钟数据，所述第二时钟数据和所述第三时钟数据，转换成Cameralink Medium编码电路支持的目标格式的数据进行传输。
本发明实施例第三方面还提供了一种飞行器，包括飞行主体和设置在所述飞行主体中的如第一方面提供的多通道影像的并行处理设备，其中，所述飞行主体包括HDMI接口可见光传感器、LVDS接口红外传感器和接口照相机。HDMI接口可见光传感器与HDMI解码电路12相连，用于采集第一视频数据；LVDS接口红外传感器与LVDS解码电路13相连，用于采集第二视频数据；接口照相机与网络变压器14，用于采集图像数据。
本发明实施例的有益效果如下：
由于主FPGA分别与所述辅FPGA，所述HDMI解码电路，所述LVDS解码电路和所述Camera link Medium编码电路电性连接；所述辅FPGA一端与所述主FPGA连接，另一端依次与所述物理PHY电路和所述网络变压器连接，将第一视频数据通过HDMI解码电路解码后的第一时钟数据传输给所述主FPGA，将第二视频数据通过所述LVDS解码电路解码后的第二时钟数据传输给所述主FPGA，以及将图像数据通过所述网络变压器和所述物理PHY电路输入给所述辅FPGA进行解码，如此，将第一视频数据、第二视频数据和图像数据进行解码得到第一时钟数据、第二时钟数据和第三时钟数据，使得第一时钟数据、第二时钟数据和第三时钟数据能够通过主FPGA按照Camera link Medium编码电路的时序进行编码后进行传输，从而使得第一视频数据、第二视频数据和图像数据转换成Camera link Medium编码电路支持的数据格式的数据进行传输，实现多种数据格式转换成目标格式后进行混合传输的效果；而且无需为每一种数据单独提供一种数据传输的电气通道，进而实现了简化数据传输的电气通道的效果。。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种多通道影像的并行处理设备，其特征在于，包括主FPGA、辅FPGA，HDMI解码电路，LVDS解码电路和网络变压器、物理PHY电路和Camera link Medium编码电路，其中，所述主FPGA分别与所述辅FPGA，所述HDMI解码电路，所述LVDS解码电路和所述Camera linkMedium编码电路电性连接；所述辅FPGA一端与所述主FPGA连接，另一端依次与所述物理PHY电路和所述网络变压器连接；将第一视频数据通过所述HDMI解码电路解码后的第一时钟数据传输给所述主FPGA，将第二视频数据通过所述LVDS解码电路解码后的第二时钟数据传输给所述主FPGA，以及将图像数据通过所述网络变压器和所述物理PHY电路输入给所述辅FPGA进行解码得到第三时钟数据；
所述第一时钟数据包括视频行信号hs1，场信号vs1，时钟信号clk1和数据data1，所述第二时钟数据包括视频行信号hs2，场信号vs2，时钟信号clk2和数据data2，所述第三时钟数据包括时钟信号clk4和数据data4；所述主FPGA利用所述Camera link Medium编码电路的标准时序，将所述第一时钟数据、所述第二时钟数据和所述第三时钟数据转换成目标格式的数据；
还包括：静态存储器，电性连接所述主FPGA，用于缓存所述第一时钟数据和所述第二时钟数据；
动态存储器，电性连接所述辅FPGA，用于将所述辅FPGA解码图像数据得到的所述第三时钟数据进行缓存；
数据接口电路，与所述主FPGA电性连接，用于将接收到的指令数据传输给所述主FPGA，包括：通过将指令数据发送给所述主FPGA，使得所述主FPGA执行指令数据，以将所述第一时钟数据、所述第二时钟数据和所述第三时钟数据转换成目标格式的数据后传输给Cameralink Medium编码电路进行编码后进行混合传输；
晶振电路，用于与所述主FPGA电性连接，以提高所述多通道影像的并行处理设备的抗干扰性能。
2.如权利要求1所述的设备，其特征在于，还包括：
电源电路，用于给所述并行处理设备中的各个电路进行供电。
3.一种多通道影像的并行处理方法，应用在如权利要求1-2任一项所述的多通道影像的并行处理设备中，其特征在于，包括：
通过主FPGA接收HDMI解码电路发送的第一时钟数据，其中，所述第一时钟数据是所述HDMI解码电路对第一视频数据进行解码后得到的，所述第一时钟数据包括视频行信号hs1，场信号vs1，时钟信号clk1和数据data1；
通过所述主FPGA接收LVDS解码电路发送的第一时钟数据，其中，所述第二时钟数据是所述LVDS解码电路对第二视频数据进行解码后得到的，所述第二时钟数据包括视频行信号hs2，场信号vs2，时钟信号clk2和数据data2；
通过辅FPGA接收通过所述网络变压器和所述物理PHY电路传输的图像数据，并对所述图像数据进行解码，得到第三时钟数据，其中，所述第三时钟数据包括时钟信号clk4和数据data4；
利用Cameralink Medium编码电路的标准时序将所述第一时钟数据，所述第二时钟数据和所述第三时钟数据，转换成所述Camera link Medium编码电路支持的目标格式的数据进行传输。
4.如权利要求3所述的方法，其特征在于，所述将所述第一时钟数据，所述第二时钟数据和所述第三时钟数据，转换成Camera link Medium编码电路支持的目标格式的数据进行传输，包括：
若所述第一时钟数据和所述第二时钟数据缓存在静态存储器中，则通过所述主FPGA读取存储在所述静态存储器中的所述第一时钟数据和所述第二时钟数据，并将所述第一时钟数据和所述第二时钟数据转换成所述目标格式数据进行传输。
5.如权利要求4所述的方法，其特征在于，所述将所述第一时钟数据，所述第二时钟数据和所述第三时钟数据，转换成Camera link Medium编码电路支持的目标格式的数据进行传输，包括：
若所述第三时钟数据缓存在动态存储器中，则控制所述主FPGA通过所述辅FPGA读取存储在所述动态存储器中的所述第三时钟数据，并将所述第三时钟数据转换成所述目标格式的数据进行传输。
6.一种飞行器，其特征在于，包括飞行主体和设置在所述飞行主体中的如权利要求1-2任一项所述的多通道影像的并行处理设备。
CN202110199552.XA 2021-02-22 2021-02-22 多通道影像的并行处理方法及设备 Active CN112995557B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110199552.XA CN112995557B (zh) 2021-02-22 2021-02-22 多通道影像的并行处理方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110199552.XA CN112995557B (zh) 2021-02-22 2021-02-22 多通道影像的并行处理方法及设备

Publications (2)

Publication Number Publication Date
CN112995557A CN112995557A (zh) 2021-06-18
CN112995557B true CN112995557B (zh) 2023-04-25

Family

ID=76349534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110199552.XA Active CN112995557B (zh) 2021-02-22 2021-02-22 多通道影像的并行处理方法及设备

Country Status (1)

Country Link
CN (1) CN112995557B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107426551A (zh) * 2016-05-24 2017-12-01 中国科学院长春光学精密机械与物理研究所 一种基于FPGA的全模式Cameralink数字图像光端机接收端及发射端

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011163955A (ja) * 2010-02-10 2011-08-25 Panasonic Electric Works Co Ltd 信号取込装置
KR20120047357A (ko) * 2010-11-02 2012-05-14 에스케이하이닉스 주식회사 비디오 코덱 내장형 이미지 센서의 ＳｏＣ 구조 및 이를 이용한 이미지 센서의 구동 방법
CN103269425A (zh) * 2013-04-18 2013-08-28 中国科学院长春光学精密机械与物理研究所 多功能智能图像转换系统
CN103986869A (zh) * 2014-05-22 2014-08-13 中国科学院长春光学精密机械与物理研究所 一种高速tdiccd遥感相机图像采集与显示装置
CN109587411A (zh) * 2018-11-08 2019-04-05 中国航空工业集团公司洛阳电光设备研究所 一种FPGA驱动的串行Camera Link编码方法
CN109788214B (zh) * 2018-12-13 2020-04-03 中国科学院西安光学精密机械研究所 一种基于fpga的多路视频无缝切换系统和方法
CN210807465U (zh) * 2020-01-10 2020-06-19 四川中科友成科技有限公司 一种多功能视频转换器
CN111491100B (zh) * 2020-04-20 2021-04-27 南京莱斯电子设备有限公司 一种在嵌入式平台降低图像处理功耗的方法
CN211959380U (zh) * 2020-06-12 2020-11-17 成都普诺科技有限公司 图像处理模块
CN212305462U (zh) * 2020-07-21 2021-01-05 华中科技大学 一种用于平面信息检测的多通道图像采集系统及设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107426551A (zh) * 2016-05-24 2017-12-01 中国科学院长春光学精密机械与物理研究所 一种基于FPGA的全模式Cameralink数字图像光端机接收端及发射端

Also Published As

Publication number Publication date
CN112995557A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
US9264663B2 (en) Ultra low latency video communication
EP2061255A1 (en) Information processing device and method
CN110677195A (zh) 一种适用于机载光电吊舱的数据传输装置
CN111698386B (zh) 一种多路图像数据同步发送装置、接收装置和传输系统
CN113132552B (zh) 视频流处理方法及装置
CN108712625B (zh) 多通道实时高清图像传输系统及传输方法
CN113271423A (zh) 一种基于fpga的多格式视频接口转换装置及方法
CN113099133A (zh) 串行解串器链路传输高带宽相机数据的方法
EP3342171A1 (en) Networked video communication applicable to gigabit ethernet
CN109922367B (zh) 视频ic芯片、视频ic系统及用于视频ic芯片的方法
CN110012272A (zh) 一种arinc818数据流的传输处理方法及装置
CN112492247B (zh) 一种基于lvds输入的视频显示设计方法
CN112995557B (zh) 多通道影像的并行处理方法及设备
US20200193135A1 (en) Image processing method and device, and unmanned aerial vehicle
CN114866733A (zh) 一种低延迟视频处理方法、系统及装置
CN218825618U (zh) 一种视频数据处理装置和车辆
US11716544B2 (en) Image capture module and electronic terminal
CN110519602B (zh) 用于数据流传输的方法及装置
CN202652395U (zh) 单通道复用传输多路多格式音视频信号的传输系统
CN112306929A (zh) 用于传输数据的方法、装置和系统
CN205545622U (zh) 一种多镜头全景相机数据统一存储的电路结构
CN110661785A (zh) 视频处理方法、装置、系统、电子设备及可读存储介质
CN203675196U (zh) 网络控制3g-sdi高清字符叠加器
JP5299165B2 (ja) 信号送信装置、信号送信方法、信号受信装置、信号受信方法、及び信号伝送システム
CN220653423U (zh) 信号转换装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant