CN117132519A - 基于vpx总线多传感器图像融合处理模块 - Google Patents
基于vpx总线多传感器图像融合处理模块 Download PDFInfo
- Publication number
- CN117132519A CN117132519A CN202311370685.4A CN202311370685A CN117132519A CN 117132519 A CN117132519 A CN 117132519A CN 202311370685 A CN202311370685 A CN 202311370685A CN 117132519 A CN117132519 A CN 117132519A
- Authority
- CN
- China
- Prior art keywords
- module
- image
- processing module
- light
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007499 fusion processing Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 210
- 230000004927 fusion Effects 0.000 claims abstract description 68
- 230000036541 health Effects 0.000 claims description 51
- 238000004891 communication Methods 0.000 claims description 48
- 230000005540 biological transmission Effects 0.000 claims description 38
- 238000007781 pre-processing Methods 0.000 claims description 38
- 230000002457 bidirectional effect Effects 0.000 claims description 18
- 230000000295 complement effect Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 6
- 238000005286 illumination Methods 0.000 abstract 1
- 238000000034 method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000006872 improvement Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 230000003862 health status Effects 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像处理技术领域，具体涉及基于VPX总线多传感器图像融合处理模块，包括点云和总线处理模块、红外处理模块、微光处理模块和多光处理模块。该VPX总线多传感器图像融合模块采用分布式架构设计方式，将复杂的业务和处理分别部署到点云和总线处理模块、红外处理模块、微光处理模块和多光处理模块上，进行多传感器图像融合计算，以实现高效率以及实时地对多路图像进行识别和融合处理，使得图像不受天气、光照和环境影响，均能输出高质量图像。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及基于VPX总线多传感器图像融合处理模块。
背景技术
多传感器图像融合的目的是综合多个不同类型传感器采集的图像信息，针对某个场景，生成新的具有更多场景信息的高质量图像，融合图像比单一传感器采集的图像更能反映真实场景。例如，可见光摄像机可在白天提供高质量图像，但在夜间、或雾天时所获得的图像质量差。红外图像反映场景的热对比度，不受天气、光照条件影响。激光雷达可以获得极高的角度、距离和速度分辨率，隐蔽性好、抗有源干扰能力强，低空探测性能好。
VPX是一种开放式计算平台，用于在高性能计算和通信应用中提供卓越的处理能力和可靠性。VPX平台基于VITA(VME国际贸易联盟)标准，使用高速串行互联技术来实现高带宽、低延迟的数据传输。VPX计算平台目前应用在语音、数据、图像等数据处理领域，以图像处理为例，包括雷达图像处理、视频处理、医疗影像处理等应用场景。在这些场景下，由于数据处理量大，往往需要多张VPX板卡协同处理，分布式计算，对通信的延迟要求也越来越高。
而现有基于VPX总线的图像处理模块，不能进行多传感器图像融合计算，特别是激光点云图像加入后，在系统架构设计、算力和业务量要求上，相较于传统单路或者两路图像融合和目标识别处理业务，系统的复杂度成几何倍数上升，无法满足多种类传感器的图像融合处理要求。
因此亟需对现有基于VPX总线的图像处理模块进行改进，以解决现有技术中不能进行多传感器图像融合计算，无法满足多种类传感器的图像融合处理要求的技术问题。
发明内容
本发明的目的在于提供基于VPX总线多传感器图像融合处理模块，用以解决现有技术中不能进行多传感器图像融合计算，无法满足多种类传感器的图像融合处理要求的技术问题。
为解决上述技术问题，本发明采用的技术方案如下：
基于VPX总线多传感器图像融合处理模块，包括点云和总线处理模块、红外处理模块、微光处理模块和多光处理模块；
所述点云和总线处理模块用于接收激光雷达点云图像，并完成数据补全处理，同时对补全后的雷达数据进行图像转换；
所述红外处理模块用于接收红外图像和光雷达点云图像，对红外图像和激光点云图像进行融合处理，对红外图像进行识别处理，并将识别结果叠加到融合图像；
所述微光处理模块用于接收微光图像和光雷达点云图像，对微光图像和激光点云图像进行融合处理，对微光图像进行识别处理，并将识别结果叠加到融合图像；
所述多光处理模块用于接收红外图像、微光图像和激光雷达点云图像，并对红外图像、微光图像和激光点云图像进行三光融合处理，对红外和微光图像进行识别处理，接收“红外处理模块”和“微光处理模块”输出的识别结果，根据用户指令，选择其中一路将识别结果叠加到融合图像。
优选的，还包括FPGA芯片和以太网交换机；
所述FPGA芯片用于实现对点云和总线处理模块、红外处理模块、微光处理模块和多光处理模块的总控制；
以太网交换机用于实现点云和总线处理模块、红外处理模块、微光处理模块和多光处理模块之间的通信；
所述红外处理模块与所述FPGA芯片之间双向连接，所述微光处理模块与所述FPGA芯片之间双向连接，所述多光处理模块与所述FPGA芯片之间双向连接；
所述红外处理模块与所述以太网交换机之间双向连接，所述微光处理模块与所述以太网交换机之间双向连接，所述多光处理模块与所述以太网交换机之间双向连接。
优选的，所述以太网交换机为千兆以太网交换机。
优选的，所述红外处理模块包括第一融合模块、第一识别模块、第一健康管理模块、第一通信模块、第一图像传输模块和第一图像预处理模块；
所述第一融合模块用于对红外图像和激光点云图像进行融合处理；
所述第一识别模块用于对红外图像进行识别处理，并将识别结果叠加到融合图像；
所述第一健康管理模块用于对第一融合模块、第一识别模块、第一通信模块、第一图像传输模块和第一图像预处理模块进行健康状态管理；
所述第一通信模块用于分别与以太网交换机和FPGA芯片之间的通信；
所述第一图像传输模块用于分别与以太网交换机和FPGA芯片之间的图像传输；
所述第一图像预处理模块用于对红外图像进行预处理。
优选的，所述微光处理模块包括第二融合模块、第二识别模块、第二健康管理模块、第二通信模块、第二图像传输模块和第二图像预处理模块；
所述第二融合模块用于对微光图像和激光点云图像进行融合处理；
所述第二识别模块用于对微光图像进行识别处理，并将识别结果叠加到融合图像；
所述第二健康管理模块用于对第二融合模块、第二识别模块、第二通信模块、第二图像传输模块和第二图像预处理模块进行健康状态管理；
所述第二通信模块用于分别与以太网交换机和FPGA芯片之间的通信；
所述第二图像传输模块用于分别与以太网交换机和FPGA芯片之间的图像传输；
所述第二图像预处理模块用于对微光图像进行预处理。
优选的，所述多光处理模块包括第三融合模块、第三识别模块、第三健康管理模块、第三通信模块、第三图像传输模块和第三图像预处理模块；
所述第三融合模块用于对红外图像、微光图像和激光点云图像进行三光融合处理；
所述第三识别模块用于对红外图像和微光图像进行识别处理；
所述第三健康管理模块用于对第三融合模块、第三识别模块、第三通信模块、第三图像传输模块和第三图像预处理模块进行健康状态管理；
所述第三通信模块用于分别与以太网交换机和FPGA芯片之间的通信；
所述第三图像传输模块用于分别与以太网交换机和FPGA芯片之间的图像传输；
所述第三图像预处理模块用于对红外图像和微光图像进行预处理。
优选的，所述点云和总线处理模块包括点云图像处理模块、第四通信模块、控制模块和第四健康管理模块；
所述点云图像处理模块用于通过网络接收激光雷达点云图像，并完成数据补全处理，同时对补全后的雷达数据进行图像转换；
所述第四通信模块用于分别与以太网交换机和FPGA芯片之间的通信；
所述控制模块用于接收FPGA芯片的指令，实现对点云图像处理模块、第四通信模块和第四健康管理模块的控制；
所述第四健康管理模块对点云图像处理模块、第四通信模块和控制模块的健康状态管理。
优选的，安装在VPX总线架构的整机系统内。
优选的，所述VPX总线架构的整机系统采用VITA46标准机箱。
本发明的有益效果包括：
本发明提供的基于VPX总线多传感器图像融合处理模块，采用分布式架构设计方式，将复杂的业务和处理分别部署到点云和总线处理模块、红外处理模块、微光处理模块和多光处理模块上，进行多传感器图像融合计算，以实现高效率实时地对多路图像进行识别和融合处理，使得不管在什么样的天气、光线以及环境的影响下，均能输出高质量图像。
附图说明
图1为本发明的基于VPX总线多传感器图像融合处理模块的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请将围绕可包括多个设备、组件、模块等的系统来呈现各个方面、实施例或特征。应当理解和明白的是，各个系统可以包括另外的设备、组件、模块等，并且/或者可以并不包括结合附图讨论的所有设备、组件、模块等。此外，还可以使用这些方案的组合。
另外，在本申请实施例中，“示例地”、“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用示例的一词旨在以具体方式呈现概念。
本申请实施例中，“信息（information）”，“信号（signal）”，“消息（message）”，“信道（channel）”、“信令（singaling）”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。“的(of)”，“相应的（corresponding，relevant）”和“对应的(corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。
下面结合附图1对本发明作进一步的详细说明：
参见附图1所示，基于VPX总线多传感器图像融合处理模块，包括点云和总线处理模块、红外处理模块、微光处理模块和多光处理模块。
点云和总线处理模块用于接收激光雷达点云图像，并完成数据补全处理，同时对补全后的雷达数据进行图像转换。
点云和总线处理模块在实际的工作中，首先通过网络接收激光雷达点云图像，并完成激光雷达点云图像的补全处理，同时对补全后的雷达数据进行图像转换，最后在图像转换完成后，将转换后的图像传输给以太网交换机，以太网交换机通过千兆网口将输出。在上述过程中以组播的方式输出补全后的激光点云图像到红外处理模块、微光处理模块和多光处理模块。
红外处理模块用于接收红外图像和光雷达点云图像，对红外图像和激光点云图像进行融合处理，对红外图像进行识别处理，并将识别结果叠加到融合图像。
红外处理模块在工作过程中，首先通过LVDS（低电压差分信号）接收红外图像，然后通过以太网交换机的千兆网口接收点云和总线处理模块输出的激光雷达点云图像，通过LVDS传输的过程中能够实现低功耗、低误码率、低串扰和低辐射的传输。再对红外图像和激光点云图像进行融合处理，对红外图像进行识别处理，并将识别结果叠加到融合图像。最后通过千兆网口输出叠加识别结果后的融合图像到点云和总线处理模块和多光处理模块。
微光处理模块用于接收微光图像和光雷达点云图像，对微光图像和激光点云图像进行融合处理，对微光图像进行识别处理，并将识别结果叠加到融合图像。
微光处理模块在工作过程中，首先通过LVDS（低电压差分信号）接收微光图像，然后通过以太网交换机的千兆网口接收点云和总线处理模块输出的激光雷达点云图像，再通过以太网交换机的千兆网口接收点云和总线处理模块输出的激光雷达点云图像，再对微光图像和激光点云图像进行融合处理，同时对微光图像进行识别处理，再将识别结果叠加到融合图像，最后通过以太网交换机的千兆网口输出叠加了识别结果的融合图像到点云和总线处理模块和多光处理模块。
多光处理模块用于接收红外图像、微光图像和激光雷达点云图像，并对红外图像、微光图像和激光点云图像进行三光融合处理，对红外和微光图像进行识别处理，接收“红外处理模块”和“微光处理模块”输出的识别结果，根据用户指令，选择其中一路将识别结果叠加到融合图像。
多光处理模块在工作过程中，通过LVDS（低电压差分信号）接收红外和微光图像，并通过以太网的千兆网口接收点云和总线处理模块输出的激光雷达点云图像。然后对红外、微光、激光点云图像进行三光融合处理，同时对红外和微光图像进行识别处理，并接收红外处理模块和微光处理模块输出的识别结果，根据用户指令，选择其中一路将识别结果叠加到融合图像，最后通过以太网交换机的千兆网口输出识别结果到点云和总线处理模块和多光处理模块。
基于VPX总线多传感器图像融合处理模块还包括FPGA芯片和以太网交换机，FPGA芯片用于实现对点云和总线处理模块、红外处理模块、微光处理模块和多光处理模块的总控制。以太网交换机用于实现点云和总线处理模块、红外处理模块、微光处理模块和多光处理模块之间的通信。以太网交换机为千兆以太网交换机。
红外处理模块与FPGA芯片之间双向连接，微光处理模块与FPGA芯片之间双向连接，多光处理模块与FPGA芯片之间双向连接。红外处理模块与以太网交换机之间双向连接，微光处理模块与以太网交换机之间双向连接，多光处理模块与以太网交换机之间双向连接。
红外处理模块包括第一融合模块、第一识别模块、第一健康管理模块、第一通信模块、第一图像传输模块和第一图像预处理模块。第一融合模块实现对红外图像和激光点云图像进行融合处理。第一识别模块实现对红外图像进行识别处理，并将识别结果叠加到融合图像。第一健康管理模块实现对第一融合模块、第一识别模块、第一通信模块、第一图像传输模块和第一图像预处理模块进行健康状态的管理。第一通信模块实现分别与以太网交换机和FPGA芯片之间的通信。第一图像传输模块实现分别与以太网交换机和FPGA芯片之间的图像传输。第一图像预处理模块实现对红外图像进行预处理。
红外处理模块中，首先通过以太网交换机的千兆网口以LVDS的方式接收红外图像，接收点云和总线处理模块输出的激光雷达点云图像，然后通过第一图像预处理模块对红外图像进行去噪、增强对比度、改善色彩以及提高分辨率等预处理，再通过第一融合模块对红外图像和激光点云图像进行融合处理，通过第一识别模块对红外图像进行识别处理，并将识别结果叠加到融合图像。
在其第一识别模块对红外图像进行识别处理，并将识别结果叠加到融合图像后，通过千兆网口输出识别结果到点云和总线处理模块和多光处理模块，在上述过程中，点云和总线处理模块会上报障碍物识别信息，多光处理模块会根据用户选择，叠加识别结果到融合图像上。同时通过以太网交换机的千兆网口与点云和总线处理模块进行控制等指令交互。第一健康管理模块通过千兆网口上报或响应红外处理模块中的健康状态。根据用户指令，通过第一通信模块的BT1120接口输出叠加识别信息后的红外原图或者融合图像到FPGA芯片。
微光处理模块包括第二融合模块、第二识别模块、第二健康管理模块、第二通信模块、第二图像传输模块和第二图像预处理模块。第二融合模块用于对微光图像和激光点云图像进行融合处理。第二识别模块用于对微光图像进行识别处理，并将识别结果叠加到融合图像。第二健康管理模块用于对第二融合模块、第二识别模块、第二通信模块、第二图像传输模块和第二图像预处理模块进行健康状态管理。第二通信模块用于分别与以太网交换机和FPGA芯片之间的通信。第二图像传输模块用于分别与以太网交换机和FPGA芯片之间的图像传输。第二图像预处理模块用于对微光图像进行预处理。
微光处理模块工作过程中，首先通过LVDS（低电压差分信号）接收微光图像，然后通过以太网交换机的千兆网口接收点云和总线处理模块输出的激光雷达点云图像，然后通过第二图像预处理模块对微光图像进行去噪、增强对比度、改善色彩以及提高分辨率等预处理，再通过第二融合模块对微光图像和激光点云图像进行融合处理，通过第二识别模块对微光图像进行识别处理，并将识别结果叠加到融合图像。
在上述过程中，点云和总线处理模块会上报障碍物识别信息，多光处理模块根据用户选择，叠加识别结果到融合图像上，通过千兆网口与点云和总线处理模块进行控制等指令交互；第二健康管理模块通过千兆网口上报或响应微光处理模块的健康状态，并根据用户指令，通过第二通信模块的BT1120接口输出叠加识别信息的微光原图或者融合图像到FPGA芯片。
多光处理模块包括第三融合模块、第三识别模块、第三健康管理模块、第三通信模块、第三图像传输模块和第三图像预处理模块。第三融合模块用于对红外图像、微光图像和激光点云图像进行三光融合处理。第三识别模块用于对红外图像和微光图像进行识别处理。第三健康管理模块用于对第三融合模块、第三识别模块、第三通信模块、第三图像传输模块和第三图像预处理模块进行健康状态管理。第三通信模块用于分别与以太网交换机和FPGA芯片之间的通信。第三图像传输模块用于分别与以太网交换机和FPGA芯片之间的图像传输。第三图像预处理模块用于对红外图像和微光图像进行预处理。
多光处理模块在工作过程中，首先通过LVDS接收红外和微光图像，通过以太网交换机的千兆网口接收点云和总线处理模块输出的激光雷达点云图像，然后通过第三预处理模块对红外、微光图像和光雷达点云图像进行去噪、增强对比度、改善色彩以及提高分辨率等预处理，通过第三融合模块对红外图像、微光图像和激光点云图像进行三光融合处理，通过第三识别模块对激光雷达点云图像进行识别处理，并接收红外处理模块和微光处理模块输出的识别结果。
再根据用户指令，选择其中一路将识别结果叠加到融合图像，通过千兆网口输出识别结果到点云和总线处理模块和多光处理模块，通过千兆网口与点云和总线处理模块进行控制等指令交互，第三健康管理模块通过千兆网口上报多光处理模块的健康状态。根据用户指令，通过第三通信模块的BT1120接口输出叠加识别信息后的红外、微光融合图像或者三光融合图像到FPGA芯片并预留识别功能。
点云和总线处理模块包括点云图像处理模块、第四通信模块、控制模块和第四健康管理模块。点云图像处理模块用于通过网络接收激光雷达点云图像，并完成数据补全处理，同时对补全后的雷达数据进行图像转换。第四通信模块用于分别与以太网交换机和FPGA芯片之间的通信。控制模块用于接收FPGA芯片的指令，实现对点云图像处理模块、第四通信模块和第四健康管理模块的控制。第四健康管理模块实现对点云图像处理模块、第四通信模块和控制模块的健康状态管理。
点云和总线处理模块在工作过程中，首先通过网络接收激光雷达点云系图像，然后通过点云图像处理模块对激光雷达点云系图像进行图像补全处理，同时对补全后的图像进行图像转换，再将转换后的图像通过以太网交换机的千兆网口输出。以组播的方式，输出补全后的激光点云图像到红外处理模块、微光处理模块和多光处理模块。
通过FPGA芯片桥接RS422，以及PCIE扩展ARINC 429、1553B等总线功能，通过实现与外界系统的指令交互和状态上报等，完成控制模块对应的控制动作以及状态上报，实现对包括点云和总线处理模块、红外处理模块、微光处理模块和多光处理模块以及整板健康状态进行管理和监测。第四健康管模块通过千兆网口实现对红外处理模块、微光处理模块和多光处理模块的健康状态管理，通过FPGA获取板载其余主芯片的健康状态，汇总所有健康信息后，通过交互总线上报，并预留一路LVDS和BT1120接口。
基于VPX总线多传感器图像融合处理模块安装在VPX总线架构的整机系统内，VPX总线架构的整机系统采用VITA46标准机箱。
基于VPX总线多传感器图像融合处理模块通过FPGA芯片桥接RS422，以及PCIE扩展ARINC 429和1553B等总线功能，实现与外界系统的指令交互和状态上报等，完成对应的控制动作以及状态上报，实现对点云和总线处理模块、红外处理模块、微光处理模块和多光处理模块以及整板健康状态的管理和监测。通过千兆网口实现对点云和总线处理模块、红外处理模块、微光处理模块和多光处理模块的健康状态管理，通过FPGA获取板载其余主芯片的健康状态，汇总所有健康信息后，通过交互总线上报，并且预留一路LVDS和BT1120接口。
综上所述，本发明提供的基于VPX总线多传感器图像融合处理模块，采用分布式架构设计方式，将复杂的业务和处理分别部署到点云和总线处理模块、红外处理模块、微光处理模块和多光处理模块上，进行多传感器图像融合计算，以实现高效率实时地对多路图像进行识别和融合处理，使得不管在什么样的天气、光线以及环境的影响下，均能输出高质量图像。
以上所述实施例仅表达了本申请的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。
Claims (9)
1.基于VPX总线多传感器图像融合处理模块，其特征在于，包括点云和总线处理模块、红外处理模块、微光处理模块和多光处理模块；
所述点云和总线处理模块用于接收激光雷达点云图像，并完成数据补全处理，同时对补全后的雷达数据进行图像转换；
所述红外处理模块用于接收红外图像和光雷达点云图像，对红外图像和激光点云图像进行融合处理，对红外图像进行识别处理，并将识别结果叠加到融合图像；
所述微光处理模块用于接收微光图像和光雷达点云图像，对微光图像和激光点云图像进行融合处理，对微光图像进行识别处理，并将识别结果叠加到融合图像；
所述多光处理模块用于接收红外图像、微光图像和激光雷达点云图像，并对红外图像、微光图像和激光点云图像进行三光融合处理，对红外和微光图像进行识别处理，接收红外处理模块和微光处理模块输出的识别结果，根据用户指令，选择其中一路将识别结果叠加到融合图像。
2.根据权利要求1所述的基于VPX总线多传感器图像融合处理模块，其特征在于，还包括FPGA芯片和以太网交换机；
所述FPGA芯片用于实现对点云和总线处理模块、红外处理模块、微光处理模块和多光处理模块的总控制；
所述以太网交换机用于实现点云和总线处理模块、红外处理模块、微光处理模块和多光处理模块之间的通信；
所述红外处理模块与所述FPGA芯片之间双向连接，所述微光处理模块与所述FPGA芯片之间双向连接，所述多光处理模块与所述FPGA芯片之间双向连接；
所述红外处理模块与所述以太网交换机之间双向连接，所述微光处理模块与所述以太网交换机之间双向连接，所述多光处理模块与所述以太网交换机之间双向连接。
3.根据权利要求2所述的基于VPX总线多传感器图像融合处理模块，其特征在于，所述以太网交换机为千兆以太网交换机。
4.根据权利要求2所述的基于VPX总线多传感器图像融合处理模块，其特征在于，所述红外处理模块包括第一融合模块、第一识别模块、第一健康管理模块、第一通信模块、第一图像传输模块和第一图像预处理模块；
所述第一融合模块用于对红外图像和激光点云图像进行融合处理；
所述第一识别模块用于对红外图像进行识别处理，并将识别结果叠加到融合图像；
所述第一健康管理模块用于对第一融合模块、第一识别模块、第一通信模块、第一图像传输模块和第一图像预处理模块进行健康状态管理；
所述第一通信模块用于分别与以太网交换机和FPGA芯片之间的通信；
所述第一图像传输模块用于分别与以太网交换机和FPGA芯片之间的图像传输；
所述第一图像预处理模块用于对红外图像进行预处理。
5.根据权利要求2所述的基于VPX总线多传感器图像融合处理模块，其特征在于，所述微光处理模块包括第二融合模块、第二识别模块、第二健康管理模块、第二通信模块、第二图像传输模块和第二图像预处理模块；
所述第二融合模块用于对微光图像和激光点云图像进行融合处理；
所述第二识别模块用于对微光图像进行识别处理，并将识别结果叠加到融合图像；
所述第二健康管理模块用于对第二融合模块、第二识别模块、第二通信模块、第二图像传输模块和第二图像预处理模块进行健康状态管理；
所述第二通信模块用于分别与以太网交换机和FPGA芯片之间的通信；
所述第二图像传输模块用于分别与以太网交换机和FPGA芯片之间的图像传输；
所述第二图像预处理模块用于对微光图像进行预处理。
6.根据权利要求2所述的基于VPX总线多传感器图像融合处理模块，其特征在于，所述多光处理模块包括第三融合模块、第三识别模块、第三健康管理模块、第三通信模块、第三图像传输模块和第三图像预处理模块；
所述第三融合模块用于对红外图像、微光图像和激光点云图像进行三光融合处理；
所述第三识别模块用于对红外图像和微光图像进行识别处理；
所述第三健康管理模块用于对第三融合模块、第三识别模块、第三通信模块、第三图像传输模块和第三图像预处理模块进行健康状态管理；
所述第三通信模块用于分别与以太网交换机和FPGA芯片之间的通信；
所述第三图像传输模块用于分别与以太网交换机和FPGA芯片之间的图像传输；
所述第三图像预处理模块用于对红外图像和微光图像进行预处理。
7.根据权利要求2所述的基于VPX总线多传感器图像融合处理模块，其特征在于，所述点云和总线处理模块包括点云图像处理模块、第四通信模块、控制模块和第四健康管理模块；
所述点云图像处理模块用于通过网络接收激光雷达点云图像，并完成数据补全处理，同时对补全后的雷达数据进行图像转换；
所述第四通信模块用于分别与以太网交换机和FPGA芯片之间的通信；
所述控制模块用于接收FPGA芯片的指令，实现对点云图像处理模块、第四通信模块和第四健康管理模块的控制；
所述第四健康管理模块对点云图像处理模块、第四通信模块和控制模块的健康状态管理。
8.根据权利要求1所述的基于VPX总线多传感器图像融合处理模块，其特征在于，安装在VPX总线架构的整机系统内。
9.根据权利要求8所述的基于VPX总线多传感器图像融合处理模块，其特征在于，所述VPX总线架构的整机系统采用VITA46标准机箱。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311370685.4A CN117132519B (zh) | 2023-10-23 | 2023-10-23 | 基于vpx总线多传感器图像融合处理模块 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311370685.4A CN117132519B (zh) | 2023-10-23 | 2023-10-23 | 基于vpx总线多传感器图像融合处理模块 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117132519A true CN117132519A (zh) | 2023-11-28 |
| CN117132519B CN117132519B (zh) | 2024-03-12 |
Family
ID=88852938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311370685.4A Active CN117132519B (zh) | 2023-10-23 | 2023-10-23 | 基于vpx总线多传感器图像融合处理模块 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117132519B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014173848A1 (fr) * | 2013-04-24 | 2014-10-30 | Thales | Dispositif cascadable de reception numerique multi voies |
| CN106502957A (zh) * | 2016-12-09 | 2017-03-15 | 中国电子科技集团公司第三十八研究所 | 一种基于vpx总线的星载雷达数据处理及管控装置 |
| CN106842188A (zh) * | 2016-12-27 | 2017-06-13 | 上海思致汽车工程技术有限公司 | 一种基于多传感器的目标物探测融合装置及方法 |
| US20180018004A1 (en) * | 2016-04-26 | 2018-01-18 | Src, Inc. | Scalable High-Performance Embedded Computing Systems |
| CN108154494A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于微光和红外传感器的图像融合系统 |
| CN108195237A (zh) * | 2017-12-05 | 2018-06-22 | 山东航天电子技术研究所 | 一种弹上综合控制系统 |
| CN108270968A (zh) * | 2017-12-30 | 2018-07-10 | 广东金泽润技术有限公司 | 一种红外与可见光图像融合探测系统及方法 |
| RU195789U1 (ru) * | 2019-11-06 | 2020-02-07 | Публичное акционерное общество "Саратовский электроприборостроительный завод имени Серго Орджоникидзе" | Вычислительно-интерфейсный модуль |
| CN211001748U (zh) * | 2019-10-23 | 2020-07-14 | 杭州宝航船舶智能科技有限公司 | 视觉融合增强辅助驾驶装置 |
| CN111462118A (zh) * | 2020-05-22 | 2020-07-28 | 北京黑森智能科技有限公司 | 一种机场道面巡查方法、系统、平台及存储介质 |
| CN112866836A (zh) * | 2020-12-31 | 2021-05-28 | 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） | 基于vpx架构的信息交换装置 |
| CN113609942A (zh) * | 2021-07-27 | 2021-11-05 | 数量级(上海)信息技术有限公司 | 一种基于多目多光谱融合的道路智能监控系统 |
| CN113673584A (zh) * | 2021-07-30 | 2021-11-19 | 浙江大华技术股份有限公司 | 一种图像检测方法及相关装置 |
| WO2022156175A1 (zh) * | 2021-01-20 | 2022-07-28 | 上海西井信息科技有限公司 | 融合图像和点云信息的检测方法、系统、设备及存储介质 |
| CN116430403A (zh) * | 2022-01-04 | 2023-07-14 | 航天图景（北京）科技有限公司 | 一种基于低空机载多传感器融合的实时态势感知系统与方法 |
| CN116774796A (zh) * | 2023-05-15 | 2023-09-19 | 四川华鲲振宇智能科技有限责任公司 | 一种vpx设备基于高温环境下运行测试参数调优方法及系统 |
-
2023
- 2023-10-23 CN CN202311370685.4A patent/CN117132519B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014173848A1 (fr) * | 2013-04-24 | 2014-10-30 | Thales | Dispositif cascadable de reception numerique multi voies |
| US20180018004A1 (en) * | 2016-04-26 | 2018-01-18 | Src, Inc. | Scalable High-Performance Embedded Computing Systems |
| CN106502957A (zh) * | 2016-12-09 | 2017-03-15 | 中国电子科技集团公司第三十八研究所 | 一种基于vpx总线的星载雷达数据处理及管控装置 |
| CN106842188A (zh) * | 2016-12-27 | 2017-06-13 | 上海思致汽车工程技术有限公司 | 一种基于多传感器的目标物探测融合装置及方法 |
| CN108195237A (zh) * | 2017-12-05 | 2018-06-22 | 山东航天电子技术研究所 | 一种弹上综合控制系统 |
| CN108154494A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于微光和红外传感器的图像融合系统 |
| CN108270968A (zh) * | 2017-12-30 | 2018-07-10 | 广东金泽润技术有限公司 | 一种红外与可见光图像融合探测系统及方法 |
| CN211001748U (zh) * | 2019-10-23 | 2020-07-14 | 杭州宝航船舶智能科技有限公司 | 视觉融合增强辅助驾驶装置 |
| RU195789U1 (ru) * | 2019-11-06 | 2020-02-07 | Публичное акционерное общество "Саратовский электроприборостроительный завод имени Серго Орджоникидзе" | Вычислительно-интерфейсный модуль |
| CN111462118A (zh) * | 2020-05-22 | 2020-07-28 | 北京黑森智能科技有限公司 | 一种机场道面巡查方法、系统、平台及存储介质 |
| CN112866836A (zh) * | 2020-12-31 | 2021-05-28 | 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） | 基于vpx架构的信息交换装置 |
| WO2022156175A1 (zh) * | 2021-01-20 | 2022-07-28 | 上海西井信息科技有限公司 | 融合图像和点云信息的检测方法、系统、设备及存储介质 |
| CN113609942A (zh) * | 2021-07-27 | 2021-11-05 | 数量级(上海)信息技术有限公司 | 一种基于多目多光谱融合的道路智能监控系统 |
| CN113673584A (zh) * | 2021-07-30 | 2021-11-19 | 浙江大华技术股份有限公司 | 一种图像检测方法及相关装置 |
| CN116430403A (zh) * | 2022-01-04 | 2023-07-14 | 航天图景（北京）科技有限公司 | 一种基于低空机载多传感器融合的实时态势感知系统与方法 |
| CN116774796A (zh) * | 2023-05-15 | 2023-09-19 | 四川华鲲振宇智能科技有限责任公司 | 一种vpx设备基于高温环境下运行测试参数调优方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 张彦福: "基于多源图像的目标轨迹融合模块研究", 《万方数据平台在线公开》, pages 1 - 87 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117132519B (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190228236A1 (en) | Method for processing sensor data in multiple control units, preprocessing unit, and transportation vehicle | |
| CN112406960B (zh) | 一种地铁用多传感器融合的主动防撞系统和方法 | |
| CN111262768A (zh) | 一种adas域以太网环形网络架构 | |
| CN107317874B (zh) | 一种机载多拓扑双交换结构的网络设计方法 | |
| CN101588481B (zh) | Ccd透雾成像系统及其控制方法 | |
| CN108492586A (zh) | 一种基于分布式的道路区间监测系统及其测速方法 | |
| CN112665588A (zh) | 一种基于增强现实的船舶航行态势感知方法 | |
| CN209402651U (zh) | 一种监控设备 | |
| CN113022662B (zh) | 一种车载atc网络系统及轨道交通系统 | |
| CN208013788U (zh) | 高压架空线路及杆塔精细化巡检智能避障系统 | |
| CN117132519B (zh) | 基于vpx总线多传感器图像融合处理模块 | |
| CN201666956U (zh) | 总线式多光学探测系统 | |
| Hu et al. | Collaborative perception for connected and autonomous driving: Challenges, possible solutions and opportunities | |
| WO2023124354A1 (zh) | 一种车辆控制器、车辆和车辆控制方法 | |
| DE69924203D1 (de) | Rahmenrelaisnetz, gekennzeichnet durch Rahmenrelaisknotenpunkte mit Verbindungsleitungen deren Bandbreite kontrolliert und überreserviert wird | |
| Ding et al. | Edge-to-cloud intelligent vehicle-infrastructure based on 5G time-sensitive network integration | |
| CN105788297A (zh) | 智能交通信号灯系统 | |
| WO2023207624A1 (zh) | 数据处理方法、设备、介质及路侧协同设备、系统 | |
| CN105049311A (zh) | 二总线通信方法和通信系统 | |
| CN104809904B (zh) | 基于超宽频无线定位技术的可疑车辆定位系统及定位方法 | |
| CN210927659U (zh) | 一种adas域以太网环形网络架构 | |
| CN113442938A (zh) | 车载计算系统、电子设备和车辆 | |
| CN114519970A (zh) | 网络拓扑识别方法和led显示屏控制系统 | |
| CN208422109U (zh) | 一种基于分布式的道路区间监测系统 | |
| CN108833243B (zh) | 一种基于无源光总线技术的高速光数据总线 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |