CN114067353A - 一种采用多功能加固处理机实现多源数据融合的方法 - Google Patents
一种采用多功能加固处理机实现多源数据融合的方法 Download PDFInfo
- Publication number
- CN114067353A CN114067353A CN202111187357.1A CN202111187357A CN114067353A CN 114067353 A CN114067353 A CN 114067353A CN 202111187357 A CN202111187357 A CN 202111187357A CN 114067353 A CN114067353 A CN 114067353A
- Authority
- CN
- China
- Prior art keywords
- module
- information
- image
- source
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 40
- 230000002787 reinforcement Effects 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000012544 monitoring process Methods 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 3
- 230000005236 sound signal Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 abstract description 5
- 230000010354 integration Effects 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Abstract
本发明公开了一种采用多功能加固处理机实现多源数据融合的方法,应用于复杂陆海域条件下对失联人员的搜索、识别与定位。通过多源数据融合处理系统集成化、模块化和智能化设计,实现了多手段协同控制和大数据图像融合处理,进而实现了复杂条件下对人员的多源目标检测、多源联合识别和辅助判别与定位等功能。
Description
技术领域
本发明涉及一种数据融合方法,特别是一种采用多功能加固处理机实现多源数据融合的方法。
背景技术
为了实现复杂陆海域条件下,多源目标检测和多源联合识别,实现辅助判别与定位标示,需要对可见光摄像机、红外热像仪、激光照明器、激光测距仪和微波成像雷达传感器信号进行采集、多源数据融合及图像识别处理。以往对数据融合的处理采用普通的工控机实现,不具备三防功能,抗震性能差,无法适应机载环境,信号传感器多为单信号采集,不具备多信号采集功能,对数据的处理不具备多源融合处理功能,因此需要一种采用多功能加固处理机实现多源数据融合的方法。
发明内容
本发明目的在于一种采用多功能加固处理机实现多源数据融合的方法,解决普通工控机数据融合无法满足复杂海况下三防和抗震的问题。
一种采用多功能加固处理机实现多源数据融合的方法的具体步骤为:
第一步 构建采用多功能加固处理机实现多源数据融合系统
采用多功能加固处理机实现多源数据融合系统,包括:系统控制模块、监控系统模块、显控终端模块、多源信息采集流模块、数字化处理模块和图像识别处理模块。
系统控制模块实现系统资源的调度,监控系统模块、显控终端模块、多源信息采集流模块、数字化处理模块和图像识别处理模块运行于系统中,并将结果输出给显控终端模块,多源信息采集流模块将采集的视频信号输出给数字化处理模块进行信息转换,经过图像识别处理模块对目标进行识别定位。
系统控制模块功能:负责系统资源调度的和动态平衡。
监控系统模块功能:输入主机状态信号,并对信号分析处理和输出报警。
显控终端模块功能:显示监控系统模块输出的报警信息。
多源信息采集流模块功能:对可见光摄像头和红外摄像头输出的视频信号进行采集。
数字化处理模块功能:获取多源信息采集流模块输出多源目标的基本信息并通过AD转换将其转变为机器认识的信息。
图像识别处理模块功能:对数字化处理后的多源信息数据进行去噪、平滑和变换预处理,加强图像的重要特征。进行人体目标特征抽取和选择,对目标进行实时定位,并输出定位结果。
第二步 系统控制模块对系统资源进行调度
系统控制模块进行系统资源的调度和动态平衡。
第三步 监控系统模块监控设备状态
监控系统模块采集各设备健康状态信息,1s周期更新一次,并将数据转发给显控终端模块,由显控终端显示并判断,数据超过门限时显控终端显示报警信息。
第四步 显控终端模块显示输出状态
显控终端模块通过以太网络接口进行信息交互。
第五步 多源信息流采集模块采集视频信号
多源信息流采集模块通过4路RS422串口和光电吊舱、雷达、飞机和同步机通信,串口卡采用光电隔离,对可见光摄像头和红外摄像头输出的视频信号采集选用视频采集卡,同时采集音频信号。100ms周期接收可见光图像、红外图像和miniSAR图像,以100ms周期更新下表数据,并存储在信息融合处理机硬盘中。
第六步 数字化处理模块处理多源信息数据
数字化处理模块通过已获取的多源信息数据,并将光或声音的信息转化为电信息。获取多源目标的基本信息并通过AD转换将其转变为机器认识的信息。
第七步 图像识别处理模块进行图像识别定位
图像识别处理模块对数字化处理后的多源信息数据进行去噪、平滑和变换预处理,加强图像的重要特征。
特征抽取和选择,从雷达图像、可见光图像和红外图像中检测异物信息并识别出人体目标,包括目标的图像坐标以及识别置信度。同时,估算图像中心点地理坐标作为人体的初始坐标。
目标融合检测,实现雷达图像检测、可见光图像检测和红外图像检测的融合,进一步精化异物的定位精度,进一步提升异物检测置信度。
目标融合识别,实现可见光图像识别和红外图像识别的融合,进一步精化人体目标的定位精度,进一步提升人体目标识别置信度。
检测的异物和识别的人体目标经点选、圈选或自动选择后,对该目标进行跟踪,并自动开启激光测距机对选中目标进行测距。只要在跟踪模式下,无论激光测距是否有效,都对目标进行实时定位,并输出定位结果。
至此,实现了一种采用多功能加固处理机实现多源数据融合。
本发明通过多源数据融合处理系统集成化、模块化和智能化设计,实现了多手段协同控制和大数据图像融合处理,进而实现了复杂条件下对人员的多源目标检测、多源联合识别和辅助判别与定位。
具体实施方式
一种采用多功能加固处理机实现多源数据融合的方法的具体步骤为:
第一步 构建采用多功能加固处理机实现多源数据融合系统
采用多功能加固处理机实现多源数据融合系统,包括:系统控制模块、监控系统模块、显控终端模块、多源信息采集流模块、数字化处理模块和图像识别处理模块。
系统控制模块实现系统资源的调度,监控系统模块、显控终端模块、多源信息采集流模块、数字化处理模块和图像识别处理模块运行于系统中,并将结果输出给显控终端模块,多源信息采集流模块将采集的视频信号输出给数字化处理模块进行信息转换,经过图像识别处理模块对目标进行识别定位。
系统控制模块功能:负责系统资源调度的和动态平衡。
监控系统模块功能:输入主机状态信号,并对信号分析处理和输出报警。
显控终端模块功能:显示监控系统模块输出的报警信息。
多源信息采集流模块功能:对可见光摄像头和红外摄像头输出的视频信号进行采集。
数字化处理模块功能:获取多源信息采集流模块输出多源目标的基本信息并通过AD转换将其转变为机器认识的信息。
图像识别处理模块功能:对数字化处理后的多源信息数据进行去噪、平滑和变换预处理,加强图像的重要特征。进行人体目标特征抽取和选择,对目标进行实时定位,并输出定位结果。
第二步 系统控制模块对系统资源进行调度
系统控制模块进行系统资源的调度和动态平衡。
第三步 监控系统模块监控设备状态
监控系统模块采集各设备健康状态信息,1s周期更新一次,并将数据转发给显控终端模块,由显控终端显示并判断,数据超过门限时显控终端显示报警信息。
第四步 显控终端模块显示输出状态
显控终端模块通过以太网络接口进行信息交互。
第五步 多源信息流采集模块采集视频信号
多源信息流采集模块通过4路RS422串口和光电吊舱、雷达、飞机和同步机通信,串口卡采用光电隔离,对可见光摄像头和红外摄像头输出的视频信号采集选用视频采集卡,同时采集音频信号。100ms周期接收可见光图像、红外图像和miniSAR图像,以100ms周期更新下表数据,并存储在信息融合处理机硬盘中。
第六步 数字化处理模块处理多源信息数据
数字化处理模块通过已获取的多源信息数据,并将光或声音的信息转化为电信息。获取多源目标的基本信息并通过AD转换将其转变为机器认识的信息。
第七步 图像识别处理模块进行图像识别定位
图像识别处理模块对数字化处理后的多源信息数据进行去噪、平滑和变换预处理,加强图像的重要特征。
特征抽取和选择,从雷达图像、可见光图像和红外图像中检测异物信息并识别出人体目标,包括目标的图像坐标以及识别置信度。同时,估算图像中心点地理坐标作为人体的初始坐标。
目标融合检测,实现雷达图像检测、可见光图像检测和红外图像检测的融合,进一步精化异物的定位精度,进一步提升异物检测置信度。
目标融合识别,实现可见光图像识别和红外图像识别的融合,进一步精化人体目标的定位精度,进一步提升人体目标识别置信度。
检测的异物和识别的人体目标经点选、圈选或自动选择后,对该目标进行跟踪,并自动开启激光测距机对选中目标进行测距。只要在跟踪模式下,无论激光测距是否有效,都对目标进行实时定位,并输出定位结果。
至此,实现了一种采用多功能加固处理机实现多源数据融合。
Claims (7)
1.一种采用多功能加固处理机实现多源数据融合的方法,其特征在于具体步骤为:
第一步 构建采用多功能加固处理机实现多源数据融合系统
采用多功能加固处理机实现多源数据融合系统,包括:系统控制模块、监控系统模块、显控终端模块、多源信息采集流模块、数字化处理模块和图像识别处理模块。
系统控制模块实现系统资源的调度,监控系统模块、显控终端模块、多源信息采集流模块、数字化处理模块和图像识别处理模块运行于系统中,并将结果输出给显控终端模块,多源信息采集流模块将采集的视频信号输出给数字化处理模块进行信息转换,经过图像识别处理模块对目标进行识别定位。
第二步 系统控制模块对系统资源进行调度
系统控制模块进行系统资源的调度和动态平衡。
第三步 监控系统模块监控设备状态
监控系统模块采集各设备健康状态信息,1s周期更新一次,并将数据转发给显控终端模块,由显控终端显示并判断,数据超过门限时显控终端显示报警信息。
第四步 显控终端模块显示输出状态
显控终端模块通过以太网络接口进行信息交互。
第五步 多源信息流采集模块采集视频信号
多源信息流采集模块通过4路RS422串口和光电吊舱、雷达、飞机和同步机通信,串口卡采用光电隔离,对可见光摄像头和红外摄像头输出的视频信号采集选用视频采集卡,同时采集音频信号。100ms周期接收可见光图像、红外图像和miniSAR图像,以100ms周期更新下表数据,并存储在信息融合处理机硬盘中。
第六步 数字化处理模块处理多源信息数据
数字化处理模块通过已获取的多源信息数据,并将光或声音的信息转化为电信息。获取多源目标的基本信息并通过AD转换将其转变为机器认识的信息。
第七步 图像识别处理模块进行图像识别定位
图像识别处理模块对数字化处理后的多源信息数据进行去噪、平滑和变换预处理,加强图像的重要特征。
特征抽取和选择,从雷达图像、可见光图像和红外图像中检测异物信息并识别出人体目标,包括目标的图像坐标以及识别置信度。同时,估算图像中心点地理坐标作为人体的初始坐标。
目标融合检测,实现雷达图像检测、可见光图像检测和红外图像检测的融合,进一步精化异物的定位精度,进一步提升异物检测置信度。
目标融合识别,实现可见光图像识别和红外图像识别的融合,进一步精化人体目标的定位精度,进一步提升人体目标识别置信度。
检测的异物和识别的人体目标经点选、圈选或自动选择后,对该目标进行跟踪,并自动开启激光测距机对选中目标进行测距。只要在跟踪模式下,无论激光测距是否有效,都对目标进行实时定位,并输出定位结果。
至此,实现了一种采用多功能加固处理机实现多源数据融合。
2.根据权利要求1所述的一种采用多功能加固处理机实现多源数据融合的方法,其特征在于所述系统控制模块功能:负责系统资源调度的和动态平衡。
3.根据权利要求1所述的一种采用多功能加固处理机实现多源数据融合的方法,其特征在于所述监控系统模块功能:输入主机状态信号,并对信号分析处理和输出报警。
4.根据权利要求1所述的一种采用多功能加固处理机实现多源数据融合的方法,其特征在于所述显控终端模块功能:显示监控系统模块输出的报警信息。
5.根据权利要求1所述的一种采用多功能加固处理机实现多源数据融合的方法,其特征在于所述多源信息采集流模块功能:对可见光摄像头和红外摄像头输出的视频信号进行采集。
6.根据权利要求1所述的一种采用多功能加固处理机实现多源数据融合的方法,其特征在于所述数字化处理模块功能:获取多源信息采集流模块输出多源目标的基本信息并通过AD转换将其转变为机器认识的信息。
7.根据权利要求1所述的一种采用多功能加固处理机实现多源数据融合的方法,其特征在于所述图像识别处理模块功能:对数字化处理后的多源信息数据进行去噪、平滑和变换预处理,加强图像的重要特征;进行人体目标特征抽取和选择,对目标进行实时定位,并输出定位结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111187357.1A CN114067353B (zh) | 2021-10-12 | 2021-10-12 | 一种采用多功能加固处理机实现多源数据融合的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111187357.1A CN114067353B (zh) | 2021-10-12 | 2021-10-12 | 一种采用多功能加固处理机实现多源数据融合的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114067353A true CN114067353A (zh) | 2022-02-18 |
CN114067353B CN114067353B (zh) | 2024-04-02 |
Family
ID=80234315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111187357.1A Active CN114067353B (zh) | 2021-10-12 | 2021-10-12 | 一种采用多功能加固处理机实现多源数据融合的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114067353B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102008039130A1 (de) * | 2008-08-21 | 2010-02-25 | Billy Hou | Durch ein neurales Netzwerk gesteuertes automatisches Verfolgungs- und Erkennungssystem und Verfahren |
WO2014043976A1 (zh) * | 2012-09-24 | 2014-03-27 | 天津市亚安科技股份有限公司 | 多方向监控区域预警定位自动跟踪监控装置 |
CN109709589A (zh) * | 2019-01-09 | 2019-05-03 | 深圳市芯鹏智能信息有限公司 | 一种海空区域立体感知防控系统 |
CN110428008A (zh) * | 2019-08-02 | 2019-11-08 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的目标探测与识别装置和方法 |
CN110873879A (zh) * | 2018-08-30 | 2020-03-10 | 沈阳航空航天大学 | 一种多源异构传感器特征深度融合的装置及方法 |
CN110992298A (zh) * | 2019-12-02 | 2020-04-10 | 深圳市唯特视科技有限公司 | 一种基于遗传算法的辐射源目标识别与情报分析方法 |
WO2020237693A1 (zh) * | 2019-05-31 | 2020-12-03 | 华南理工大学 | 一种水面无人装备多源感知方法及系统 |
WO2021072696A1 (zh) * | 2019-10-17 | 2021-04-22 | 深圳市大疆创新科技有限公司 | 目标检测与跟踪方法、系统、可移动平台、相机及介质 |
WO2021190212A1 (zh) * | 2020-03-26 | 2021-09-30 | 中国民用航空总局第二研究所 | 机场场面运行要素的多源感知探测系统 |
-
2021
- 2021-10-12 CN CN202111187357.1A patent/CN114067353B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102008039130A1 (de) * | 2008-08-21 | 2010-02-25 | Billy Hou | Durch ein neurales Netzwerk gesteuertes automatisches Verfolgungs- und Erkennungssystem und Verfahren |
WO2014043976A1 (zh) * | 2012-09-24 | 2014-03-27 | 天津市亚安科技股份有限公司 | 多方向监控区域预警定位自动跟踪监控装置 |
CN110873879A (zh) * | 2018-08-30 | 2020-03-10 | 沈阳航空航天大学 | 一种多源异构传感器特征深度融合的装置及方法 |
CN109709589A (zh) * | 2019-01-09 | 2019-05-03 | 深圳市芯鹏智能信息有限公司 | 一种海空区域立体感知防控系统 |
WO2020237693A1 (zh) * | 2019-05-31 | 2020-12-03 | 华南理工大学 | 一种水面无人装备多源感知方法及系统 |
CN110428008A (zh) * | 2019-08-02 | 2019-11-08 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的目标探测与识别装置和方法 |
WO2021072696A1 (zh) * | 2019-10-17 | 2021-04-22 | 深圳市大疆创新科技有限公司 | 目标检测与跟踪方法、系统、可移动平台、相机及介质 |
CN110992298A (zh) * | 2019-12-02 | 2020-04-10 | 深圳市唯特视科技有限公司 | 一种基于遗传算法的辐射源目标识别与情报分析方法 |
WO2021190212A1 (zh) * | 2020-03-26 | 2021-09-30 | 中国民用航空总局第二研究所 | 机场场面运行要素的多源感知探测系统 |
Non-Patent Citations (3)
Title |
---|
张乐锋;虞华;胡卫东;郁文贤;: "信息化雷达显控终端的设计与实现", 现代雷达, no. 08, 15 August 2009 (2009-08-15) * |
李均阁;: "多源信息融合及其应用", 甘肃科技, no. 02, 30 January 2013 (2013-01-30) * |
郭新民;: "面向多传感器数据融合的雷达显控终端的设计方法", 雷达与对抗, no. 04, 15 December 2016 (2016-12-15) * |
Also Published As
Publication number | Publication date |
---|---|
CN114067353B (zh) | 2024-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102811343B (zh) | 一种基于行为识别的智能视频监控系统 | |
CN110244314B (zh) | 一种“低慢小”目标探测识别系统与方法 | |
CN106210484A (zh) | 水域监视多元联合感知装置及其感知方法 | |
CN103625649B (zh) | 一种飞行器自主着陆区域判别方法 | |
CN101915910B (zh) | 利用航海雷达识别海上溢油目标的方法及系统 | |
CN102789578A (zh) | 基于多源目标特征支持的红外遥感图像变化检测方法 | |
US20170363733A1 (en) | Radar-Assisted Optical Tracking Method and Mission System for Implementation of This Method | |
CN111999735B (zh) | 一种基于径向速度和目标跟踪的动静目标分离方法 | |
CN109978797B (zh) | 基于暗通道噪声模板的主动式像素传感器星图去噪方法 | |
CN103528562A (zh) | 一种基于单摄像头检测人眼与显示终端距离的方法 | |
CN110210527A (zh) | 基于机器视觉联合感知的海上执法侦察系统 | |
CN114814832A (zh) | 基于毫米波雷达的人体跌倒行为实时监测系统及监测方法 | |
CN109697428B (zh) | 基于rgb_d和深度卷积网络的无人机识别定位系统 | |
CN106682579B (zh) | 用于检测输电线路覆冰的无人机双目视觉图像处理系统 | |
CN114067353B (zh) | 一种采用多功能加固处理机实现多源数据融合的方法 | |
CN111652276B (zh) | 一种全天候便携式多功能仿生定位定姿观瞄系统及方法 | |
CN103186797A (zh) | 视觉定位方法及装置 | |
CN109799493A (zh) | 雷达和视频融合系统及方法 | |
CN107657782A (zh) | 一种火情自动视觉检测系统 | |
CN111272293A (zh) | 一种热分布监控系统及其检测方法 | |
WO2011047508A1 (en) | Embedded vision tracker and mobile guiding method for tracking sequential double color beacons array with extremely wide-angle lens | |
CN202083395U (zh) | 对照电子海图的雷达导航系统 | |
CN108009508B (zh) | 基于景深估计运动物体视觉检测方法与系统 | |
CN104092961A (zh) | 一种海上搜救系统及方法 | |
CN204231493U (zh) | 一种运动检测图像处理器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |