CN114067353B - 一种采用多功能加固处理机实现多源数据融合的方法 - Google Patents
一种采用多功能加固处理机实现多源数据融合的方法 Download PDFInfo
- Publication number
- CN114067353B CN114067353B CN202111187357.1A CN202111187357A CN114067353B CN 114067353 B CN114067353 B CN 114067353B CN 202111187357 A CN202111187357 A CN 202111187357A CN 114067353 B CN114067353 B CN 114067353B
- Authority
- CN
- China
- Prior art keywords
- module
- information
- source
- image
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 42
- 230000002787 reinforcement Effects 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000012544 monitoring process Methods 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000036541 health Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000002955 isolation Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000005236 sound signal Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 abstract description 5
- 238000007670 refining Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Abstract
本发明公开了一种采用多功能加固处理机实现多源数据融合的方法，应用于复杂陆海域条件下对失联人员的搜索、识别与定位。通过多源数据融合处理系统集成化、模块化和智能化设计，实现了多手段协同控制和大数据图像融合处理，进而实现了复杂条件下对人员的多源目标检测、多源联合识别和辅助判别与定位等功能。
Description
技术领域
本发明涉及一种数据融合方法，特别是一种采用多功能加固处理机实现多源数据融合的方法。
背景技术
为了实现复杂陆海域条件下，多源目标检测和多源联合识别，实现辅助判别与定位标示，需要对可见光摄像机、红外热像仪、激光照明器、激光测距仪和微波成像雷达传感器信号进行采集、多源数据融合及图像识别处理。以往对数据融合的处理采用普通的工控机实现，不具备三防功能，抗震性能差，无法适应机载环境，信号传感器多为单信号采集，不具备多信号采集功能，对数据的处理不具备多源融合处理功能，因此需要一种采用多功能加固处理机实现多源数据融合的方法。
发明内容
本发明目的在于一种采用多功能加固处理机实现多源数据融合的方法，解决普通工控机数据融合无法满足复杂海况下三防和抗震的问题。
一种采用多功能加固处理机实现多源数据融合的方法的具体步骤为：
第一步 构建采用多功能加固处理机实现多源数据融合系统
采用多功能加固处理机实现多源数据融合系统，包括：系统控制模块、监控系统模块、显控终端模块、多源信息采集流模块、数字化处理模块和图像识别处理模块。
系统控制模块实现系统资源的调度，监控系统模块、显控终端模块、多源信息采集流模块、数字化处理模块和图像识别处理模块运行于系统中，并将结果输出给显控终端模块，多源信息采集流模块将采集的视频信号输出给数字化处理模块进行信息转换，经过图像识别处理模块对目标进行识别定位。
系统控制模块功能：负责系统资源调度的和动态平衡。
监控系统模块功能：输入主机状态信号，并对信号分析处理和输出报警。
显控终端模块功能：显示监控系统模块输出的报警信息。
多源信息采集流模块功能：对可见光摄像头和红外摄像头输出的视频信号进行采集。
数字化处理模块功能：获取多源信息采集流模块输出多源目标的基本信息并通过AD转换将其转变为机器认识的信息。
图像识别处理模块功能：对数字化处理后的多源信息数据进行去噪、平滑和变换预处理，加强图像的重要特征。进行人体目标特征抽取和选择，对目标进行实时定位，并输出定位结果。
第二步 系统控制模块对系统资源进行调度
系统控制模块进行系统资源的调度和动态平衡。
第三步 监控系统模块监控设备状态
监控系统模块采集各设备健康状态信息，1s周期更新一次，并将数据转发给显控终端模块，由显控终端显示并判断，数据超过门限时显控终端显示报警信息。
第四步 显控终端模块显示输出状态
显控终端模块通过以太网络接口进行信息交互。
第五步 多源信息流采集模块采集视频信号
多源信息流采集模块通过4路RS422串口和光电吊舱、雷达、飞机和同步机通信，串口卡采用光电隔离，对可见光摄像头和红外摄像头输出的视频信号采集选用视频采集卡，同时采集音频信号。100ms周期接收可见光图像、红外图像和miniSAR图像，以100ms周期更新下表数据，并存储在信息融合处理机硬盘中。
第六步 数字化处理模块处理多源信息数据
数字化处理模块通过已获取的多源信息数据，并将光或声音的信息转化为电信息。获取多源目标的基本信息并通过AD转换将其转变为机器认识的信息。
第七步 图像识别处理模块进行图像识别定位
图像识别处理模块对数字化处理后的多源信息数据进行去噪、平滑和变换预处理，加强图像的重要特征。
特征抽取和选择，从雷达图像、可见光图像和红外图像中检测异物信息并识别出人体目标，包括目标的图像坐标以及识别置信度。同时，估算图像中心点地理坐标作为人体的初始坐标。
目标融合检测，实现雷达图像检测、可见光图像检测和红外图像检测的融合，进一步精化异物的定位精度，进一步提升异物检测置信度。
目标融合识别，实现可见光图像识别和红外图像识别的融合，进一步精化人体目标的定位精度，进一步提升人体目标识别置信度。
检测的异物和识别的人体目标经点选、圈选或自动选择后，对该目标进行跟踪，并自动开启激光测距机对选中目标进行测距。只要在跟踪模式下，无论激光测距是否有效，都对目标进行实时定位，并输出定位结果。
至此，实现了一种采用多功能加固处理机实现多源数据融合。
本发明通过多源数据融合处理系统集成化、模块化和智能化设计，实现了多手段协同控制和大数据图像融合处理，进而实现了复杂条件下对人员的多源目标检测、多源联合识别和辅助判别与定位。
具体实施方式
一种采用多功能加固处理机实现多源数据融合的方法的具体步骤为：
第一步 构建采用多功能加固处理机实现多源数据融合系统
采用多功能加固处理机实现多源数据融合系统，包括：系统控制模块、监控系统模块、显控终端模块、多源信息采集流模块、数字化处理模块和图像识别处理模块。
系统控制模块实现系统资源的调度，监控系统模块、显控终端模块、多源信息采集流模块、数字化处理模块和图像识别处理模块运行于系统中，并将结果输出给显控终端模块，多源信息采集流模块将采集的视频信号输出给数字化处理模块进行信息转换，经过图像识别处理模块对目标进行识别定位。
系统控制模块功能：负责系统资源调度的和动态平衡。
监控系统模块功能：输入主机状态信号，并对信号分析处理和输出报警。
显控终端模块功能：显示监控系统模块输出的报警信息。
多源信息采集流模块功能：对可见光摄像头和红外摄像头输出的视频信号进行采集。
数字化处理模块功能：获取多源信息采集流模块输出多源目标的基本信息并通过AD转换将其转变为机器认识的信息。
图像识别处理模块功能：对数字化处理后的多源信息数据进行去噪、平滑和变换预处理，加强图像的重要特征。进行人体目标特征抽取和选择，对目标进行实时定位，并输出定位结果。
第二步 系统控制模块对系统资源进行调度
系统控制模块进行系统资源的调度和动态平衡。
第三步 监控系统模块监控设备状态
监控系统模块采集各设备健康状态信息，1s周期更新一次，并将数据转发给显控终端模块，由显控终端显示并判断，数据超过门限时显控终端显示报警信息。
第四步 显控终端模块显示输出状态
显控终端模块通过以太网络接口进行信息交互。
第五步 多源信息流采集模块采集视频信号
多源信息流采集模块通过4路RS422串口和光电吊舱、雷达、飞机和同步机通信，串口卡采用光电隔离，对可见光摄像头和红外摄像头输出的视频信号采集选用视频采集卡，同时采集音频信号。100ms周期接收可见光图像、红外图像和miniSAR图像，以100ms周期更新下表数据，并存储在信息融合处理机硬盘中。
第六步 数字化处理模块处理多源信息数据
数字化处理模块通过已获取的多源信息数据，并将光或声音的信息转化为电信息。获取多源目标的基本信息并通过AD转换将其转变为机器认识的信息。
第七步 图像识别处理模块进行图像识别定位
图像识别处理模块对数字化处理后的多源信息数据进行去噪、平滑和变换预处理，加强图像的重要特征。
特征抽取和选择，从雷达图像、可见光图像和红外图像中检测异物信息并识别出人体目标，包括目标的图像坐标以及识别置信度。同时，估算图像中心点地理坐标作为人体的初始坐标。
目标融合检测，实现雷达图像检测、可见光图像检测和红外图像检测的融合，进一步精化异物的定位精度，进一步提升异物检测置信度。
目标融合识别，实现可见光图像识别和红外图像识别的融合，进一步精化人体目标的定位精度，进一步提升人体目标识别置信度。
检测的异物和识别的人体目标经点选、圈选或自动选择后，对该目标进行跟踪，并自动开启激光测距机对选中目标进行测距。只要在跟踪模式下，无论激光测距是否有效，都对目标进行实时定位，并输出定位结果。
至此，实现了一种采用多功能加固处理机实现多源数据融合。
Claims (7)
1.一种采用多功能加固处理机实现多源数据融合的方法，其特征在于具体步骤为：
第一步 构建采用多功能加固处理机实现多源数据融合系统
采用多功能加固处理机实现多源数据融合系统，包括：系统控制模块、监控系统模块、显控终端模块、多源信息采集流模块、数字化处理模块和图像识别处理模块；
系统控制模块实现系统资源的调度，监控系统模块、显控终端模块、多源信息采集流模块、数字化处理模块和图像识别处理模块运行于系统中，并将结果输出给显控终端模块，多源信息采集流模块将采集的视频信号输出给数字化处理模块进行信息转换，经过图像识别处理模块对目标进行识别定位；
第二步 系统控制模块对系统资源进行调度
系统控制模块进行系统资源的调度和动态平衡；
第三步 监控系统模块监控设备状态
监控系统模块采集各设备健康状态信息，1s周期更新一次，并将数据转发给显控终端模块，由显控终端显示并判断，数据超过门限时显控终端显示报警信息；
第四步 显控终端模块显示输出状态
显控终端模块通过以太网络接口进行信息交互；
第五步 多源信息流采集模块采集视频信号
多源信息流采集模块通过4路RS422串口和光电吊舱、雷达、飞机和同步机通信，串口卡采用光电隔离，对可见光摄像头和红外摄像头输出的视频信号采集选用视频采集卡，同时采集音频信号；100ms周期接收可见光图像、红外图像和miniSAR图像，以100ms周期更新下表数据，并存储在信息融合处理机硬盘中；
第六步 数字化处理模块处理多源信息数据
数字化处理模块通过已获取的多源信息数据，并将光或声音的信息转化为电信息；获取多源目标的基本信息并通过AD转换将其转变为机器认识的信息；
第七步 图像识别处理模块进行图像识别定位
图像识别处理模块对数字化处理后的多源信息数据进行去噪、平滑和变换预处理，加强图像的重要特征；
特征抽取和选择，从雷达图像、可见光图像和红外图像中检测异物信息并识别出人体目标，包括目标的图像坐标以及识别置信度；同时，估算图像中心点地理坐标作为人体的初始坐标；
目标融合检测，实现雷达图像检测、可见光图像检测和红外图像检测的融合，进一步精化异物的定位精度，进一步提升异物检测置信度；
目标融合识别，实现可见光图像识别和红外图像识别的融合，进一步精化人体目标的定位精度，进一步提升人体目标识别置信度；
检测的异物和识别的人体目标经点选、圈选或自动选择后，对该目标进行跟踪，并自动开启激光测距机对选中目标进行测距；只要在跟踪模式下，无论激光测距是否有效，都对目标进行实时定位，并输出定位结果；
至此，实现了一种采用多功能加固处理机实现多源数据融合。
2.根据权利要求1所述的一种采用多功能加固处理机实现多源数据融合的方法，其特征在于所述系统控制模块功能：负责系统资源调度的和动态平衡。
3.根据权利要求1所述的一种采用多功能加固处理机实现多源数据融合的方法，其特征在于所述监控系统模块功能：输入主机状态信号，并对信号分析处理和输出报警。
4.根据权利要求1所述的一种采用多功能加固处理机实现多源数据融合的方法，其特征在于所述显控终端模块功能：显示监控系统模块输出的报警信息。
5.根据权利要求1所述的一种采用多功能加固处理机实现多源数据融合的方法，其特征在于所述多源信息采集流模块功能：对可见光摄像头和红外摄像头输出的视频信号进行采集。
6.根据权利要求1所述的一种采用多功能加固处理机实现多源数据融合的方法，其特征在于所述数字化处理模块功能：获取多源信息采集流模块输出多源目标的基本信息并通过AD转换将其转变为机器认识的信息。
7.根据权利要求1所述的一种采用多功能加固处理机实现多源数据融合的方法，其特征在于所述图像识别处理模块功能：对数字化处理后的多源信息数据进行去噪、平滑和变换预处理，加强图像的重要特征；进行人体目标特征抽取和选择，对目标进行实时定位，并输出定位结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111187357.1A CN114067353B (zh) | 2021-10-12 | 2021-10-12 | 一种采用多功能加固处理机实现多源数据融合的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111187357.1A CN114067353B (zh) | 2021-10-12 | 2021-10-12 | 一种采用多功能加固处理机实现多源数据融合的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114067353A CN114067353A (zh) | 2022-02-18 |
| CN114067353B true CN114067353B (zh) | 2024-04-02 |
Family
ID=80234315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111187357.1A Active CN114067353B (zh) | 2021-10-12 | 2021-10-12 | 一种采用多功能加固处理机实现多源数据融合的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114067353B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102008039130A1 (de) * | 2008-08-21 | 2010-02-25 | Billy Hou | Durch ein neurales Netzwerk gesteuertes automatisches Verfolgungs- und Erkennungssystem und Verfahren |
| WO2014043976A1 (zh) * | 2012-09-24 | 2014-03-27 | 天津市亚安科技股份有限公司 | 多方向监控区域预警定位自动跟踪监控装置 |
| CN109709589A (zh) * | 2019-01-09 | 2019-05-03 | 深圳市芯鹏智能信息有限公司 | 一种海空区域立体感知防控系统 |
| CN110428008A (zh) * | 2019-08-02 | 2019-11-08 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的目标探测与识别装置和方法 |
| CN110873879A (zh) * | 2018-08-30 | 2020-03-10 | 沈阳航空航天大学 | 一种多源异构传感器特征深度融合的装置及方法 |
| CN110992298A (zh) * | 2019-12-02 | 2020-04-10 | 深圳市唯特视科技有限公司 | 一种基于遗传算法的辐射源目标识别与情报分析方法 |
| WO2020237693A1 (zh) * | 2019-05-31 | 2020-12-03 | 华南理工大学 | 一种水面无人装备多源感知方法及系统 |
| WO2021072696A1 (zh) * | 2019-10-17 | 2021-04-22 | 深圳市大疆创新科技有限公司 | 目标检测与跟踪方法、系统、可移动平台、相机及介质 |
| WO2021190212A1 (zh) * | 2020-03-26 | 2021-09-30 | 中国民用航空总局第二研究所 | 机场场面运行要素的多源感知探测系统 |
-
2021
- 2021-10-12 CN CN202111187357.1A patent/CN114067353B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102008039130A1 (de) * | 2008-08-21 | 2010-02-25 | Billy Hou | Durch ein neurales Netzwerk gesteuertes automatisches Verfolgungs- und Erkennungssystem und Verfahren |
| WO2014043976A1 (zh) * | 2012-09-24 | 2014-03-27 | 天津市亚安科技股份有限公司 | 多方向监控区域预警定位自动跟踪监控装置 |
| CN110873879A (zh) * | 2018-08-30 | 2020-03-10 | 沈阳航空航天大学 | 一种多源异构传感器特征深度融合的装置及方法 |
| CN109709589A (zh) * | 2019-01-09 | 2019-05-03 | 深圳市芯鹏智能信息有限公司 | 一种海空区域立体感知防控系统 |
| WO2020237693A1 (zh) * | 2019-05-31 | 2020-12-03 | 华南理工大学 | 一种水面无人装备多源感知方法及系统 |
| CN110428008A (zh) * | 2019-08-02 | 2019-11-08 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的目标探测与识别装置和方法 |
| WO2021072696A1 (zh) * | 2019-10-17 | 2021-04-22 | 深圳市大疆创新科技有限公司 | 目标检测与跟踪方法、系统、可移动平台、相机及介质 |
| CN110992298A (zh) * | 2019-12-02 | 2020-04-10 | 深圳市唯特视科技有限公司 | 一种基于遗传算法的辐射源目标识别与情报分析方法 |
| WO2021190212A1 (zh) * | 2020-03-26 | 2021-09-30 | 中国民用航空总局第二研究所 | 机场场面运行要素的多源感知探测系统 |
Non-Patent Citations (3)
| Title |
|---|
| 张乐锋 ; 虞华 ; 胡卫东 ; 郁文贤 ; .信息化雷达显控终端的设计与实现.现代雷达.2009,(08),全文. * |
| 李均阁 ; .多源信息融合及其应用.甘肃科技.2013,(02),全文. * |
| 郭新民 ; .面向多传感器数据融合的雷达显控终端的设计方法.雷达与对抗.2016,(04),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114067353A (zh) | 2022-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110674746B (zh) | 一种应用视频空间关系辅助实现高精度跨镜追踪的方法、装置、计算机设备以及存储介质 | |
| CN102811343B (zh) | 一种基于行为识别的智能视频监控系统 | |
| CN106682592B (zh) | 一种基于神经网络方法的图像自动识别系统及方法 | |
| US20120242842A1 (en) | Terminal device, information processing device, object identifying method, program, and object identifying system | |
| CN108694709B (zh) | 一种图像融合方法及装置 | |
| CN105844240A (zh) | 一种红外测温系统中的人脸检测方法及装置 | |
| CN106210484A (zh) | 水域监视多元联合感知装置及其感知方法 | |
| CN102789578A (zh) | 基于多源目标特征支持的红外遥感图像变化检测方法 | |
| CN107610157B (zh) | 一种无人机目标追踪方法及系统 | |
| US20170363733A1 (en) | Radar-Assisted Optical Tracking Method and Mission System for Implementation of This Method | |
| CN112949396B (zh) | 一种景区寻找同游人员的自适应方法 | |
| CN111999735B (zh) | 一种基于径向速度和目标跟踪的动静目标分离方法 | |
| CA3176397A1 (en) | Method, system and computer program product for intelligent tracking and data transformation between interconnected sensor devices of mixed type | |
| CN110210527A (zh) | 基于机器视觉联合感知的海上执法侦察系统 | |
| CN114067353B (zh) | 一种采用多功能加固处理机实现多源数据融合的方法 | |
| CN115082857A (zh) | 一种目标对象的检测方法、装置、设备以及存储介质 | |
| CN103120581B (zh) | 整合心跳量测及身份辨识的系统及方法 | |
| CN107122718B (zh) | 一种新型基于Kinect的目标行人轨迹跟踪方法 | |
| CN103186797A (zh) | 视觉定位方法及装置 | |
| WO2018225363A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN114743026A (zh) | 目标对象的方位检测方法、装置、设备及计算机可读介质 | |
| CN114994663A (zh) | 一种基于毫米波雷达的跌倒检测方法及系统 | |
| WO2021135139A1 (zh) | 基于图片的多维信息整合方法及相关设备 | |
| CN114800615A (zh) | 基于多源感知的机器人实时调度系统及方法 | |
| CN111399634B (zh) | 一种手势引导物体识别的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |