CN117115704B - 一种基于多传感器融合的海洋搜救系统及方法 - Google Patents
一种基于多传感器融合的海洋搜救系统及方法 Download PDFInfo
- Publication number
- CN117115704B CN117115704B CN202310971858.1A CN202310971858A CN117115704B CN 117115704 B CN117115704 B CN 117115704B CN 202310971858 A CN202310971858 A CN 202310971858A CN 117115704 B CN117115704 B CN 117115704B
- Authority
- CN
- China
- Prior art keywords
- delta
- ship
- different
- image
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000012544 monitoring process Methods 0.000 claims abstract description 24
- 230000008859 change Effects 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 230000000241 respiratory effect Effects 0.000 claims description 21
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 2
- 210000000707 wrist Anatomy 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 claims 1
- 238000007621 cluster analysis Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B49/00—Arrangements of nautical instruments or navigational aids
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B45/00—Arrangements or adaptations of signalling or lighting devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B2201/00—Signalling devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B2213/00—Navigational aids and use thereof, not otherwise provided for in this class
Abstract
本发明提供了一种基于多传感器融合的海洋搜救系统及方法，包括在船舶的头部和尾部分别执行雷达传感器和导航传感器布置；在计算机设备中基于恶劣环境下的探测目标点云特征信息执行点云参数聚类分析得到不同船艇周边的运动图像类别；基于不同船艇编号中头部和尾部坐标之间的相对变化量，把有效图像类别变化`、头部和尾部坐标之间的相对变化量作为安全先验信息，通过将不同子帧之间的效图像类别变化、头部和尾部坐标之间的相对变化量之间的相关性判别执行安全与否的预警；按照不同船艇牌号中的周围探测目标在管理中心执行无人艇中的搜救计划，实现海域中的实时监测与搜救计划的实施，提高海域工作人员的安全性和可靠性。
Description
技术领域
本发明属于数字信号处理领域，具体涉及一种基于多传感器融合的海洋搜救系统及方法。
背景技术
随着经济技术的发展和人们生活水平的提高，船舶安全出行技术已经广泛应用于人们的生产和生活当中，给渔民们的生产和生活带来了无尽的便利。因此，保障船舶出行的稳定可靠运行成为人们研究的重点，目前在雨雪天气或者其他恶劣天气下实现安全的船舶出行属于船舶领域中迫切解决的问题。
截至目前，现今技术依旧存在以下缺陷：
(1)激光雷达传感器本身价格昂，而且在隧道或积雪天气等情况下，效果会受到一定影响，从而影响视觉结果；因此激光雷达传感器并无法提供低成本且鲁棒性好的视觉结果；
(2)水位传感器效果不理想，并且无法实现船舶运动过程中的实时监测；
(3)基于导航传感器的定位系统目前以北斗系统为主，北斗系统具备成本低定位效果稳健的优势，可以为用户提供位置服务；
毫米波雷达传感器在雨雪天气下的具有良好的探测效果，将毫米波雷达传感器和北斗定位传感器进行结合，可以实现在恶劣天气下的视觉效果，此外将特征融合与北斗定位系统结合可以解决船舶安全监测时的数据处理效率低和船艇工作中无法实施监控的问题，可以实现船艇在恶劣天气下的实时监控与安全出行。
发明内容
本发明提供一种基于多传感器融合的海洋搜救方法，包括在船舶的头部和尾部执行雷达传感器和北斗导航传感器布置；在计算机设备中执行雷达成像得到不同船艇的活动特征图像，基于不同环境下的探测目标点云特征信息执行聚类分析得到不同船艇周边的运动图像类别；基于不同船艇编号中头部和尾部坐标之间的相对变化量，把有效图像类别变化和头部和尾部坐标之间的相对变化量作为安全先验信息，通过将不同子帧之间的效图像类别变化和头部和尾部坐标之间的相对变化量之间的相关性判别执行安全与否的预警；基于预警信号和危险船舶中的人员佩戴的呼吸心跳监测设备监测到的呼吸心跳参数通过5G毫米波通信的方式和监管中心的基站建立通信连接，在危险船舶周围实施预警和搜救计划，按照不同船艇牌号ID在管理中心执行无人艇中的搜救计划，实现海域中的实时监测与搜救计划的实施，提高海域工作人员的安全性和可靠性。
一种基于多传感器融合的海洋搜救方法，具体步骤为：
S1：在船艇中布置视频采集模块、毫米波雷达传感器和北斗定位传感器，执行信号采集器安装指令，从各船艇持续采集传感器数据；
S2：在和传感器连接的计算机设备中布置采集信号评估模块，基于传感器数据计算船艇上的可视目标参数，确定不同ID船艇的运行状态，所述运行状态是安全或者不安全；
S3:在船艇出行后台管理中心布置海域控制命令，用于将不安全状态的船舶中的事故人员大的呼吸心跳反馈信息确定的位置信息反馈到处于需执行搜救计划的无人艇；
通过上述步骤，在计算机设备采集不同时刻的传感器数据并存储，然后计算机设备基于传感器数据进行不同船舶运行中的船舶状态估计，得到船舶在水平面上的坐标位置和人员活动信息参数，并进一步执行船舶危险状态识别；
基于船舶危险状态和危险事故人员的呼吸心跳反馈到船舶监测基站的时延误差和功率误差执行融合定位策略；
最后将不同环境下的事故人员的位置信息发送给需要执行搜救计划的无人艇，在后台管理执行服务与监测。
步骤S1中传感器数据包括：
S101：视频采集模块得到的含有图像像素信息，通过图像像素信息提取4D毫米波雷达特征参数；
S102：船艇的头部和尾部的三维坐标，由各北斗定位传感器采集得到的北斗接收机接收信号的时域序列组成。
基于上述步骤提取得到雷达传感器和北斗定位传感器中的船舶特征信息；
为了提高雷达传感器的处理性能，目前主流做法是提高雷达分辨率和滤波器算法性能，本发明将图像分割算法和北斗定位传感器结合，在保证雷达数据处理性能的同时提高大量点云数据和图像数据的速率和效率，保证了传感器数据之间的互通互联，实现了不同环境下的可视目标监测的实时性和畅通性，基于多传感器融合的海洋搜救系统的执行步骤如下：
S201：基于视频采集模块按照自定义协议输出数据执行水平面中数据采集与存储；
S202：以子帧为一个时间单位执行不同子帧下的特征的去噪处理得到不同分辨率的特征网络层，得到不同分辨率的特征信号；
S203：基于视频采集模块输出数据将图像上的像素点执行灰度值设置，并将预设好的灰度值执行顶帽变换得到均匀背景图像和目标图像；
S204：基于不同子帧执行顶帽变换后的图像像素计算最佳概率目标阈值使对象图像像素和背景图像像素两个部分熵之和最大；
S205：：基于相机坐标系和大地坐标系，并按照图像坐标系-像素坐标系执行图像像素转换，得到不同分辨特征网络的图像像素，按照相似度较高的一类图像信息执行特征分析，按照不同类别属性的图像信息分类得到[γ]，并将不同类别归属信息在计算机执行存储；
S206：基于北斗定位传感器的时域离散序列执行非相干累积计算得到船身的头部和尾部的4D坐标[x，y，z，v]，并将头部和尾部的4D坐标做差值，得到头部和尾部之间的相对变化[Δx，Δy，Δz，Δv]；
S207：基于上述步骤得到的不同类别图像信息，把不同船艇中的不同子帧的图像信息的类别差[Δγ]，船艇的头部和尾部的三维坐标之间的差值[Δx，Δy，Δz，Δv]，以及不同船艇编号[ii]作为先验信息在计算机设备中执行存储[i，Δx，Δy，Δz，Δv，Δγ]，基于不同环境的不同子帧之间的图像信息的类别差和船艇的头部和尾部的三维坐标之间的差值之间的相关性，设置判别保护门限执行环境安全状态的判别，然后确定搜救计划的切换命令。
通过上述步骤，可以实现船舶在恶劣环境下的故障识别。
S3,在船艇出行后台管理中心布置海域控制命令，用于将不安全状态的船舶中的事故人员的呼吸心跳反馈信息确定的位置信息反馈到处于需执行搜救计划的无人艇。
与现有技术相比，本发明的有益效果是：
本发明提供一种基于多传感器融合的海洋搜救系统，包括在船舶的头部和尾部执行雷达传感器和北斗导航传感器布置；在计算机设备中执行雷达成像得到不同船艇的活动特征图像，基于不同环境下的探测目标点云特征信息执行聚类分析得到不同船艇周边的运动图像类别；基于不同船艇编号中头部和尾部坐标之间的相对变化量，把有效图像类别变化和头部和尾部坐标之间的相对变化量作为安全先验信息，通过将不同子帧之间的效图像类别变化和头部和尾部坐标之间的相对变化量之间的相关性判别执行安全与否的预警；基于预警信号和危险船舶中的人员佩戴的呼吸心跳监测设备监测到的呼吸心跳参数通过5G毫米波通信的方式和监管中心的基站建立通信连接，在危险船舶周围实施预警和搜救计划，按照不同船艇牌号ID在管理中心执行无人艇中的搜救计划，实现海域中的实时监测与搜救计划的实施，提高海域工作人员的安全性和可靠性。
附图说明
图1是本发明方案的流程意图1；
图2是本发明方案的示意图2。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以图1所示的系统示意图为例，本发明提供一种基于多传感器融合的海洋搜救系统，包括在船舶的头部和尾部执行雷达传感器和北斗导航传感器布置；在计算机设备中执行雷达成像得到不同船艇的特征图像，基于不同环境的目标点云特征信息执行聚类分析得到不同船艇上的运动图像类别；基于不同船艇编号中头部和尾部坐标之间的相对变化量，把有效图像类别变化和头部和尾部坐标之间的相对变化量作为安全先验信息，通过将不同子帧之间的效图像类别变化和头部和尾部坐标之间的相对变化量之间的相关性判别执行安全与否的预警；
基于预警信号和危险船舶中的人员佩戴的呼吸心跳监测设备监测到的呼吸心跳参数通过5G毫米波通信的方式和监管中心的基站建立通信连接，在危险船舶周围实施预警和搜救计划，按照不同船艇牌号ID在管理中心执行无人艇中的搜救计划；
实现海域中的实时监测与搜救计划的实施，提高海域工作人员的安全性和可靠性。
传感器数据包括：
S101：视频采集模块得到的含有图像像素信息，通过图像像素信息提取4D毫米波雷达特征参数；
S102：船艇的头部和尾部的三维坐标，由各北斗定位传感器采集得到的北斗接收机接收信号的时域序列组成。
图像特征参数计算和特征融合包括：
S201：基于视频采集模块按照自定义协议输出数据执行水平面中数据采集与存储；
S202：以子帧为一个时间单位执行不同子帧下的特征的去噪处理得到不同分辨率的特征网络层，得到不同分辨率的特征信号；
S203：基于视频采集模块输出数据将图像上的像素点执行灰度值设置，并将预设好的灰度值执行顶帽变换得到均匀背景图像和目标图像；
S204：基于不同子帧执行顶帽变换后的图像像素计算最佳概率目标阈值使对象图像像素和背景图像像素两个部分熵之和最大；
S205：基于相机坐标系和大地坐标系，并按照图像坐标系-像素坐标系执行图像像素转换，得到不同分辨特征网络的图像像素，按照相似度较高的一类图像信息执行特征分析，按照不同类别属性的图像信息分类得到[γ]，并将不同类别归属信息在计算机执行存储；
S206：基于北斗定位传感器的时域离散序列执行非相干累积计算得到船身的头部和尾部的4D坐标[x，y，z，v]，并将头部和尾部的4D坐标做差值，得到头部和尾部之间的相对变化[Δx，Δy，Δz，Δv]；
S207：基于上述步骤得到的不同类别图像信息，把不同船艇中的不同子帧的图像信息的类别差[Δγ]，船艇的头部和尾部的三维坐标之间的差值[Δx，Δy，Δz，Δv]，以及不同船艇编号[i]作为先验信息在计算机设备中执行存储[i，Δx，Δy，Δz，Δv，Δγ]，基于不同环境的不同子帧之间的图像信息的类别差和船艇的头部和尾部的三维坐标之间的差值之间的相关性，设置判别保护门限执行环境安全状态的判别，然后确定搜救计划的切换命令。
基于船艇后台管理中心的安全判别和搜救策略执行方式如下：
若可视目标种类简单，并且船舶上人员以及船舶周围可视目标种类分布稳定，则判别为安全；
若船舶人员数量出现异常，并且基于船舶上安装的图像传感器得到的可视目标种类繁多，活动图像种类分布杂乱，则船舶工作状态判别为危险；
然后将危险目标锁定，在后台监管中心对船舶人员佩戴的呼吸心跳监测装置反馈的呼吸心跳参数执行监测，船舶ID号上的事故人员的呼吸心跳参数基于毫米波通信发送到监管中心的相应基站的传输时延(包含钟差和钟飘),传输功率(CNo)建立监管中心中任意两个基站之间的传输误差，从而基于传输误差建立基于最小二乘的定位方程，解算得到事故人员的位置。
本方案中的毫米波雷达和北斗定位传感器安装位置在船舶的头部和尾部，假设船舶在时刻k的运动状态为[xvy，z，v，θ],通过空间映射得到图像色素坐标，通过计算机设备中得到不同子帧下的特征融合图像信息和不同工作环境中的安全状况，并将上述信息在云服务层进行传输与交汇。
将毫米波雷达传感器、北斗定位传感器融合与互联网架构结合，本方案通过在计算机计算设备中将不同传感器之间的时域序列执行图像识别与北斗定位，然后在后台管理中心执行安全状态上报与搜救计划，提高船舶出行的安全性以及搜救效率。
本发明方案中基于雷达传感器执行事故人员搜救的优选实施例如下：
如图1所示，假设船舶在某恶劣环境下路过，采用一种基于多传感器融合的海洋搜救系统，用于船舶事故搜救的应用研究工作。该雷达和北斗设备安装点选择在船舶四周，周边无遮挡物，具体实施步骤如下：
S1，通过在船舶安装监视设备采集目标信息；
具体地，S1具体包括如下：
监视设备可以是毫米波雷达设备、摄像头、视频传感器中的一种，用于采集船舶上和周边不同子帧下可视目标运行状态信息X，Y，Z，V和图像特征信息；
S2，在计算机设备中基于传感器的接收数据通过相干累积得到不同子帧去除噪声和干扰后的船舶上人员图像信息、船舶周边的运动目标种类、船舶定位位置；
具体地，S2具体包括如下：
S21:基于视频采集模块按照自定义协议输出数据执行水平面中数据采集与存储；
S22，以子帧为一个时间单位执行不同子帧下的特征的去噪处理得到不同分辨率的特征网络层，基于不同分辨率的特征信号；
S23:基于视频采集模块输出数据将图像上的像素点执行灰度值设置，并将预设好的灰度值执行顶帽变换得到均匀背景图像和目标图像；
S24:基于不同子帧执行顶帽变换后的图像像素计算最佳概率目标阈值使对象图像像素和背景图像像素两个部分熵之和最大；
S25：按照一定子帧之间的图像像素值通过执行雷达成像步骤得到不同空间角度上的可视目标三维坐标和运行速度[x，y，z，v]，基于上述状态矢量[x，y，z，θ]、相机坐标系和大地坐标系，并按照图像坐标系-像素坐标系执行图像像素转换，按照不同类别属性的图像信息分类，至此可以得到不同类别的图像标签信息，如表1所示：
表1-特征融合
| Class1 | Class 2 | Class 3 | Class n |
| 像素信息1 | 像素信息2 | 像素信息3 | 像素信息n |
通过上述步骤S21-25得到船舶上在不同场景下的人员活动类别[γ]和相应位置信息[x，y，z]，作为一个优选实施例，可以将上述步骤得到的人员位置信息[x，y，z]与电子地图上不同岛屿和监管中心站点的坐标做对比，执行坐标的偏移筛选，在坐标位置偏移较明显的情况下执行危险判别；
S26：基于北斗定位传感器的时域离散序列执行非相干累积计算得到船身的头部和尾部的4D坐标[x，y，z，v]，并将头部和尾部的4D坐标做差值，得到头部和尾部之间的相对变化[Δx，Δy，Δz，Δv]；
S27：基于上述步骤得到的不同类别图像信息，把不同船艇中的不同子帧的图像信息的类别差[Δγ]，船艇的头部和尾部的三维坐标之间的差值[Δx，Δy，Δz，Δv]，以及不同船艇编号[i]作为先验信息在计算机设备中执行存储[i，Δx，Δy，Δz，Δv，Δγ]，基于不同环境下的不同子帧之间的图像信息的类别差和船艇的头部和尾部的三维坐标之间的差值之间的相关性，设置判别保护门限执行环境安全状态的判别，然后确定搜救计划的切换命令，作为本方案的优选实施例，如图2所示，船舶在平稳水平面上的A点坐标与B点坐标的差值，或者A点坐标与C点坐标之间的差值[i，Δx，Δy，Δz，Δv]是维持在水平面上的范围，在船舶发生事故后，船舶上的可视人员数量[γ]发生变化[i，Δγ]，并且水平面上的A点坐标与B点坐标的差值，或者A点坐标与C点坐标之间的差值[i，Δx，Δy，Δz]发生比较大的抖动，本方案中事故没有发生之前对于船舶i中[i，Δx，Δy，Δz，Δv，Δγ]之间的变化为由[i，0.5，0.5，0.6，0，0]到[i，0.5，0.5，15，10，3]的变化，基于两组矢量之间的相关性发生较大的转变可以进行事故风险的预判；
S3：在船艇出行后台管理中心布置海域控制命令，用于将搜救命令分别发送给船艇周围可视目标运行状态状态评估模块确定的处于需执行搜救计划的无人艇搜救命令具体执行步骤如下：
S31：在子帧时刻K的状态信息[k，i，Δx，Δy，Δz，Δv，Δγ]与时刻K+1的状态信息[k+1，i，Δx，Δy，Δz，Δv，Δγ]之间的相关性较弱，通过与判别门限比较，二者之间的差值在0.1-1的范围，判别安全状态；在二者之间的差值在1-3的范围，判别中等安全状态；在二者之间的差值在3-5的范围，判别不安全状态；在二者之间的差值在大于5的范围，判别危险状态；
S32：在判别状态为安全状态之外的情况，通过管理中心锁定危险船舶ID，基于危险船舶ID上的危险故障人员通过毫米波通信方式反馈到的监管中心基站的呼吸心跳参数，执行故障人员的融合定位策略，作为一个优选实施例，具体执行步骤如下：
首先，船舶工作人员通过佩戴(一般在手腕或者脖颈位置)监测呼吸心跳的监测设备，通过将按时监测到的呼吸心跳参数基于毫米波通信方式将呼吸心跳参数按照单频段进行编码后，通过反馈通道发生给5G射频模块的射频通道，经过天线空口反馈给对端；
其次，不同接收基站按照自定义协议接收到的包含呼吸心跳信息传输射频信号，通过解码操作得到事故人员的呼吸心跳参数，并通过基站测量天线计算得到吸心跳参数的传输时延误差和信号功率；
基于上述步骤得到的射频信号执行融合定位策略，具体执行步骤为：
Step1：首先在单基站1，2，...N通过阵列天线接收的射频信号Sa(t)按照自定义协议执行射频终端信号的解码步骤得到事故人员的呼吸心跳参数f1，f2；通过空域角度估计和传输距离计算步骤，进而得到事故人员的呼吸心跳参数和位置；
Step2：在单基站接收信号无法得到有效保障的条件下，基于监管中心多个基站同时接收到的相同事故人员的呼吸心跳参数的时间延迟和信号功率执行多个基站的选择策略：
Step3：通过预设信号功率门限，在多个基站中基于解码得到的事故人员信息θ，Cno，f1，f2，选择信号接收功率较高，并且基于相同信号来向θ之间的误差通过最小误差准则选择误差较小的4组及以上的基站接收信号Sn(t)，并进一步基于多个基站解算得到的事故人员的呼吸心跳参数f1，f2，通过常人呼吸心跳参数设定阈值判别门限Δf1，Δf2，在基于相同信号来向θ之间的误差通过最小误差准则选择误差较小的4组及以上的基站接收信号中基于呼吸心跳门限判别门限Δf1，Δf2按照危险级别执行优先处理的原则，呼吸心跳参数较低则事故人员比较危险，按照危险级别较高的优先处理原则，基于事故人员的有效参数θ+δθ，τ+δτ，Cno，ε1，ε2建立基于TDOA的最小二乘定位解算方程，具体执行步骤如下：
基于同一事故人员发送呼吸心跳信号，通过不同基站测量测到的传输时延τ和传输距离l,计算得到不同基站之间的传输时延误差ΔTn,按照上述基站选择策略得到的既定基站坐标Xn，Yn，Zn与事故人员求解位置做差得到传输距离
基于4组及以上的不同基站的传输距离方程进行方程解算得到事故人员的位置
在定位基站中的所选择的定位基站中基于不同组合中解算得到的位置通过计算平均值得到融合定位结果x，y，z；
基于融合定位策略得到不同船舶ID号中的故障人员定位信息x，y，z后将故障人员定位信息通过远程控制的方式发送到需要向故障位置执行搜救计划的无人艇，对特定故障位置执行搜救计划。
以上所描述的实施例是本发明一部分实施例，而不是全部的实施例。本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
Claims (4)
1.一种基于多传感器融合的海洋搜救方法,其特征在于:包括以下步骤:
S1:在船艇中布置视频采集模块、毫米波雷达传感器和北斗定位传感器,执行信号采集器安装指令,从各船艇采集传感器数据；
S2:在和传感器连接的计算机设备中布置采集信号评估模块,基于传感器数据计算船艇上的可视目标参数,确定各不同ID船艇的运行状态,所述运行状态是安全或不安全；
S3:在船艇后台管理中心布置海域控制命令,用于将搜救命令分别发送给船艇运行状态评估模块确定的处于需执行搜救计划的无人艇；其特征在于,通过计算机设备采集传感器数据并存储,然后计算机设备基于传感器数据执行不同船艇运行状态估计,基于不同环境下的状态评估结果在后台管理中心执行服务与监测；
步骤S1包括：
S101:基于视频采集模块得到的图像像素信息，通过图像像素信息提取4D毫米波雷达特征参数；
S102:基于北斗定位传感器采集得到的北斗接收机接收信号得到船艇的船身的头部和尾部的三维位置坐标；
步骤S2包括:
S201:以子帧为一个时间单位执行不同子帧下的特征的去噪处理得到不同分辨率的特征信号；
基于视频采集模块输出数据将图像上的像素点执行灰度值设置,
基于预设好的背景图像灰度值，执行对象像素的提取,执行顶帽变换得到均匀背景图像和目标图像；
基于不同子帧执行顶帽变换后的图像像素计算最佳概率目标阈值使对象图像像素和背景图像像素两个部分熵之和最大；
按照一定子帧之间的图像像素值通过执行雷达成像步骤得到不同空间角度上的可视目标三维坐标和运行速度，基于可视目标三维坐标、运行速度、相机坐标系和大地坐标系，并按照图像坐标系-像素坐标系执行图像像素转换，按照不同类别属性的图像信息分类，至此得到不同类别的图像标签信息、船舶上在不同场景下的可视人员数量[γ]和相应位置信息；
S202：A:基于北斗定位传感器的时域离散序列执行非相干累积计算得到船身的头部和尾部的4D坐标[x，y，z，v],并将头部和尾部的4D坐标做差值,得到头部和尾部的4D坐标之间的差值[Δx，Δy，Δz，Δv]；
B:基于不同类别图像信息,把不同船艇中的不同子帧的图像信息的可视人员数量变化[Δγ],船艇的船身的头部和尾部的4D坐标之间的差值[Δx，Δy，Δz，Δv],以及不同船艇编号[i]作为先验信息在计算机设备中执行存储[i，Δx，Δy，Δz，Δv，Δγ],基于不同环境下的不同子帧之间的图像信息的可视人员数量变化[Δγ]和船艇的船身的头部和尾部的4D坐标之间的差值[Δx，Δy，Δz，Δv]之间的相关性,设置判别保护门限执行环境安全状态的判别,然后确定搜救计划的切换命令。
2.根据权利要求1所述的一种基于多传感器融合的海洋搜救方法,其特征在于:步骤S3包括:
S301:基于不同子帧中的可视人员数量变化[Δγ]和船艇的船身的头部和尾部的4D坐标之间的差值[Δx，Δy，Δz，Δv]之间的相关性,通过设定判别保护门限执行安全指数的判别,在落在安全保护阈的情况下,将环境判别为安全；
在落在危险保护阈的情况下,将环境判别为不安全；
S302:基于船舶安全或者不安全的状态判别,基于船舶人员佩戴的呼吸心跳检测设备测量的呼吸心跳结果,在船舶周围执行危险人员的动态监测；
S303:基于危险人员的动态监测结果执行事故人员的定位与搜救策略。
3.根据权利要求2所述的一种基于多传感器融合的海洋搜救方法,其特征在于:S302包括：
A:船舶人员佩戴的呼吸心跳检测设备为毫米波雷达设备,通过佩戴在船舶工作人员的手腕或者脖颈位置执行呼吸心跳监测；
B:按照自定义协议的格式输出呼吸心跳的数值结果；
C:将呼吸心跳的数值结果反馈到监管中心,用于事故人员的监测。
4.根据权利要求2所述的一种基于多传感器融合的海洋搜救方法,其特征在于:S303包括:
A:基于危险事故人员身上佩戴的呼吸心跳检测设备通过wifi通信方式将呼吸心跳值反馈到监管中心；
B:通过每位事故人员反馈到监管基站点之间的传输时延差和功率,建立基于最小二乘的定位模型,解算得到事故人员定位结果；
C:基于事故人员的位置将搜救命令发送给处于救急状态的船艇。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310971858.1A CN117115704B (zh) | 2023-08-03 | 2023-08-03 | 一种基于多传感器融合的海洋搜救系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310971858.1A CN117115704B (zh) | 2023-08-03 | 2023-08-03 | 一种基于多传感器融合的海洋搜救系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117115704A CN117115704A (zh) | 2023-11-24 |
| CN117115704B true CN117115704B (zh) | 2024-04-02 |
Family
ID=88793921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310971858.1A Active CN117115704B (zh) | 2023-08-03 | 2023-08-03 | 一种基于多传感器融合的海洋搜救系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115704B (zh) |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108235277A (zh) * | 2018-01-23 | 2018-06-29 | 上海工程技术大学 | 一种邮轮远程救援系统及其方法 |
| CN109188421A (zh) * | 2018-07-25 | 2019-01-11 | 江苏科技大学 | 一种用于无人搜救艇的海上搜救系统及方法 |
| KR20190066873A (ko) * | 2017-12-06 | 2019-06-14 | 주식회사 아세스 | 드론을 이용한 인명 구조 자동화 방법 및 이를 실행하는 프로그램이 기록된 기록매체 |
| CN109996037A (zh) * | 2019-04-01 | 2019-07-09 | 四川智海联科技有限公司 | 一种水域的安全监控方法、装置、设备及系统 |
| CN110422302A (zh) * | 2019-07-24 | 2019-11-08 | 华中科技大学 | 一种利用子母无人艇的水上遇险人员快速搜救系统及方法 |
| CN110867098A (zh) * | 2019-11-27 | 2020-03-06 | 邓正珊 | 一种物联网智能水上交通行驶危险评估系统 |
| CN110879394A (zh) * | 2019-12-26 | 2020-03-13 | 湖南纳雷科技有限公司 | 基于运动姿态信息的无人船雷达避障系统及方法 |
| EP3647829A1 (en) * | 2018-10-31 | 2020-05-06 | Xocean Limited | Image processing for an unmanned marine surface vessel |
| CN112947587A (zh) * | 2021-01-28 | 2021-06-11 | 南通大学 | 一种智能化无人艇搜救系统及搜救方法 |
| CN113326640A (zh) * | 2021-08-03 | 2021-08-31 | 北京海兰信数据科技股份有限公司 | 一种确定内河船舶碰撞危险度的方法及系统 |
| CN113553986A (zh) * | 2021-08-02 | 2021-10-26 | 浙江索思科技有限公司 | 一种船舶上运动目标检测方法及系统 |
| CN114252891A (zh) * | 2020-09-10 | 2022-03-29 | 张南 | 基于海洋环境下的腋下式生命体征传输定位搜救系统 |
| CN114333424A (zh) * | 2021-12-28 | 2022-04-12 | 宁波大学 | 一种桥梁防船撞监测预警系统 |
| CN114399700A (zh) * | 2021-12-09 | 2022-04-26 | 东莞市华睿电子科技有限公司 | 一种智能控制方法及系统 |
| CN114998846A (zh) * | 2022-05-06 | 2022-09-02 | 深圳英飞拓智能技术有限公司 | 海上钻井平台智能化系统的实现方法、系统及相关组件 |
| CN115396834A (zh) * | 2022-08-24 | 2022-11-25 | 应急管理部沈阳消防研究所 | 一种水下应急救援导航指挥系统及方法 |
| CN115471385A (zh) * | 2022-08-31 | 2022-12-13 | 泰州市金海运船用设备有限责任公司 | 一种海上智能搜救系统以及方法 |
| CN115865164A (zh) * | 2022-09-08 | 2023-03-28 | 交通运输部天津水运工程科学研究所 | 基于垂直起降固定翼无人机的海上救援装备应急投放方法 |
| CN116087982A (zh) * | 2023-02-10 | 2023-05-09 | 江苏佼燕船舶设备有限公司 | 一种融合视觉和雷达系统的海上落水人员识别及定位方法 |
| CN116244929A (zh) * | 2023-01-18 | 2023-06-09 | 北京航空航天大学 | 一种面向中远海救援的两栖飞机着水救援流程规划方法 |
| CN116486252A (zh) * | 2023-03-03 | 2023-07-25 | 上海大学 | 一种基于改进的pv-rcnn目标检测算法的智能化无人搜救系统和搜救方法 |
-
2023
- 2023-08-03 CN CN202310971858.1A patent/CN117115704B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190066873A (ko) * | 2017-12-06 | 2019-06-14 | 주식회사 아세스 | 드론을 이용한 인명 구조 자동화 방법 및 이를 실행하는 프로그램이 기록된 기록매체 |
| CN108235277A (zh) * | 2018-01-23 | 2018-06-29 | 上海工程技术大学 | 一种邮轮远程救援系统及其方法 |
| CN109188421A (zh) * | 2018-07-25 | 2019-01-11 | 江苏科技大学 | 一种用于无人搜救艇的海上搜救系统及方法 |
| EP3647829A1 (en) * | 2018-10-31 | 2020-05-06 | Xocean Limited | Image processing for an unmanned marine surface vessel |
| CN109996037A (zh) * | 2019-04-01 | 2019-07-09 | 四川智海联科技有限公司 | 一种水域的安全监控方法、装置、设备及系统 |
| CN110422302A (zh) * | 2019-07-24 | 2019-11-08 | 华中科技大学 | 一种利用子母无人艇的水上遇险人员快速搜救系统及方法 |
| CN110867098A (zh) * | 2019-11-27 | 2020-03-06 | 邓正珊 | 一种物联网智能水上交通行驶危险评估系统 |
| CN110879394A (zh) * | 2019-12-26 | 2020-03-13 | 湖南纳雷科技有限公司 | 基于运动姿态信息的无人船雷达避障系统及方法 |
| CN114252891A (zh) * | 2020-09-10 | 2022-03-29 | 张南 | 基于海洋环境下的腋下式生命体征传输定位搜救系统 |
| CN112947587A (zh) * | 2021-01-28 | 2021-06-11 | 南通大学 | 一种智能化无人艇搜救系统及搜救方法 |
| CN113553986A (zh) * | 2021-08-02 | 2021-10-26 | 浙江索思科技有限公司 | 一种船舶上运动目标检测方法及系统 |
| CN113326640A (zh) * | 2021-08-03 | 2021-08-31 | 北京海兰信数据科技股份有限公司 | 一种确定内河船舶碰撞危险度的方法及系统 |
| CN114399700A (zh) * | 2021-12-09 | 2022-04-26 | 东莞市华睿电子科技有限公司 | 一种智能控制方法及系统 |
| CN114333424A (zh) * | 2021-12-28 | 2022-04-12 | 宁波大学 | 一种桥梁防船撞监测预警系统 |
| CN114998846A (zh) * | 2022-05-06 | 2022-09-02 | 深圳英飞拓智能技术有限公司 | 海上钻井平台智能化系统的实现方法、系统及相关组件 |
| CN115396834A (zh) * | 2022-08-24 | 2022-11-25 | 应急管理部沈阳消防研究所 | 一种水下应急救援导航指挥系统及方法 |
| CN115471385A (zh) * | 2022-08-31 | 2022-12-13 | 泰州市金海运船用设备有限责任公司 | 一种海上智能搜救系统以及方法 |
| CN115865164A (zh) * | 2022-09-08 | 2023-03-28 | 交通运输部天津水运工程科学研究所 | 基于垂直起降固定翼无人机的海上救援装备应急投放方法 |
| CN116244929A (zh) * | 2023-01-18 | 2023-06-09 | 北京航空航天大学 | 一种面向中远海救援的两栖飞机着水救援流程规划方法 |
| CN116087982A (zh) * | 2023-02-10 | 2023-05-09 | 江苏佼燕船舶设备有限公司 | 一种融合视觉和雷达系统的海上落水人员识别及定位方法 |
| CN116486252A (zh) * | 2023-03-03 | 2023-07-25 | 上海大学 | 一种基于改进的pv-rcnn目标检测算法的智能化无人搜救系统和搜救方法 |
Non-Patent Citations (7)
| Title |
|---|
| Efficient LiDAR-Based Object Segmentation and Mapping for Maritime Environments;David Thompson et al.;《IEEE Journal of Oceanic Engineering》;20190301;第4卷(第2期);全文 * |
| Research Review on Marine Search and Rescue;Xinqiang Chen et al.;《Journal of Shipping and Ocean Engineering》;全文 * |
| Risk Evaluation of Navigation Environment Based on Dynamic Weight Model and Its Application;Shuzhe chen et al.;《Journal of Marine Science and Engineering》;全文 * |
| 基于LSTM与注意力机制的船舶航迹预测模型研究;刘成勇 等;《中国航海》;20211231;第44卷(第4期);全文 * |
| 基于北斗卫星的人员搜救系统的研究与应用;袁向兵;《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》(第2018年05期期);全文 * |
| 基于线扫描的海洋目标成像激光雷达系统研究;崔子浩;《中国博士学位论文全文数据库 基础科学辑》;20210115(第2021年01期);全文 * |
| 基于黎曼球面投影变换的船舶会遇风险感知建模;陈蜀喆 等;《武汉理工大学学报(交通科学与工程版)》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117115704A (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111028546B (zh) | 基于岸基雷达面向智能船舶的多船协同避碰系统和方法 | |
| CN111157982A (zh) | 基于岸基雷达的智能船舶船岸协同目标跟踪系统和方法 | |
| CN104660993B (zh) | 基于ais和cctv的海事智能监控方法及系统 | |
| US9208673B2 (en) | Monitoring system, monitoring module apparatus and method of monitoring a volume | |
| CN109460035A (zh) | 一种无人艇高速状态下的二级自主避障系统及避障方法 | |
| CN109817023B (zh) | 一种海缆水域ais目标检测方法 | |
| CN111739345A (zh) | 一种基于ais的水上智能监控管理方法及系统 | |
| CN112053591B (zh) | 无人机群协同智能航标的近海立体联动组网系统 | |
| CN202471960U (zh) | 一种岸基雷达监控系统 | |
| CN112382131B (zh) | 一种机场场面安全避撞预警系统和方法 | |
| CN105390028A (zh) | 船舶航行轨迹的纠正方法和系统 | |
| CN113050121A (zh) | 一种船舶导航系统和船舶导航方法 | |
| CN114846530A (zh) | 船舶的航行辅助系统中的管理服务器、船舶的航行辅助方法及船舶的航行辅助程序 | |
| CN110879394A (zh) | 基于运动姿态信息的无人船雷达避障系统及方法 | |
| CN210091393U (zh) | 一种基于北斗定位系统的岸基靠泊指挥系统 | |
| CN111460920A (zh) | 一种面向机场复杂场景的目标跟踪及分割系统 | |
| CN205582304U (zh) | 一种航道船舶交通量调查系统 | |
| Wu et al. | A new multi-sensor fusion approach for integrated ship motion perception in inland waterways | |
| CN109131909B (zh) | 基于ads-b的防撞系统 | |
| CN117115704B (zh) | 一种基于多传感器融合的海洋搜救系统及方法 | |
| CN113642993A (zh) | 一种基于位置的海上综合服务平台及其救援方法台 | |
| CN111949034B (zh) | 一种无人船自主航行系统 | |
| CN111626129A (zh) | 基于卫星ais与红外相机的舰船目标联合探测方法 | |
| Qin et al. | Research on information fusion structure of radar and AIS | |
| CN111710192A (zh) | 一种船桥碰撞事故预警与记录方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |