CN116087982A - 一种融合视觉和雷达系统的海上落水人员识别及定位方法 - Google Patents
一种融合视觉和雷达系统的海上落水人员识别及定位方法 Download PDFInfo
- Publication number
- CN116087982A CN116087982A CN202310097191.7A CN202310097191A CN116087982A CN 116087982 A CN116087982 A CN 116087982A CN 202310097191 A CN202310097191 A CN 202310097191A CN 116087982 A CN116087982 A CN 116087982A
- Authority
- CN
- China
- Prior art keywords
- water
- sea
- radar
- person falling
- vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明公开了一种融合视觉和雷达系统的海上落水人员识别及定位方法,涉及海上救援救助领域。本发明首先基于视觉图像实现目标的检测,进而得到落水人员的方位信息来进一步确定三维激光雷达的探测范围,然后对三维激光雷达原始点云数据进行预处理滤波,再利用欧式聚类实现分割,最终将视觉图像与点云雷达图像进行融合实现区域匹配,得到落水人员相对于船体的具体距离,结合已知的方位信息,抵近展开救援。本发明在利用三维激光雷达进行探测前先根据视觉目标检测的结果得到落水人员的方位信息来进一步确定雷达的探测角度范围,使得探测更有针对性,提高了对落水人员识别定位的高效性。
Description
技术领域
本发明涉及海上救援救助领域,尤其涉及一种融合视觉和雷达系统的海上落水人员识别及定位方法。
背景技术
目前,海上救援主要依赖于救助艇等在海域内开展地毯式搜索来完成,一定程度上极大降低了海上救援的风险。救助艇是用于救助遇险人员及集结救生筏,且有良好操纵性的机动小艇。但在海洋这样复杂多变的环境背景下,基于这一类的船艇对落水人员这类弱小目标实现及时的识别与定位一直是一个难题。
对于海上落水人员这类目标的识别目前主要是可以通过一些深度学习的模型实现,但由于数据集的限制、场景的特殊性以及目标的小尺度特征,尚未能达到较好的检测效果。
在海面这样多有遮挡变化的场景中,可见光图像提供的信息是最为丰富的。而目前,利用深度学习算法对可见光图像进行处理,实现目标检测是一个热门的研究领域。近年来相关算法发展得十分迅速,准确率也在不断提升。因此,将相应的目标检测算法应用于海面落水人员这一类的弱小目标的检测识别是目前最兼具准确性和实时性的方法之一。
另外,对于落水人员这一类目标要实施救援,除了要得到其方位信息,还需要得到其相对于救援船体的距离信息。
激光雷达,是以发射激光束探测目标的位置、速度等特征量的雷达系统;其工作原理是向目标发射探测信号(激光束),然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较,作适当处理后,就可获得目标的有关信息,如目标距离、方位、高度、速度等参数,从而对目标进行探测、跟踪和识别。另外,雷达还兼具了准确性与实时性,在海面救援这一场景中,能较好地满足对于目标探测距离同时保证实时性的需求。
综上所述,融合视觉与雷达系统有望帮助解决海上落水人员的识别与定位这一难题。在实际场景中,可以在救助艇等海上救援救助设备上实现该算法的应用,进一步提高救援救助效率。
发明内容
有鉴于此,本发明主要目的在于提供一种融合视觉和雷达系统的海上落水人员识别及定位方法,以克服现有技术中的上述缺陷。
本发明解决技术问题所采取的技术方案为:
步骤一:采集海面实时图像,进行目标检测,得到第一海面目标候选集以及第一坐标信息;利用相机标定原理得到落水人员的方位信息;同时确定三维激光雷达的搜索范围θ;
步骤二:获取三维激光雷达原始点云数据,进行预处理滤波;采用欧式聚类算法得到第二海面目标候选集以及第二坐标信息;
步骤三:利用联合标定建立第一坐标信息和第二坐标信息的转换关系,实现雷达点云图像与可见光图像的融合;
步骤四:候选目标区域匹配,最终得到落水人员的方位与距离信息。
本发明还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现上述方法。
本发明具有以下有益效果:
1.融合视觉和雷达系统实现检测,一方面利用深度学习模型对可见光图像进行目标检测,是目前最为高效与准确的方法之一;另一方面利用雷达实现对落水人员的距离探测也是较为精准的,将两者结合实现识别与定位的整体方案是高效且可靠的。
2.在利用三维激光雷达进行探测前先根据视觉目标检测的结果得到落水人员的方位信息来进一步确定雷达的探测角度范围,使得探测更有针对性,提高了对落水人员识别定位的高效性。
3.在对点云进行欧式聚类前采用了针对性的预处理滤波算法,可有效滤除离散点、阳光噪点和其他无关点云,增强目标点云的特征,滤除效果较好;同时,减少点云簇容量降低计算量,满足实时性检测的需求。
附图说明
图1是融合视觉和雷达系统的海上落水人员识别及定位方法流程图。
图2是落水人员相对于单目摄像机和雷达角度的平面示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,将结合附图对本发明作进一步地详细描述。这种描述是通过示例而非限制的方式介绍了与本发明的原理相一致的具体实施方式,这些实施方式的描述是足够详细的,以使得本领域技术人员能够实践本发明,在不脱离本发明的范围和精神的情况下可以使用其他实施方式并且可以改变和/或替换各要素的结构。因此,不应当从限制性意义上来理解以下的详细描述。
如图1所示,本发明提供了一种海上落水人员识别及定位方法,包含以下步骤:
步骤一:采集海面实时图像,进行目标检测,得到第一海面目标候选集以及第一坐标信息;利用相机标定原理得到落水人员的方位信息;同时确定雷达的搜索范围θ。
步骤二:获取三维激光雷达原始点云数据,进行预处理滤波;采用欧式聚类算法得到第二海面目标候选集以及第二坐标信息。
步骤三:利用联合标定建立坐标转换关系,实现雷达点云图像与可见光图像的融合。
步骤四:候选目标区域匹配,最终得到落水人员的方位与距离信息。
在某些实施例中,所述步骤一中的目标检测可以利用深度学习模型YOLOv5实现。具体是:首先搜集海上落水人员以及相似的图片,利用CutMix、Mosaic等数据增强方法来进一步扩充数据集,提升模型泛化能力;利用YOLOv5基于COCO数据集的预训练模型来进行检测落水人员模型的训练;通过对模型训练过程中超参数(learning rate,batch_size,optimizer,epoch等)的设置来实现模型的迭代,以获得检测效果较优的模型。最终训练好的模型只会对落水人员这一类目标进行检测,减少海面上其他物体对检测的干扰。
所述步骤一中的第一海面目标候选集,是通过目标检测得到的海面落水人员这一类单一目标的情况集合。
所述步骤一中的相机标定,选择张正友标定法,来获得相机的内参矩阵M1和外参矩阵M2,用于将落水人员的像素坐标转换到世界坐标,进一步得到落水人员的方位信息。
其中,内参矩阵M1中的fx是使用像素来描述x轴方向焦距的长度,fy是使用像素来描述y轴方向焦距的长度;(u0,v0)为成像平面的中点,单位为像素;外参矩阵M2中R为转移矩阵,T为偏移向量。
P(u,v)为像素坐标,像素平面与成像平面重合,规定以成像平面的左上角顶点为该坐标系的原点o,x轴和y轴分别与图像坐标系的x轴和y轴平行。zc为目标在相机坐标系下于z轴的投影,是未知量,Pw(xw,yw,zw)为世界坐标,来描述目标在真实世界中的位置,原点O由用户定义。
在本实施例场景中,世界坐标系原点O为单目摄像机的光心,x轴和y轴分别与图像坐标系的x轴和y轴平行,z轴即为相机光轴。定义落水人员的像素坐标P(u1,v1),世界坐标Pw(x1,y1,z1)。像素坐标可以通过步骤一中的目标检测得到,代入上式,可得(假设M1、M2均可逆):
由于zc是未知量,因此上式不能直接得到目标在世界坐标系下的具体坐标,但可以得到x1,y1,z1的比例关系,进而得到落水人员相较于船体(单目摄像机)大致的方位信息。如图2所示,由于检测的距离一般在几十米到一百米左右,因此仅考虑单目摄像机和三维激光雷达的水平距离a对于检测角度范围的影响,而忽略单目摄像机、三维激光雷达与落水人员之间的纵向距离差,以单目摄像机的光轴(z轴)为中心轴线,近似得到落水人员与单目摄像机在水平面上的夹角为θ1。
根据得到x1,y1,z1的比例关系,可得:
所述步骤一中雷达的搜索范围θ,是指根据目标检测进一步得到的方位信息θ1进一步确定雷达的检测角度范围,使检测更有针对性更高效。
定义落水人员与三维激光雷达在同一水平面上的夹角为θ2,Δθ=θ2-θ1。在无人艇上,一般雷达放置于船头的位置,摄像机放置于船的中央,有一定高度Δh,由于Δh较小,因此在本实施例场景中暂忽略其影响;两者一般都位于船的中心轴线l上;基于实际情况,取雷达与摄像机的水平距离a=3m。
定义雷达与落水人员的距离为c,摄像机与落水人员的距离为b,在该应用场景中,可得b∈[10,100]。在该水平面内,根据余弦定理:c2=a2+b2-2abcosθ1,
代入相关数据,得到:
c2∈[109-60cosθ1,10009-600cosθ1]
一般,相机的视角为45°左右,即θ1∈(0,45),代入上式进一步得到:
c∈[7,97.91)
在该应用场景中,仅需考虑这个比值的最大值,再对θ2基于θ1进行赋值。当θ1无限趋近于0°时,c的最小临界值为7,进而得到该比值的上限为0.43;又因为当角度在±27°以内时,正弦值可以由弧度值进行近似估算,得到:
因此,设定雷达的扫描角度范围θ=1.5θ1。进一步地,结合θ1角度的正负情况(在世界坐标系中,x1>0即角度为正):以0.5θ1作为扫描起点,2θ1为扫描终点,对候选目标进行针对性的搜索。
在某些实施例中,所述步骤二中对点云数据进行预处理滤波,三维激光雷达在固定范围θ内进行扫描会产生大量点云数据,为进一步满足检测实时性和准确性的需求,需要在聚类之前先对数据进行预处理;
所述步骤二中的预处理滤波包括:
1)首先利用高斯滤波器对整个点云进行加权平均,实现线性平滑滤波,进而消除噪声;
其中,(x,y)为点云中待滤波点的坐标,σ为标准差,影响整体滤波的权重分布以及滤波效果。
2)再利用体素滤波器实现下采样同时保留点云的几何结构,进一步减少数据量。
所述步骤二中选择欧式聚类算法,因为在聚类算法中,K-means聚类需要知道目标物的数量,进而先设定k值再进行聚类,而海面环境较为复杂多变,目标众多,该算法使用的灵活性较差。DBSCAN聚类算法较为复杂,检测需较长的运行时间,不能满足该场景的实时性需求;而欧式聚类则相比较于灵活,仅需设置相应的距离阈值t就可以进行点云的分割处理,而对于海面落水人员的检测,该阈值也可以较为容易确定;另外,算法整体较为简单,所需的时间复杂度也不高,可以满足该场景实时性的需求。
所述步骤二中的第二海面目标候选集,即三维雷达激光点云经欧式聚类后得到的海面多种目标的情况集合。
在某些实施例中,所述步骤三中的联合标定基于Autoware框架下的calibration_camera_lidar即可实现。
所述步骤三中的三维激光雷达与单目摄像机的坐标转换关系为:
其中,(xc,yc,zc)为目标在相机坐标系下的坐标(即第一坐标信息),(xl,yl,zl)为目标在三维激光雷达坐标系下对应的坐标(即第二坐标信息),Rcl与Tcl分别为三维激光雷达坐标系到可见光相机坐标系下的转换矩阵和平移向量。
所述步骤三中的图像融合,根据三维激光雷达和单目摄像机的坐标转换关系,可以将雷达点云图像投影到可见光图像上,实现海面图像像素级融合。融合后的图像对海面场景的呈现更直观、更清晰,有利于数据进一步的处理。
在某些实施例中,所述步骤四中的候选目标区域,即由上述步骤一和步骤二得到海面目标候选集,第一海面目标候选集中仅包含落水人员这一目标的图像检测情况,第二海面目标候选集中则是包含了海面可能出现的多类目标的雷达探测情况以及其对应的点云聚类结果,进一步包含了目标相较于无人艇的距离信息。
所述步骤四中的候选目标区域匹配,对两个海面目标候选集中的每一类中心点M,N之间的距离L进行计算,设定阈值t,即可实现对应目标区域的匹配:
LMN<=t,区域匹配
LMN>t,区域不匹配
其中,(xM,yM)为目标检测得到第一海面目标候选集的每一类中心点的坐标,(xN,yN)为三维雷达激光点云得到的第二海面目标候选集的每一类中心点的坐标。
在该实施例场景下,阈值t设定在3mm左右,容许一定的偏差。因为第一海面目标候选集中仅包含落水人员这一类目标,因此最后匹配的区域即为落水人员的对应区域。根据落水人员的具体方位与距离信息,船体即可进一步抵近开展救援。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (9)
1.一种融合视觉和雷达系统的海上落水人员识别及定位方法,其特征在于该方法包括以下步骤:
步骤一:采集海面实时图像,进行目标检测,得到第一海面目标候选集以及第一坐标信息;利用相机标定原理得到落水人员的方位信息;同时确定三维激光雷达的搜索范围θ;
步骤二:获取三维激光雷达原始点云数据,进行预处理滤波;采用欧式聚类算法得到第二海面目标候选集以及第二坐标信息;
步骤三:利用联合标定建立第一坐标信息和第二坐标信息的转换关系,实现雷达点云图像与可见光图像的融合;
步骤四:候选目标区域匹配,最终得到落水人员的方位与距离信息。
2.根据权利要求1所述的一种融合视觉和雷达系统的海上落水人员识别及定位方法,其特征在于:所述的目标检测由深度学习模型YOLOv5实现。
3.根据权利要求1所述的一种融合视觉和雷达系统的海上落水人员识别及定位方法,其特征在于:所述的相机标定选用张正友标定法。
4.根据权利要求1所述的一种融合视觉和雷达系统的海上落水人员识别及定位方法,其特征在于:所述的搜索范围θ=1.5θ1,其中θ1为落水人员与单目摄像机在水平面上的夹角,单目摄像机位于船中央,三维激光雷达位于船头,船体的中心轴线贯穿两者。
5.根据权利要求4所述的一种融合视觉和雷达系统的海上落水人员识别及定位方法,其特征在于:所述三维激光雷达以0.5θ1作为扫描起点,2θ1为扫描终点,对候选目标进行针对性的搜索。
6.根据权利要求1所述的一种融合视觉和雷达系统的海上落水人员识别及定位方法,其特征在于:所述的预处理滤波具体是:利用高斯滤波器对整个点云进行加权平均,实现线性平滑滤波,进而消除噪声;再利用体素滤波器实现下采样,同时保留点云的几何结构,进一步减少数据量。
7.根据权利要求1所述的一种融合视觉和雷达系统的海上落水人员识别及定位方法,其特征在于:所述的联合标定基于Autoware框架下的calibration_camera_lidar实现。
8.根据权利要求1所述的一种融合视觉和雷达系统的海上落水人员识别及定位方法,其特征在于:所述的候选目标区域匹配是对第一海面目标候选集和第二海面目标候选集中的每一类中心点之间的距离进行计算,设定阈值,即可实现对应目标区域的匹配。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如权利要求1-8所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310097191.7A CN116087982A (zh) | 2023-02-10 | 2023-02-10 | 一种融合视觉和雷达系统的海上落水人员识别及定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310097191.7A CN116087982A (zh) | 2023-02-10 | 2023-02-10 | 一种融合视觉和雷达系统的海上落水人员识别及定位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116087982A true CN116087982A (zh) | 2023-05-09 |
Family
ID=86204291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310097191.7A Pending CN116087982A (zh) | 2023-02-10 | 2023-02-10 | 一种融合视觉和雷达系统的海上落水人员识别及定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116087982A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117115704A (zh) * | 2023-08-03 | 2023-11-24 | 武汉理工大学 | 一种基于多传感器融合的海洋搜救系统及方法 |
CN117119021A (zh) * | 2023-10-25 | 2023-11-24 | 江苏物润船联网络股份有限公司 | 一种基于船联网的细粒度定位方法和系统 |
-
2023
- 2023-02-10 CN CN202310097191.7A patent/CN116087982A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117115704A (zh) * | 2023-08-03 | 2023-11-24 | 武汉理工大学 | 一种基于多传感器融合的海洋搜救系统及方法 |
CN117115704B (zh) * | 2023-08-03 | 2024-04-02 | 武汉理工大学 | 一种基于多传感器融合的海洋搜救系统及方法 |
CN117119021A (zh) * | 2023-10-25 | 2023-11-24 | 江苏物润船联网络股份有限公司 | 一种基于船联网的细粒度定位方法和系统 |
CN117119021B (zh) * | 2023-10-25 | 2024-01-26 | 江苏物润船联网络股份有限公司 | 一种基于船联网的细粒度定位方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109283538B (zh) | 一种基于视觉和激光传感器数据融合的海上目标大小检测方法 | |
CN107844750B (zh) | 一种水面全景图像目标检测识别方法 | |
CN116087982A (zh) | 一种融合视觉和雷达系统的海上落水人员识别及定位方法 | |
US20220024549A1 (en) | System and method for measuring the distance to an object in water | |
Aykin et al. | On feature extraction and region matching for forward scan sonar imaging | |
Bovcon et al. | Obstacle detection for usvs by joint stereo-view semantic segmentation | |
CN112184765B (zh) | 一种用于水下航行器的自主跟踪方法 | |
CN113985419A (zh) | 水面机器人协同障碍物检测及避障方法及系统 | |
Xi et al. | Review of underwater machine vision technology and its applications | |
CN115147723B (zh) | 一种内河船舶识别与测距方法、系统、介质、设备及终端 | |
Shin et al. | Bundle adjustment from sonar images and SLAM application for seafloor mapping | |
CN116468786B (zh) | 一种面向动态环境的基于点线联合的语义slam方法 | |
Bovcon et al. | Improving vision-based obstacle detection on USV using inertial sensor | |
Kim et al. | High-precision underwater 3d mapping using imaging sonar for navigation of autonomous underwater vehicle | |
Wang et al. | Acmarker: Acoustic camera-based fiducial marker system in underwater environment | |
Sorial et al. | Towards a real time obstacle detection system for unmanned surface vehicles | |
Franchi et al. | A probabilistic 3D map representation for forward-looking sonar reconstructions | |
Thompson | Maritime object detection, tracking, and classification using lidar and vision-based sensor fusion | |
Chen et al. | A novel unmanned surface vehicle with 2d-3d fused perception and obstacle avoidance module | |
Li et al. | Vision-based target detection and positioning approach for underwater robots | |
CN113792593A (zh) | 一种基于深度融合的水下近距离目标识别跟踪方法及系统 | |
Cortés-Pérez et al. | A mirror-based active vision system for underwater robots: From the design to active object tracking application | |
Feng et al. | Multi-AUV terminal guidance method based on underwater visual positioning | |
Xing et al. | Quadrotor vision-based localization for amphibious robots in amphibious area | |
Zhang et al. | Terminal stage guidance method for underwater moving rendezvous and docking based on monocular vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |