CN117523568B - 一种基于无人船的桥高检测方法、装置、设备及介质 - Google Patents

一种基于无人船的桥高检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN117523568B
CN117523568B CN202410023106.7A CN202410023106A CN117523568B CN 117523568 B CN117523568 B CN 117523568B CN 202410023106 A CN202410023106 A CN 202410023106A CN 117523568 B CN117523568 B CN 117523568B
Authority
CN
China
Prior art keywords
bridge
point cloud
image
coordinates
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410023106.7A
Other languages
English (en)
Other versions
CN117523568A (zh
Inventor
张豪杰
姜梦馨
王培栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Orca Electronic Intelligent Technology Co ltd
Original Assignee
Shaanxi Orca Electronic Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Orca Electronic Intelligent Technology Co ltd filed Critical Shaanxi Orca Electronic Intelligent Technology Co ltd
Priority to CN202410023106.7A priority Critical patent/CN117523568B/zh
Publication of CN117523568A publication Critical patent/CN117523568A/zh
Application granted granted Critical
Publication of CN117523568B publication Critical patent/CN117523568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/882—Radar or analogous systems specially adapted for specific applications for altimeters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/52—Determining velocity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明实施例公开了一种基于无人船的桥高检测方法、装置、设备及介质。所述方法包括：获取毫米波雷达返回的点云数据与采集设备返回的采集图像；通过GNSS获取船体速度，根据船体速度与径向速度的对应关系将点云数据的初始坐标更新，获取点云数据的目标坐标；根据预设语义分割模型将采集图像进行语义分割，获取桥梁语义图像；根据预设坐标转换矩阵将目标坐标转换为图像坐标，根据桥梁语义图像将坐标转换后的点云数据筛选，获取桥梁点云集合；将桥梁点云集合的目标坐标与图像坐标以及设备参数进行坐标计算获取桥梁坐标集合，根据桥梁坐标集合确定待检测桥梁的高度。通过实施本发明实施例的方法可使得无人船执行自主任务精确测量桥梁高度。

Description

一种基于无人船的桥高检测方法、装置、设备及介质
技术领域
本发明涉及无人船感知的技术领域，尤其涉及一种基于无人船的桥高检测方法、装置、设备及介质。
背景技术
随着科技的发展，无人船的发展逐渐受到人们的重视，因此无人船在内河场景时的发展也越来越快，智能程度也逐渐增高。无人船在自主执行任务时过桥是不可避免的，因此，无人船自主过桥功能是必不可少的。现有技术中的无人船已经搭载了摄像头与毫米波雷达等传感器，但因摄像头所采集的图像没有场景的深度信息以及毫米波雷达测得的数据的高度部分的误差较大，使得无法精确的测量桥梁的高度，而导致无人船自主执行任务时因无法正确判断桥梁高度是否允许通行而导致任务失败。
发明内容
本发明实施例提供了一种基于无人船的桥高检测方法、装置、设备及介质，旨在解决无人船执行自主任务时无法精确测量桥梁高度的问题。
第一方面，本发明实施例提供了一种基于无人船的桥高检测方法，其包括：获取预设间隔范围内毫米波雷达返回的点云数据与采集设备返回的采集图像；通过GNSS获取船体速度，根据所述船体速度与径向速度的对应关系将所述点云数据的初始坐标进行更新，获取所述点云数据的目标坐标，其中所述点云数据中每个点均包括所述初始坐标与所述径向速度，所述径向速度为待检测桥梁与所述毫米波雷达之间的速度分量；根据预设语义分割模型将所述采集图像进行语义分割，获取桥梁语义图像；根据预设坐标转换矩阵将所述点云数据的目标坐标转换为所述采集图像的图像坐标系下的图像坐标，并根据所述桥梁语义图像将坐标转换后的所述点云数据进行筛选，获取所对应的桥梁点云集合；将所述桥梁点云集合的所述目标坐标与所述图像坐标以及所述采集设备的设备参数进行坐标计算获取空间坐标系下的桥梁坐标集合，并根据所述桥梁坐标集合确定所述待检测桥梁的高度。
第二方面，本发明实施例还提供了一种基于无人船的桥高检测装置，其包括：获取单元，用于获取预设间隔范围内毫米波雷达返回的点云数据与采集设备返回的采集图像；更新单元，用于通过GNSS获取船体速度，根据所述船体速度与径向速度的对应关系将所述点云数据的初始坐标进行更新，获取所述点云数据的目标坐标，其中所述点云数据中每个点均包括所述初始坐标与所述径向速度，所述径向速度为待检测桥梁与所述毫米波雷达之间的速度分量；分割单元，用于根据预设语义分割模型将所述采集图像进行语义分割，获取桥梁语义图像；筛选单元，用于根据预设坐标转换矩阵将所述点云数据的目标坐标转换为所述采集图像的图像坐标系下的图像坐标，并根据所述桥梁语义图像将坐标转换后的所述点云数据进行筛选，获取所对应的桥梁点云集合；确定单元，用于将所述桥梁点云集合的所述目标坐标与所述图像坐标以及所述采集设备的设备参数进行坐标计算获取空间坐标系下的桥梁坐标集合，并根据所述桥梁坐标集合确定所述待检测桥梁的高度。
第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述方法。
本发明实施例提供了一种基于无人船的桥高检测方法、装置、设备及介质。其中，所述方法包括：获取预设间隔范围内毫米波雷达返回的点云数据与采集设备返回的采集图像；通过GNSS获取船体速度，根据所述船体速度与径向速度的对应关系将所述点云数据的初始坐标进行更新，获取所述点云数据的目标坐标，其中所述点云数据中每个点均包括所述初始坐标与所述径向速度，所述径向速度为待检测桥梁与所述毫米波雷达之间的速度分量；根据预设语义分割模型将所述采集图像进行语义分割，获取桥梁语义图像；根据预设坐标转换矩阵将所述点云数据的目标坐标转换为所述采集图像的图像坐标系下的图像坐标，并根据所述桥梁语义图像将坐标转换后的所述点云数据进行筛选，获取所对应的桥梁点云集合；将所述桥梁点云集合的所述目标坐标与所述图像坐标以及所述采集设备的设备参数进行坐标计算获取空间坐标系下的桥梁坐标集合，并根据所述桥梁坐标集合确定所述待检测桥梁的高度。本发明实施例通过船体速度将毫米波雷达所测的点云数据进行更新，使其测得的点云数据的更加准确，并且将所述点云数据与采集到的采集图像进行融合获取桥梁点云集合，弥补所述采集图像没有场景深度消息的缺陷，最终根据所述桥梁点云集合确定所述准确的桥梁高度，解决了无人船在自主巡航时因桥梁高度不准确而导致任务失败的问题，提高了桥梁高度检测的准确率，使得无人船可以更好的执行自主任务。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于无人船的桥高检测方法的流程示意图；
图2为本发明实施例提供的基于无人船的桥高检测方法的子流程示意图；
图3为本发明实施例提供的基于无人船的桥高检测方法的子流程示意图；
图4为本发明实施例提供的基于无人船的桥高检测方法的子流程示意图；
图5为本发明实施例提供的基于无人船的桥高检测方法的子流程示意图；
图6为本发明实施例提供的基于无人船的桥高检测装置的示意性框图；
图7为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的基于无人船的桥高检测方法的流程示意图。本实施例中的基于无人船的桥高检测方法可以应用于搭载采集设备以及毫米波雷达的无人船中，其中所述采集设备具有摄像头传感器即可，通过将采集设备获取图像信息以及毫米波雷达获取的点云信息进行信息融合，即可计算出精确的桥梁高度，便于所述无人船执行自主巡航任务。
图1是本发明实施例提供的基于无人船的桥高检测方法的流程示意图。如图所示，该方法包括以下步骤S110-S140。
S110、获取预设间隔范围内毫米波雷达返回的点云数据与采集设备返回的采集图像。
在本实施例中，所述采集设备为具有摄像头的传感器，例如，单目视觉传感器或者双目视觉传感器。所述采集图像为具有待检测桥梁的图像。所述预设间隔范围为根据所述毫米波雷达与采集设备输出数据与图像的时间所决定的。具体地，本实施例中的毫米波雷达数据为10Hz、图像数据为2Hz，即所述毫米波雷达一秒内输出10包点云数据，采集设备一秒内输出两张采集图像，匹配点云数据与采集图像时以所述采集图像为基准，并且相邻两包点云数据的时间间隔是0.1s，即获取到的图片与之前、之后接收到的雷达数据的最大时间差为0.05s。所以选取与当前采集图像的时间相差在0.05s以内的点云数据进行配准以检测出准确的桥梁高度。通过获取预设间隔范围内毫米波雷达返回的点云数据与采集设备返回的采集图像，可以避免获取的所述点云数据与所述采集图像之间的时间间隔过大而导致检测到的桥梁高度不准确的问题。
S120、通过GNSS获取船体速度，根据所述船体速度与径向速度的对应关系将所述点云数据的初始坐标进行更新，获取所述点云数据的目标坐标，其中所述点云数据中每个点均包括所述初始坐标与所述径向速度，所述径向速度为待检测桥梁与所述毫米波雷达之间的速度分量。
在本实施例中，所述GNSS为全球导航卫星系统，例如，GPS为GNSS中的一种。所述径向速度为通过多普勒计算出的桥梁与毫米波雷达之间的速度分量，即速度矢量在视线方向的投影。所述船体速度为所述无人船的运动速度，所述点云数据中的每个点均具有其坐标，所述点云数据的第i点所述初始坐标可表示为(xi,yi,zi,vi)，其中vi为所述径向速度。由于毫米波雷达在估计点云数据时z轴部分的误差较大，但在估计与目标之间的径向速度方面精度较高，因此可以通过计算点云径向速度与z轴坐标的关系来对点云z轴坐标进行补偿。具体地，可根据所述船体速度与径向速度的对应关系将所述点云数据的初始坐标进行更新，由于船体速度方向与目标点到雷达的方向一致，因此可得出船只速度与毫米波雷达点云的径向速度关系。其中，所述船体速度与径向速度的对应关系为：其中，所述/>表示所述船体速度，所述x,y,z表示所述点云数据的所述目标坐标，/>表示所述径向速度。因此，可以得到更新后的z轴坐标，所述z轴坐标为：/>其中，所述/>为更新后的z轴坐标，即所述点云数据第i点的更新后的所述目标坐标可表示为（xi,yi,/>,vi）。通过根据所述船体速度与径向速度的对应关系将所述点云数据的初始坐标进行更新，获取所述点云数据的目标坐标。可以弥补所述毫米波雷达在估计点云数据时z轴部分的误差较大的问题，便于后续获取精准的桥梁高度。
在一实施例中，如图2所示，所述步骤S120之前还包括步骤S1201-S1202。
S1201、根据所述毫米波雷达的采集范围确定目标点云范围；
S1202、将所述点云数据进行所述目标点云范围内的筛选与聚类滤波，获取预处理后的所述点云数据。
在本实施例中，所述毫米波雷达的采集范围为毫米波雷达xoy的平面正前方的固定角度内的范围。具体地，首先将所述点云数据中的z轴小于0的点云数据进行滤除，因为此类数据在计算桥梁高度时为无效数据。其次，由于毫米波雷达点云在xoy平面的坐标(x, y)随着点云与雷达正前方夹角越来越大，(x, y)坐标的误差也会逐渐增大，并且采集设备的观测范围有限，为了便于后续与采集设备所获取的图像进行融合，本实施例中进一步选用雷达在xoy平面正前方60度范围内的点云进行后续处理。即所述目标点云范围为毫米波雷达在xoy平面正前方60度范围，即选取毫米波雷达正前方60度即在xoy平面点云与y轴夹角在±30度内的点云，可表示为：其中，所述x,y为所述点云的x,y轴的坐标。由上述内容可知，所述点云的某点的初始坐标可表示为(xi,yi,zi,v i )，其中v为所述径向速度。本实施例中将所述径向速度乘以固定系数5进行放大，并使用DBSCAN算法对点云(x,y,z,v)坐标进行四维点云数据的聚类滤波操作，其中，所述DBSCAN算法是具有噪声的基于密度的聚类方法，具有聚类速度快且能够有效处理噪声点和发现任意形状的空间聚类的特点。通过设置DBSCAN算法中的聚类半径与最小点云数来对毫米波雷达点云进行分类。可将点云中无类别的点云当作杂波点滤除。通过将所述点云数据进行所述目标点云范围内的筛选与聚类滤波，获取预处理后的所述点云数据，可以获取更精确的所需数据，并减少后续的计算量可快速检测桥梁高度。
S130、根据预设语义分割模型将所述采集图像进行语义分割，获取桥梁语义图像。
在本实施例中，所述语义分割是在像素级别上的分类，属于同一类的像素都要被归为一类。所述桥梁语义图像即为获取所述采集图像中语义为桥梁的图像。预设语义分割模型为预设的分割所述采集图像的模型，例如：U-Net、FCN、SegNet、PSPNet、DeepLab v3等模型。通过预设语义分割模型可以将所述采集图像进行语义级的分割，获取所述待检测桥梁的语义图像，便于后续根据所述桥梁语义图像进行处理分析以获取待检测桥梁的高度值。
在一实施例中，如图3所示，所述步骤S130之前还包括步骤S1301-S1302。
S1301、将所述采集图像进行伽马变换与尺寸调整，获取预处理后的所述采集图像；
S1302、根据所述预设语义分割模型将预处理后的所述采集图像进行语义分割与开操作，获取所述桥梁语义图像。
在本实施例中，所述伽玛变换是一种非线性变换，伽马变换主要用于图像的校正，增强对比度。将所述采集图像进行伽马变换与尺寸调整，获取预处理后的所述采集图像，具体地，使用伽马变换对图像进行预处理。其中，因所述采集设备获取到的数据是三维数据，在进行伽马变换时分别对所述采集图像的三维数据进行处理，得到最终变换后的图像。具体的，某一帧采集图像M，它的RGB三维图像的数据分别为Mr、Mg、Mb，对于采集图像M伽马变换后的图像是：其中，c为缩放系数，一般可设置为1；/>为伽马因子，一般可设置为1.5。将进行伽马变换后的所述采集图像进行尺寸调整，具体地，可将所述采集图像的尺寸进行裁剪或者放大以及缩小使其符合输入预设语义分割模型的尺寸。通过将所述采集图像进行伽马变换与尺寸调整，可以减少采集图像数据出现过曝或者部分阴暗区域曝光不足，而导致后续对图像的处理中无法正确的识别图像内部的细节的问题。根据所述预设语义分割模型将预处理后的所述采集图像进行语义分割与开操作，获取桥梁语义图像，具体地，本实施例中选用DeepLab v3模型作为所述预设语义分割模型，通过对DeepLab v3模型使用专门标记的桥梁与非桥梁语义分割数据集进行微调，得到更适合该摄像头数据的、专用于桥梁语义识别的语义分割网络。其中，所述DeepLab v3是一种基于深度卷积神经网络的语义分割模型。使用微调后的语义分割网络对预处理后的采集图像进行语义分割，得到桥梁与非桥梁的语义分割图像。对语义分割图像进行开操作，即先腐蚀后膨胀，以解决语义分割结果中部分分割错误的杂点区域。最后，计算所述语义图像在图像坐标系下的y轴最大、最小值；截取所述采集图像在图像坐标系下的y轴在最大、最小值之间的桥梁语义图像以获取最终的桥梁语义图像。通过将所述采集图像进行预处理与语义分割及优化，可以获取精准的桥梁语义图像，便于后续精确地检测桥梁高度。
S140、根据预设坐标转换矩阵将所述点云数据的目标坐标转换为所述采集图像的图像坐标系下的图像坐标，并根据所述桥梁语义图像将坐标转换后的所述点云数据进行筛选，获取所对应的桥梁点云集合。
在本实施例中，所述预设坐标矩阵为根据所述毫米波雷达的位置与所述采集设备的位置所确定的坐标转换矩阵，所述坐标转换矩阵包括外参旋转矩阵R1与平移矩阵T1。所述采集设备的图像坐标系为所述采集设备所采集的图像中的图像的坐标系。因毫米波雷达输出的点云数据的z轴高度精度较差、感知目标的轮廓能力很弱，但是毫米波雷达能精确测量雷达与目标之间的距离和径向速度；同时图像无法获取采集设备与目标之间的真实距离，但是图像可以精确获取图像的轮廓，因此可以通过将毫米波雷达探测到与目标的距离信息融合到图像中，即可得到对目标（待检测桥梁）精确的感知结果。即根据预设坐标转换矩阵将所述点云数据的目标坐标转换为所述采集图像的图像坐标系下的图像坐标，即可获取毫米波雷达输出的点云数据在采集图像中的坐标，所述图像坐标可表示为：其中，所述x,y,z为目标坐标中，/>为坐标转换矩阵，/>为图像坐标。
根据桥梁语义图像将坐标转换后的所述点云数据进行筛选，具体地，根据桥梁语义图像将投影到所述采集图像中的非桥梁语义图像部分的点云进行过滤删除。即可获取所述采集图像中桥梁语义图像与毫米波雷达点云的对应关系，即桥梁点云集合。通过将所述点云数据的目标坐标转换为所述采集图像的图像坐标系下的图像坐标，并根据所述桥梁语义图像将坐标转换后的所述点云数据进行筛选，获取所对应的桥梁点云集合，可以将毫米波雷达探测到与目标的距离信息融合到采集图像中，以获取对待检测桥梁图像的精确的感知结果。
在一实施例中，如图4所示，所述步骤S140之前还包括步骤S1401-S1402。
S1401、获取所述毫米波雷达与所述采集设备的相对位置关系；
S1402、根据所述相对位置关系与角反射器以及所述设备参数进行标定以确定所述毫米波雷达与所述采集设备相对应的所述坐标转换矩阵。
在本实施例中，所述相对位置关系为所述毫米波雷达与所述采集设备之间的粗标定的外参旋转矩阵R0以及平移矩阵T0，可通过人工测量获取。所述角反射器是通过金属板材根椐不同用途做成的不同规格的雷达波反射器。所述标定指将多个传感器的数据转化到一个相同的坐标系下，比如通过标定结果可以将毫米波雷达点云转化到图像中去。所述坐标转换矩阵为标定结果。根据所述相对位置关系与角反射器以及所述设备参数进行标定以确定所述毫米波雷达与所述采集设备相对应的所述坐标转换矩阵。具体地，首先，设毫米波雷达坐标系为：毫米波雷达为坐标原点、雷达正前方为y轴，雷达正上方为z轴、通过右手法则设置雷达右侧为x轴；设采集图像的坐标系为图像左上角为坐标原点，从上往下为x轴，从左往右为y轴。根据所述相对位置关系在地面将毫米波雷达与采集设备进行固定，并将地面当作水平面，在地面上按“田”字摆放9个角反射器，每个角反射器之间的距离应不小于5m。记录每个角反在毫米波雷达中的位置、记录每个角反在图像中的位置，最后通过使用摄像头的内参矩阵K、角反射器分别在雷达、采集设备的摄像头中的位置/>、/>使用PnP算法来求解得出毫米波雷达与摄像头的精标定外参旋转矩阵R1与平移矩阵T1，其中，所述外参旋转矩阵R1与平移矩阵T1为所述坐标转换矩阵。可以理解的是，该步骤仅需在执行本方法前进行一次。通过将毫米波雷达与所述采集设备在空间域中进行配准，可以获取毫米波雷达的点云数据对应于所述采集图像中具体坐标，以完成坐标的转换。
S150、将所述桥梁点云集合的所述目标坐标与所述图像坐标以及所述采集设备的设备参数进行坐标计算获取空间坐标系下的桥梁坐标集合，并根据所述桥梁坐标集合确定所述待检测桥梁的高度。
在本实施例中，所述采集设备的设备参数为摄像头的内参矩阵。所述空间坐标系下为现实世界中物体的所在的坐标系，例如，北地东坐标系。将所述桥梁点云集合的所述目标坐标与所述图像坐标以及所述采集设备的设备参数进行坐标计算获取空间坐标系下的桥梁坐标集合，并根据所述桥梁坐标集合确定所述待检测桥梁的高度，具体地，因为所述采集图像与毫米波雷达检测到的待检测桥梁为桥的横截面，在无人船过桥的场景下，有意义的值是桥梁底部与水面的距离要大于船顶距离水面的深度。因此需要选择最小值作为桥梁高度。即所述空间坐标系下的桥梁坐标集合中的z轴最小值为该帧毫米波雷达加图像检测到的桥梁高度。并且在最终输出桥梁高度时，可通过五次检测得到五组桥梁高度的数据，除去其中最大值与最小值外，使用剩余三组桥梁高度的平均值作为最终输出的桥梁高度。通过根据所述桥梁点云集合的所述目标坐标与所述图像坐标以及所述采集设备的设备参数集合确定最终的待检测桥梁的高度，便于所述无人船执行自主巡航任务。
在一实施例中，如图5所示，所述步骤S150还包括步骤S151-S152。
S151、获取所述桥梁点云集合的所述目标坐标在毫米波雷达坐标系中的y轴平均值；
S152、将所述y轴平均值与所述桥梁点云集合的图像坐标以及所述设备参数通过预设坐标计算方法以获取所述桥梁坐标集合。
在本实施例中，所述桥梁坐标集合为空间坐标系下的桥梁坐标的集合。计算所述桥梁点云集合的目标坐标在毫米波雷达坐标系下的y轴平均值，将所述y轴平均值与所述桥梁点云集合的图像坐标以及已知的设备参数矩阵通过预设坐标计算方法以获取所述桥梁坐标集合，其中，所述预设坐标计算方法为：其中，/>表示在空间坐标系下的桥梁坐标，/>表示所述y轴平均值，K表示所述设备参数，/>表示所述图像坐标。通过所述y轴平均值与所述桥梁点云集合的图像坐标以及所述设备参数通过预设坐标计算方法以获取所述桥梁坐标集合，便于获取精准的桥梁检测高度，使得无人船可以更好的执行自主任务。
图6是本发明实施例提供的一种基于无人船的桥高检测装置200的示意性框图。如图6所示，对应于以上基于无人船的桥高检测方法，本发明还提供一种基于无人船的桥高检测装置。该基于无人船的桥高检测装置包括用于执行上述基于无人船的桥高检测方法的单元，该装置可以被配置于无人船中。具体地，请参阅图6，该基于无人船的桥高检测装置包括获取单元210、更新单元220、分割单元230、筛选单元240以及确定单元250。
获取单元210，用于获取预设间隔范围内毫米波雷达返回的点云数据与采集设备返回的采集图像。
更新单元220，用于通过GNSS获取船体速度，根据所述船体速度与径向速度的对应关系将所述点云数据的初始坐标进行更新，获取所述点云数据的目标坐标，其中所述点云数据中每个点均包括所述初始坐标与所述径向速度，所述径向速度为待检测桥梁与所述毫米波雷达之间的速度分量。
在一实施例中，所述更新单元220包括目标确定单元与预处理单元。
目标确定单元，用于根据所述毫米波雷达的采集范围确定目标点云范围；
预处理单元，用于将所述点云数据进行所述目标点云范围内的筛选与聚类滤波，获取预处理后的所述点云数据。
分割单元230，用于根据预设语义分割模型将所述采集图像进行语义分割，获取桥梁语义图像。
在一实施例中，所述分割单元230包括变换单元与分割子单元。
变换单元，用于将所述采集图像进行伽马变换与尺寸调整，获取预处理后的所述采集图像；
分割子单元，用于根据所述预设语义分割模型将预处理后的所述采集图像进行语义分割与开操作，获取所述桥梁语义图像。
筛选单元240，用于根据预设坐标转换矩阵将所述点云数据的目标坐标转换为所述采集图像的图像坐标系下的图像坐标，并根据所述桥梁语义图像将坐标转换后的所述点云数据进行筛选，获取所对应的桥梁点云集合。
在一实施例中，所述筛选单元240包括位置单元与标定单元。
位置单元，用于获取所述毫米波雷达与所述采集设备的相对位置关系；
标定单元，用于根据所述相对位置关系与角反射器以及所述设备参数进行标定以确定所述毫米波雷达与所述采集设备相对应的所述坐标转换矩阵。
确定单元250，用于将所述桥梁点云集合的所述目标坐标与所述图像坐标以及所述采集设备的设备参数进行坐标计算获取空间坐标系下的桥梁坐标集合，并根据所述桥梁坐标集合确定所述待检测桥梁的高度。
在一实施例中，所述确定单元250包括平均单元与确定子单元。
平均单元，用于获取所述桥梁点云集合的所述目标坐标在毫米波雷达坐标系中的y轴平均值；
确定子单元，用于将所述y轴平均值与所述桥梁点云集合的图像坐标以及所述设备参数通过预设坐标计算方法以获取所述桥梁坐标集合。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述基于无人船的桥高检测装置200和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述基于无人船的桥高检测装置可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7，图7是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端，也可以是服务器，其中，终端可以是无人船。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图7，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种基于无人船的桥高检测方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种基于无人船的桥高检测方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现上述方法的步骤。
应当理解，在本申请实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如上述方法的步骤。
所述存储介质可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，终端，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于无人船的桥高检测方法，其特征在于，包括：
获取预设间隔范围内毫米波雷达返回的点云数据与采集设备返回的采集图像；
通过GNSS获取船体速度，根据所述船体速度与径向速度的对应关系将所述点云数据的初始坐标进行更新，获取所述点云数据的目标坐标，其中所述点云数据中每个点均包括所述初始坐标与所述径向速度，所述径向速度为待检测桥梁与所述毫米波雷达之间的速度分量；
根据预设语义分割模型将所述采集图像进行语义分割，获取桥梁语义图像；
根据预设坐标转换矩阵将所述点云数据的目标坐标转换为所述采集图像的图像坐标系下的图像坐标，并根据所述桥梁语义图像将坐标转换后的所述点云数据进行筛选，获取所对应的桥梁点云集合；
将所述桥梁点云集合的所述目标坐标与所述图像坐标以及所述采集设备的设备参数进行坐标计算获取空间坐标系下的桥梁坐标集合，并根据所述桥梁坐标集合确定所述待检测桥梁的高度；
所述将所述桥梁点云集合的所述目标坐标与所述图像坐标以及所述采集设备的设备参数进行坐标计算获取空间坐标系下的桥梁坐标集合的步骤，包括：
获取所述桥梁点云集合的所述目标坐标在毫米波雷达坐标系中的y轴平均值；
将所述y轴平均值与所述桥梁点云集合的图像坐标以及所述设备参数通过预设坐标计算方法以获取所述桥梁坐标集合，其中，所述预设坐标计算方法为：
；
其中，表示在空间坐标系下的桥梁坐标，/>表示所述y轴平均值，K表示所述设备参数，/>表示所述图像坐标。
2.根据权利要求1所述的方法，其特征在于，所述根据所述船体速度与径向速度的对应关系将所述点云数据的初始坐标进行更新的步骤之前，还包括：
根据所述毫米波雷达的采集范围确定目标点云范围；
将所述点云数据进行所述目标点云范围内的筛选与聚类滤波，获取预处理后的所述点云数据。
3.根据权利要求1所述的方法，其特征在于，所述根据预设语义分割模型将所述采集图像进行语义分割，获取桥梁语义图像的步骤，包括：
将所述采集图像进行伽马变换与尺寸调整，获取预处理后的所述采集图像；
根据所述预设语义分割模型将预处理后的所述采集图像进行语义分割与开操作，获取所述桥梁语义图像。
4.根据权利要求1所述的方法，其特征在于，所述根据预设坐标转换矩阵将所述点云数据的目标坐标转换为所述采集图像的图像坐标系下的图像坐标的步骤之前，包括：
获取所述毫米波雷达与所述采集设备的相对位置关系；
根据所述相对位置关系与角反射器以及所述设备参数进行标定以确定所述毫米波雷达与所述采集设备相对应的所述坐标转换矩阵。
5.根据权利要求1所述的方法，其特征在于，所述船体速度与径向速度的对应关系为：
；
其中，所述表示所述船体速度，所述/>，/>，/>表示所述点云数据的所述目标坐标，/>表示所述径向速度。
6.一种基于无人船的桥高检测装置，其特征在于，包括：
获取单元，用于获取预设间隔范围内毫米波雷达返回的点云数据与采集设备返回的采集图像；
更新单元，用于通过GNSS获取船体速度，根据所述船体速度与径向速度的对应关系将所述点云数据的初始坐标进行更新，获取所述点云数据的目标坐标，其中所述点云数据中每个点均包括所述初始坐标与所述径向速度，所述径向速度为待检测桥梁与所述毫米波雷达之间的速度分量；
分割单元，用于根据预设语义分割模型将所述采集图像进行语义分割，获取桥梁语义图像；
筛选单元，用于根据预设坐标转换矩阵将所述点云数据的目标坐标转换为所述采集图像的图像坐标系下的图像坐标，并根据所述桥梁语义图像将坐标转换后的所述点云数据进行筛选，获取所对应的桥梁点云集合；
确定单元，用于将所述桥梁点云集合的所述目标坐标与所述图像坐标以及所述采集设备的设备参数进行坐标计算获取空间坐标系下的桥梁坐标集合，并根据所述桥梁坐标集合确定所述待检测桥梁的高度；
所述确定单元250包括平均单元与确定子单元；
平均单元，用于获取所述桥梁点云集合的所述目标坐标在毫米波雷达坐标系中的y轴平均值；
确定子单元，用于将所述y轴平均值与所述桥梁点云集合的图像坐标以及所述设备参数通过预设坐标计算方法以获取所述桥梁坐标集合，其中，所述预设坐标计算方法为：
；
其中，表示在空间坐标系下的桥梁坐标，/>表示所述y轴平均值，K表示所述设备参数，/>表示所述图像坐标。
7.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的方法。
8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如权利要求1-5中任一项所述的方法。
CN202410023106.7A 2024-01-08 2024-01-08 一种基于无人船的桥高检测方法、装置、设备及介质 Active CN117523568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410023106.7A CN117523568B (zh) 2024-01-08 2024-01-08 一种基于无人船的桥高检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410023106.7A CN117523568B (zh) 2024-01-08 2024-01-08 一种基于无人船的桥高检测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN117523568A CN117523568A (zh) 2024-02-06
CN117523568B true CN117523568B (zh) 2024-03-29

Family

ID=89749863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410023106.7A Active CN117523568B (zh) 2024-01-08 2024-01-08 一种基于无人船的桥高检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117523568B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082924A (zh) * 2022-04-26 2022-09-20 电子科技大学 一种基于单目视觉和雷达伪图像融合的三维目标检测方法
CN115097442A (zh) * 2022-08-24 2022-09-23 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面环境地图构建方法
CN115629374A (zh) * 2022-12-16 2023-01-20 陕西欧卡电子智能科技有限公司 基于毫米波雷达的无人船桥下定位方法及相关设备
WO2023124780A1 (zh) * 2021-12-27 2023-07-06 北京万集科技股份有限公司 点云数据增强方法、装置、计算机设备、系统及存储介质
CN116862922A (zh) * 2023-06-20 2023-10-10 运来智能装备(无锡)有限公司 基于图像分割与雷达信息融合的目标定位方法、系统及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2954540B1 (fr) * 2009-12-23 2018-11-16 Thales Procede de classification d'objets dans un systeme de veille par imagerie.

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023124780A1 (zh) * 2021-12-27 2023-07-06 北京万集科技股份有限公司 点云数据增强方法、装置、计算机设备、系统及存储介质
CN115082924A (zh) * 2022-04-26 2022-09-20 电子科技大学 一种基于单目视觉和雷达伪图像融合的三维目标检测方法
CN115097442A (zh) * 2022-08-24 2022-09-23 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面环境地图构建方法
CN115629374A (zh) * 2022-12-16 2023-01-20 陕西欧卡电子智能科技有限公司 基于毫米波雷达的无人船桥下定位方法及相关设备
CN116862922A (zh) * 2023-06-20 2023-10-10 运来智能装备(无锡)有限公司 基于图像分割与雷达信息融合的目标定位方法、系统及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于点云中心的激光雷达与相机联合标定方法研究;康国华;张琪;张晗;徐伟证;张文豪;;仪器仪表学报;20191215(12);全文 *

Also Published As

Publication number Publication date
CN117523568A (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
WO2022022694A1 (zh) 自动驾驶环境感知方法及系统
CN109598765B (zh) 基于球形标定物的单目相机与毫米波雷达外参联合标定方法
CN112001958B (zh) 基于有监督单目深度估计的虚拟点云三维目标检测方法
CN111656136A (zh) 使用激光雷达的车辆定位系统
JP3850541B2 (ja) 高度計測装置
CN110926474A (zh) 卫星/视觉/激光组合的城市峡谷环境uav定位导航方法
JP2009294214A (ja) 地形構造を用いたナビゲーション方法及びシステム
CN110889808A (zh) 一种定位的方法、装置、设备及存储介质
CN112486207A (zh) 一种基于视觉识别的无人机自主降落方法
CN112739983B (zh) 校正点云数据的方法和相关装置
US11953602B2 (en) Detecting three-dimensional structure models at runtime in vehicles
WO2021250848A1 (ja) 位置推定方法、位置推定装置、および位置推定プログラム
CN115079168B (zh) 基于激光雷达与毫米波雷达融合的建图方法、装置及设备
CN112539753A (zh) 位置估计的方法和装置
CN112381062A (zh) 一种基于卷积神经网络的目标检测方法及装置
CN116625354A (zh) 一种基于多源测绘数据的高精度地形图生成方法及系统
WO2021081958A1 (zh) 地形检测方法、可移动平台、控制设备、系统及存储介质
JPWO2020071117A1 (ja) 情報処理装置
CN114730004A (zh) 物体识别装置和物体识别方法
CN117523568B (zh) 一种基于无人船的桥高检测方法、装置、设备及介质
CN107765257A (zh) 一种基于反射强度辅助外部校准的激光探测与测量方法
CN115937325A (zh) 一种结合毫米波雷达信息的车端摄像头标定方法
CN111123323B (zh) 一种提高便携设备定位精度的方法
CN117419690B (zh) 一种无人船的位姿估计方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant