CN117437287B - 一种结构先验知识增广与迁移的水下定位方法 - Google Patents

一种结构先验知识增广与迁移的水下定位方法 Download PDF

Info

Publication number
CN117437287B
CN117437287B CN202311722463.4A CN202311722463A CN117437287B CN 117437287 B CN117437287 B CN 117437287B CN 202311722463 A CN202311722463 A CN 202311722463A CN 117437287 B CN117437287 B CN 117437287B
Authority
CN
China
Prior art keywords
feature
pseudo
target
point
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311722463.4A
Other languages
English (en)
Other versions
CN117437287A (zh
Inventor
张德津
王冰
何莉
周宝定
刘宇浩
艾志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202311722463.4A priority Critical patent/CN117437287B/zh
Publication of CN117437287A publication Critical patent/CN117437287A/zh
Application granted granted Critical
Publication of CN117437287B publication Critical patent/CN117437287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种结构先验知识增广与迁移的水下定位方法，包括：通过对获取的现势观测数据集进行增广，得到现势观测数据集中每个现势观测图像对应的至少一个伪现势观测图像；通过将至少一个伪现势观测图像输入先验特征点检测模型，得到每个伪现势观测图像的第一伪特征点；通过对每个现势观测图像对应的至少一个伪现势观测图像的第一伪特征点进行逆增广，得到每个现势观测图像的第一特征点；通过将水下机器人获取的目标光学图像输入联合迁移模型，得到目标光学图像的目标特征点以及目标特征点的目标特征描述子；基于目标光学图像的目标特征点以及目标特征点的目标特征描述子，确定水下机器人的水下位姿。

Description

一种结构先验知识增广与迁移的水下定位方法
技术领域
本申请涉及海洋工程技术领域，尤其涉及一种结构先验知识增广与迁移的水下定位方法。
背景技术
水下机器人代替人工水下测量是未来海洋工程建设与运维的发展趋势，海洋工程精细化作业对水下机器人定位提出了高要求。目前，针对水下机器人绝对定位问题的技术主要包括水下声呐地形匹配和水下视觉匹配，采用声呐测图与水下地形匹配可以实现水下机器人高精度高自主的绝对定位，水下视觉匹配一般在小范围进行，能匹配的前提是获取的数据与待匹配数据具有较好的相关性。
但鉴于海洋环境的复杂性、多样性及高动态性特点，现行水下机器人绝对定位技术的性能显著依赖于应用场景，且极度取决于海底地形和工程模型的时效性，导致声呐地形匹配和水下视觉匹配在解决水下机器人的连续性绝对定位问题时存在很强的局限性，特别是在定位场景发生变化时，无法精确确定水下机器人的位姿。
发明内容
本申请实施例的目的是提供一种结构先验知识增广与迁移的水下定位方法，能够解决在海洋工程环境下，无法精确确定水下机器人的位姿的问题。
为解决上述技术问题，本申请实施例提供了一种结构先验知识增广与迁移的水下定位方法，包括：通过对获取的现势观测数据集进行增广，得到所述现势观测数据集中每个现势观测图像对应的至少一个伪现势观测图像；通过将至少一个所述伪现势观测图像输入先验特征点检测模型，得到每个所述伪现势观测图像的第一伪特征点，其中，所述先验特征点检测模型是基于目标工程结构先验知识库训练得到的，所述目标工程结构先验知识库是基于初始工程结构先验知识库增广得到的，所述目标工程结构先验知识库包括多个目标基础图形，每个所述目标基础图形标记有初始特征点；通过对每个所述现势观测图像对应的至少一个所述伪现势观测图像的所述第一伪特征点进行逆增广，得到每个所述现势观测图像的第一特征点；通过将水下机器人获取的目标光学图像输入联合迁移模型，得到所述目标光学图像的目标特征点以及所述目标特征点的目标特征描述子，其中，所述联合迁移模型是基于每个所述现势观测图像的所述第一特征点与对应的所述伪现势观测图像的所述第一伪特征点进行训练得到的；基于所述目标光学图像的目标特征点以及所述目标特征点的目标特征描述子，确定所述水下机器人的水下位姿。
在本申请实施例中，先通过对获取的现势观测数据集进行增广，得到现势观测数据集中每个现势观测图像对应的至少一个伪现势观测图像；通过将至少一个伪现势观测图像输入先验特征点检测模型，得到每个伪现势观测图像的第一伪特征点，其中，先验特征点检测模型是基于目标工程结构先验知识库训练得到的，该目标工程结构先验知识库是基于初始工程结构先验知识库增广得到的，目标工程结构先验知识库包括多个目标基础图形，每个目标基础图形标记有初始特征点；通过对每个现势观测图像对应的至少一个伪现势观测图像的第一伪特征点进行逆增广，得到每个现势观测图像的第一特征点；通过将水下机器人获取的目标光学图像输入联合迁移模型，得到目标光学图像的目标特征点以及目标特征点的目标特征描述子，其中，联合迁移模型是基于每个现势观测图像的第一特征点与对应的伪现势观测图像的第一伪特征点进行训练得到的；最后，基于目标光学图像的目标特征点以及目标特征点的目标特征描述子，确定水下机器人的水下位姿，即利用海洋工程人造环境中水下构筑物先验结构特征不会发生本质的变化这一特点，构建面向海洋工程的目标工程结构先验知识库和先验特征点检测模型，利用知识迁移设计现势特征点的联合检测和描述方法，最终形成基于联合迁移模型的绝对定位技术，实现水下机器人的高精度、高自主的绝对定位，进一步，能够解决海洋工程环境中，水下机器人绝对定位性能的环境相关性和时效性问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出本申请实施例提供的一种结构先验知识增广与迁移的水下定位方法的一种流程示意图；
图2示出本申请实施例提供的一种结构先验知识增广与迁移的水下定位方法的另一种示意图；
图3示出本申请实施例提供的一种结构先验知识增广与迁移的水下定位方法的又一种流程示意图；
图4示出本申请实施例提供的基于先验的水下机器人绝对定位技术范式的一种流程示意图；
图5示出本申请实施例提供的一种结构先验知识增广与迁移的水下定位方法的结构示意图；
图6示出本申请实施例提供的一种结构先验知识增广与迁移的水下定位装置的结构示意图。
具体实施方式
如前所述，当前的声呐匹配技术和光学匹配技术能够在复杂场景下实现水下机器人的定位任务，声呐匹配技术采用声呐获取海底地形，然后与已经获取的海底地形进行匹配定位，由于海底地形变化少，因此，该技术在大范围海洋定位中有着较好效果，但工程环境由于水下构筑物受海水侵蚀和生物附着，局部特征变化较大，且工程结构往往复杂，难以使用大范围声呐数据进行匹配，因此，声呐测量精度、海底地图的缺失或变化制约声呐匹配技术的定位精度和可靠性；同时，水下构筑物长期受海水侵蚀或生物附着，导致轮廓发生变化，使得在进行光学匹配时可能出现匹配失败的问题。另外，水下机器人定位技术还包括惯性推算，但惯导随时间发散特性使得长时间定位精度差。有鉴于此，本申请实施例提供了一种结构先验知识增广与迁移的水下定位方法，能够实现在海洋工程环境下，水下机器人的高精度、高自主的绝对定位。
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
图1示出本申请实施例提供的一种结构先验知识增广与迁移的水下定位方法的一种流程示意图。如图1所示，该方法可以包括以下步骤。
S110：通过对获取的现势观测数据集进行增广，得到所述现势观测数据集中每个现势观测图像对应的至少一个伪现势观测图像。
其中，现势观测数据集包括多个现势观测图像，现势观测图像是指水下机器人对海洋工程结构进行多视角且动态观测得到的图像，伪现势观测图像是指在一定程度上经过增广后的现势观测图像。增广是指数据增广，又称数据增强，用于增加有限数据的数据量和多样性，即通过对现势观测数据集中的每个现势观测图像进行变换或修改，以增加数据的多样性和丰富性，使得在进行模型训练时具有更强的泛化能力、鲁棒性和抗干扰能力。增广方法可以包括以下至少一项或其任意组合：镜像翻转、旋转、平移、缩放、裁剪、亮度、对比度调整、添加噪声等，需要说明的是上述列举的增广方法只是示例，并不限于上述方法。
可选的，可以基于双层级多类型的模式进行增广，所述双层级多类型包括外观层级的变换方式和几何层级的变换方式，即从外观和几何两个层级对现势观测图像进行增广。在外观层级，考虑到水下环境的特殊性，对先验数据集加入光照、对比度、遮挡、模糊等外观变换；在几何层级，结合实际环境中观察视角的复杂性，对每张现势观测图像施加裁剪、平移、放缩、旋转等几何变换。这样，在训练数据有限的情况下，双层级多类型数据增广可以尽可能模拟真实世界中可能出现的变化，生成不同于原始数据的新样本。
另外，对该数据集中每张现势观测图像，进行增广，可以得到与每张现势观测图像对应的一组伪现势观测图像，例如，对于现势观测图像，其对应的一组伪现势观测图像可以表示为(/>。
在S110中，通过对现势观测数据集进行增广，能够增加数据集的多样性、提高模型的泛化能力以及提升小样本学习的效果。
S120：通过将至少一个所述伪现势观测图像输入先验特征点检测模型，得到每个所述伪现势观测图像的第一伪特征点。
其中，所述先验特征点检测模型是基于目标工程结构先验知识库训练得到的，所述目标工程结构先验知识库是基于初始工程结构先验知识库增广得到的，所述目标工程结构先验知识库包括多个目标基础图形，每个所述目标基础图形标记有初始特征点。
可以理解的是，先验特征点检测模型是基于目标工程结构先验知识库训练得到的，用于确定图像的特征点，特征点是指用于识别和匹配图像中的关键特征的二维图像坐标。
S130：通过对每个所述现势观测图像对应的至少一个伪现势观测图像的第一伪特征点进行逆增广，得到每个所述现势观测图像的第一特征点。
可以理解的是，第一特征点具体是指二维图像坐标，对伪特征点进行逆增广是指，将该伪特征点的二维图像坐标投影回现势观测空间，即将二维空间中的点投影到平面上，该平面是指与该伪现势观测图像对应的现势观测图像。需要说明的是，本申请不限定具体的特征点数量，而是默认获取每一张图像或每一个处理对象的所有特征点，每一张图像或每一个处理对象的所有特征点可以是0个、1个或多个。
对于上述S120-S130，由于先验领域与目标领域特性差异，通过目标工程结构先验知识库训练的先验特征点检测模型可能无法直接应用在真实水下环境。因此，将伪现势观测图像输入至基于目标工程结构先验知识库训练的先验特征点检测模型，得到每个伪现势观测图像的第一伪特征点，然后基于每个现势观测图像对应的伪现势观测图像的第一伪特征点，确定每个现势观测图像的第一特征点，这样，就实现了将先验知识库的初始特征点迁移到现势领域。
S140：通过将水下机器人获取的目标光学图像输入联合迁移模型，得到所述目标光学图像的目标特征点以及所述目标特征点的目标特征描述子。
其中，所述联合迁移模型是基于每个所述现势观测图像的第一特征点与对应的所述伪现势观测图像的第一伪特征点进行训练得到的。
可以理解的是，目标光学图像是指，水下机器人实时获取的水下工程局部环境的光学图像数据，通过将该目标光学图像输入至将目标工程结构先验知识库的初始特征点迁移到现势领域的联合迁移模型，能够获取到所述目标光学图像的目标特征点以及所述目标特征点的目标特征描述子。也就是说，所述联合迁移模型是用于获取图像的特征点以及特征点的特征描述子，特征描述子是指对于每个特征点的局部区域进行编码的向量或描述子，即特征描述子是图像的简略替代，其中只包含图像最重要的信息。需要说明的是，一个图像可以具有多个特征点，每个特征点都可有关联的特征描述子，因为特征描述子用于描述该特征点周围区域的结构和纹理信息。在提取特征点时，通常会检测出多个显著的位置，并为每个位置生成一个特征点。然后，对于每个特征点，都可以计算相应的特征描述子。因此，该目标光学图像可以有多个目标特征点和对应的目标特征描述子。
S150：基于所述目标光学图像的目标特征点以及所述目标特征点的目标特征描述子，确定所述水下机器人的水下位姿。
可选的，所述水下位姿可以包括水下绝对位姿，绝对位姿是指相对于全局坐标系或世界坐标系的位置和方向，当坐标系发生改变时，其位姿也会发生变化。
在本申请实施例中，先通过对获取的现势观测数据集进行增广，得到现势观测数据集中每个现势观测图像对应的至少一个伪现势观测图像；通过将至少一个伪现势观测图像输入先验特征点检测模型，得到每个伪现势观测图像的第一伪特征点，其中，先验特征点检测模型是基于目标工程结构先验知识库训练得到的，该目标工程结构先验知识库是基于初始工程结构先验知识库增广得到的，目标工程结构先验知识库包括多个目标基础图形，每个目标基础图形标记有初始特征点；通过对每个现势观测图像对应的至少一个伪现势观测图像的第一伪特征点进行逆增广，得到每个现势观测图像的第一特征点；通过将水下机器人获取的目标光学图像输入联合迁移模型，得到目标光学图像的目标特征点以及目标特征点的目标特征描述子，其中，联合迁移模型是基于每个现势观测图像的第一特征点与对应的伪现势观测图像的第一伪特征点进行训练得到的；最后，基于目标光学图像的目标特征点以及目标特征点的目标特征描述子，确定水下机器人的水下位姿，即利用海洋工程人造环境中水下构筑物先验结构特征不会发生本质的变化这一特点，构建面向海洋工程的目标工程结构先验知识库和先验特征点检测模型，利用知识迁移设计现势特征点的联合检测和描述方法，最终形成基于联合迁移模型的绝对定位技术，实现水下机器人的高精度、高自主的绝对定位，进一步，能够解决海洋工程环境中，水下机器人绝对定位性能的环境相关性和时效性问题。
图2示出本申请实施例提供的一种结构先验知识增广与迁移的水下定位方法的另一种流程示意图。如图2所示，该方法可以包括以下步骤。
S210：通过对获取的现势观测数据集进行增广，得到所述现势观测数据集中每个现势观测图像对应的至少一个伪现势观测图像。
S212：构建所述初始工程结构先验知识库。
其中，所述初始工程结构先验知识库包括多个初始基本图形，每个所述初始基本图形标记有所述初始特征点。
可以理解的是，水下构筑物为人造环境，其工程结构通常由简单几何模型组合而成。在该实现方式中，结合海洋工程常见的三维结构组件，创建一个大规模形状先验知识库即初始工程结构先验知识库，该初始工程结构先验知识库由上述三维结构组件渲染而来，包含了简化的几何形状，如长方形、三角形、梯形、菱形、圆形和椭圆形等，这些形状模拟了水下构筑物工程结构的基本特征。在图像处理的先验知识中，特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点（即两个边缘的交点），因此，本申请将特征点建模为简单的Y形交叉、L形交叉、T形交叉，椭圆中心点和线段端点来消除数据集特征点标签的位置歧义，最终，构建的初始工程结构先验知识库包含常见工程结构形状及其对应的特征点。
S214：按照双层级多类型的模式，对所述初始工程结构先验知识库进行增广，得到增广工程结构先验知识库。
其中，所述双层级多类型包括外观层级的变换方式和几何层级的变换方式，所述增广工程结构先验知识库包括多个增广基本图形，每个所述增广基本图形携带有所述初始特征点。
关于该增广技术可以参考图1所示实施例中S110的描述，在此不再赘述。需要说明的是，初始工程结构先验知识库中的每个所述初始基本图形标记有初始特征点，那么，每个初始基本图形增广后对应的增广基本图形也携带有该初始特征点。
S216：通过合并所述初始工程结构先验知识库和所述增广工程结构先验知识库，得到所述目标工程结构先验知识库。
其中，多个所述目标基础图形包括多个所述初始基本图形和多个所述增广基本图形。
S210以及S216之后的步骤可以采用图1所示实施例对应步骤的描述，并实现相同或相应的技术效果，对于可重复的部分，在此不再赘述。
在该实施例中，在初始工程结构先验知识库的数据有限的情况下，基于双层级多类型进行数据增广可以尽可能模拟真实世界中可能出现的变化，生成不同于原始数据的新样本，有助于训练出能够在实际应用中更加健壮的先验特征点检测模型。
基于上述各个实施例，在一种实现方式中，所述先验特征点检测模型包括第一深度特征提取器和第一特征点复合检测器；在所述通过将至少一个所述伪现势观测图像输入先验特征点检测模型，得到每个所述伪现势观测图像的第一伪特征点之前，基于所述目标工程结构先验知识库训练所述先验特征点检测模型，包括，可以包括以下步骤：
步骤1：将所述目标工程结构先验知识库输入所述第一深度特征提取器，得到空间维度特征图集。
其中，所述空间维度特征图集包括每个所述目标基础图形对应的第一空间维度特征图。
可以理解的是，对于一张H×W的图像，可以表示为，图像是由H×W个像素点组成，通过第一深度特征提取器可以提取到每个所述目标基础图形对应的空间维度特征图/>，其中，c为通道维度数。因为，第一深度特征提取器可以看作是c个不同通道上的特征检测器的组合，每个通道都可以产生一个空间维度特征图/>。换言之，深度特征提取器可以由卷积神经网络构成，在卷积神经网络中，每个卷积层都会生成多个特征图，这些特征图对应着不同的空间特征。每个特征图都代表了输入图像中的某种局部特征，例如边缘、纹理等。每一个通道维度的空间特征图可以看作是该空间位置上的某种特征在不同方向上的响应强度。也就是说，一张图像经过第一深度特征提取器处理后可以生成多个空间维度特征图。
可选的，该空间维度特征图类似于通过尺度不变特征转换(Scale-invariantfeature transform，SIFT)方法获得的高斯差分响应图。
步骤2：通过将所述空间维度特征图集输入所述第一特征点复合检测器，得到每个所述目标基础图形的预测特征点。
其中，在一种实现方式中，所述步骤2可以包括：通过所述第一特征点复合检测器中的目标预设公式，确定每个所述第一空间维度特征图中的目标特征通道，其中，所述目标特征通道为特征响应值最大的通道；确定所述目标特征通道内的局部邻域最大值点为所述预测特征点。可以理解的是，对于任意像素点若想被检测为特征点，则需要满足/>是/>的局部最大值且c需要满足目标预设公式，也就是说，先通过目标预设公式确定出每个目标基础图形对应的多个通道维度中最突出的特征通道，然后再判断某个特征点是否是该目标特征通道所在空间维度特征图内的局部邻域最大值。其中，所述目标预设公式可以是：
。
步骤3：根据所述预测特征点和所述初始特征点，计算第一损失函数的第一损失值，所述第一损失函数用于表征所述预测特征点和所述初始特征点的位置相似度。
可以理解的是，预测特征点和初始特征点均为二维图像的坐标，因此，在计算第一损失值时，是基于位置相似度来计算的。
步骤4：基于所述第一损失值更新所述第一深度特征提取器和所述第一特征点复合检测器的参数，直至满足收敛条件，得到所述先验特征点检测模型。
在该实现方式中，通过目标工程结构先验知识库训练的先验特征点检测模型，可以实现空间和通道双维度复合检测，从而提取出海洋工程场景下通用、稳定、鲁棒且准确的特征点。
基于上述各个实施例，在一种实现方式中，所述通过对每个所述现势观测图像对应的至少一个伪现势观测图像的第一伪特征点进行逆增广，得到每个所述现势观测图像的第一特征点，可以包括：在对每个所述现势观测图像对应的至少一个伪现势观测图像的第一伪特征点进行逆增广的情况下，通过对每个所述现势观测图像对应的所述第一伪特征点进行求和平均聚合，得到每个所述现势观测图像的第一特征点。
可以理解的是，逆增广是指通过使用投影变换矩阵的逆矩阵，将伪特征点的坐标进行逆投影，这样可以在保持特征点的对应关系的同时，将伪现势观测图像上的第一伪特征点的位置映射回现势观测图像。然而，由于投影变换带来的局部信息变化，导致在第一伪特征点检测时出现不准确或者不一致的问题。因此，需要进行求和平均聚合，来得到每个所述现势观测图像的第一特征点。其中，求和平均聚合是指对一组特征点坐标进行求和，求平均，并将其合并为单一的结果。在该实现方式中，通过求和平均聚合可以提高每个所述现势观测图像的第一特征点的精确性。
需要说明的是，该实现方式中的逆增广是相对于增广而言的，增广是指对现势观测图像进行变换或修改，得到伪现势观测图像。逆增广是指将增广得到的伪现势观测图像上的第一伪特征点的位置或坐标映射回现势观测图像的过程。
基于上述各个实施例，在一种实现方式中，所述联合迁移模型包括第二深度特征提取器、第二特征点复合检测器和联合特征描述器；在所述通过将水下机器人获取的目标光学图像输入联合迁移模型，得到所述目标光学图像的目标特征点以及所述目标特征点的目标特征描述子之前，基于每个所述现势观测图像的第一特征点与对应的所述伪现势观测图像的第一伪特征点训练所述联合迁移模型，可以包括以下步骤：
步骤1：通过将每个所述现势观测图像以及对应的所述伪现势观测图像输入所述第二深度特征提取器，分别得到每个所述现势观测图像和每个所述伪现势观测图像的第二空间维度特征图；
步骤2：基于各个所述第二空间维度特征图、所述第一特征点和所述第一伪特征点，训练所述第二深度特征提取器、所述第二特征点复合检测器和所述联合特征描述器；
步骤3：在训练过程中，分别获取所述第二特征点复合检测器对应的第二损失值，以及所述联合特征描述器对应的第三损失值；
其中，在另一种实现方式中，获取所述第二特征点复合检测器对应的第二损失值，可以包括以下步骤：
步骤31：将各个所述第二空间维度特征图输入所述第二特征点复合检测器，得到每个所述现势观测图像的第二特征点，以及每个所述伪现势观测图像的第二伪特征点；
步骤32：根据第一输出特征点和第一标记特征点，计算第二损失函数的第二损失值，所述第二损失函数用于表征所述第一输出特征点和所述第一标记特征点的位置相似度，所述第一输出特征点包括所述第二特征点和所述第二伪特征点，所述第一标记特征点包括所述第一特征点和所述第一伪特征点；
需要说明的是，上述获取第二损失值的过程，也是第二特征点复合检测器的训练过程，该训练过程与上述先验特征点检测模型的训练过程相似，可以参考对上述先验特征点检测模型的描述，在此不再赘述。
在该实现方式中，可以实现特征点检测从先验领域到现势领域的迁移。
进一步地，在另一种实现方式中，获取所述联合特征描述器对应的第三损失值，可以包括以下步骤：
步骤33：将各个所述第二空间维度特征图输入所述联合特征描述器，得到每个所述现势观测图像的所有像素点的第三特征描述子，和每个所述伪现势观测图像的所有伪像素点的第三伪特征描述子。
其中，所述像素点包括所述第二特征点，所述伪像素点包括所述第二伪特征点。
也就是说，对于每个提取到的第二空间维度特征图，可以通过联合特征描述器来生成每个第二空间维度特征图对应的所有像素点的特征描述子。
步骤34：从所述第三特征描述子中获取所述第二特征点的第二特征描述子，以及从所述第三伪特征描述子中获取所述第二伪特征点的第二伪特征描述子。
可以理解的是，对于现势观测图像而言，所有像素点包括第二特征点复合检测器输出的第二特征点，对于伪现势观测图像而言，所有伪像素点包括第二特征点复合检测器输出的第二伪特征点，因此，在获取到所有像素点的第三特征描述子后，只需要根据第二特征点的坐标位置，确定对应坐标位置的像素点的第三特征描述子，即将该坐标位置的第三特征描述子确定为第二特征点的第二特征描述子；同样的，在获取到所有伪像素点第三伪特征描述子后，只需要根据第二伪特征点的坐标位置，确定对应坐标位置的伪像素点的第三伪特征描述子，即将该坐标位置的第三伪特征描述子确定为第二伪特征点的第二伪特征描述子。
步骤35：在所述第二特征点中存在与所述第一特征点相匹配的第二匹配特征点的情况下，确定所述第一特征点的第一特征描述子为所述第二匹配特征点的第二特征描述子，以及在所述第二伪特征点中存在与所述第一伪特征点相匹配的第二匹配伪特征点的情况下，确定所述第一伪特征点的第一伪特征描述子为所述第二匹配伪特征点的第二伪特征描述子。
可以理解的是，对于每个现势观测图像均提前标记有第一特征点，每个伪现势观测图像均提前标记有第一伪特征点，那么，可以基于第一特征点，从所述多个第二特征点中获取所匹配的第二匹配特征点，将第二匹配特征点的第二特征描述子作为该第一特征点的第一特征描述子，从多个第二伪特征点中获取所匹配的第二匹配伪特征点，将第二匹配伪特征点的第二伪特征描述子作为该第一伪特征点的第一伪特征描述子，其中，对于第一特征点而言，匹配是指第一特征点与各个第二特征点之间的最大位置相似度大于第一阈值；对于第一伪特征点而言，匹配是指第一伪特征点与各个第二伪特征点之间的最大位置相似度大于第二阈值，其中，第一阈值和第二阈值可以相等或不等。
步骤36：基于所述第一特征点及其所述第一特征描述子、所述第一伪特征点及其所述第一伪特征描述子，通过联合三元组损失函数获取第三损失值。
其中，所述第三损失值包括第四损失值和第五损失值，所述第四损失值为类内样本对应的损失值，所述第五损失值为类间样本对应的损失值，所述类内样本由所述第一特征点与对应的类内伪特征点构成，所述类间样本由所述第一特征点与对应的类间伪特征点构成，所述类内伪特征点为所述第一伪特征描述子与所述第一特征点的第一特征描述子相匹配的所述第一伪特征点，所述类间伪特征点为所述第一伪特征描述子与所述第一特征点的第一特征描述子不匹配的所述第一伪特征点。
其中，对于类内样本和类间样本可以进一步理解为：所述现势观测图像中的某个特征点与对应的伪现势观测图像中的某个伪特征点是对应的，则该对应的特征点对可以作为“类内样本”，所述现势观测图像中的某个特征点与伪现势观测图像中的某个伪特征点不是对应的，则该不对应的特征点对可以作为“类间样本”。
需要说明的是，上述获取第三损失值的过程，也是联合特征描述器的训练过程。通过计算类内样本中特征描述子之间的差异，并使用对比损失函数，来最小化差异。以及通过计算类间样本中特征描述子之间的差异，并使用损失函数来最大化这些差异。其中，联合三元组损失函数是一种用于度量学习的损失函数，可以将样本的原始特征映射到低维空间，并通过优化使得类内样本之间的距离尽可能小，类间样本之间的距离尽可能大。
步骤4：根据所述第二损失值和所述第三损失值，分别更新所述第二深度特征提取器、所述第二特征点复合检测器和所述联合特征描述器的参数，直至满足收敛条件，得到所述联合迁移模型。
需要说明的是，第二深度特征提取器是同时参与了第二特征点复合检测器和联合特征描述器的训练。
在该实现方式中，在给定特征点对应关系前提下，在保留特征点检测交叉熵损失的同时，联合三元组损失函数端到端优化第二深度特征提取器，第二特征点复合检测器及联合特征描述器，最终实现特征点检测和描述从先验领域到现势领域的联合迁移。同时，基于样本对和联合三元组损失函数对第二深度特征提取器和联合特征描述器进行训练可以提升特征表示的判别性，解决类内差异和类间重叠问题，提高联合迁移模型的分辨和泛化能力，实现特征点检测和描述从先验领域到现势领域的联合迁移，能够为后续现势模型重组和实时位姿解算提供可靠的特征点和可区分的描述子。
图3示出本申请实施例提供的一种结构先验知识增广与迁移的水下定位方法的另一种流程示意图。如图3所示，该方法可以包括以下步骤：
S350：基于所述目标光学图像的目标特征点以及所述目标特征点的目标特征描述子，确定所述水下机器人的水下位姿。
S352：通过将所述目标特征描述子与标准三维点云模型中的标准特征点的标准特征描述子进行匹配，确定与所述目标特征点相匹配的所述标准特征点。
可以理解的是，在确定标准三维点云模型后，为了可以确定标准三维点云模型中存在与目标特征点对应的标准特征点，可以将所述目标特征描述子和标准点云模型中的标准特征描述子进行匹配。需要说明的是，标准三维点云模型可以包括多个水下构筑物的三维点云模型。
S354：基于所述目标特征点与所述标准特征点的对应关系，确定所述水下机器人的水下位姿。
可以理解的是，在获取目标光学图像的目标特征点以及目标特征点的目标特征描述子后，可以根据双向最近邻准测，建立三维点云和二维图像间的同名点对，基于所述同名点对，计算水下机器人当前的位置和姿态。其中，双向最近邻准测是指，对于目标光学图像的一个目标特征点，在标准三维点云模型中找到与之最相似的特征点，同时确保在标准三维点云模型中找到的特征点也与目标光学图像的该目标特征点是最相似的。建立三维点云和二维图像间的同名点对是指，将目标光学图像和标准三维点云模型中具有相同特征的点对应起来，也就是说，建立二者之间的对应关系。这样就可以将目标光学图像中的二维特征点映射到三维空间中的三维点云上，从而实现二维图像和三维点云之间的对应关系。
可选的，基于所述同名点对，计算水下机器人当前的绝对位置和姿态，可以通过Perspective-n-Point和随机采样一致性算法实现。
需要说明的是，S350之前的步骤可以采用图1所示实施例S110-S140对应步骤及描述，并实现相同或相应的技术效果，在此不再赘述。
在该实现方式中，基于海洋工程为人造环境这一前提条件，引入了工程结构先验知识并将其迁移到真实海洋环境，降低了在进行水下绝对定位时，定位性能受水下环境的影响。同时基于海洋工程先验知识增广和迁移的水下绝对定位技术方法降低了定位技术的实施成本，提高了普遍适用性，相比现有技术具有更强的经济效益，能够为水下机器人、无人化系统等自动化应用提供更加稳定可靠的绝对定位服务。本申请技术方案可以应用于不同水下构筑物，并确保在复杂、多样且动态海洋环境下水下机器人绝对定位的鲁棒性、持续性、高精度、高可靠以及高自主，实现了如图4所示的基于先验的水下机器人绝对定位技术范式，将定位问题转化为从认知、迁移到决策的通用思维范式，提出了更加可靠，更加具有普适性的水下定位模式具有更高的自主性。
进一步地，在一种实现方式中，在基于所述目标特征点与所述标准特征点的对应关系，确定所述水下机器人的水下位姿之后，还包括：通过将匹配到的所述标准特征点的特征描述子替换为对应的目标特征点的目标特征描述子，更新所述标准三维点云模型。
也就是说，若在标准三维点云模型中找到与目标特征描述子满足先验特征相似度的标准特征描述子，则将该标准特征描述子更新为目标特征描述子。
可选的，可以根据双向最近邻准测，对满足先验特征相似度的特征点描述子进行更新。
需要说明的是，该标准三维点云模型可以定期迭代，以合适的频率对最近的现势模型进行重组，维持模型特征知识的现势性。
为了更好的说明上述各个实施例，本申请实施例还提供了一种结构先验知识增广与迁移的水下定位方法的一种结构示意图。如图5所示，该结构先验知识增广与迁移的水下定位方法包括两个过程：学习和推理。
在学习过程中，可以包括以下方面：
（1）工程结构知识库构建
水下构筑物为人造环境，其工程结构通常由简单几何模型组合而成。首先，本申请结合海洋工程常见的三维结构组件，创建一个大规模形状先验知识库，该知识库由上述三维结构组件渲染而来，包含了简化的几何形状，如长方形、三角形、梯形、菱形、圆形和椭圆形等，这些形状模拟了水下构筑物工程结构的基本特征。其次，在图像处理的先验知识中，特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点（即两个边缘的交点），受此先验知识引导，本申请将特征点建模为简单的Y形交叉、L形交叉、T形交叉，椭圆中心点和线段端点来消除数据集特征点标签的位置歧义。最终，构建的知识库包含常见工程结构形状及其对应的特征点。
（2）双层级多类型数据增广
为了增加数据集的多样性、提高模型的泛化能力以及提升小样本学习的效果，本申请从外观和几何两个层级对先验结构特征点进行增广。首先，考虑到水下环境的特殊性，对先验数据集加入光照，对比度，遮挡，模糊等外观变换，以实现渲染图像的增广。此外，结合实际环境中观察视角的复杂性，对每张渲染图像施加裁剪、平移、放缩、旋转等几何变换，以增加渲染样本的多样性。在训练数据有限的情况下，双层级多类型数据增广可以尽可能模拟真实世界中可能出现的变化，生成不同于原始数据的新样本，有助于训练出能够在实际应用中更加健壮的特征点检测模型。
（3）获取先验特征点检测模型
本发明使用深度卷积神经网络训练先验特征点检测模型，由深度特征提取器和特征点复合检测器/>两部分组成。首先，对于输入的渲染图像/>，预训练深度特征提取器可提取其对应的深层特征图/>，在通道维度的每一个空间特征图来说，都可以表示为/>。因此，深度特征提取器/>可以看作是/>个不同通道上的特征检测器的组合，每个都产生一个空间维度特征图/>。这些空间维度的检测响应图类似于SIFT方法中获得的高斯差分响应图。对于关键点的复合检测，首先需要确定其最突出的特征通道，然后再判断其是否是该通道所在空间响应图内的局部邻域最大值。通常，对于任意像素/>若想被检测为关键点，则需要满足/>是/>的局部最大值且/>。在给定初始特征点的前提下，本申请计算其与初始特征点之间的全卷积交叉熵损失，从而端到端优化深度特征提取器与特征点检测器，最终得到先验特征点检测模型。
（4）获取联合迁移模型
先验特征点检测模型可以在先验结构数据集上实现鲁棒且准确的特征提取和检测，但由于先验领域与目标领域特性差异，先验检测模型通常无法直接迁移至真实水下环境。对此，本申请依靠水下机器人对海洋工程结构进行多视角动态变化观测，获取现势观测图像，构建现势观测数据集。对该数据集中每张图片如，利用双层级多类型数据增广，获取一组伪现势观测(/>，然后将其输入到先验特征点检测模型，获取一组伪特征点坐标，然后对其进行逆增广，投影回现势观测空间，求和平均聚合后得到现势观测特征点，这样，可以将先验领域特征点知识迁移到现势领域。然后，给定一对现势观测图像和伪现势观测图像，现势特征描述的目标是获得具有高鉴别力的特征描述子，使得类内样本对应的特征相似性更高，而类间样本对应的特征差异性更大。为保持特征点检测和描述的一致性，本申请复用先验特征点检测模型，在此基础上引入与先验特征点检测模型中的复合检测器并行的联合特征描述器/>，获得所有图的特征描述子。在给定特征点对应关系前提下，本申请在保留特征点检测交叉熵损失的同时，联合三元组损失函数端到端优化特征提取器，特征点检测器及特征描述器，最终实现特征点检测和描述从先验领域到现势领域的联合迁移。
在推理过程中，可以包括以下方面：
（1）现势模型重组
根据水下构筑物标准几何模型参数和在大地坐标系中的绝对坐标，可以构建对应的标准三维点云模型，通过多视角采样和渲染后获取标准观测数据库。将该标准观测作为初始现势观测，在图像空间标记初始像素特征点并获取相应特征描述子，再将其重投影回三维空间，为了区别于由水下机器人在真实海洋环境获取的现势观测，将具有初始现势特征知识的点云模型记作标准模型。对于由水下机器人获取的光学图像数据，进行现势特征点检测与描述，然后与标准点云模型的特征知识进行匹配，根据双向最近邻准测，对满足先验特征相似度的特征点描述子进行更新，获取现势模型。该模型可以定期迭代，以合适的频率对最近的现势模型进行重组，维持模型特征知识的现势性。
（2）位姿解算模型
给定水下构筑物现势点云模型以及水下机器人实时获取的水下工程局部环境的光学图像数据，经过特征点联合探测与描述，获取光学图像特征点及描述子，然后根据双向最近邻准测，建立三维点云和二维图像间的同名点对，然后通过Perspective-n-Point和随机采样一致性算法，求解水下机器人当前的绝对位置和姿态。
在该实施例中，通过海洋工程人造环境中水下构筑物的稳定先验结构特征，构建了先验结构特征点库和双层级检测模型，提出了一种现势特征点的联合检测和描述方法，上述模型和方法结合了先验知识增广和联合迁移技术，可以对水下机器人光学实时数据中的关键点进行自适应检测和描述，实现了基于可迭代现势模型重组特征的水下绝对定位技术，从而达到了海洋高动态复杂多变场景下高精度高可靠性自主绝对定位目的，最终提升水下机器人以及无人化系统的自动化和智能化水平。
图6示出本申请实施例提供的结构先验知识增广与迁移的水下定位装置的结构示意图，该装置600包括：增广模块610、第一输入模块620、逆增广模块630、第二输入模块640和确定模块650。
其中，在该实施例中，增广模块610，用于通过对获取的现势观测数据集进行增广，得到所述现势观测数据集中每个现势观测图像对应的至少一个伪现势观测图像；第一输入模块620，用于通过将至少一个所述伪现势观测图像输入先验特征点检测模型，得到每个所述伪现势观测图像的第一伪特征点，其中，所述先验特征点检测模型是基于目标工程结构先验知识库训练得到的，所述目标工程结构先验知识库是基于初始工程结构先验知识库增广得到的，所述目标工程结构先验知识库包括多个目标基础图形，每个所述目标基础图形标记有初始特征点；逆增广模块630，用于通过对每个所述现势观测图像对应的至少一个伪现势观测图像的第一伪特征点进行逆增广，得到每个所述现势观测图像的第一特征点；第二输入模块640，用于通过将水下机器人获取的目标光学图像输入联合迁移模型，得到所述目标光学图像的目标特征点以及所述目标特征点的目标特征描述子，其中，所述联合迁移模型是基于每个所述现势观测图像的第一特征点与对应的所述伪现势观测图像的第一伪特征点进行训练得到的；确定模块650，用于基于所述目标光学图像的目标特征点以及所述目标特征点的目标特征描述子，确定所述水下机器人的水下位姿。
在一种实现方式中，在所述通过将至少一个所述伪现势观测图像输入先验特征点检测模型，得到每个所述伪现势观测图像的第一伪特征点之前，还包括：构建模块，用于构建所述初始工程结构先验知识库，其中，所述初始工程结构先验知识库包括多个初始基本图形，每个所述初始基本图形标记有所述初始特征点；第二增广模块，用于按照双层级多类型的模式，对所述初始工程结构先验知识库进行增广，得到增广工程结构先验知识库，其中，所述双层级多类型包括外观层级的变换方式和几何层级的变换方式，所述增广工程结构先验知识库包括多个增广基本图形，每个所述增广基本图形携带有所述初始特征点；合并模块，用于通过合并所述初始工程结构先验知识库和所述增广工程结构先验知识库，得到所述目标工程结构先验知识库，其中，多个所述目标基础图形包括多个所述初始基本图形和多个所述增广基本图形。
在一种实现方式中，所述先验特征点检测模型包括第一深度特征提取器和第一特征点复合检测器；在所述通过将至少一个所述伪现势观测图像输入先验特征点检测模型，得到每个所述伪现势观测图像的第一伪特征点之前，基于所述目标工程结构先验知识库训练所述先验特征点检测模型，包括：将所述目标工程结构先验知识库输入所述第一深度特征提取器，得到空间维度特征图集，其中，所述空间维度特征图集包括每个所述目标基础图形对应的第一空间维度特征图；通过将所述空间维度特征图集输入所述第一特征点复合检测器，得到每个所述目标基础图形的预测特征点；根据所述预测特征点和所述初始特征点，计算第一损失函数的第一损失值，所述第一损失函数用于表征所述预测特征点和所述初始特征点的位置相似度；基于所述第一损失值更新所述第一深度特征提取器和所述第一特征点复合检测器的参数，直至满足收敛条件，得到所述先验特征点检测模型。
在一种实现方式中，所述通过将所述空间维度特征图集输入所述第一特征点复合检测器，得到每个所述目标基础图形的预测特征点，包括：通过所述第一特征点复合检测器中的目标预设公式，确定每个所述第一空间维度特征图中的目标特征通道，其中，所述目标特征通道为特征响应值最大的通道；确定所述目标特征通道内的局部邻域最大值点为所述预测特征点。
在一种实现方式中，所述通过对每个所述现势观测图像对应的至少一个伪现势观测图像的第一伪特征点进行逆增广，得到每个所述现势观测图像的第一特征点，包括：在对每个所述现势观测图像对应的至少一个伪现势观测图像的第一伪特征点进行逆增广的情况下，通过对每个所述现势观测图像对应的所述第一伪特征点进行求和平均聚合，得到每个所述现势观测图像的第一特征点。
在一种实现方式中，所述联合迁移模型包括第二深度特征提取器、第二特征点复合检测器和联合特征描述器；在所述通过将水下机器人获取的目标光学图像输入联合迁移模型，得到所述目标光学图像的目标特征点以及所述目标特征点的目标特征描述子之前，基于每个所述现势观测图像的第一特征点与对应的所述伪现势观测图像的第一伪特征点训练所述联合迁移模型，包括：通过将每个所述现势观测图像以及对应的所述伪现势观测图像输入所述第二深度特征提取器，分别得到每个所述现势观测图像和每个所述伪现势观测图像的第二空间维度特征图；基于各个所述第二空间维度特征图、所述第一特征点和所述第一伪特征点，训练所述第二深度特征提取器、所述第二特征点复合检测器和所述联合特征描述器；在训练过程中，分别获取所述第二特征点复合检测器对应的第二损失值，以及所述联合特征描述器对应的第三损失值；根据所述第二损失值和所述第三损失值，分别更新所述第二深度特征提取器、所述第二特征点复合检测器和所述联合特征描述器的参数，直至满足收敛条件，得到所述联合迁移模型。
在一种实现方式中，获取所述第二特征点复合检测器对应的第二损失值，包括：将各个所述第二空间维度特征图输入所述第二特征点复合检测器，得到每个所述现势观测图像的第二特征点，以及每个所述伪现势观测图像的第二伪特征点；根据第一输出特征点和第一标记特征点，计算第二损失函数的第二损失值，所述第二损失函数用于表征所述第一输出特征点和所述第一标记特征点的位置相似度，所述第一输出特征点包括所述第二特征点和所述第二伪特征点，所述第一标记特征点包括所述第一特征点和所述第一伪特征点。
在一种实现方式中，获取所述联合特征描述器对应的第三损失值，包括：将各个所述第二空间维度特征图输入所述联合特征描述器，得到每个所述现势观测图像的所有像素点的第三特征描述子，和每个所述伪现势观测图像的所有伪像素点的第三伪特征描述子，其中，所述像素点包括所述第二特征点，所述伪像素点包括所述第二伪特征点；从所述第三特征描述子中获取所述第二特征点的第二特征描述子，以及从所述第三伪特征描述子中获取所述第二伪特征点的第二伪特征描述子；在所述第二特征点中存在与所述第一特征点相匹配的第二匹配特征点的情况下，确定所述第一特征点的第一特征描述子为所述第二匹配特征点的第二特征描述子，以及在所述第二伪特征点中存在与所述第一伪特征点相匹配的第二匹配伪特征点的情况下，确定所述第一伪特征点的第一伪特征描述子为所述第二匹配伪特征点的第二伪特征描述子；基于所述第一特征点及其所述第一特征描述子、所述第一伪特征点及其所述第一伪特征描述子，通过联合三元组损失函数获取第三损失值，其中，所述第三损失值包括第四损失值和第五损失值，所述第四损失值为类内样本对应的损失值，所述第五损失值为类间样本对应的损失值，所述类内样本由所述第一特征点与对应的类内伪特征点构成，所述类间样本由所述第一特征点与对应的类间伪特征点构成，所述类内伪特征点为所述第一伪特征描述子与所述第一特征点的第一特征描述子相匹配的所述第一伪特征点，所述类间伪特征点为所述第一伪特征描述子与所述第一特征点的第一特征描述子不匹配的所述第一伪特征点。
在一种实现方式中，所述基于所述目标光学图像的目标特征点以及所述目标特征点的目标特征描述子，确定所述水下机器人的水下位姿，包括：通过将所述目标特征描述子与标准三维点云模型中的标准特征点的标准特征描述子进行匹配，确定与所述目标特征点相匹配的所述标准特征点；基于所述目标特征点与所述标准特征点的对应关系，确定所述水下机器人的水下位姿。
在一种实现方式中，在基于所述目标特征点与所述标准特征点的对应关系，确定所述水下机器人的水下位姿之后，还包括：通过将匹配到的所述标准特征点的特征描述子替换为对应的目标特征点的目标特征描述子，更新所述标准三维点云模型。
本申请实施例提供的该装置600，可执行前文方法实施例中所述的各方法，并实现前文方法实施例中所述的各方法的功能和有益效果，在此不再赘述。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (8)

1.一种结构先验知识增广与迁移的水下定位方法，其特征在于，包括：
通过对获取的现势观测数据集进行增广，得到所述现势观测数据集中每个现势观测图像对应的至少一个伪现势观测图像；
通过将至少一个所述伪现势观测图像输入先验特征点检测模型，得到每个所述伪现势观测图像的第一伪特征点，其中，所述先验特征点检测模型是基于目标工程结构先验知识库训练得到的，所述目标工程结构先验知识库是基于初始工程结构先验知识库增广得到的，所述目标工程结构先验知识库包括多个目标基础图形，每个所述目标基础图形标记有初始特征点；
通过对每个所述现势观测图像对应的至少一个所述伪现势观测图像的所述第一伪特征点进行逆增广，得到每个所述现势观测图像的第一特征点；
通过将水下机器人获取的目标光学图像输入联合迁移模型，得到所述目标光学图像的目标特征点以及所述目标特征点的目标特征描述子，其中，所述联合迁移模型是基于每个所述现势观测图像的所述第一特征点与对应的所述伪现势观测图像的所述第一伪特征点进行训练得到的；
基于所述目标光学图像的目标特征点以及所述目标特征点的目标特征描述子，确定所述水下机器人的水下位姿；
其中，所述先验特征点检测模型包括第一深度特征提取器和第一特征点复合检测器；
在所述通过将至少一个所述伪现势观测图像输入先验特征点检测模型，得到每个所述伪现势观测图像的第一伪特征点之前，基于所述目标工程结构先验知识库训练所述先验特征点检测模型，包括：
将所述目标工程结构先验知识库输入所述第一深度特征提取器，得到空间维度特征图集，其中，所述空间维度特征图集包括每个所述目标基础图形对应的第一空间维度特征图；
通过将所述空间维度特征图集输入所述第一特征点复合检测器，得到每个所述目标基础图形的预测特征点；
根据所述预测特征点和所述初始特征点，计算第一损失函数的第一损失值，所述第一损失函数用于表征所述预测特征点和所述初始特征点的位置相似度；
基于所述第一损失值更新所述第一深度特征提取器和所述第一特征点复合检测器的参数，直至满足收敛条件，得到所述先验特征点检测模型；
所述联合迁移模型包括第二深度特征提取器、第二特征点复合检测器和联合特征描述器；
在所述通过将水下机器人获取的目标光学图像输入联合迁移模型，得到所述目标光学图像的目标特征点以及所述目标特征点的目标特征描述子之前，基于每个所述现势观测图像的第一特征点与对应的所述伪现势观测图像的第一伪特征点训练所述联合迁移模型，包括：
通过将每个所述现势观测图像以及对应的所述伪现势观测图像输入所述第二深度特征提取器，分别得到每个所述现势观测图像和每个所述伪现势观测图像的第二空间维度特征图；
基于各个所述第二空间维度特征图、所述第一特征点和所述第一伪特征点，训练所述第二深度特征提取器、所述第二特征点复合检测器和所述联合特征描述器；
在训练过程中，分别获取所述第二特征点复合检测器对应的第二损失值，以及所述联合特征描述器对应的第三损失值；
根据所述第二损失值和所述第三损失值，分别更新所述第二深度特征提取器、所述第二特征点复合检测器和所述联合特征描述器的参数，直至满足收敛条件，得到所述联合迁移模型。
2.根据权利要求1所述的方法，其特征在于，在所述通过将至少一个所述伪现势观测图像输入先验特征点检测模型，得到每个所述伪现势观测图像的第一伪特征点之前，还包括：
构建所述初始工程结构先验知识库，其中，所述初始工程结构先验知识库包括多个初始基本图形，每个所述初始基本图形标记有所述初始特征点；
按照双层级多类型的模式，对所述初始工程结构先验知识库进行增广，得到增广工程结构先验知识库，其中，所述双层级多类型包括外观层级的变换方式和几何层级的变换方式，所述增广工程结构先验知识库包括多个增广基本图形，每个所述增广基本图形携带有所述初始特征点；
通过合并所述初始工程结构先验知识库和所述增广工程结构先验知识库，得到所述目标工程结构先验知识库，其中，多个所述目标基础图形包括多个所述初始基本图形和多个所述增广基本图形。
3.根据权利要求1所述的方法，其特征在于，所述通过将所述空间维度特征图集输入所述第一特征点复合检测器，得到每个所述目标基础图形的预测特征点，包括：
通过所述第一特征点复合检测器中的目标预设公式，确定每个所述第一空间维度特征图中的目标特征通道，其中，所述目标特征通道为特征响应值最大的通道；
确定所述目标特征通道内的局部邻域最大值点为所述预测特征点。
4.根据权利要求1所述的方法，其特征在于，所述通过对每个所述现势观测图像对应的至少一个所述伪现势观测图像的所述第一伪特征点进行逆增广，得到每个所述现势观测图像的第一特征点，包括：
在对每个所述现势观测图像对应的至少一个所述伪现势观测图像的所述第一伪特征点进行逆增广的情况下，通过对每个所述现势观测图像对应的所述第一伪特征点进行求和平均聚合，得到每个所述现势观测图像的所述第一特征点。
5.根据权利要求1所述的方法，其特征在于，获取所述第二特征点复合检测器对应的第二损失值，包括：
将各个所述第二空间维度特征图输入所述第二特征点复合检测器，得到每个所述现势观测图像的第二特征点，以及每个所述伪现势观测图像的第二伪特征点；
根据第一输出特征点和第一标记特征点，计算第二损失函数的第二损失值，所述第二损失函数用于表征所述第一输出特征点和所述第一标记特征点的位置相似度，所述第一输出特征点包括所述第二特征点和所述第二伪特征点，所述第一标记特征点包括所述第一特征点和所述第一伪特征点。
6.根据权利要求5所述的方法，其特征在于，获取所述联合特征描述器对应的第三损失值，包括：
将各个所述第二空间维度特征图输入所述联合特征描述器，得到每个所述现势观测图像的所有像素点的第三特征描述子，和每个所述伪现势观测图像的所有伪像素点的第三伪特征描述子，其中，所述像素点包括所述第二特征点，所述伪像素点包括所述第二伪特征点；
从所述第三特征描述子中获取所述第二特征点的第二特征描述子，以及从所述第三伪特征描述子中获取所述第二伪特征点的第二伪特征描述子；
在所述第二特征点中存在与所述第一特征点相匹配的第二匹配特征点的情况下，确定所述第一特征点的第一特征描述子为所述第二匹配特征点的第二特征描述子，以及在所述第二伪特征点中存在与所述第一伪特征点相匹配的第二匹配伪特征点的情况下，确定所述第一伪特征点的第一伪特征描述子为所述第二匹配伪特征点的第二伪特征描述子；
基于所述第一特征点及其所述第一特征描述子、所述第一伪特征点及其所述第一伪特征描述子，通过联合三元组损失函数获取所述第三损失值，其中，所述第三损失值包括第四损失值和第五损失值，所述第四损失值为类内样本对应的损失值，所述第五损失值为类间样本对应的损失值，所述类内样本由所述第一特征点与对应的类内伪特征点构成，所述类间样本由所述第一特征点与对应的类间伪特征点构成，所述类内伪特征点为所述第一伪特征描述子与所述第一特征点的第一特征描述子相匹配的所述第一伪特征点，所述类间伪特征点为所述第一伪特征描述子与所述第一特征点的第一特征描述子不匹配的所述第一伪特征点。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述基于所述目标光学图像的目标特征点以及所述目标特征点的目标特征描述子，确定所述水下机器人的水下位姿，包括：
通过将所述目标特征描述子与标准三维点云模型中的标准特征点的标准特征描述子进行匹配，确定与所述目标特征点相匹配的所述标准特征点；
基于所述目标特征点与所述标准特征点的对应关系，确定所述水下机器人的水下位姿。
8.根据权利要求7所述的方法，其特征在于，在基于所述目标特征点与所述标准特征点的对应关系，确定所述水下机器人的水下位姿之后，还包括：
通过将匹配到的所述标准特征点的特征描述子替换为对应的目标特征点的目标特征描述子，更新所述标准三维点云模型。
CN202311722463.4A 2023-12-14 2023-12-14 一种结构先验知识增广与迁移的水下定位方法 Active CN117437287B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311722463.4A CN117437287B (zh) 2023-12-14 2023-12-14 一种结构先验知识增广与迁移的水下定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311722463.4A CN117437287B (zh) 2023-12-14 2023-12-14 一种结构先验知识增广与迁移的水下定位方法

Publications (2)

Publication Number Publication Date
CN117437287A CN117437287A (zh) 2024-01-23
CN117437287B true CN117437287B (zh) 2024-03-19

Family

ID=89551780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311722463.4A Active CN117437287B (zh) 2023-12-14 2023-12-14 一种结构先验知识增广与迁移的水下定位方法

Country Status (1)

Country Link
CN (1) CN117437287B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114266977A (zh) * 2021-12-27 2022-04-01 青岛澎湃海洋探索技术有限公司 基于超分辨可选择网络的多auv的水下目标识别方法
CN114283325A (zh) * 2021-12-22 2022-04-05 杭州电子科技大学 一种基于知识蒸馏的水下目标识别方法
CN115170943A (zh) * 2022-07-27 2022-10-11 哈尔滨工程大学 一种基于迁移学习的改进视觉Transformer海底底质声呐图像分类方法
CN115169216A (zh) * 2022-05-25 2022-10-11 哈尔滨工程大学 面向水声智能伪装的高鲁棒性的对抗样本生成方法及系统
CN115965844A (zh) * 2023-01-04 2023-04-14 哈尔滨工业大学 基于视觉显著性先验知识的多聚焦图像融合方法
CN116501034A (zh) * 2023-03-22 2023-07-28 南京工业大学 基于迁移强化学习的vex机器人路径规划方法
CN116664454A (zh) * 2023-08-01 2023-08-29 中国海洋大学 一种基于多尺度颜色迁移参数预测的水下图像增强方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283325A (zh) * 2021-12-22 2022-04-05 杭州电子科技大学 一种基于知识蒸馏的水下目标识别方法
CN114266977A (zh) * 2021-12-27 2022-04-01 青岛澎湃海洋探索技术有限公司 基于超分辨可选择网络的多auv的水下目标识别方法
CN115169216A (zh) * 2022-05-25 2022-10-11 哈尔滨工程大学 面向水声智能伪装的高鲁棒性的对抗样本生成方法及系统
CN115170943A (zh) * 2022-07-27 2022-10-11 哈尔滨工程大学 一种基于迁移学习的改进视觉Transformer海底底质声呐图像分类方法
CN115965844A (zh) * 2023-01-04 2023-04-14 哈尔滨工业大学 基于视觉显著性先验知识的多聚焦图像融合方法
CN116501034A (zh) * 2023-03-22 2023-07-28 南京工业大学 基于迁移强化学习的vex机器人路径规划方法
CN116664454A (zh) * 2023-08-01 2023-08-29 中国海洋大学 一种基于多尺度颜色迁移参数预测的水下图像增强方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一种基于激光矩阵的水下网衣巡检机器人定位方法;秦浩 等;《渔业现代化》;20221031;第49卷(第5期);第127-136页 *
基于迁移学习的水下目标定位方法仿真研究;雷波 等;《物理学报》;20211231;第70卷(第22期);第[224302-1]-[224302-10]页 *
复杂水下环境中自适应粒子群优化的SINS/DVL组合导航方法;王迪 等;《中国惯性技术学报》;20231031;第31卷(第19期);第1023-1036页 *

Also Published As

Publication number Publication date
CN117437287A (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
Kim et al. Artificial landmark-based underwater localization for AUVs using weighted template matching
CN106780631B (zh) 一种基于深度学习的机器人闭环检测方法
Negahdaripour On 3-D motion estimation from feature tracks in 2-D FS sonar video
Liu et al. Detection and pose estimation for short-range vision-based underwater docking
US9551579B1 (en) Automatic connection of images using visual features
Ribeiro et al. Forward looking sonar scene matching using deep learning
Lee et al. Registration method for maintenance-work support based on augmented-reality-model generation from drawing data
US20200167650A1 (en) Hinted neural network
Ye et al. Deflowslam: Self-supervised scene motion decomposition for dynamic dense slam
Chavez et al. Adaptive navigation scheme for optimal deep-sea localization using multimodal perception cues
Jia et al. Depth measurement based on a convolutional neural network and structured light
CN117437287B (zh) 一种结构先验知识增广与迁移的水下定位方法
CN116468768B (zh) 基于条件变分自编码器和几何引导的场景深度补全方法
Morales et al. Real-time adaptive obstacle detection based on an image database
Istenic et al. Mission-time 3D reconstruction with quality estimation
CN116958434A (zh) 多视图三维重建方法、测量方法及系统
Buck et al. Capturing uncertainty in monocular depth estimation: Towards fuzzy voxel maps
CN116703996A (zh) 基于实例级自适应深度估计的单目三维目标检测算法
Francis et al. Fuzzy nlg system for extensive verbal description of relative positions
Del-Tejo-Catalá et al. Probabilistic pose estimation from multiple hypotheses
Pal et al. Evolution of Simultaneous Localization and Mapping Framework for Autonomous Robotics—A Comprehensive Review
Wu et al. Acoustic camera pose refinement using differentiable rendering
Cao et al. Make object connect: A pose estimation network for UAV images of the outdoor scene
CN117593618B (zh) 基于神经辐射场和深度图的点云生成方法
CN113570662B (zh) 3d定位来自真实世界图像中地标的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant