CN114663745A - 水下设备的位置锁定方法、终端设备、系统和介质 - Google Patents

水下设备的位置锁定方法、终端设备、系统和介质 Download PDF

Info

Publication number
CN114663745A
CN114663745A CN202210212066.1A CN202210212066A CN114663745A CN 114663745 A CN114663745 A CN 114663745A CN 202210212066 A CN202210212066 A CN 202210212066A CN 114663745 A CN114663745 A CN 114663745A
Authority
CN
China
Prior art keywords
image
underwater
target
determining
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210212066.1A
Other languages
English (en)
Inventor
孙伟
钟卓如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qysea Technology Co ltd
Original Assignee
Shenzhen Qysea Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qysea Technology Co ltd filed Critical Shenzhen Qysea Technology Co ltd
Priority to CN202210212066.1A priority Critical patent/CN114663745A/zh
Publication of CN114663745A publication Critical patent/CN114663745A/zh
Priority to US17/889,598 priority patent/US20230280441A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63G—OFFENSIVE OR DEFENSIVE ARRANGEMENTS ON VESSELS; MINE-LAYING; MINE-SWEEPING; SUBMARINES; AIRCRAFT CARRIERS
    • B63G8/00—Underwater vessels, e.g. submarines; Equipment specially adapted therefor
    • B63G8/001—Underwater vessels adapted for special purposes, e.g. unmanned underwater vessels; Equipment specially adapted therefor, e.g. docking stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63G—OFFENSIVE OR DEFENSIVE ARRANGEMENTS ON VESSELS; MINE-LAYING; MINE-SWEEPING; SUBMARINES; AIRCRAFT CARRIERS
    • B63G8/00—Underwater vessels, e.g. submarines; Equipment specially adapted therefor
    • B63G8/001—Underwater vessels adapted for special purposes, e.g. unmanned underwater vessels; Equipment specially adapted therefor, e.g. docking stations
    • B63G2008/002—Underwater vessels adapted for special purposes, e.g. unmanned underwater vessels; Equipment specially adapted therefor, e.g. docking stations unmanned
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S2201/00—Indexing scheme relating to beacons or beacon systems transmitting signals capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters
    • G01S2201/01—Indexing scheme relating to beacons or beacon systems transmitting signals capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters adapted for specific applications or environments
    • G01S2201/07—Under water

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种水下设备的位置锁定方法、终端设备、系统和介质，所述方法包括：获取水下设备拍摄的光学图像和声纳图像；根据所述光学图像和所述声纳图像合成目标图像，所述目标图像中至少包括目标物体；根据所述目标图像确定所述目标物体的位置偏移信息；根据所述位置偏移信息生成所述水下设备的位置控制参数，并将所述位置控制参数发送至所述水下设备，以使所述水下设备根据所述位置控制参数进行位置锁定。本发明大大降低了水下设备在浑浊或者暗流水体中的操控难度。

Description

水下设备的位置锁定方法、终端设备、系统和介质
技术领域
本发明涉及图像分析技术领域，尤其涉及一种水下设备的位置锁定方法、终端设备、系统和介质。
背景技术
随着水下无人机测查和巡检等应用的大范围推广，水下无人机的使用环境越来越复杂多变，特别是在江河和近海等水域，存在浪大湍急和水体浑浊等特点，大大增加了无人机在浑浊和暗流水体中的操控难度，导致水下无人机仅依靠光学镜头在水下很难保证成像效果，导致无法准确对目标物体进行识别和追踪，进而影响到了依靠水下光学成像技术实现的无人机位置锁定功能的效果。
发明内容
本发明的主要目的在于提供一种水下设备的位置锁定方法、终端设备、系统和介质，旨在解决如何提高水下目标物体的位置锁定的稳定性的问题。
为实现上述目的，本发明提供的一种水下设备的位置锁定方法，所述水下设备的位置锁定方法包括以下步骤：
获取水下设备拍摄的光学图像和声纳图像；
根据所述光学图像和所述声纳图像合成目标图像，所述目标图像中至少包括目标物体；
根据所述目标图像确定所述目标物体的位置偏移信息；
根据所述位置偏移信息生成所述水下设备的位置控制参数，并将所述位置控制参数发送至所述水下设备，以使所述水下设备根据所述位置控制参数进行位置锁定。
在一实施例中，所述根据所述目标图像确定所述目标物体的位置偏移信息的步骤包括：
确定当前时刻的所述目标图像的相邻图像，所述相邻图像为当前时刻的所述目标图像的上一时刻的所述目标图像；
根据所述目标图像和所述相邻图像确定所述目标物体的位置偏移信息。
在一实施例中，所述根据所述目标图像和所述相邻图像确定所述目标物体的位置偏移信息的步骤包括：
获取用户在所述目标图像中选取的第一图像区域，并确定所述第一图像区域的第一位置信息；
获取用户在所述相邻图像中选取的第二图像区域，并确定所述第二图像区域的第二位置信息；
根据所述第一位置信息和所述第二位置信息确定所述目标物体的所述位置偏移信息。
在一实施例中，所述根据所述目标图像和所述相邻图像确定所述目标物体的位置偏移信息的步骤包括：
识别所述目标图像中的所述目标物体，确定所述目标物体的第三位置信息；
识别所述相邻图像中的所述目标物体，确定所述目标物体的第四位置信息；
根据所述第三位置信息和所述第四位置信息确定所述目标物体的所述位置偏移信息。
在一实施例中，所述根据所述光学图像和所述声纳图像合成目标图像的步骤包括：
将所述光学图像输入预设的图像增强模型，得到所述光学增强图像，所述光学增强图像的清晰度大于所述光学图像；
根据所述光学增强图像和所述声纳图像合成所述目标图像。
在一实施例中，所述将所述初始光学图像输入预设的图像增强模型，得到所述光学图像的步骤之前，还包括：
获取训练集，所述训练集包括水下光学图像和参考图像；
根据所述训练集训练预设的神经网络模型，得到所述图像增强模型。
在一实施例中，所述根据所述光学图像和所述声纳图像合成目标图像的步骤包括：
确定所述光学图像的第一图像特征，并确定所述声纳图像的第二图像特征；
根据预设的权重系数、所述第一图像特征和所述第二图像特征确定所述目标图像。
为实现上述目的，本发明还提供一种终端设备，所述终端设备包括存储器、处理器以及存储在所述存储器并可在所述处理器上执行的水下设备的位置锁定程序，所述水下设备的位置锁定程序被所述处理器执行时实现如上所述的水下设备的位置锁定方法的各个步骤。
为实现上述目的，本发明还提供一种水下设备的位置锁定系统，所述水下设备的位置锁定系统包括水下设备和如上所述的终端设备，所述终端设备与水下设备通过双绞线连接，所述水下设备设有光学摄像机和声纳传感器。
为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有水下设备的位置锁定程序，所述水下设备的位置锁定程序被处理器执行时实现如上所述的水下设备的位置锁定方法的各个步骤。
本发明提供的一种水下设备的位置锁定方法、终端设备、系统和介质，获取水下设备拍摄的光学图像和声纳图像；根据光学图像和声纳图像合成目标图像，目标图像中至少包括目标物体；根据目标图像确定目标物体的位置偏移信息；根据位置偏移信息生成水下设备的位置控制参数，并将位置控制参数发送至水下设备，以使水下设备根据位置控制参数进行位置锁定。通过水下设备拍摄得到的光学图像和声纳图像合成目标图像，可以清晰获取目标物体的成像图像，避免水污浊等情况导致的图像不清晰，根据目标图像确定目标物体的位置偏移信息，使得水下设备进行位置锁定保持，使得水下位置锁定时稳定、可靠和灵活，大大降低了水下设备在浑浊或者暗流水体中的操控难度。
附图说明
图1为本发明实施例涉及的终端设备的硬件结构示意图；
图2为本发明水下设备的位置锁定方法的第一实施例的流程示意图；
图3为本发明水下设备的位置锁定系统的结构示意图；
图4为本发明水下设备的位置锁定方法的第二实施例的步骤S30的细化流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：获取水下设备拍摄的光学图像和声纳图像；根据光学图像和声纳图像合成目标图像，目标图像中至少包括目标物体；根据目标图像确定目标物体的位置偏移信息；根据位置偏移信息生成水下设备的位置控制参数，并将位置控制参数发送至水下设备，以使水下设备根据位置控制参数进行位置锁定。
通过水下设备拍摄得到的光学图像和声纳图像合成目标图像，可以清晰获取目标物体的成像图像，避免水污浊等情况导致的图像不清晰，根据目标图像确定目标物体的位置偏移信息，使得水下设备进行位置锁定保持，使得水下位置锁定时稳定、可靠和灵活，大大降低了水下设备在浑浊或者暗流水体中的操控难度。
作为一种实现方案，终端设备可以如图1所示。
本发明实施例方案涉及的是终端设备，终端设备为PC(personal computer，个人计算机)、手机或者平板电脑等，终端设备包括：处理器101，例如CPU，存储器102，通信总线103。其中，通信总线103用于实现这些组件之间的连接通信。
存储器102可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。如图1所示，作为一种计算机可读存储介质的存储器102中可以包括水下设备的位置锁定程序；而处理器101可以用于调用存储器102中存储的水下设备的位置锁定程序，并执行以下操作：
获取水下设备拍摄的光学图像和声纳图像；
根据所述光学图像和所述声纳图像合成目标图像，所述目标图像中至少包括目标物体；
根据所述目标图像确定所述目标物体的位置偏移信息；
根据所述位置偏移信息生成所述水下设备的位置控制参数，并将所述位置控制参数发送至所述水下设备，以使所述水下设备根据所述位置控制参数进行位置锁定。
在一实施例中，处理器101可以用于调用存储器102中存储的水下设备的位置锁定程序，并执行以下操作：
确定当前时刻的所述目标图像的相邻图像，所述相邻图像为当前时刻的所述目标图像的上一时刻的所述目标图像；
根据所述目标图像和所述相邻图像确定所述目标物体的位置偏移信息。
在一实施例中，处理器101可以用于调用存储器102中存储的水下设备的位置锁定程序，并执行以下操作：
获取用户在所述目标图像中选取的第一图像区域，并确定所述第一图像区域的第一位置信息；
获取用户在所述相邻图像中选取的第二图像区域，并确定所述第二图像区域的第二位置信息；
根据所述第一位置信息和所述第二位置信息确定所述目标物体的所述位置偏移信息。
在一实施例中，处理器101可以用于调用存储器102中存储的水下设备的位置锁定程序，并执行以下操作：
识别所述目标图像中的所述目标物体，确定所述目标物体的第三位置信息；
识别所述相邻图像中的所述目标物体，确定所述目标物体的第四位置信息；
根据所述第三位置信息和所述第四位置信息确定所述目标物体的所述位置偏移信息。
在一实施例中，处理器101可以用于调用存储器102中存储的水下设备的位置锁定程序，并执行以下操作：
将所述光学图像输入预设的图像增强模型，得到所述光学增强图像，所述光学增强图像的清晰度大于所述光学图像；
根据所述光学增强图像和所述声纳图像合成所述目标图像。
在一实施例中，处理器101可以用于调用存储器102中存储的水下设备的位置锁定程序，并执行以下操作：
获取训练集，所述训练集包括水下光学图像和参考图像；
根据所述训练集训练预设的神经网络模型，得到所述图像增强模型。
在一实施例中，处理器101可以用于调用存储器102中存储的水下设备的位置锁定程序，并执行以下操作：
确定所述光学图像的第一图像特征，并确定所述声纳图像的第二图像特征；
根据预设的权重系数、所述第一图像特征和所述第二图像特征确定所述目标图像。
基于上述终端设备的硬件构架，提出本发明水下设备的位置锁定方法的实施例。
参照图2，图2为本发明水下设备的位置锁定方法的第一实施例，所述水下设备的位置锁定方法包括以下步骤：
步骤S10，获取水下设备拍摄的光学图像和声纳图像；
具体的，水下设备可以为ROV(Remote Operated Vehicle，遥控无人潜水器)，其中，ROV是UUV(Unmanned Underwater Vehicle，无人水下航行器)的一种。如图3所示，水下设备b设有光学摄像机d和声纳传感器e，其中，光学摄像机d可以拍摄水下的目标物体c的光学图像，声纳传感器e可以获取水下的目标物体c的声纳图像。终端设备a可以为PC(personal computer，个人计算机)、手机或者平板电脑等设备，终端设备a位于水平面的上方，终端设备a通过双绞线f与水下设备b通信连接，终端设备a可以获取水下设备b拍摄的光学图像和声纳图像，光学图像和声纳图像以编码视频流的形式通过双绞线f传输到水面线h之上终端设备a，其中，光学图像和声纳图像是一一对应的，其中，一一对应的光学图像和声纳图像为同一时刻和/或同一拍摄角度所拍摄的。
步骤S20，根据所述光学图像和所述声纳图像合成目标图像，所述目标图像中至少包括目标物体；
具体的，目标图像中至少包括水下设备追踪的目标物体，目标物体不限于石头、桥墩或者沉船等任意不会自身移动的物体，在水下的位置相对固定。终端设备根据光学图像和对应的声纳图像合成目标图像。可选的，确定光学图像的第一图像特征，其中，第一图像特征至少包括光学图像中目标物体的边缘特征和轮廓特征等；确定声纳图像的第二图像特征，其中，第二图像特征至少包括声纳图像中目标物体的边缘特征和轮廓特征等；根据预设的权重系数、第一图像特征和第二图像特征合成目标图像，即根据第一图像特征、第一图像特征对应的第一权重系数、第二图像特征和第二图像特征对应的第二权重系数合成目标图像，可选的，第二权重系数大于第一权重系数。
可选的，根据光学图像和声纳图像合成目标图像，将光学图像输入预设的图像增强模型，得到光学增强图像，光学增强图像的清晰度大于光学图像；根据光学增强图像和声纳图像合成目标图像。将初始光学图像输入预设的图像增强模型，得到光学图像之前，获取训练集，训练集包括水下光学图像和参考图像，其中参考图像为空气中的光学图像；根据训练集训练预设的神经网络模型，得到图像增强模型。
步骤S30，根据所述目标图像确定所述目标物体的位置偏移信息；
具体的，终端设备根据目标图像确定目标物体的位置偏移信息，可选的，确定当前时刻的目标图像中目标物体的位置信息，确定上一时刻的目标图像中目标物体的位置信息，根据两个时刻的目标物体的位置信息得到目标物体的位置偏移信息。
步骤S40，根据所述位置偏移信息生成所述水下设备的位置控制参数，并将所述位置控制参数发送至所述水下设备，以使所述水下设备根据所述位置控制参数进行位置锁定。
具体的，终端设备根据目标物体的位置偏移信息生成水下设备的位置控制参数，终端设备将位置控制参数发送至水下设备，水下设备根据位置控制参数调整水下设备的姿态进行位置锁定。
在本实施例的技术方案中，终端设备获取水下设备拍摄的光学图像和声纳图像；根据光学图像和声纳图像合成目标图像，目标图像中至少包括目标物体；根据目标图像确定目标物体的位置偏移信息；根据位置偏移信息生成水下设备的位置控制参数，并将位置控制参数发送至水下设备，以使水下设备根据位置控制参数进行位置锁定。通过水下设备拍摄得到的光学图像和声纳图像合成目标图像，可以清晰获取目标物体的成像图像，避免水污浊等情况导致的图像不清晰，根据目标图像确定目标物体的位置偏移信息，使得水下设备进行位置锁定保持，使得水下位置锁定时稳定、可靠和灵活，大大降低了水下设备在浑浊或者暗流水体中的操控难度。
参照图4，图4为本发明水下设备的位置锁定方法的第二实施例，基于第一实施例，所述步骤S30包括：
步骤S31，确定当前时刻的所述目标图像的相邻图像，所述相邻图像为当前时刻的所述目标图像的上一时刻的所述目标图像；
步骤S32，根据所述目标图像和所述相邻图像确定所述目标物体的位置偏移信息。
具体的，终端设备确定当前时刻的目标图像的相邻图像，其中，相邻图像为当前时刻的目标图像的上一时刻的目标图像。终端设备根据目标图像和相邻图像确定目标物体的位置偏移信息。可选的，终端设备获取用户在目标图像中选取的第一图像区域，并确定第一图像区域的第一位置信息，示例性的，用户通过终端设备的触摸屏手动框选目标图像中的目标物体，会生成一个矩形框，部署在终端设备软件中的算法会将矩形框的ROI(Region ofInterest，感兴趣区域)进行计算，并确定矩形框的位置像素坐标数据；获取用户在相邻图像中选取的第二图像区域，并确定第二图像区域的第二位置信息，示例性的，用户通过终端设备的触摸屏手动框选相邻图像中的目标物体，会生成一个矩形框，部署在终端设备软件中的算法会将矩形框的ROI(Region of Interest，感兴趣区域)进行计算，并确定矩形框的位置像素坐标数据；根据第一位置信息和第二位置信息确定目标物体的位置偏移信息。可选的，识别目标图像中的目标物体，确定目标物体的第三位置信息；识别相邻图像中的目标物体，确定目标物体的第四位置信息；根据第三位置信息和第四位置信息确定目标物体的位置偏移信息。
在本实施例的技术方案中，终端设备确定当前时刻的目标图像的相邻图像，相邻图像为当前时刻的目标图像的上一时刻的目标图像；根据目标图像和相邻图像确定目标物体的位置偏移信息。通过目标图像和相邻图像确定目标物体的位置偏移信息，从而生成位置控制参数以控制水下设备进行位置锁定。
本发明还提供一种终端设备，所述终端设备包括存储器、处理器以及存储在所述存储器并可在所述处理器上执行的水下设备的位置锁定程序，所述水下设备的位置锁定程序被所述处理器执行时实现如上实施例所述的水下设备的位置锁定方法的各个步骤。
本发明还提供一种水下设备的位置锁定系统，如图3所示，所述水下设备的位置锁定系统包括水下设备b和如上实施例所述的终端设备a，所述终端设备a与所述水下设备b通过双绞线f连接，所述水下设备b设有光学摄像机d和声纳传感器e。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有水下设备的位置锁定程序，所述水下设备的位置锁定程序被处理器执行时实现如上实施例所述的水下设备的位置锁定方法的各个步骤。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、系统、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、系统、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、系统、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例系统可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，停车管理设备，空调器，或者网络设备等)执行本发明各个实施例所述的系统。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种水下设备的位置锁定方法，其特征在于，应用于终端设备，所述水下设备的位置锁定方法包括：
获取水下设备拍摄的光学图像和声纳图像；
根据所述光学图像和所述声纳图像合成目标图像，所述目标图像中至少包括目标物体；
根据所述目标图像确定所述目标物体的位置偏移信息；
根据所述位置偏移信息生成所述水下设备的位置控制参数，并将所述位置控制参数发送至所述水下设备，以使所述水下设备根据所述位置控制参数进行位置锁定。
2.如权利要求1所述的水下设备的位置锁定方法，其特征在于，所述根据所述目标图像确定所述目标物体的位置偏移信息的步骤包括：
确定当前时刻的所述目标图像的相邻图像，所述相邻图像为当前时刻的所述目标图像的上一时刻的所述目标图像；
根据所述目标图像和所述相邻图像确定所述目标物体的位置偏移信息。
3.如权利要求2所述的水下设备的位置锁定方法，其特征在于，所述根据所述目标图像和所述相邻图像确定所述目标物体的位置偏移信息的步骤包括：
获取用户在所述目标图像中选取的第一图像区域，并确定所述第一图像区域的第一位置信息；
获取用户在所述相邻图像中选取的第二图像区域，并确定所述第二图像区域的第二位置信息；
根据所述第一位置信息和所述第二位置信息确定所述目标物体的所述位置偏移信息。
4.如权利要求2所述的水下设备的位置锁定方法，其特征在于，所述根据所述目标图像和所述相邻图像确定所述目标物体的位置偏移信息的步骤包括：
识别所述目标图像中的所述目标物体，确定所述目标物体的第三位置信息；
识别所述相邻图像中的所述目标物体，确定所述目标物体的第四位置信息；
根据所述第三位置信息和所述第四位置信息确定所述目标物体的所述位置偏移信息。
5.如权利要求1所述的水下设备的位置锁定方法，其特征在于，所述根据所述光学图像和所述声纳图像合成目标图像的步骤包括：
将所述光学图像输入预设的图像增强模型，得到所述光学增强图像，所述光学增强图像的清晰度大于所述光学图像；
根据所述光学增强图像和所述声纳图像合成所述目标图像。
6.如权利要求5所述的水下设备的位置锁定方法，其特征在于，所述将所述初始光学图像输入预设的图像增强模型，得到所述光学图像的步骤之前，还包括：
获取训练集，所述训练集包括水下光学图像和参考图像；
根据所述训练集训练预设的神经网络模型，得到所述图像增强模型。
7.如权利要求1所述的水下设备的位置锁定方法，其特征在于，所述根据所述光学图像和所述声纳图像合成目标图像的步骤包括：
确定所述光学图像的第一图像特征，并确定所述声纳图像的第二图像特征；
根据预设的权重系数、所述第一图像特征和所述第二图像特征确定所述目标图像。
8.一种终端设备，其特征在于，所述终端设备包括存储器、处理器以及存储在所述存储器并可在所述处理器上执行的水下设备的位置锁定程序，所述水下设备的位置锁定程序被所述处理器执行时实现如权利要求1-7任一项所述的水下设备的位置锁定方法的各个步骤。
9.一种水下设备的位置锁定系统，其特征在于，所述水下设备的位置锁定系统包括水下设备和如权利要求8所述的终端设备，所述终端设备与水下设备通过双绞线连接，所述水下设备设有光学摄像机和声纳传感器。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有水下设备的位置锁定程序，所述水下设备的位置锁定程序被处理器执行时实现如权利要求1-7任一项所述的水下设备的位置锁定方法的各个步骤。
CN202210212066.1A 2022-03-04 2022-03-04 水下设备的位置锁定方法、终端设备、系统和介质 Pending CN114663745A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210212066.1A CN114663745A (zh) 2022-03-04 2022-03-04 水下设备的位置锁定方法、终端设备、系统和介质
US17/889,598 US20230280441A1 (en) 2022-03-04 2022-08-17 Pisition locking method of underwater equipment, terminal equipment, system and non-transitory medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210212066.1A CN114663745A (zh) 2022-03-04 2022-03-04 水下设备的位置锁定方法、终端设备、系统和介质

Publications (1)

Publication Number Publication Date
CN114663745A true CN114663745A (zh) 2022-06-24

Family

ID=82027975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210212066.1A Pending CN114663745A (zh) 2022-03-04 2022-03-04 水下设备的位置锁定方法、终端设备、系统和介质

Country Status (2)

Country Link
US (1) US20230280441A1 (zh)
CN (1) CN114663745A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115303451A (zh) * 2022-07-22 2022-11-08 深圳鳍源科技有限公司 水下设备以及水下作业系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060008137A1 (en) * 2003-09-19 2006-01-12 Shahriar Nagahdaripour Multi-camera inspection of underwater structures
WO2014173393A1 (de) * 2013-04-26 2014-10-30 Atlas Elektronik Gmbh Verfahren zum identifizieren oder detektieren einer unterwasserstruktur, rechner sowie wasserfahrzeug
CN109859271A (zh) * 2018-12-14 2019-06-07 哈尔滨工程大学 一种水下摄像机与前视声纳的联合标定方法
CN109856638A (zh) * 2019-02-28 2019-06-07 中国计量大学 一种特定水下目标自动搜索定位的方法
CN109884642A (zh) * 2019-03-26 2019-06-14 南京砺剑光电技术研究院有限公司 采用多波束声纳和激光辅助照明成像设备的融合成像方法
CN113739720A (zh) * 2021-08-30 2021-12-03 东南大学 一种融合声学与光学方法的水下高精度测量和缺陷检测方法
CN114049549A (zh) * 2021-10-27 2022-02-15 广东行远机器人技术有限公司 水下视觉识别方法、系统和计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060008137A1 (en) * 2003-09-19 2006-01-12 Shahriar Nagahdaripour Multi-camera inspection of underwater structures
WO2014173393A1 (de) * 2013-04-26 2014-10-30 Atlas Elektronik Gmbh Verfahren zum identifizieren oder detektieren einer unterwasserstruktur, rechner sowie wasserfahrzeug
CN109859271A (zh) * 2018-12-14 2019-06-07 哈尔滨工程大学 一种水下摄像机与前视声纳的联合标定方法
CN109856638A (zh) * 2019-02-28 2019-06-07 中国计量大学 一种特定水下目标自动搜索定位的方法
CN109884642A (zh) * 2019-03-26 2019-06-14 南京砺剑光电技术研究院有限公司 采用多波束声纳和激光辅助照明成像设备的融合成像方法
CN113739720A (zh) * 2021-08-30 2021-12-03 东南大学 一种融合声学与光学方法的水下高精度测量和缺陷检测方法
CN114049549A (zh) * 2021-10-27 2022-02-15 广东行远机器人技术有限公司 水下视觉识别方法、系统和计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115303451A (zh) * 2022-07-22 2022-11-08 深圳鳍源科技有限公司 水下设备以及水下作业系统

Also Published As

Publication number Publication date
US20230280441A1 (en) 2023-09-07

Similar Documents

Publication Publication Date Title
CN111797650B (zh) 障碍物的识别方法、装置、计算机设备和存储介质
US10614579B1 (en) Three dimensional model generation using heterogeneous 2D and 3D sensor fusion
KR101023207B1 (ko) 영상 객체 추출 장치 및 그 방법
Li et al. Multi-scale single image dehazing using Laplacian and Gaussian pyramids
WO2011005783A4 (en) Image-based surface tracking
US9838604B2 (en) Method and system for stabilizing video frames
CN110651295B (zh) 图像处理设备、图像处理方法和程序
CN113988112B (zh) 车道线的检测方法、装置、设备及存储介质
CN114663745A (zh) 水下设备的位置锁定方法、终端设备、系统和介质
CN113516711A (zh) 相机位姿估计技术
CN112307912A (zh) 一种基于摄像头确定人员轨迹的方法及系统
US20170301098A1 (en) Passive underwater odometry using a video camera
WO2012029238A1 (ja) 画像処理システム、画像処理方法および画像処理プログラム
CN111213179A (zh) 一种图像数据处理方法、装置及系统
KR101598399B1 (ko) 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템
JP7196920B2 (ja) 運転支援装置および運転支援方法、プログラム
JP6492603B2 (ja) 画像処理装置、システム、画像処理方法、およびプログラム
CN112507965A (zh) 一种电子瞭望系统的目标识别方法及系统
JP5514131B2 (ja) 画像処理方法、画像処理装置およびそれを搭載した水中検査装置
CN113923369B (zh) 一种用于船舶的视频防抖方法和系统
CN115690767B (zh) 车牌识别方法、装置、无人机及存储介质
CN113826376B (zh) 用户设备和斜视校正方法
CN114973175B (zh) 运动物体检测方法、装置、终端设备以及存储介质
CN114677443B (zh) 光学定位方法、装置、设备及存储介质
KR100856474B1 (ko) 영상 흔들림 보정방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination