CN116255908B - 面向水下机器人的海生物定位测量装置及方法 - Google Patents

面向水下机器人的海生物定位测量装置及方法 Download PDF

Info

Publication number
CN116255908B
CN116255908B CN202310525536.4A CN202310525536A CN116255908B CN 116255908 B CN116255908 B CN 116255908B CN 202310525536 A CN202310525536 A CN 202310525536A CN 116255908 B CN116255908 B CN 116255908B
Authority
CN
China
Prior art keywords
laser
marine organism
marine
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310525536.4A
Other languages
English (en)
Other versions
CN116255908A (zh
Inventor
马文静
张芃
刘瑾
曹蕾
于复生
沈孝芹
张涵
范文利
唐保成
衣杰
张国海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jianzhu University
Original Assignee
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jianzhu University filed Critical Shandong Jianzhu University
Priority to CN202310525536.4A priority Critical patent/CN116255908B/zh
Publication of CN116255908A publication Critical patent/CN116255908A/zh
Application granted granted Critical
Publication of CN116255908B publication Critical patent/CN116255908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/05—Underwater scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种面向水下机器人的海生物定位测量装置及方法，属于水下机器人领域；所述装置包括视觉处理器、控制器、图像传感器、姿态传感器、第一激光器、第二激光器、固定支架和密封舱，所述第一激光器和第二激光器的光斑形状为一字线。此外，本发明所述方法基于单目视觉实现海生物测量和定位，包括制作数据集、搭建网络结构、训练检测网络、转换模型、将.kmodel模型文件部署到K210端、结合两束平行激光线间的实际距离建立参考系以推算出海参的实际尺寸信息和深度信息等步骤。本发明降低了硬件成本且相对于双目相机降低了数据输入量，减少计算量，提高了计算效率，实现了在小型嵌入式平台上进行海生物定位与尺寸测量。

Description

面向水下机器人的海生物定位测量装置及方法
技术领域
本发明涉及一种面向水下机器人的海生物定位测量装置及方法，属于水下机器人领域。
背景技术
水下机器人可以分成有ROV（Remote Operated Vehicle，缆水下机器人）、AUV（AutonomousUnderwater Vehicle，无缆水下机器人）和HOV（Human Occupied Vehicle，载人潜水器）三类。ROV能够通过电缆提供能源供给，且具有实时数据传输能力强、作业能力强及水下运行时间长等优点，广泛应用于内河堤坝检测、水下搜救和海生物搜索等领域。
随着人工智能技术的发展，水下机器人在海洋自主捕捞领域得到快速发展和应用。其中海参、海胆、扇贝等海生物的自主抓取作为水下机器人的一个重要应用领域，其核心技术包括海生物快速准确识别、海生物定位和海生物测量三部分。
传统目标检测中根据检测对象的颜色、纹理和边缘等特征进行识别，此类方法通常只能检测单一目标且需要人工设计算子进行特征提取，工作量较大。近年来，基于卷积神经网络的目标检测算法发展迅速，这些算法不仅可以区分目标的种类，还可以定位到目标在图像中的位置，并画出包围框。
目前水下海生物捕捞机器人存在以下问题：
（1）目前，基于深度学习的检测方法仅能分类和获得二维图像的定位信息，但是如果想要对海参等海生物进行捕捞，仅有二维定位坐标并不能准确定位目标的位置，必须还需要深度信息；此外，基于深度学习的检测方法不能给出海参等生物的真实尺寸，而对于水下机器人来说，要想代替人工完成海参等生物的捕捞工作，首先要对海生物进行辨别并判断其长势情况，然后才能挑选成熟的海生物进行捕捞；
（2）目前，水下机器人利用双目相机通过左右相机的成像关系来解算目标距离，但双目相机体积较大，安装精度要求高且获取图像数据量大；此外，由于水下环境较为复杂，水介质的折射作用导致传统的相机模型在水下无法使用，这为水下场景深度信息的获取以及三维重建带来了极大的困难。
发明内容
针对以上水下海生物捕捞机器人存在的问题，本发明提出了一种面向水下机器人的海生物定位测量装置及方法。
本发明是通过以下技术方案实现的：
一种面向水下机器人的海生物定位测量方法，基于单目视觉实现，包括：
S1：制作数据集：拍摄水下海生物图像，制作海生物数据集，具体的，拍摄不同间距的激光图像，制作激光数据集，对原始数据集中的海生物和激光进行标注生成标注文件；
S2：搭建网络结构：采用MobileNet V1特征提取网络，采用2个尺度检测海生物和平行光：尺度为7×10×27的输出张量及尺度为14×20×27的输出张量；
S3：训练检测网络：先以0.001的学习率训练50轮，再以0.0005的学习率训练150轮，得到.h5模型文件；
S4：转换模型：通过人工智能学习系统TensorFlow的tflite_convert命令将.h5模型文件转化为.tflite模型文件，通过模型转换工具nncase将.tflite模型文件转化为.kmodel模型文件；
S5：将.kmodel模型文件部署到K210（AI芯片）端：先将系统内部和外部硬件初始化，然后加载.kmodel模型文件，初始化目标检测层配置；
S6：调整激光器的位置，用两个激光器发射两束一字线状激光，保证两束激光线平行，两束平行激光线间的实际距离已知；根据摄像头采集图像中两条平行激光线间的像素距离，结合两束平行激光线间的实际距离，建立参考系，从而推算出海生物的实际尺寸信息和深度信息。
进一步的，步骤S1中，为了计算平行激光在图像中的像素距离，将一对平行激光当作一个检测目标进行标注，即在相机拍摄的图像中，两条平行激光线与图像的上下边界构成一个矩形框，标注时，将两条平行激光线与图像的上下边界构成的矩形框作为一个目标进行标注。
进一步的，步骤S5中，所述摄像头采集完成一帧图像后触发中断，传入摄像头采集的图像到KPU运行.kmodel模型文件，等待KPU处理完成后，获取KPU最终处理的结果，把KPU处理的结果带入区域层计算最终位置，得到目标的中心点坐标与目标回归框的宽和高，即可在输入图像中找到平行激光和海生物的外接矩形框。
进一步的，设定所述目标回归框像素坐标为，/>表示目标回归框的中心点坐标，/>和/>分别表示目标回归框的宽和高。则图像中目标回归框的左上角的像素坐标为/>，目标回归框的右下角的像素坐标为。
进一步的，所述步骤S6包括以下步骤：
S6.1：海生物尺寸测量：以图像左上角为坐标原点，水平向右为轴正方向，水平向下为/>轴正方向，建立平面直角坐标系，其中/>为海生物目标回归框左上角坐标，/>为海生物目标回归框右下角坐标，/>为海生物目标回归框宽度，/>为海生物目标回归框高度，用海生物目标回归框对角线长度/>代表海生物大小，/>为激光框右下角横坐标，/>为激光框左上角横坐标，/>为第一激光线与第二激光线间的像素距离；在进行海生物尺寸测量前，调整第一激光器与第二激光器使第一激光线与第二激光线平行，并测量第一激光线与第二激光线间的实际距离/>；其中，/>，/>，，/>，设海生物实际大小为/>，则/>；
S6.2：计算海生物深度信息：先固定镜头平面与物体所在平面，计算摄像头的焦距（成像平面与镜头平面间的垂直距离），其中，/>；再利用摄像头的焦距/>求出镜头平面与物体所在平面间的垂直距离/>，即被检测物体的深度信息，根据姿态传感器的数据调整水下机器人的位姿来保证镜头平面和物体所在平面的平行。
进一步的，所述海生物识别的步骤如下：
L1：水下捕捞机器人通过OV2640摄像头实时采集水下海生物图像；
L2：加载模型和权重参数，将本地训练好的YOLOv3-MobileNet检测模型和权重参数加载到K210芯片内；
L3：对待检测图像进行特征提取，提取与海生物（包括海参、海胆、扇贝和海星等）相似的特征；
L4：根据所提取的海生物特征进一步完成海生物的类别、置信度及位置预测；
L5：根据L4的预测结果，判断该图像中是否含有目标，若含有目标则将目标的位置信息通过串口发送给主控制器，主控制器控制推进器进而控制机器人对海生物进行抓捕。
本发明还提供了另一种技术方案：
一种面向水下机器人的海生物定位测量装置，用于实现所述海生物定位测量方法，所述海生物定位测量装置包括视觉处理器、控制器、图像传感器、姿态传感器、第一激光器、第二激光器、固定支架和密封舱；所述密封舱包括密封舱体、密封舱盖和密封圈；所述密封舱盖盖合在密封舱体上，通过密封圈密封；
所述固定支架安装在密封舱体内，用于固定图像传感器、姿态传感器、第一激光器和第二激光器；所述第一激光器和第二激光器的光斑形状为一字线；所述图像传感器和姿态传感器均用胶粘在固定支架上；所述视觉处理器与图像传感器通过DVP接口（DigitalVideo Port）连接，所述控制器与姿态传感器通过I2C接口（Inter Integrated Circuit）连接，所述视觉处理器与控制器通过串口连接。
进一步的，所述图像传感器负责采集图像，视觉处理器计算被检测海生物的尺寸和坐标，将大于预先设定尺寸的海生物的坐标通过串口发送给控制器，控制器根据海生物的坐标改变6路PWM（Pulse Width Modulation，脉冲宽度调制）占空比，从而控制6路电机转速，最终控制水下机器人的移动，实现对海生物的吸取。
进一步的，所述视觉处理器采用K210视觉处理器，所述控制器采用STM32F1（芯片）控制器，所述图像传感器采用型号为OV2640 CMOS的图像传感器，所述姿态传感器采用型号为MPU6050的姿态传感器。
本发明的技术效果：
与现有技术相比，本发明的一种面向水下机器人的海生物定位测量装置及方法，使用安装配置简单的单目相机，基于单目视觉实现了视觉定位，降低了硬件成本且相对于双目相机降低了数据输入量，减少计算量，提高了计算效率，实现了在小型嵌入式平台上进行海生物定位与尺寸测量。
附图说明
图1为本发明面向水下机器人的海生物定位测量装置的结构示意图；
图2为本发明固定支架的另一角度结构示意图；
图3为本发明的网络结构图；
图4为本发明的海参测量原理图；
图5为本发明的海参定位原理图。
图中，101、密封舱体；102、密封舱盖；103、密封圈；2、K210视觉处理器；3、STM32F1控制器；4、MPU6050姿态传感器；5、OV2640 CMOS图像传感器；6、第一激光器；7、第二激光器；8、固定支架；9、海参；10、第一激光线；11、第二激光线；12、成像平面；13、镜头平面；14、物体所在平面。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面结合说明书附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例1：
如图1和图2所示，本实施例涉及一种面向水下机器人的海生物定位测量装置，包括K210视觉处理器2、STM32F1控制器3、OV2640 CMOS图像传感器5、MPU6050姿态传感器4、第一激光器6、第二激光器7、固定支架8和密封舱。
所述密封舱包括密封舱体101、密封舱盖102和密封圈103；所述密封舱盖102盖合在密封舱体101上，通过设置于密封舱盖102上的密封圈103密封。
所述固定支架8安装在密封舱体101内，用于固定OV2640 CMOS图像传感器5、MPU6050姿态传感器4、第一激光器6和第二激光器7。其中，所述第一激光器6和第二激光器7的光斑形状为一字线；所述OV2640 CMOS图像传感器5和MPU6050姿态传感器4均通过胶粘在固定支架8上。所述K210视觉处理器2与OV2640 CMOS图像传感器5通过DVP接口（DigitalVideo Port）连接，STM32F1控制器3与MPU6050姿态传感器4通过I2C接口（InterIntegrated Circuit）连接，K210视觉处理器2与STM32F1控制器3通过串口连接。K210视觉处理器2计算得到被检测海生物的尺寸和坐标，将大于预先设定尺寸的海生物的坐标通过串口发送给STM32F1控制器3，STM32F1控制器3根据海生物的坐标改变6路PWM（PulseWidthModulation，脉冲宽度调制）占空比，从而控制6路电机转速，最终控制水下机器人的运动，实现对海生物的吸取。
上述技术方案解决了现有水下机器人（利用搭载的摄像头通过线缆将采集到的水下图像传输到地面站上位机端电脑进行实时检测）图像数据传输有延迟、上位机体积大和成本高的问题。
实施例2：
本发明涉及一种面向水下机器人的海生物定位测量方法，基于单目视觉实现，以海参9检测为例进行说明，具体步骤包括：
S1：制作数据集：拍摄水下海参9图像，制作海参9数据集。具体的，拍摄不同间距的激光图像，制作激光数据集；对原始数据集中的海参9和激光进行标注生成标注文件。为了计算平行激光在图像中的像素距离，将一对平行激光当作一个检测目标进行标注，也就是说在相机拍摄的图像中，两条平行激光线与图像的上下边界构成一个矩形框。标注时，将两条平行激光线与图像的上下边界构成的矩形框作为一个目标进行标注。在不同光照、拍摄角度的条件下，采集海参9图像和平行激光图像共600张；
S2：搭建网络结构YOLOv3-MobileNet：网络结构如图3所示，首先，一副尺寸为224×320×3的待检测图像输入至YOLOv3-MobileNet网络，依次经过1个CBL层，5个深度可分离卷积块（DW4、DW1），1个CBL层，1个卷积层（Conv），最终输出尺寸为7×10×27的y1检测头来完成海生物的识别，其中DW（Depthwise Convolution）为深度可分离卷积；对y1检测流程中的深度可分离卷积块（DW1）卷积后得到的特征图，经过1个CBL层，1个上采样层，然后与深度可分离卷积块（DW4）输出的14×20×27特征图进行张量拼接，最后得到输出尺寸为14×20×27的y2检测头。其中CBL层中包含卷积（Conv，Convolution）、批归一化（BN，BatchNormalization）和激活层（LeakyReLU）；深度可分离卷积块包含深度可分离卷积（Depthwise Conv）、批归一化（BN）、激活层（ReLU）和CBL层。本发明YOLOv3-MobileNet网络的应用场景为海生物识别，包括的类别有海参9、海胆、扇贝和海星，每一个网格预测的锚框数为3，输出通道数为27；
S3：训练检测网络：先以0.001的学习率训练50轮，再以0.0005的学习率训练150轮，得到.h5模型文件；
S4：转换模型：通过人工智能学习系统TensorFlow的tflite_convert命令将.h5模型文件转化为.tflite模型文件。通过模型转换工具nncase将.tflite模型文件转化为.kmodel模型文件；
S5：将.kmodel模型文件部署到K210端：先将系统内部和外部硬件初始化，然后加载.kmodel模型文件，初始化目标检测层配置；具体的，摄像头采集完成一帧图像后触发中断，传入摄像头采集的图像到神经网络处理器KPU运行.kmodel模型文件，等待KPU处理完成后，获取KPU最终处理的结果，把KPU处理的结果带入区域层计算最终位置，得到目标的中心点坐标与目标回归框的宽和高。这样就在输入图像中找到了平行激光和海参9的外接矩形框。其中，目标回归框像素坐标为，/>表示目标回归框的中心点坐标，/>和/>分别表示目标回归框的宽和高；为了方便后面的说明，给出图像中目标回归框左上角像素坐标和右下角像素坐标的计算方法，其中，目标回归框的左上角的像素坐标为，目标回归框的右下角的像素坐标为/>；
S6：调整激光器的位置，用两个激光器发射两束一字线状激光，保证两束激光线平行，两束平行激光线间的实际距离已知。根据摄像头采集图像中两条平行激光线间的像素距离，结合两束平行激光线间的实际距离，建立参考系，从而推算出海参9的实际尺寸信息和深度信息；
S6.1：计算海参9大小及其坐标：如图4所示，以图像左上角为坐标原点，水平向右为轴正方向，水平向下为/>轴正方向，建立平面直角坐标系，其中/>为海生物目标回归框左上角坐标，/>为海生物目标回归框右下角坐标，/>为海生物目标回归框宽度，/>为海生物目标回归框高度，用海生物目标回归框对角线长度/>代表海生物大小，为激光框右下角横坐标，/>为激光框左上角横坐标，/>为第一激光线10与第二激光线11间的像素距离。如图5所示，/>为第一激光线10与第二激光线11间的实际距离。在进行海参9尺寸测量前，调整第一激光器与第二激光器使第一激光线10与第二激光线11平行，并测量第一激光线10与第二激光线11间的实际距离/>。其中，/>，/>，，/>，设海生物实际大小为/>，则/>。以海参9目标回归框的中点坐标作为海参9坐标，则海参9的坐标为：/>，/>，其中，/>为海参9在图像中的坐标；
S6.2：计算海参9深度信息：如图5所示，为第一激光线10与第二激光线11间的像素距离，/>为第一激光线10与第二激光线11间的实际距离，/>为成像平面12与镜头平面13间的垂直距离，也就是摄像头的焦距，/>为镜头平面13与物体所在平面14间的垂直距离。先固定镜头平面13与物体所在平面14间的垂直距离/>计算摄像头的焦距/>。再利用摄像头的焦距/>求出镜头平面13与物体所在平面14间的垂直距离/>，也就是被检测物体的深度信息。根据MPU6050姿态传感器的数据调整水下机器人的位姿来保证镜头平面13和物体所在平面14的平行。
本发明所述海生物识别的步骤如下：
L1：水下捕捞机器人通过OV2640摄像头实时采集水下海生物图像；
L2：加载模型和权重参数，将本地训练好的YOLOv3-MobileNet检测模型和权重参数加载到K210芯片内；
L3：对待检测图像进行特征提取，提取与海参9、海胆、扇贝和海星相似的特征；
L4：根据所提取的海生物特征进一步完成海生物的类别、置信度及位置预测；
L5：根据L4的预测结果，判断该图像中是否含有目标，若含有目标则将目标的位置信息通过串口发送给主控制器，主控制器控制推进器进而控制机器人对海生物进行抓捕。
此外，因为目标检测算法可以同时计算出不同类别多个物体的目标回归框，所以可以完成同时对多种海生物的尺寸测量和深度信息计算。
对于本领域的普通技术人员而言，根据本发明的教导，在不脱离本发明的原理与精神的情况下，对实施方式所进行的改变、修改、替换和变型仍落入本发明的保护范围之内。

Claims (8)

1.面向水下机器人的海生物定位测量方法，其特征在于，基于单目视觉实现，包括：
S1：制作数据集：拍摄水下海生物图像，制作海生物数据集，具体的，拍摄不同间距的激光图像，制作激光数据集，对原始数据集中的海生物和激光进行标注生成标注文件；
S2：搭建网络结构：采用MobileNet V1特征提取网络，采用2个尺度检测海生物和平行光：尺度为7×10×27的输出张量及尺度为14×20×27的输出张量；
S3：训练检测网络：先以0.001的学习率训练50轮，再以0.0005的学习率训练150轮，得到.h5模型文件；
S4：转换模型：通过人工智能学习系统TensorFlow的tflite_convert命令将.h5模型文件转化为.tflite模型文件，通过模型转换工具nncase将.tflite模型文件转化为.kmodel模型文件；
S5：将.kmodel模型文件部署到K210 AI芯片端：先将系统内部和外部硬件初始化，然后加载.kmodel模型文件，初始化目标检测层配置；
S6：调整激光器的位置，用两个激光器发射两束一字线状激光，保证两束激光线平行，两束平行激光线间的实际距离已知；根据摄像头采集图像中两条平行激光线间的像素距离，结合两束平行激光线间的实际距离，建立参考系，从而推算出海生物的实际尺寸信息和深度信息；
步骤S5中，所述摄像头采集完成一帧图像后触发中断，传入摄像头采集的图像到神经网络处理器KPU运行.kmodel模型文件，等待KPU处理完成后，获取KPU最终处理的结果，把KPU处理的结果带入区域层计算最终位置，得到目标的中心点坐标与目标回归框的宽和高，在输入图像中找到平行激光和海生物的外接矩形框。
2.根据权利要求1所述的面向水下机器人的海生物定位测量方法，其特征在于，步骤S1中，将一对平行激光当作一个检测目标进行标注，在相机拍摄的图像中，两条平行激光线与图像的上下边界构成一个矩形框，标注时，将两条平行激光线与图像的上下边界构成的矩形框作为一个目标进行标注。
3.根据权利要求1所述的面向水下机器人的海生物定位测量方法，其特征在于，设定所述目标回归框像素坐标为(bx，by，bw，bh)，(bx，by)表示目标回归框的中心点坐标，bw和bh分别表示目标回归框的宽和高；则图像中目标回归框的左上角的像素坐标为目标回归框的右下角的像素坐标为/>
4.根据权利要求1所述的面向水下机器人的海生物定位测量方法，其特征在于，所述步骤S6包括以下步骤：
S6.1：海生物尺寸测量：以图像左上角为坐标原点，水平向右为x轴正方向，水平向下为y轴正方向，建立平面直角坐标系，其中(xB1，yB1)为海生物目标回归框左上角坐标，(xB2，yB2)为海生物目标回归框右下角坐标，w1为海生物目标回归框宽度，h1为海生物目标回归框高度，用海生物目标回归框对角线长度S代表海生物大小，xA2为激光框右下角横坐标，xA1为激光框左上角横坐标，h为第一激光线与第二激光线间的像素距离；在进行海生物尺寸测量前，调整第一激光器与第二激光器使第一激光线与第二激光线平行，并测量第一激光线与第二激光线间的实际距离H；其中，h＝xA2-xA1，w1＝xB2-xB1，h1＝yB2-yB1，设海生物实际大小为S，则/>
S6.2：计算海生物深度信息：先固定镜头平面与物体所在平面，计算摄像头的焦距f，其中，再利用摄像头的焦距f求出镜头平面与物体所在平面间的垂直距离D，D为被检测物体的深度信息，根据姿态传感器的数据调整水下机器人的位姿来保证镜头平面和物体所在平面的平行。
5.根据权利要求1所述的面向水下机器人的海生物定位测量方法，其特征在于，海生物识别的步骤如下：
L1：水下捕捞机器人通过OV2640摄像头实时采集水下海生物图像；
L2：加载模型和权重参数，将本地训练好的YOLOv3-MobileNet检测模型和权重参数加载到K210芯片内；
L3：对待检测图像进行特征提取，提取与海生物相似的特征；
L4：根据所提取的海生物特征进一步完成海生物的类别、置信度及位置预测；
L5：根据L4的预测结果，判断该图像中是否含有目标，若含有目标则将目标的位置信息通过串口发送给主控制器，主控制器控制推进器进而控制机器人对海生物进行抓捕。
6.面向水下机器人的海生物定位测量装置，其特征在于，用于实现如权利要求1-5任一项所述海生物定位测量方法，所述海生物定位测量装置包括视觉处理器、控制器、图像传感器、姿态传感器、第一激光器、第二激光器、固定支架和密封舱；
所述密封舱包括密封舱体、密封舱盖和密封圈；所述密封舱盖盖合在密封舱体上，通过密封圈密封；
所述固定支架安装在密封舱体内，用于固定图像传感器、姿态传感器、第一激光器和第二激光器；所述第一激光器和第二激光器的光斑形状为一字线；所述图像传感器和姿态传感器均用胶粘在固定支架上；所述视觉处理器与图像传感器通过DVP接口连接，所述控制器与姿态传感器通过I2C接口连接，所述视觉处理器与控制器通过串口连接。
7.根据权利要求6所述的面向水下机器人的海生物定位测量装置，其特征在于，所述图像传感器用于采集图像；所述视觉处理器计算被检测海生物的尺寸和坐标，将大于预先设定尺寸的海生物的坐标通过串口发送给控制器；所述控制器根据海生物的坐标改变6路PWM占空比，从而控制6路电机转速，最终控制水下机器人的移动，实现对海生物的吸取。
8.根据权利要求6所述的面向水下机器人的海生物定位测量装置，其特征在于，所述视觉处理器采用K210视觉处理器，所述控制器采用STM32F1控制器，所述图像传感器采用型号为OV2640 CMOS的图像传感器，所述姿态传感器采用型号为MPU6050的姿态传感器。
CN202310525536.4A 2023-05-11 2023-05-11 面向水下机器人的海生物定位测量装置及方法 Active CN116255908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310525536.4A CN116255908B (zh) 2023-05-11 2023-05-11 面向水下机器人的海生物定位测量装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310525536.4A CN116255908B (zh) 2023-05-11 2023-05-11 面向水下机器人的海生物定位测量装置及方法

Publications (2)

Publication Number Publication Date
CN116255908A CN116255908A (zh) 2023-06-13
CN116255908B true CN116255908B (zh) 2023-08-15

Family

ID=86688333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310525536.4A Active CN116255908B (zh) 2023-05-11 2023-05-11 面向水下机器人的海生物定位测量装置及方法

Country Status (1)

Country Link
CN (1) CN116255908B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117854116B (zh) * 2024-03-08 2024-05-17 中国海洋大学 一种基于贝塞尔曲线的海参原位长度测量方法
CN117921711B (zh) * 2024-03-22 2024-06-04 海南坤联科技有限公司 具有抓取功能的潜水设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226693A (zh) * 2013-03-21 2013-07-31 浙江工业大学 基于全景立体视觉的捕捞对象的识别和空间定位装置及方法
CN106737725A (zh) * 2016-12-01 2017-05-31 台山核电合营有限公司 一种隧洞附着海生物清理执行装置
CN108876855A (zh) * 2018-05-28 2018-11-23 哈尔滨工程大学 一种基于深度学习的海参检测和双目视觉定位方法
CN110411339A (zh) * 2019-07-30 2019-11-05 中国海洋大学 一种基于平行激光束的水下目标尺寸测量设备及方法
CN111062990A (zh) * 2019-12-13 2020-04-24 哈尔滨工程大学 一种面向水下机器人目标抓取的双目视觉定位方法
WO2020140047A1 (en) * 2018-12-28 2020-07-02 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
CN111723782A (zh) * 2020-07-28 2020-09-29 北京印刷学院 基于深度学习的视觉机器人抓取方法及系统
CN112347900A (zh) * 2020-11-04 2021-02-09 中国海洋大学 基于距离估计的单目视觉水下目标自动抓取方法
CN114248893A (zh) * 2022-02-28 2022-03-29 中国农业大学 一种面向海参捕捞的作业型水下机器人及其控制方法
CN114549611A (zh) * 2022-02-23 2022-05-27 中国海洋大学 一种基于神经网络及少量点测量的水下绝对距离估计方法
CN114549629A (zh) * 2022-02-23 2022-05-27 中国海洋大学 水下单目视觉估计目标三维位姿的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7496226B2 (en) * 2003-09-19 2009-02-24 University Of Miami Multi-camera inspection of underwater structures

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226693A (zh) * 2013-03-21 2013-07-31 浙江工业大学 基于全景立体视觉的捕捞对象的识别和空间定位装置及方法
CN106737725A (zh) * 2016-12-01 2017-05-31 台山核电合营有限公司 一种隧洞附着海生物清理执行装置
CN108876855A (zh) * 2018-05-28 2018-11-23 哈尔滨工程大学 一种基于深度学习的海参检测和双目视觉定位方法
WO2020140047A1 (en) * 2018-12-28 2020-07-02 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
CN110411339A (zh) * 2019-07-30 2019-11-05 中国海洋大学 一种基于平行激光束的水下目标尺寸测量设备及方法
CN111062990A (zh) * 2019-12-13 2020-04-24 哈尔滨工程大学 一种面向水下机器人目标抓取的双目视觉定位方法
CN111723782A (zh) * 2020-07-28 2020-09-29 北京印刷学院 基于深度学习的视觉机器人抓取方法及系统
CN112347900A (zh) * 2020-11-04 2021-02-09 中国海洋大学 基于距离估计的单目视觉水下目标自动抓取方法
CN114549611A (zh) * 2022-02-23 2022-05-27 中国海洋大学 一种基于神经网络及少量点测量的水下绝对距离估计方法
CN114549629A (zh) * 2022-02-23 2022-05-27 中国海洋大学 水下单目视觉估计目标三维位姿的方法
CN114248893A (zh) * 2022-02-28 2022-03-29 中国农业大学 一种面向海参捕捞的作业型水下机器人及其控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于ANSYS-Workbench对水下机器人框架结构优化设计;严高超;沈孝芹;于复生;朱宝星;梁为;;制造业自动化(10);全文 *

Also Published As

Publication number Publication date
CN116255908A (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
CN116255908B (zh) 面向水下机器人的海生物定位测量装置及方法
KR102231286B1 (ko) 선박 주변 모니터링 장치 및 선박 주변 모니터링 방법
KR102530691B1 (ko) 접안 모니터링 장치 및 방법
CN114248893B (zh) 一种面向海参捕捞的作业型水下机器人及其控制方法
CN110543859A (zh) 一种基于深度学习和双目定位的海参自主识别和抓取方法
KR102339465B1 (ko) 딥러닝-영상인식 기반 해상폐기물 제거용 자율운항 선박 시스템
Maki et al. Tracking a sea turtle by an AUV with a multibeam imaging sonar: Toward robotic observation of marine life
Livanos et al. Intelligent navigation and control of a prototype autonomous underwater vehicle for automated inspection of aquaculture net pen cages
Ji-Yong et al. Design and vision based autonomous capture of sea organism with absorptive type remotely operated vehicle
KR102520844B1 (ko) 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치
CN113538702A (zh) 一种海洋养殖区水下场景全景图生成方法
Karapetyan et al. Human diver-inspired visual navigation: Towards coverage path planning of shipwrecks
Jin et al. Hovering control of UUV through underwater object detection based on deep learning
CN112215131A (zh) 一种自动垃圾拾取系统及其手动操作和自动拾取方法
Yasukawa et al. Vision system for an autonomous underwater vehicle with a benthos sampling function
Maki et al. Autonomous tracking of sea turtles based on multibeam imaging sonar: Toward robotic observation of marine life
Li et al. Vision-based target detection and positioning approach for underwater robots
Shi et al. Underwater formation system design and implement for small spherical robots
CN113568407A (zh) 一种基于深度视觉的人机协作安全预警方法及系统
Singh et al. Vision-based AUV docking to an underway dock using convolutional neural networks
CN117008622A (zh) 视觉机器人水下目标识别追踪方法及其水下视觉机器人
Kim et al. Line Laser mounted Small Agent ROV based 3D Reconstruction Method for Precision Underwater Manipulation
Chou et al. An AI AUV enabling vision-based diver-following and obstacle avoidance with 3D-modeling dataset
Xing et al. Quadrotor vision-based localization for amphibious robots in amphibious area
CN114445572A (zh) 一种基于DeeplabV3+的陌生海域中障碍物即时定位与地图构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant