CN117854116A - 一种基于贝塞尔曲线的海参原位长度测量方法 - Google Patents

一种基于贝塞尔曲线的海参原位长度测量方法 Download PDF

Info

Publication number
CN117854116A
CN117854116A CN202410263810.XA CN202410263810A CN117854116A CN 117854116 A CN117854116 A CN 117854116A CN 202410263810 A CN202410263810 A CN 202410263810A CN 117854116 A CN117854116 A CN 117854116A
Authority
CN
China
Prior art keywords
sea cucumber
bezier curve
curve
detection
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410263810.XA
Other languages
English (en)
Other versions
CN117854116B (zh
Inventor
李坤乾
刘帅鑫
徐旷惟
宋大雷
姜迁里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202410263810.XA priority Critical patent/CN117854116B/zh
Publication of CN117854116A publication Critical patent/CN117854116A/zh
Application granted granted Critical
Publication of CN117854116B publication Critical patent/CN117854116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Computer Graphics (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Geometry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于贝塞尔曲线的海参原位长度测量方法，属于图像分析技术领域，用于海参原位长度测量，包括构建预测模型训练与学习过程中所需的训练样本，搭建和训练深度学习网络得到海参检测和贝塞尔曲线预测模型，结合三种损失函数协同约束海深度学习网络的总体输出，将海参躯干曲线与双目相机三维点云进行匹配，得到躯干曲线的点云坐标，利用一型空间线积分计算得到海参原位长度；将视频流作为海参检测和贝塞尔曲线预测模型的输入，输出海参的位置信息和测量长度。本发明实现了对海参不同姿态的准确描述，简化了曲线的标注格式，实现了端到端的海参躯干曲线预测，提升了深度模型对曲线几何特征的敏感度以及海参躯干曲线建模的鲁棒性。

Description

一种基于贝塞尔曲线的海参原位长度测量方法
技术领域
本发明公开一种基于贝塞尔曲线的海参原位长度测量方法，属于图像分析技术领域。
背景技术
近年来，海参因其独特的营养价值和市场需求的迅速增长，已成为一项宝贵的渔业资源，在渔业生产中发挥着举足轻重的作用。作为海洋渔业发展的创新模式，海洋牧场为海参养殖提供了可持续发展的平台。对于以海参养殖为主业的海洋牧场而言，长度测量是评估生长状况的关键指标。此外，在海参捕捞过程中，海参的长度也是评估其成熟度水平的重要因素。目前的资源调查主要依赖于人工方法，使用圆周法和条带法对采样区域进行人工圈定，以评估海参的数量、规格和生长状况。然而，在进行人工测量海参长度时，其身体的可塑性和应激反应（导致内脏的排出）对获得准确的测量结果提出了一系列挑战。由于人工测量海参长度成本高、时空分辨率低，人工资源调查方法无法满足海洋牧场整个生产周期对海参资源进行综合监测的需求。迫切需要一种非接触式海参原位长度测量方法，以推动海洋牧场高效地监测和保护海参资源。
目前，非接触式海参原位长度测量方法，主要依靠视觉感知技术。首先需要获取海参的躯干曲线作为测量对象，再结合感知区域的三维信息计算出海参的长度。海参躯干曲线的获取可以分为传统的基于形态学、旋转卡尺的方法和基于深度学习的曲线预测方法。对于传统的基于形态学和基于旋转卡尺的方法，由于这两种方法都需要分割掩码作为先验知识。首先需要从复杂的背景中分割出海参语义掩码，作为形态学和旋转卡尺的模块的输入，这需要大量的人工成本标注进行训练。另外，基于形态学拟合会存在曲线分支，基于旋转卡尺拟合只是最长凸包直径，对于海参躯干曲线的描述不够准确。因此传统的基于形态学、旋转卡尺的海参躯干曲线预测方法往往不具有较强的泛化性，难以准确地描述海参躯干曲线。
随着深度学习技术的进步，得益于良好的特征学习和预测表达能力，曲线检测和建模的研究取得了快速的发展，旨在从图像中识别和提取各种类型的曲线、轮廓或边界，这些曲线检测技术已经广泛的运用于车道线检测、场景文本检测和遥感表面波检测等领域。但将以往曲线检测技术应用在海参躯干曲线检测和建模任务上面临着较大的挑战。首先，水下平台和机器人视角下的海参目标较小，在复杂的海参栖息地场景下检测和建模海参躯干曲线是较为困难的。其次，基于深度学习针对大型目标的曲线检测和建模的方法无法清楚地界定预测曲线的端点，但是端点对于确保长度测量的准确性至关重要。此外，以往的基于深度学习的曲线预测和建模方法受模型自身结构与运算量的影响，无法实现海参躯干曲线的实时预测和建模。在获取到海参躯干曲线后，将曲线进行三维映射，得到曲线的三维点云，通过一型空间线积分计算出海参的长度。
发明内容
本发明的目的在于提供一种基于贝塞尔曲线的海参原位长度测量方法，以解决现有技术中，非接触式海参原位长度测量精度不足的问题。
一种基于贝塞尔曲线的海参原位长度测量方法，包括：
S1.制作处理数据集，从视频库中逐帧截取待检测视频流，构建深度学习目标检测和贝塞尔曲线预测模型训练与学习过程中所需的训练样本；
S2.搭建海参检测和贝塞尔曲线预测深度学习网络；
S3.训练海参检测和贝塞尔曲线预测深度学习网络，得到海参检测和贝塞尔曲线预测模型，利用目标检测损失函数和离散化的曲线损失函数对海参检测和贝塞尔曲线预测模型进行约束优化，利用贝塞尔曲线端点损失函数提升贝塞尔曲线的鲁棒性；
结合三种损失函数协同约束海参检测和贝塞尔曲线预测深度学习网络的总体输出，反馈优化海参检测和贝塞尔曲线预测深度学习网络的模型参数；
S4.将海参躯干曲线与双目相机三维点云进行匹配，得到躯干曲线的点云坐标，利用一型空间线积分计算得到海参原位长度；
S5.将视频流作为海参检测和贝塞尔曲线预测模型的输入，经过目标检测、贝塞尔曲线预测、三维点云匹配、一型空间线积分处理后，输出海参的位置信息和测量长度。
S1包括，利用数据集标注工具标注海参的外接矩形框(x，y，w，h)，沿着海参的躯干曲线等间距标注五个贝塞尔曲线控制点，将五个贝塞尔曲线控制点作为目标检测和贝塞尔曲线预测模块训练的参考真值，将参考真值进行归一化处理：
，/>，/>，/>，/>，/>；
式中，和/>是图像/>的高和宽，/>，/> 是参考真值的图坐标，；
一个训练样本包含视频流图像、图像上标注的海参目标矩形框(x，y，w，h)和贝塞尔曲线五个控制点信息/>，式中，(x，y)为目标矩形框在图像中的中心位置，(w，h)为矩形框的宽度和高度，/>表示贝塞尔曲线控制点横坐标，/>表示贝塞尔曲线控制点纵坐标。
S2包括，S2.1.搭建海参检测和贝塞尔曲线预测深度学习网络，包括图像扩展模块、海参检测和贝塞尔曲线预测协同模块，图像扩展包括旋转、裁剪、拼接；
S2.2.搭建海参检测和贝塞尔曲线预测协同模块，以视频流图像为输入，预测输出海参的矩形框参数和贝塞尔曲线控制点的坐标，海参检测和贝塞尔曲线预测协同模块包括深度编码模块、解码模块和内置的多尺度注意力感知模块。
深度编码模块采用跨阶段局部网络，依次包括卷积层、归一化层、下采样层和激活层，以深度特征提取结构堆叠而成，提取输入图像的深层特征表达；
解码模块采用特征金字塔路径聚合网络，依次包括上采样层、卷积层和拼接层，以上采样特征拼接结构堆叠而成，获取图像浅层特征和深层特征结合表达；
多尺度注意力感知模块获取不同编码尺度之间的特征依赖关系，预测输出检测目标的矩形框和海参贝塞尔躯干曲线，根据通道维数将输入特征映射分组为子特征以学习不同的语义，利用2D全局平均池化实现空间信息的编码：
；
其中，和/>表示特征图大小，/>表示特征图/>的像素，/>表示特征图的池化输出。
S3包括：
S3.1.将从频库中逐帧截取待检测视频流，作为深度学习海参检测和贝塞尔曲线预测网络的输入；
S3.2.将海参检测和贝塞尔曲线预测深度学习网络中与目标检测相关的四个参数输出，四个参数输出包括目标矩形框在图像中的中心位置和矩形框的宽度和高度；
S3.3.计算矩形框与/>之间交并比/>：
；
式中，是矩形框的真值标签，/>是矩形框的预测值。
S3包括：
S3.4.通过添加长宽比的一致性作为预测框和目标框/>的惩罚项，使用/>损失：
；
；
式中，为交并比，/>和/>分别表示/>和/>的中心点，/>为欧式距离，/>是覆盖两个矩形框的最小封闭框的对角线长度，/>是一个正的权衡参数，/>衡量长宽比的一致性，/>和/>分别是目标框的宽度和高度。
S3包括：
S3.5.将海参检测和贝塞尔曲线预测深度学习网络中与贝塞尔曲线预测相关的五个控制点输出，计算由控制点拟合的贝塞尔曲线之间的离散化差异；
S3.6.通过最小二乘法拟合贝塞尔曲线函数，将五个参考真值控制点代入贝塞尔曲线伯恩斯坦形式：
；；
式中，表示第/>个控制点，/>表示两个端点，表示伯恩斯坦多项式，/>表示二项式系数，n代表n阶贝塞尔曲线，共有n+1个控制点，使用n=4作为海参躯干曲线函数的阶次；
S3.7.利用S3.6拟合得到贝塞尔曲线的函数表达式，进一步采用等间距采样策略将贝塞尔曲线离散化得到曲线参考真值：
；
式中，表示采样点，总共有50个采样点，即k等于49，/>为0到1的50等分数列，/>表示/>、/>都为m的伯恩斯坦多项式。
S3包括：
S3.8.利用S3.7计算出的，计算离散化参考曲线/>与预测曲线/>之间的误差损失/>：
；
式中，，n表示对离散化曲线归一化处理，n等于50；
S3.9.添加端点损失函数，作为预测端点和目标端点/>的附加惩罚项，端点损失函数/>为：
；
式中，为端点和端点之间的欧式距离。
S3包括：
S3.10.通过最小化损失项之和，迭代更新优化海参检测和贝塞尔曲线预测网络/>的模型参数：
；
其中，，/>设置为1，/>设置为0.1。
S4包括，利用双目相机获取感知水域的三维点云，将海参躯干曲线与三维点云进行匹配，实现曲线从二维像素空间到三维点云空间的转换；
计算海参躯干曲线在三维空间的长度，采用一型空间线积分的离散化形式：
；
其中，和/>为相邻两点的海参躯干曲线的三维点云映射，M表示曲线在三维点云空间中的离散形式。
相对比现有技术，本发明具有以下有益效果：基于贝塞尔曲线的曲线建模策略，实现了对海参不同姿态的准确描述，简化了曲线的标注格式，降低了人工成本；海参检测和贝塞尔曲线预测的协同模块，将目标检测器与贝塞尔曲线建模结合，实现了端到端的海参躯干曲线预测；通过引入多尺度自注意力机制和端点损失函数，提升了深度模型对曲线几何特征的敏感度以及海参躯干曲线建模的鲁棒性。
附图说明
图1是本发明的海参原位长度测量方法的流程示意图；
图2是本发明的海参原位长度测量方法的详细流程示意图；
图3是本发明的海参原位长度测量系统的框架示意图；
图4是本发明的海参原位长度测量深度网络的训练数据准备流程示意图；
图5是本发明的海参原位长度测量深度网络的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于贝塞尔曲线的海参原位长度测量方法，包括：
S1.制作处理数据集，从视频库中逐帧截取待检测视频流，构建深度学习目标检测和贝塞尔曲线预测模型训练与学习过程中所需的训练样本；
S2.搭建海参检测和贝塞尔曲线预测深度学习网络；
S3.训练海参检测和贝塞尔曲线预测深度学习网络，得到海参检测和贝塞尔曲线预测模型，利用目标检测损失函数和离散化的曲线损失函数对海参检测和贝塞尔曲线预测模型进行约束优化，利用贝塞尔曲线端点损失函数提升贝塞尔曲线的鲁棒性；
结合三种损失函数协同约束海参检测和贝塞尔曲线预测深度学习网络的总体输出，反馈优化海参检测和贝塞尔曲线预测深度学习网络的模型参数；
S4.将海参躯干曲线与双目相机三维点云进行匹配，得到躯干曲线的点云坐标，利用一型空间线积分计算得到海参原位长度；
S5.将视频流作为海参检测和贝塞尔曲线预测模型的输入，经过目标检测、贝塞尔曲线预测、三维点云匹配、一型空间线积分处理后，输出海参的位置信息和测量长度。
S1包括，利用数据集标注工具标注海参的外接矩形框(x，y，w，h)，沿着海参的躯干曲线等间距标注五个贝塞尔曲线控制点，将五个贝塞尔曲线控制点作为目标检测和贝塞尔曲线预测模块训练的参考真值，将参考真值进行归一化处理：
，/>，/>，/>，/>，/>；
式中，和/>是图像/>的高和宽，/>，/> 是参考真值的图坐标，；
一个训练样本包含视频流图像、图像上标注的海参目标矩形框(x，y，w，h)和贝塞尔曲线五个控制点信息/>，式中，(x，y)为目标矩形框在图像中的中心位置，(w，h)为矩形框的宽度和高度，/>表示贝塞尔曲线控制点横坐标，/>表示贝塞尔曲线控制点纵坐标。
S2包括，S2.1.搭建海参检测和贝塞尔曲线预测深度学习网络，包括图像扩展模块、海参检测和贝塞尔曲线预测协同模块，图像扩展包括旋转、裁剪、拼接；
S2.2.搭建海参检测和贝塞尔曲线预测协同模块，以视频流图像为输入，预测输出海参的矩形框参数和贝塞尔曲线控制点的坐标，海参检测和贝塞尔曲线预测协同模块包括深度编码模块、解码模块和内置的多尺度注意力感知模块。
深度编码模块采用跨阶段局部网络，依次包括卷积层、归一化层、下采样层和激活层，以深度特征提取结构堆叠而成，提取输入图像的深层特征表达；
解码模块采用特征金字塔路径聚合网络，依次包括上采样层、卷积层和拼接层，以上采样特征拼接结构堆叠而成，获取图像浅层特征和深层特征结合表达；
多尺度注意力感知模块获取不同编码尺度之间的特征依赖关系，预测输出检测目标的矩形框和海参贝塞尔躯干曲线，根据通道维数将输入特征映射分组为子特征以学习不同的语义，利用2D全局平均池化实现空间信息的编码：
；
其中，和/>表示特征图大小，/>表示特征图/>的像素，/>表示特征图的池化输出。
S3包括：
S3.1.将从频库中逐帧截取待检测视频流，作为深度学习海参检测和贝塞尔曲线预测网络的输入；
S3.2.将海参检测和贝塞尔曲线预测深度学习网络中与目标检测相关的四个参数输出，四个参数输出包括目标矩形框在图像中的中心位置和矩形框的宽度和高度；
S3.3.计算矩形框与/>之间交并比/>：
；
式中，是矩形框的真值标签，/>是矩形框的预测值。
S3包括：
S3.4.通过添加长宽比的一致性作为预测框和目标框/>的惩罚项，使用/>损失：
；
；
式中，为交并比，/>和/>分别表示/>和/>的中心点，/>为欧式距离，/>是覆盖两个矩形框的最小封闭框的对角线长度，/>是一个正的权衡参数，/>衡量长宽比的一致性，/>和/>分别是目标框的宽度和高度。
S3包括：
S3.5.将海参检测和贝塞尔曲线预测深度学习网络中与贝塞尔曲线预测相关的五个控制点输出，计算由控制点拟合的贝塞尔曲线之间的离散化差异；
S3.6.通过最小二乘法拟合贝塞尔曲线函数，将五个参考真值控制点代入贝塞尔曲线伯恩斯坦形式：
；；
式中，表示第/>个控制点，/>表示两个端点，表示伯恩斯坦多项式，/>表示二项式系数，n代表n阶贝塞尔曲线，共有n+1个控制点，使用n=4作为海参躯干曲线函数的阶次；
S3.7.利用S3.6拟合得到贝塞尔曲线的函数表达式，进一步采用等间距采样策略将贝塞尔曲线离散化得到曲线参考真值：
；
式中，表示采样点，总共有50个采样点，即k等于49，/>为0到1的50等分数列，/>表示/>、/>都为m的伯恩斯坦多项式。
S3包括：
S3.8.利用S3.7计算出的，计算离散化参考曲线/>与预测曲线/>之间的误差损失/>：
；
式中，，n表示对离散化曲线归一化处理，n等于50；
S3.9.添加端点损失函数，作为预测端点和目标端点/>的附加惩罚项，端点损失函数/>为：
；
式中，为端点和端点之间的欧式距离。
S3包括：
S3.10.通过最小化损失项之和，迭代更新优化海参检测和贝塞尔曲线预测网络/>的模型参数：
；
其中，，/>设置为1，/>设置为0.1。
S4包括，利用双目相机获取感知水域的三维点云，将海参躯干曲线与三维点云进行匹配，实现曲线从二维像素空间到三维点云空间的转换；
计算海参躯干曲线在三维空间的长度，采用一型空间线积分的离散化形式：
；
其中，和/>为相邻两点的海参躯干曲线的三维点云映射，M表示曲线在三维点云空间中的离散形式。
本发明实施例中，海参原位长度测量方法的流程示意图如图1，首先获得一帧视频流图像，作为输入图像，然后利用训练好的海参检测和贝塞尔曲线预测网络，预测用于海参定位的矩形框信息以及用于计算海参长度的贝塞尔躯干曲线，通过双目相机三维点云匹配，获得贝塞尔曲线的三维点云，利用一型空间线积分计算得到海参长度。海参原位长度测量方法详细流程如图2所示，首先获得海参矩形框和贝塞尔曲线控制点数据集，执行训练数据准备、模型训练和模型部署。海参原位长度测量系统的框架如图3所示，包括逐帧视频流图像获取模块、可选择的图像裁剪扩展模块、海参检测与贝塞尔曲线预测模块、三维点云匹配模块和一型空间线积分计算模块。海参原位长度测量深度网络的训练数据准备流程如图4，将海参检测和贝塞尔曲线控制点数据集进行归一化处理输入深度网络中，通过裁剪、旋转、拼接等操作将视频流图像拓展为视频流图像扩展数据集。海参原位长度测量深度网络的结构示意图如图5所示，将视频流图像导入图像扩展模块，然后导入海参检测和贝塞尔曲线预测协同模块，然后导入内置的多尺度注意力感知模块，并与三维点云匹配模块结合，通过一型线积分计算模块计算得到海参原位长度。本发明只需要在海参躯干上标注五个等间距控制点，就可以拟合出躯干曲线，用五个控制点简化曲线的标注形式。
本发明的深度神经网络结构使用深度编码和解码网络结构使用例如CSPDarknet、PAFPN等深度编码-解码结构，海参检测和贝塞尔曲线的数据集使用例如SC-ISTI数据集、SC-DUO数据集，用上采样层-多尺度注意力层-卷积层-拼接层使用例如Upsample-EMA-Conv-Concat，本段举例都是本领域的现有技术，因此未解释详细内容。
以上实施例仅用于说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于贝塞尔曲线的海参原位长度测量方法，其特征在于，包括：
S1.制作处理数据集，从视频库中逐帧截取待检测视频流，构建深度学习目标检测和贝塞尔曲线预测模型训练与学习过程中所需的训练样本；
S2.搭建海参检测和贝塞尔曲线预测深度学习网络；
S3.训练海参检测和贝塞尔曲线预测深度学习网络，得到海参检测和贝塞尔曲线预测模型，利用目标检测损失函数和离散化的曲线损失函数对海参检测和贝塞尔曲线预测模型进行约束优化，利用贝塞尔曲线端点损失函数提升贝塞尔曲线的鲁棒性；
结合三种损失函数协同约束海参检测和贝塞尔曲线预测深度学习网络的总体输出，反馈优化海参检测和贝塞尔曲线预测深度学习网络的模型参数；
S4.将海参躯干曲线与双目相机三维点云进行匹配，得到躯干曲线的点云坐标，利用一型空间线积分计算得到海参原位长度；
S5.将视频流作为海参检测和贝塞尔曲线预测模型的输入，经过目标检测、贝塞尔曲线预测、三维点云匹配、一型空间线积分处理后，输出海参的位置信息和测量长度。
2.根据权利要求1所述的一种基于贝塞尔曲线的海参原位长度测量方法，其特征在于，S1包括，利用数据集标注工具标注海参的外接矩形框(x，y，w，h)，沿着海参的躯干曲线等间距标注五个贝塞尔曲线控制点，将五个贝塞尔曲线控制点作为目标检测和贝塞尔曲线预测模块训练的参考真值，将参考真值进行归一化处理：
，/>，/>，/>，/>，/>；
式中，和/>是图像/>的高和宽，/>，/> 是参考真值的图坐标，；
一个训练样本包含视频流图像、图像上标注的海参目标矩形框(x，y，w，h)和贝塞尔曲线五个控制点信息/>，式中，(x，y)为目标矩形框在图像中的中心位置，(w，h)为矩形框的宽度和高度，/>表示贝塞尔曲线控制点横坐标，/>表示贝塞尔曲线控制点纵坐标。
3.根据权利要求2所述的一种基于贝塞尔曲线的海参原位长度测量方法，其特征在于，S2包括，S2.1.搭建海参检测和贝塞尔曲线预测深度学习网络，包括图像扩展模块、海参检测和贝塞尔曲线预测协同模块，图像扩展包括旋转、裁剪、拼接；
S2.2.搭建海参检测和贝塞尔曲线预测协同模块，以视频流图像为输入，预测输出海参的矩形框参数和贝塞尔曲线控制点的坐标，海参检测和贝塞尔曲线预测协同模块包括深度编码模块、解码模块和内置的多尺度注意力感知模块。
4.根据权利要求3所述的一种基于贝塞尔曲线的海参原位长度测量方法，其特征在于，深度编码模块采用跨阶段局部网络，依次包括卷积层、归一化层、下采样层和激活层，以深度特征提取结构堆叠而成，提取输入图像的深层特征表达；
解码模块采用特征金字塔路径聚合网络，依次包括上采样层、卷积层和拼接层，以上采样特征拼接结构堆叠而成，获取图像浅层特征和深层特征结合表达；
多尺度注意力感知模块获取不同编码尺度之间的特征依赖关系，预测输出检测目标的矩形框和海参贝塞尔躯干曲线，根据通道维数将输入特征映射分组为子特征以学习不同的语义，利用2D全局平均池化实现空间信息的编码：
；
其中，和/>表示特征图大小，/>表示特征图/>的像素，/>表示特征图的池化输出。
5.根据权利要求4所述的一种基于贝塞尔曲线的海参原位长度测量方法，其特征在于，S3包括：
S3.1.将从频库中逐帧截取待检测视频流，作为深度学习海参检测和贝塞尔曲线预测网络的输入；
S3.2.将海参检测和贝塞尔曲线预测深度学习网络中与目标检测相关的四个参数输出，四个参数输出包括目标矩形框在图像中的中心位置和矩形框的宽度和高度；
S3.3.计算矩形框与/>之间交并比/>：
；
式中，是矩形框的真值标签，/>是矩形框的预测值。
6.根据权利要求5所述的一种基于贝塞尔曲线的海参原位长度测量方法，其特征在于，S3包括：
S3.4.通过添加长宽比的一致性作为预测框和目标框/>的惩罚项，使用/>损失：
；
；
式中，为交并比，/>和/>分别表示/>和/>的中心点，/>为欧式距离，/>是覆盖两个矩形框的最小封闭框的对角线长度，/>是一个正的权衡参数，/>衡量长宽比的一致性，和/>分别是目标框的宽度和高度。
7.根据权利要求6所述的一种基于贝塞尔曲线的海参原位长度测量方法，其特征在于，S3包括：
S3.5.将海参检测和贝塞尔曲线预测深度学习网络中与贝塞尔曲线预测相关的五个控制点输出，计算由控制点拟合的贝塞尔曲线之间的离散化差异；
S3.6.通过最小二乘法拟合贝塞尔曲线函数，将五个参考真值控制点代入贝塞尔曲线伯恩斯坦形式：
；；
式中，表示第/>个控制点，/>表示两个端点，/>表示伯恩斯坦多项式，/>表示二项式系数，n代表n阶贝塞尔曲线，共有n+1个控制点，使用n=4作为海参躯干曲线函数的阶次；
S3.7.利用S3.6拟合得到贝塞尔曲线的函数表达式，进一步采用等间距采样策略将贝塞尔曲线离散化得到曲线参考真值：
；
式中，表示采样点，总共有50个采样点，即k等于49，/>为0到1的50等分数列，/>表示/>、/>都为m的伯恩斯坦多项式。
8.根据权利要求7所述的一种基于贝塞尔曲线的海参原位长度测量方法，其特征在于，S3包括：
S3.8.利用S3.7计算出的，计算离散化参考曲线/>与预测曲线/>之间的误差损失/>：
；
式中，，n表示对离散化曲线归一化处理，n等于50；
S3.9.添加端点损失函数，作为预测端点和目标端点/>的附加惩罚项，端点损失函数为：
；
式中，为端点和端点之间的欧式距离。
9.根据权利要求8所述的一种基于贝塞尔曲线的海参原位长度测量方法，其特征在于，S3包括：
S3.10.通过最小化损失项之和，迭代更新优化海参检测和贝塞尔曲线预测网络/>的模型参数：
；
其中，，/>设置为1，/>设置为0.1。
10.根据权利要求9所述的一种基于贝塞尔曲线的海参原位长度测量方法，其特征在于，S4包括，利用双目相机获取感知水域的三维点云，将海参躯干曲线与三维点云进行匹配，实现曲线从二维像素空间到三维点云空间的转换；
计算海参躯干曲线在三维空间的长度，采用一型空间线积分的离散化形式：
；
其中，和/>为相邻两点的海参躯干曲线的三维点云映射，M表示曲线在三维点云空间中的离散形式。
CN202410263810.XA 2024-03-08 2024-03-08 一种基于贝塞尔曲线的海参原位长度测量方法 Active CN117854116B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410263810.XA CN117854116B (zh) 2024-03-08 2024-03-08 一种基于贝塞尔曲线的海参原位长度测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410263810.XA CN117854116B (zh) 2024-03-08 2024-03-08 一种基于贝塞尔曲线的海参原位长度测量方法

Publications (2)

Publication Number Publication Date
CN117854116A true CN117854116A (zh) 2024-04-09
CN117854116B CN117854116B (zh) 2024-05-17

Family

ID=90536892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410263810.XA Active CN117854116B (zh) 2024-03-08 2024-03-08 一种基于贝塞尔曲线的海参原位长度测量方法

Country Status (1)

Country Link
CN (1) CN117854116B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180068150A (ko) * 2016-12-13 2018-06-21 강원대학교산학협력단 영상 분석을 이용한 건해삼 등급 분류 시스템
CN112132884A (zh) * 2020-09-29 2020-12-25 中国海洋大学 基于平行激光和语义分割的海参长度测量方法及系统
KR20210023470A (ko) * 2019-08-23 2021-03-04 연세대학교 산학협력단 베지어 곡선 기반의 대상 인식 방법 및 그를 위한 장치
CN112488128A (zh) * 2020-12-10 2021-03-12 武汉大学 一种基于贝塞尔曲线的任意畸变图像线段检测方法
CN114742975A (zh) * 2022-06-10 2022-07-12 西南交通大学 一种车载图像铁轨曲线建模方法
CN116255908A (zh) * 2023-05-11 2023-06-13 山东建筑大学 面向水下机器人的海生物定位测量装置及方法
CN116912674A (zh) * 2023-07-31 2023-10-20 山东交通学院 基于改进的YOLOv5s网络模型复杂水环境下目标检测方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180068150A (ko) * 2016-12-13 2018-06-21 강원대학교산학협력단 영상 분석을 이용한 건해삼 등급 분류 시스템
KR20210023470A (ko) * 2019-08-23 2021-03-04 연세대학교 산학협력단 베지어 곡선 기반의 대상 인식 방법 및 그를 위한 장치
CN112132884A (zh) * 2020-09-29 2020-12-25 中国海洋大学 基于平行激光和语义分割的海参长度测量方法及系统
CN112488128A (zh) * 2020-12-10 2021-03-12 武汉大学 一种基于贝塞尔曲线的任意畸变图像线段检测方法
CN114742975A (zh) * 2022-06-10 2022-07-12 西南交通大学 一种车载图像铁轨曲线建模方法
CN116255908A (zh) * 2023-05-11 2023-06-13 山东建筑大学 面向水下机器人的海生物定位测量装置及方法
CN116912674A (zh) * 2023-07-31 2023-10-20 山东交通学院 基于改进的YOLOv5s网络模型复杂水环境下目标检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BAR-SHIRA, OR ET AL.: "ARTIFICIAL MEDJOOL DATE FRUIT BUNCH IMAGE SYNTHESIS: TOWARDS THINNING AUTOMATION", JOURNAL OF THE ASABE, 31 December 2023 (2023-12-31), pages 275 - 284 *
沈建;徐文其;刘世晶;: "基于机器视觉的淡干海参复水监控方法", 食品工业科技, no. 01, 1 January 2011 (2011-01-01), pages 106 - 107 *

Also Published As

Publication number Publication date
CN117854116B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
CN108549873B (zh) 三维人脸识别方法和三维人脸识别系统
CN109255317B (zh) 一种基于双网络的航拍图像差异检测方法
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
CN106846322B (zh) 基于曲线波滤波器和卷积结构学习的sar图像分割方法
CN111476159A (zh) 一种基于双角回归的检测模型训练、检测方法及装置
CN106570485B (zh) 一种基于深度学习的筏式养殖遥感图像场景标注方法
CN102542302A (zh) 基于分等级对象语义图的复杂目标自动识别方法
CN113610070A (zh) 一种基于多源数据融合的滑坡灾害识别方法
CN111339827A (zh) 基于多区域卷积神经网络的sar图像变化检测方法
CN112990085B (zh) 养殖塘变化检测方法、装置及计算机可读存储介质
Wen et al. Edge enhanced implicit orientation learning with geometric prior for 6D pose estimation
Li et al. SPM-IS: An auto-algorithm to acquire a mature soybean phenotype based on instance segmentation
CN110751077A (zh) 一种基于部件匹配与距离约束的光学遥感图片船舶检测方法
Sun et al. Remote estimation of grafted apple tree trunk diameter in modern orchard with RGB and point cloud based on SOLOv2
US11804029B2 (en) Hierarchical constraint (HC)-based method and system for classifying fine-grained graptolite images
CN116152697A (zh) 一种混凝土结构裂缝的三维模型测量方法及相关装置
CN117636160A (zh) 一种基于半监督学习的高分遥感耕地地块自动更新方法
Gobi Towards generalized benthic species recognition and quantification using computer vision
CN117854116B (zh) 一种基于贝塞尔曲线的海参原位长度测量方法
Ward et al. A model-based approach to recovering the structure of a plant from images
CN115019107B (zh) 基于风格迁移的声呐仿真图像生成方法、系统及介质
CN113592829B (zh) 基于分割重组的深度学习泥沙颗粒识别方法及装置
CN103996044B (zh) 利用遥感图像提取目标的方法和装置
CN109409375B (zh) 一种基于轮廓结构学习模型的sar图像语义分割方法
Xiao Detecting changes in trees using multi-temporal airborne LIDAR point clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant