CN115082777A - 基于双目视觉的水下动态鱼类形态测量方法及装置 - Google Patents

基于双目视觉的水下动态鱼类形态测量方法及装置 Download PDF

Info

Publication number
CN115082777A
CN115082777A CN202210451825.XA CN202210451825A CN115082777A CN 115082777 A CN115082777 A CN 115082777A CN 202210451825 A CN202210451825 A CN 202210451825A CN 115082777 A CN115082777 A CN 115082777A
Authority
CN
China
Prior art keywords
image
fish
target
target fish
underwater
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210451825.XA
Other languages
English (en)
Inventor
于辉辉
陈英义
秦瀚翔
梅玉鹏
杨玲
宋贺翔
王梓茂
李道亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Beijing Forestry University
Original Assignee
China Agricultural University
Beijing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University, Beijing Forestry University filed Critical China Agricultural University
Priority to CN202210451825.XA priority Critical patent/CN115082777A/zh
Publication of CN115082777A publication Critical patent/CN115082777A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/05—Underwater scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于双目视觉的水下动态鱼类形态测量方法，其特征在于，所述方法包括：获取水下的目标鱼类图像；基于双目水下摄像机的参数对所述目标鱼类图像进行矫正，获取矫正图像；基于所述矫正图像获取目标鱼类图像深度信息，并基于所述深度信息计算得到目标鱼类的旋转角度；获取目标鱼类的特征测量点以及所述特征测量点对应的二维信息，并将所述二维信息结合深度信息映射至空间坐标系得到空间坐标，基于所述空间坐标和所述旋转角度得到目标鱼类的尺寸测量结果。本发明能够实现对水下鱼类尺寸的自动测量。

Description

基于双目视觉的水下动态鱼类形态测量方法及装置
技术领域
本发明涉及机器视觉检测技术领域，尤其涉及一种基于双目视觉的水下动态鱼类形态测量方法及装置。
背景技术
鱼类形态特征是鱼类形态学研究的核心内容，在实际水产养殖管理中，水产动物的形态特征(体长、体宽等)是生长智能监测、精准投喂、定向捕捞等养殖环节的重要依据。目前，鱼类体长、体宽等基础信息主要依赖人工测量，费事、费力，且不符合水产养殖向自动化、智能化养殖方向的发展需求。
目前，基于双目立体视觉的尺寸测量技术已成为医学、建筑等领域的研究热点，对实现水产养殖水下鱼类尺寸自动测量具有一定的启发和借鉴意义。相对于传统的医学、建筑等领域的研究对象目标固定性的特征，水下鱼类具有自由运动、且水下摄像畸变严重、水下对比度低等特点，使得水下鱼类尺寸的自动测量十分困难。
因此，如何实现对水下动态鱼类的尺寸自动测量是本课题亟需解决的问题。
发明内容
本发明提供一种于双目视觉的水下动态鱼类形态测量方法及装置，用以解决现有技术中水下动态鱼类尺寸的自动测量困难的缺陷，实现对水下动态鱼类的尺寸自动测量。
本发明提供一种基于双目视觉的水下动态鱼类形态测量方法，包括：
获取水下的目标鱼类图像；
基于双目水下摄像机的参数对所述目标鱼类图像进行矫正，获取矫正图像；
基于所述矫正图像获取目标鱼类图像深度信息，并基于所述深度信息计算得到目标鱼类的旋转角度；
获取目标鱼类的特征测量点以及所述特征测量点对应的二维信息，并将所述二维信息结合深度信息映射至空间坐标系得到空间坐标，基于所述空间坐标和所述旋转角度得到目标鱼类的尺寸测量结果。
根据本发明提供的一种基于双目视觉的水下动态鱼类形态测量方法，在基于双目水下摄像机的参数对所述目标鱼类图像进行矫正，获取矫正图像之前，所述方法还包括：
获取目标鱼类的标定视频图像，将所述标定视频图像基于目标标定方法获得所述双目水下摄像机的参数；
基于所述目标鱼类图像提取目标鱼类的左视图像及右视图像；
所述基于双目水下摄像机的参数对所述目标鱼类图像进行矫正，获取矫正图像，具体包括：
基于所述双目水下摄像机的内外部参数矩阵和畸变系数对所述左视图像及右视图像进行矫正，获取所述左视图像和右视图像对应的第一矫正图像和第二矫正图像。
根据本发明提供的一种基于双目视觉的水下动态鱼类形态测量方法，所述基于所述矫正图像获取目标鱼类的深度图像，具体包括：
将所述第一矫正图像和第二矫正图像进行立体匹配，获得目标鱼类基于双目视觉的视差图；
基于所述视差图获得目标鱼类的深度图像；
所述基于所述深度图像计算得到目标鱼类的旋转角度，具体包括：
对所述深度图像中的目标鱼类进行实例分割，得到分割后的目标鱼类的分割深度图像；
基于所述分割深度图像计算得到目标鱼类的旋转角度，并确定目标鱼类的运动位姿。
根据本发明提供的一种基于双目视觉的水下动态鱼类形态测量方法，所述对所述深度图像中的目标鱼类进行实例分割，得到分割后的目标鱼类的分割深度图像，具体包括：
将所述深度图像输入至分割模型中，输出目标鱼类的分割深度图像；
其中，所述分割模型是基于训练数据集以及其对应的分割结果的标签训练得到的。
根据本发明提供的一种基于双目视觉的水下动态鱼类形态测量方法，所述基于所述分割深度图像计算得到目标鱼类的旋转角度，具体包括：
获取目标鱼类的在所述分割深度图像中的深度最大点和深度最小点；
获取所述深度最大点在X轴和Y轴上的第一坐标，以及所述深度最小点在X轴和Y轴上的第二坐标；
基于所述第一坐标和第二坐标，获取所述目标鱼类的旋转角度。
根据本发明提供的一种基于双目视觉的水下动态鱼类形态测量方法，所述基于所述空间坐标和所述旋转角度得到目标鱼类的尺寸测量结果，通过以下公式实现：
Figure BDA0003617399260000031
其中，L为目标鱼类的测量长度，a和b为目标测量点的两个不同坐标点，a和b的空间坐标分别为
Figure BDA0003617399260000032
和
Figure BDA0003617399260000033
θ为目标鱼类的旋转角度。
本发明还提供一种基于双目视觉的水下动态鱼类形态测量装置，包括：
图像获取模块，用于获取水下的目标鱼类图像；
矫正模块，用于基于双目水下摄像机的参数对所述目标鱼类图像进行矫正，获取矫正图像；
旋转角度获取模块，用于基于所述矫正图像获取目标鱼类图像深度信息，并基于所述深度信息计算得到目标鱼类的旋转角度；
结果获取模块，用于获取目标鱼类的特征测量点以及所述特征测量点对应的二维信息，并将所述二维信息结合深度信息映射至空间坐标系得到空间坐标，基于所述空间坐标和所述旋转角度得到目标鱼类的尺寸测量结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于双目视觉的水下动态鱼类形态测量方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于双目视觉的水下动态鱼类形态测量方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于双目视觉的水下动态鱼类形态测量方法的步骤。
本发明提供的基于双目视觉的水下动态鱼类形态测量方法及装置，通过基于双目水下摄像机的参数对水下的鱼类图像进行校正，并获取鱼类图像对应的深度图像，基于深度图像获取鱼类的旋转角度，将鱼类的目标测量点的二维信息转化为空间坐标之后，基于空间坐标和旋转角度计算得到鱼类的尺寸测量结果，从而能够实现对水下鱼类尺寸的自动测量。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于双目视觉的水下动态鱼类形态测量方法方法的流程示意图之一；
图2是本发明提供的基于双目视觉的水下动态鱼类形态测量方法方法的双目视觉成像模型和三角形相似关系图；
图3是本发明提供的基于双目视觉的水下动态鱼类形态测量方法方法的流程示意图之二；
图4是本发明提供的基于双目视觉的水下动态鱼类形态测量方法方法的流程示意图之三；
图5是本发明提供的基于双目视觉的水下动态鱼类形态测量装置的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图4，描述本发明的提供的基于双目视觉的水下动态鱼类形态测量方法。
参照图1，本发明提供一种基于双目视觉的水下动态鱼类形态测量方法，包括以下步骤：
步骤110：获取水下的目标鱼类图像；
具体地，本实施例中的目标鱼类图像是基于双目水下摄像机获取的，目标鱼类图像为水下不同动态鱼类的视频图像。通过获取目标鱼类图像对水下动态鱼类完成标准真实尺寸测量。通过游标卡尺测量得到鱼类的标准真实尺寸，通常为10cm-40cm。
步骤120：基于双目水下摄像机的参数对所述目标鱼类图像进行矫正，获取矫正图像；
具体地，本实施例通过基于双目水下摄像机的内部参数以及外部参数，对目标鱼类不同视角的图像进行矫正，从而得到矫正后的图像。
步骤130：基于所述矫正图像获取目标鱼类图像深度信息，并基于所述深度信息计算得到目标鱼类的旋转角度；
具体地，本实施例通过矫正图像得到目标鱼类的深度图像(depth image)，深度图像也被称为距离影像，是指将从图像采集器(双目水下摄像机)到场景中各点的距离(深度)作为像素值的图像，深度图像直接反映了景物可见表面的几何形状。然后，根据深度图像计算得到水下不同动态鱼类的旋转角度，从而获得不同动态鱼类的运动位姿。
步骤140：获取目标鱼类的特征测量点以及所述特征测量点对应的二维信息，并将所述二维信息结合深度信息映射至空间坐标系得到空间坐标，基于所述空间坐标和所述旋转角度得到目标鱼类的尺寸测量结果。
本实施例中的目标测量点为水下动态鱼类的最佳测量点，基于凸包与卡壳旋转算法采集到最佳测量点的坐标为图像坐标系中的二维信息，将二维信息通过空间坐标转换得到最佳测量点的空间坐标，即三维信息。并根据步骤130中获取的旋转角度，计算得到水下动态鱼类的尺寸测量结果。
本发明提供的基于双目视觉的水下动态鱼类形态测量方法，通过基于双目水下摄像机的参数对水下的鱼类图像进行校正，并获取鱼类图像对应的深度图像，基于深度图像获取鱼类的旋转角度，将鱼类的目标测量点的二维信息转化为空间坐标之后，基于空间坐标和旋转角度计算得到鱼类的尺寸测量结果，从而能够实现对水下鱼类尺寸的自动测量。
基于以上实施例，在基于双目水下摄像机的参数对所述目标鱼类图像进行矫正，获取矫正图像之前，所述方法还包括：
获取目标鱼类的标定视频图像，将所述标定视频图像基于目标标定方法获得所述双目水下摄像机的参数；
基于所述目标鱼类图像提取目标鱼类的左视图像及右视图像；
所述基于双目水下摄像机的参数对所述目标鱼类图像进行矫正，获取矫正图像，具体包括：
基于所述双目水下摄像机的内外部参数矩阵和畸变系数对所述左视图像及右视图像进行矫正，获取所述左视图像和右视图像对应的第一矫正图像和第二矫正图像。
具体地，本实施例中的标定视频图像中的标定板横纵角点个数为11*8，每个方格的边长为30mm。采集距离双目水下摄像机的近、中、远三个位置处标定板不同角度的视频图像。
本实施例通过张正友标定法获取双目水下摄像机的参数矩阵以及畸变系数。基于以下公式(1)实现：
Figure BDA0003617399260000071
其中，(u，v)为获取的水下双目视频图像中任意像素的坐标，f为双目水下摄像机的焦距，dx和dy为图像坐标系中任意像素在x轴和y轴方向上的物理尺寸，R为世界坐标系到相机坐标系的旋转矩阵，T为其平移向量，(XW，YW，ZW)为(u，v)在世界坐标系中的坐标。
因此，双目水下摄像机的内部参数矩阵如公式(2)所示：
Figure BDA0003617399260000081
双目水下摄像机的外部参数矩阵为：
Figure BDA0003617399260000082
双目水下摄像机的畸变系数如公式(4)和(5)所示：
x′＝x(1+k1r2+k2r4+k3r6)+2p1xy+p2(r2+2x2)
(4)
y′＝y(1+k1r2+k2r4+k3r6)+2p1xy+p2(r2+2y2)
(5)
其中，(x，y)是畸变点即原始像素点在成像仪上的位置，r为该点距离成像仪中心的距离，(x′，y′)是矫正图像的位置。k1、k2、k3是径向畸变系数；p1、p2是切向畸变系数。
本实施例通过采集的标定视频图像，采用张正友标定法获得内外部参数矩阵和畸变系数，并根据内外部参数矩阵和畸变系数对不同视角的鱼类视频进行矫正，得到矫正后的图像。
基于以上实施例，所述基于所述矫正图像获取目标鱼类的深度图像，具体包括：
将所述第一矫正图像和第二矫正图像进行立体匹配，获得目标鱼类基于双目视觉的视差图；
基于所述视差图获得目标鱼类的深度图像；
所述基于所述深度图像计算得到目标鱼类的旋转角度，具体包括：
对所述深度图像中的目标鱼类进行实例分割，得到分割后的目标鱼类的分割深度图像；
基于所述分割深度图像计算得到目标鱼类的旋转角度，并确定目标鱼类的运动位姿。
具体地，本实施例中，首先通过采用SGBM立体匹配算法，得到不同视角的矫正图像的视差图。通过利用水平Sobel算子对图像做预处理，然后通过匹配代价计算、代价聚合、视差计算和视差优化获得水下双目图像的视差图，即在左视图矫正后图像的上点(ul，vl)和匹配在右视图上点(ur，vr)的视差为d＝(ul-ur)。
参照图2，根据视差图获得深度图像，获得空间中的一点P在左右相机成像平面各有一个成像点，根据双目视觉成像模型和三角形相似关系如公式(6)和(7)所示：
Figure BDA0003617399260000091
依据获取的视差图，整理获得深度坐标Z：
Figure BDA0003617399260000092
其中，dx为相机元尺寸，d为空间一点在左右摄像机上成像之间像素的横坐标之差，f为双目水下摄像机的焦距，b为双目水下摄像机基线，即两摄像头之间的直线距离。因此，依据上面推导可获得P点的深度坐标Z。
对所述深度图像中的目标鱼类进行实例分割，得到分割后的目标鱼类的分割深度图像的具体步骤为：
采用Mask R-CNN方法完成对鱼类个体的实例分割。在Mask R-CNN方法中将输入图像的深度信息作为单独通道，因此整体输入图像为四通道输入，对R-CNN方法的初始参数输入通道数设置为4，完成每个鱼类目标的检测和实例分割。
基于以上实施例，所述对所述深度图像中的目标鱼类进行实例分割，得到分割后的目标鱼类的分割深度图像，具体包括：
将所述深度图像输入至分割模型中，输出目标鱼类的分割深度图像；
其中，所述分割模型是基于训练数据集以及其对应的分割结果的标签训练得到的。
本实施例中的分割模型为卷积神经网络模型(Mask R-CNN)，将目标鱼类的深度图像输入至训练好的Mask R-CNN模型中，依次进行特征提取、全连接分类以及边界框回归等，从而实现对深度图像的实例分割。
参照图3，在本实施例中的基于Mask R-CNN获取分割图像的方法中，具体包括如下步骤:
步骤310:输入四通道RGB-D图像；
步骤320:将整张图片输入卷积神经网络(CNN)中，进行特征提取；
步骤330:用目标检测算法(Feature Pyramid Networks)生成建议窗口(proposals)，每张图片生成N个建议窗口；
步骤340:把建议窗口映射到CNN的最后一层卷积特征图(feature map)上；
步骤350:通过RoIAlign层使每个RoI生成固定尺寸的特征图(feature map)；
步骤360:利用全连接分类，边框，mask进行回归。
基于以上实施例，所述基于所述分割深度图像计算得到目标鱼类的旋转角度，具体包括：
获取目标鱼类的在所述分割深度图像中的深度最大点和深度最小点；
获取所述深度最大点在X轴和Y轴上的第一坐标，以及所述深度最小点在X轴和Y轴上的第二坐标；
基于所述第一坐标和第二坐标，获取所述目标鱼类的旋转角度。
具体地，本实施例中基于所述分割深度图像计算得到目标鱼类的旋转角度，并确定目标鱼类的运动位姿，通过以下公式(8)实现：
Figure BDA0003617399260000111
其中，
Figure BDA0003617399260000112
为第i个鱼类在所述深度图像中深度的最大点，
Figure BDA0003617399260000113
为第i个鱼类在所述深度图像中深度最小的点；
Figure BDA0003617399260000114
为深度最大点对应的X轴坐标(即第一坐标的横坐标)，
Figure BDA0003617399260000115
为深度最小点对应的X轴坐标(即第二坐标的横坐标)；
Figure BDA0003617399260000116
为深度最大点对应的Y轴坐标(即第一坐标的纵坐标)，
Figure BDA0003617399260000117
为深度最小点对应的Y轴坐标(即第二坐标的纵坐标)。
基于以上实施例，所述基于所述空间坐标和所述旋转角度得到目标鱼类的尺寸测量结果，通过以下公式(9)实现：
Figure BDA0003617399260000118
Figure BDA0003617399260000121
其中，L为目标鱼类的测量长度，a和b为目标测量点的两个不同坐标点，a和b的空间坐标分别为
Figure BDA0003617399260000122
和
Figure BDA0003617399260000123
θ为目标鱼类的旋转角度。
需要说明的是，a和b的空间坐标均是通过目标测量点的二维信息和双目水下摄像机的内外部参数矩阵得到的。
参照图4，对本发明提供的基于双目视觉的水下动态鱼类形态测量方法的完整步骤进行描述：
步骤411：获取水下双目鱼类图像；
步骤412：提取双目左、右视图；
步骤413：获取水下双目标定板图像；
步骤414：对双目摄像机进行标定；
步骤415：获取相机内部参数、外部参数以及畸变系数；
步骤416：对左、右视图进行立体矫正；
步骤417：基于矫正后的图像获得视差图；
步骤418：基于视差图获得深度图；
步骤419：基于RGB-D和Mask-RCNN对目标鱼类实例分割；
步骤420：计算每个鱼类目标偏转角度θi，确定鱼类位姿信息；
步骤421：确定每个鱼类最佳测量点；
步骤422：将二维测量点映射到三维空间；
步骤423：完成尺寸测量。
下面对本发明提供的基于双目视觉的水下动态鱼类形态测量装置进行描述，下文描述的基于双目视觉的水下动态鱼类形态测量装置与上文描述的基于双目视觉的水下动态鱼类形态测量方法可相互对应参照。
参照图5，本发明还提供一种基于双目视觉的水下动态鱼类形态测量装置，包括：
图像获取模块510，用于获取水下的目标鱼类图像；
矫正模块520，用于基于双目水下摄像机的参数对所述目标鱼类图像进行矫正，获取矫正图像；
旋转角度获取模块530，用于基于所述矫正图像获取目标鱼类图像深度信息，并基于所述深度信息计算得到目标鱼类的旋转角度；
结果获取模块540，用于获取目标鱼类的特征测量点以及所述特征测量点对应的二维信息，并将所述二维信息结合深度信息映射至空间坐标系得到空间坐标，基于所述空间坐标和所述旋转角度得到目标鱼类的尺寸测量结果。
本发明提供的基于双目视觉的水下动态鱼类形态测量装置，通过基于双目水下摄像机的参数对水下的鱼类图像进行校正，并获取鱼类图像对应的深度图像，基于深度图像获取鱼类的旋转角度，将鱼类的目标测量点的二维信息转化为空间坐标之后，基于空间坐标和旋转角度计算得到鱼类的尺寸测量结果，从而能够实现对水下鱼类尺寸的自动测量。
基于以上实施例，本发明提供的基于双目视觉的水下动态鱼类形态测量装置，还包括：
参数获取模块，用于获取目标鱼类的标定视频图像，将所述标定视频图像基于目标标定方法获得所述双目水下摄像机的参数；
左右图像获取模块，用于基于所述目标鱼类图像提取目标鱼类的左视图像及右视图像；
所述矫正模块，具体用于：
基于所述双目水下摄像机的内外部参数矩阵和畸变系数对所述左视图像及右视图像进行矫正，获取所述左视图像和右视图像对应的第一矫正图像和第二矫正图像。
基于以上实施例，所述旋转角度获取模块，具体用于：
将所述第一矫正图像和第二矫正图像进行立体匹配，获得目标鱼类基于双目视觉的视差图；
基于所述视差图获得目标鱼类的深度图像；
所述旋转角度获取模块，具体包括：
分割模块，用于对所述深度图像中的目标鱼类进行实例分割，得到分割后的目标鱼类的分割深度图像；
旋转角度子模块，用于基于所述分割深度图像计算得到目标鱼类的旋转角度，并确定目标鱼类的运动位姿。
基于以上实施例，所述分割模块，具体用于：
将所述深度图像输入至分割模型中，输出目标鱼类的分割深度图像；
其中，所述分割模型是基于训练数据集以及其对应的分割结果的标签训练得到的。
基于以上实施例，所述旋转角度子模块，具体用于：
获取目标鱼类的在所述分割深度图像中的深度最大点和深度最小点；
获取所述深度最大点在X轴和Y轴上的第一坐标，以及所述深度最小点在X轴和Y轴上的第二坐标；
基于所述第一坐标和第二坐标，获取所述目标鱼类的旋转角度。
基于以上实施例，所述结果获取模块，基于所述空间坐标和所述旋转角度得到目标鱼类的尺寸测量结果，通过以下公式(9)实现：
Figure BDA0003617399260000141
其中，L为目标鱼类的测量长度，a和b为目标测量点的两个不同坐标点，a和b的空间坐标分别为
Figure BDA0003617399260000142
和
Figure BDA0003617399260000143
θ为目标鱼类的旋转角度。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行基于双目视觉的水下动态鱼类形态测量方法，该方法包括：
获取水下的目标鱼类图像；
基于双目水下摄像机的参数对所述目标鱼类图像进行矫正，获取矫正图像；
基于所述矫正图像获取目标鱼类图像深度信息，并基于所述深度信息计算得到目标鱼类的旋转角度；
获取目标鱼类的特征测量点以及所述特征测量点对应的二维信息，并将所述二维信息结合深度信息映射至空间坐标系得到空间坐标，基于所述空间坐标和所述旋转角度得到目标鱼类的尺寸测量结果。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于双目视觉的水下动态鱼类形态测量方法，该方法包括：
获取水下的目标鱼类图像；
基于双目水下摄像机的参数对所述目标鱼类图像进行矫正，获取矫正图像；
基于所述矫正图像获取目标鱼类图像深度信息，并基于所述深度信息计算得到目标鱼类的旋转角度；
获取目标鱼类的特征测量点以及所述特征测量点对应的二维信息，并将所述二维信息结合深度信息映射至空间坐标系得到空间坐标，基于所述空间坐标和所述旋转角度得到目标鱼类的尺寸测量结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于双目视觉的水下动态鱼类形态测量方法，该方法包括：
获取水下的目标鱼类图像；
基于双目水下摄像机的参数对所述目标鱼类图像进行矫正，获取矫正图像；
基于所述矫正图像获取目标鱼类图像深度信息，并基于所述深度信息计算得到目标鱼类的旋转角度；
获取目标鱼类的特征测量点以及所述特征测量点对应的二维信息，并将所述二维信息结合深度信息映射至空间坐标系得到空间坐标，基于所述空间坐标和所述旋转角度得到目标鱼类的尺寸测量结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于双目视觉的水下动态鱼类形态测量方法，其特征在于，包括：
获取水下双目的目标鱼类图像；
基于双目水下摄像机的参数对所述目标鱼类图像进行矫正，获取矫正图像；
基于所述矫正图像获取目标鱼类图像深度信息，并基于所述深度信息计算得到目标鱼类的旋转角度；
获取目标鱼类的特征测量点以及所述特征测量点对应的二维信息，并将所述二维信息结合深度信息映射至空间坐标系得到空间坐标，基于所述空间坐标和所述旋转角度得到目标鱼类的尺寸测量结果。
2.根据权利要求1所述的基于双目视觉的水下动态鱼类形态测量方法，其特征在于，在基于双目水下摄像机的参数对所述目标鱼类图像进行矫正，获取矫正图像之前，所述方法还包括：
获取目标鱼类的标定视频图像，将所述标定视频图像基于目标标定方法获得所述双目水下摄像机的参数；
基于所述目标鱼类图像提取目标鱼类的左视图像及右视图像；
所述基于双目水下摄像机的参数对所述目标鱼类图像进行矫正，获取矫正图像，具体包括：
基于所述双目水下摄像机的内外部参数矩阵和畸变系数对所述左视图像及右视图像进行矫正，获取所述左视图像和右视图像对应的第一矫正图像和第二矫正图像。
3.根据权利要求2所述的基于双目视觉的水下动态鱼类形态测量方法，其特征在于，所述基于所述矫正图像获取目标鱼类的深度图像，具体包括：
将所述第一矫正图像和第二矫正图像进行立体匹配，获得目标鱼类基于双目视觉的视差图；
基于所述视差图获得目标鱼类的深度图像；
所述基于所述深度图像计算得到目标鱼类的旋转角度，具体包括：
对所述深度图像中的目标鱼类进行实例分割，得到分割后的目标鱼类的分割深度图像；
基于所述分割深度图像计算得到目标鱼类的旋转角度，并确定目标鱼类的运动位姿。
4.根据权利要求3所述的基于双目视觉的水下动态鱼类形态测量方法，其特征在于，所述对所述深度图像中的目标鱼类进行实例分割，得到分割后的目标鱼类的分割深度图像，具体包括：
将所述深度图像输入至分割模型中，输出目标鱼类的分割深度图像；
其中，所述分割模型是基于训练数据集以及其对应的分割结果的标签训练得到的。
5.根据权利要求3所述的基于双目视觉的水下动态鱼类形态测量方法，其特征在于，所述基于所述分割深度图像计算得到目标鱼类的旋转角度，具体包括：
获取目标鱼类的在所述分割深度图像中的深度最大点和深度最小点；
获取所述深度最大点在X轴和Y轴上的第一坐标，以及所述深度最小点在X轴和Y轴上的第二坐标；
基于所述第一坐标和第二坐标，获取所述目标鱼类的旋转角度。
6.根据权利要求1所述的基于双目视觉的水下动态鱼类形态测量方法，其特征在于，所述基于所述空间坐标和所述旋转角度得到目标鱼类的尺寸测量结果，通过以下公式实现：
Figure FDA0003617399250000021
其中，L为目标鱼类的测量长度，a和b为目标测量点的两个不同坐标点，a和b的空间坐标分别为
Figure FDA0003617399250000031
和
Figure FDA0003617399250000032
θ为目标鱼类的旋转角度。
7.一种基于双目视觉的水下动态鱼类形态测量装置，其特征在于，包括：
图像获取模块，用于获取水下的目标鱼类图像；
矫正模块，用于基于双目水下摄像机的参数对所述目标鱼类图像进行矫正，获取矫正图像；
旋转角度获取模块，用于基于所述矫正图像获取目标鱼类图像深度信息，并基于所述深度信息计算得到目标鱼类的旋转角度；
结果获取模块，用于获取目标鱼类的特征测量点以及所述特征测量点对应的二维信息，并将所述二维信息结合深度信息映射至空间坐标系得到空间坐标，基于所述空间坐标和所述旋转角度得到目标鱼类的尺寸测量结果。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于双目视觉的水下动态鱼类形态测量方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于双目视觉的水下动态鱼类形态测量方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于双目视觉的水下动态鱼类形态测量方法的步骤。
CN202210451825.XA 2022-04-26 2022-04-26 基于双目视觉的水下动态鱼类形态测量方法及装置 Pending CN115082777A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210451825.XA CN115082777A (zh) 2022-04-26 2022-04-26 基于双目视觉的水下动态鱼类形态测量方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210451825.XA CN115082777A (zh) 2022-04-26 2022-04-26 基于双目视觉的水下动态鱼类形态测量方法及装置

Publications (1)

Publication Number Publication Date
CN115082777A true CN115082777A (zh) 2022-09-20

Family

ID=83247561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210451825.XA Pending CN115082777A (zh) 2022-04-26 2022-04-26 基于双目视觉的水下动态鱼类形态测量方法及装置

Country Status (1)

Country Link
CN (1) CN115082777A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115127449A (zh) * 2022-07-04 2022-09-30 山东大学 一种辅助双目视觉的非接触鱼体测量装置与方法
CN116576782A (zh) * 2023-03-24 2023-08-11 青岛励图高科信息技术有限公司 一种水下鱼体长度测量方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115127449A (zh) * 2022-07-04 2022-09-30 山东大学 一种辅助双目视觉的非接触鱼体测量装置与方法
CN116576782A (zh) * 2023-03-24 2023-08-11 青岛励图高科信息技术有限公司 一种水下鱼体长度测量方法
CN116576782B (zh) * 2023-03-24 2024-02-06 青岛励图高科信息技术有限公司 一种水下鱼体长度测量方法

Similar Documents

Publication Publication Date Title
TWI729995B (zh) 基於場景之拍攝圖像而產生合併、融合三維點雲
US8447099B2 (en) Forming 3D models using two images
CN107392958B (zh) 一种基于双目立体摄像机确定物体体积的方法及装置
CN109146947B (zh) 海洋鱼类三维图像获取及处理方法、装置、设备及介质
US20120177284A1 (en) Forming 3d models using multiple images
CN111862224B (zh) 确定相机与激光雷达之间外参的方法和装置
CN115082777A (zh) 基于双目视觉的水下动态鱼类形态测量方法及装置
CN111429533B (zh) 一种相机镜头畸变参数估计装置及方法
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN111640152A (zh) 一种鱼类生长监控方法和系统
CN111046843A (zh) 一种智能驾驶环境下的单目测距方法
CA3233222A1 (en) Method, apparatus and device for photogrammetry, and storage medium
CN111105467B (zh) 一种图像标定方法、装置及电子设备
US20240054662A1 (en) Capsule endoscope image three-dimensional reconstruction method, electronic device, and readable storage medium
CN113345084B (zh) 三维建模系统及三维建模方法
CN112802114A (zh) 多视觉传感器融合装置及其方法和电子设备
CN113221953B (zh) 基于实例分割和双目深度估计的目标姿态识别系统与方法
CN113284111A (zh) 一种基于双目立体视觉的毛囊区域定位方法及系统
CN112446926A (zh) 一种激光雷达与多目鱼眼相机的相对位置标定方法及装置
CN117058183A (zh) 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质
CN112712590A (zh) 一种动物点云生成方法及系统
CN115880643B (zh) 一种基于目标检测算法的社交距离监测方法和装置
JP2020194454A (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
CN113409450B (zh) 一种包含rgbdt信息的鸡只三维重建方法
CN116125489A (zh) 一种室内物体三维检测方法、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination