CN111738279B - 一种无接触式鱼类形态表型自动获取装置及方法 - Google Patents

一种无接触式鱼类形态表型自动获取装置及方法 Download PDF

Info

Publication number
CN111738279B
CN111738279B CN202010585968.0A CN202010585968A CN111738279B CN 111738279 B CN111738279 B CN 111738279B CN 202010585968 A CN202010585968 A CN 202010585968A CN 111738279 B CN111738279 B CN 111738279B
Authority
CN
China
Prior art keywords
fish
ccd sensor
phenotype
main
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010585968.0A
Other languages
English (en)
Other versions
CN111738279A (zh
Inventor
刘海平
牟振波
肖世俊
胡宇松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Institute of Animal Husbandry and Veterinary Medicine of Tibet Academy of Agriculture and Animal Husbandry Sciences
Original Assignee
Wuhan University of Technology WUT
Institute of Animal Husbandry and Veterinary Medicine of Tibet Academy of Agriculture and Animal Husbandry Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT, Institute of Animal Husbandry and Veterinary Medicine of Tibet Academy of Agriculture and Animal Husbandry Sciences filed Critical Wuhan University of Technology WUT
Priority to CN202010585968.0A priority Critical patent/CN111738279B/zh
Publication of CN111738279A publication Critical patent/CN111738279A/zh
Application granted granted Critical
Publication of CN111738279B publication Critical patent/CN111738279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及鱼类表型提取技术领域，提供一种无接触式鱼类形态表型自动获取装置及方法。该装置包括CCD传感器组件、拍摄支架、图像处理装置。该方法包括：步骤1：工作准备；步骤2：使用CCD传感器组件获取三视图；利用图像处理装置执行步骤3至9：步骤3：判断三视图是否符合表型提取要求；步骤4：根据俯视图获取鱼的方位参数与宽度参数；步骤5：从主视图与左视图中选取用于表型提取的主图；步骤6：获取主图的主要颜色区间；步骤7：提取鱼类各个部位的boundingbox；步骤8：提取各个部位的特征点；步骤9：根据特征点计算全局表型参数。本发明能够无接触地自动、快速且精确获取鱼类的全局形态表型参数，不会对鱼类造成伤害。

Description

一种无接触式鱼类形态表型自动获取装置及方法
技术领域
本发明涉及鱼类表型提取技术领域，特别是涉及一种无接触式鱼类形态表型自动获取装置及方法。
背景技术
鱼类表型是人为定义的鱼类特征，通过数值化这些特征，人们可以对鱼类进行各种统计分析，对鱼类的育种、分类等具体研究有非常大的帮助。
传统的鱼类表型提取技术都是基于接触式的，要么通过手工测量等方法获取鱼的具体形态表型参数，要么在正面拍照再通过图像处理方法提取表型，此种流程效率低下，会伤害到鱼类，且不适用于大批量的鱼类表型参数提取。
发明内容
针对现有技术存在的问题，本发明提供一种无接触式鱼类形态表型自动获取装置及方法，能够无接触地自动、快速且精确获取鱼类的全局形态表型参数，不会对鱼类造成伤害。
本发明的技术方案为：
一种无接触式鱼类形态表型自动获取装置，其特征在于，包括CCD传感器组件、拍摄支架、图像处理装置；
所述拍摄支架构成一个长方体空间；
所述CCD传感器组件包括第一CCD传感器、第二CCD传感器、第三CCD传感器；
所述第一CCD传感器、第二CCD传感器、第三CCD传感器分别设置在所述立方体空间的正前方、正上方、正左方；
所述第一CCD传感器、第二CCD传感器、第三CCD传感器的输出端均与所述图像处理装置的输入端电连接。
进一步的，所述拍摄支架包括长方体框架、底座、传感器安装架，所述底座设置在所述长方体空间的底面，所述传感器安装架有三个且分别设置在所述立方体空间的正面、上面、左侧面，每个所述传感器安装架上均安装有基板，所述第一CCD传感器、第二CCD传感器、第三CCD传感器分别设置在对应方向的基板上。
一种使用上述无接触式鱼类形态表型自动获取装置进行鱼类形态表型自动获取的方法，其特征在于，包括下述步骤：
步骤1：工作准备
将待提取表型鱼类放入透明鱼缸，将透明鱼缸放在拍摄支架内；
步骤2：获取三视图
同时使用第一CCD传感器、第二CCD传感器、第三CCD传感器分别获取待提取表型鱼类的主视图P1、俯视图P2、左视图P3，得到一组图像{P1,P2,P3}，并将该组图像传输给图像处理装置，图像处理装置执行步骤3至步骤9；
步骤3：判断所述一组图像是否符合表型提取要求
步骤3.1：分别提取主视图P1、左视图P3的HOG特征向量hog1、hog3，将hog1、hog3分别输入第一分类器、第二分类器，分别得到主视图P1、左视图P3的类别；其中，所述第一分类器以主视图的HOG特征向量为输入、图像类别为输出，所述第二分类器以左视图的HOG特征向量为输入、图像类别为输出，所述图像类别包括符合要求、不符合要求；所述第一分类器由第一CCD传感器1获取的鱼类主视图正样本和负样本训练得到，所述第二分类器由第三CCD传感器3获取的鱼类左视图正样本和负样本训练得到，所述正样本为鱼类处于伸直状态的图像也即符合要求的图像，所述负样本为鱼类处于蜷曲状态的图像也即不符合要求的图像；
步骤3.2：利用图像骨架提取技术对俯视图P2进行图像骨架提取，得到待提取表型鱼类的骨架线L0，将所述骨架线L0的首尾两点相连形成的直线向该直线的两侧分别平移距离a，平移后得到的两条直线形成一个矩形区域，计算骨架线L0上的点落在矩形区域内的数目占骨架线L0上的点总数目的比值，若该比值大于设定的阈值b，则俯视图P2符合要求，反之不符合要求；
步骤3.3：若主视图P1、俯视图P2、左视图P3均符合要求，则所述一组图像符合表型提取要求，将所述一组图像作为待处理图像，进入步骤4；若主视图P1、俯视图P2、左视图P3中有一个图不符合要求，则所述一组图像不符合表型提取要求，过一个随机时间s，转至步骤2；
步骤4：根据俯视图获取鱼的方位参数与宽度参数
步骤4.1：利用基于sobel算子的轮廓发现技术对俯视图P2进行处理，得到鱼的俯视轮廓S0；
步骤4.2：获取骨架线L0的首尾两点相连形成的直线的方位参数，所述方位参数为该直线与x轴之间的夹角，利用所述方位参数对俯视图P2进行旋转，使得骨架线L0的首尾两点相连形成的直线与x轴平行，得到旋转后的俯视轮廓S与骨架线L；
步骤4.3：结合旋转后的俯视轮廓S与骨架线L，获取鱼的宽度参数；
步骤5：从主视图与左视图中选取用于表型提取的主图
若骨架线L0的首尾两点相连形成的直线与x轴、y轴构成三角形，则选取所述三角形的最长直角边所在方位对应的视图作为用于表型提取的主图P0；若不构成三角形，则转至步骤2；
步骤6：获取主图的主要颜色区间
用所述三角形的最长直角边和斜边的比值，对所述主图P0使用双线性插值进行拉伸，得到拉伸后的主图P*作为用于表型提取的正面图像，提取拉伸后的主图P*的全局亮度参数与主要颜色区间；所述全局亮度参数包括拉伸后的主图P*中每个像素点在每个通道上的亮度值；
步骤7：提取鱼头、鱼尾、鱼鳍的boundingbox
步骤7.1：利用选择性搜索算法对拉伸后的主图P*进行处理，获取区域框建议；
步骤7.2：对每个区域框提取daisy+hog混合特征；
步骤7.3：将每个区域框的daisy+hog混合特征输入第三分类器，输出每个区域框的类别；所述第三分类器以区域框的daisy+hog混合特征为输入、区域框类别为输出，并由获取的包含鱼头、鱼尾或鱼鳍的区域框样本集训练得到，所述区域框类型包括鱼头、鱼尾、鱼鳍；
步骤7.4：使用非极大抑制算法，提取出鱼头、鱼尾、鱼鳍的boundingbox；
步骤8：提取鱼类各个部位的特征点
利用特征点提取技术对鱼头、鱼尾、鱼鳍的boundingbox进行处理，提取各个部位的轮廓点集，提取各轮廓的特征点，并计算出每个特征点在拉伸后的主图P*上的坐标；
步骤9：计算表型参数
根据所述特征点计算待提取表型鱼类的全局表型参数。
进一步的，所述步骤3中，所述第一分类器、第二分类器均为SVM分类器，或者均为CNN分类器。
进一步的，所述步骤4中，获取鱼的宽度参数的方法为：对骨架线L上的每一个像素点l，获取俯视轮廓S上的每个像素点s到该像素点l的距离dsl，获取鱼的宽度参数为D＝2*max{min{dsl,s∈S},l∈L}。
进一步的，所述步骤6中，提取拉伸后的主图P*的主要颜色区间，包括下述步骤：
步骤6.1：令选择次数i＝1，从拉伸后的主图P*中随机选择一个像素点记为q1，取像素点q1的RGB值±10内的颜色构成颜色集合Q1，记颜色集合Q1包括的像素点数为n1＝1；其中，拉伸后的主图P*为8位RGB图像；
步骤6.2：令i＝i+1；
步骤6.3：从拉伸后的主图P*中随机选择一个未被选择的像素点记为qi；
步骤6.4：判断像素点qi的颜色是否属于已有颜色集合{Q1,…,Qi-1}，若不属于，则取像素点qi的RGB值±10内的颜色构成新的颜色集合Qi，进入步骤6.5；若属于，则将像素点qi的颜色所属的颜色集合包括的像素点数加1，进入步骤6.5；
步骤6.5：判断选择次数i是否大于或等于预设的最大选择次数，若是，则选择已有颜色集合{Q1,Q2,…,Qi}中包括的像素点数最多的颜色集合对应的颜色区间作为主要颜色区间；若否，则转至步骤6.2。
进一步的，所述步骤7中，所述第三分类器为RF分类器或CNN分类器。
进一步的，所述步骤8中，在执行特征点提取技术前，还进行图像分割，包括：利用基于随机游走的图像分割算法，对鱼头、鱼尾、鱼鳍的boundingbox分别进行分割，并计算各部位的面积参数。
进一步的，所述步骤9中，所述全局表型参数包括全长、体长、头长、吻长、眼径、眼后头长、体高、肛前体长、尾柄长、尾柄高。
进一步的，重复执行所述步骤2至步骤9多次，以多次获取每个表型参数，去掉离群点，再取均值。
本发明的有益效果为：
(1)本发明将待提取表型鱼类放入透明鱼缸，将透明鱼缸放在拍摄支架内，通过括CCD传感器组件获取待提取表型鱼类的三视图，通过图像处理装置对三视图进行处理，得到2D鱼类图像从而待提取表型鱼类的表型，整个过程中不需要接触鱼类，不会对鱼类造成伤害，表型提取结束后鱼还可以发挥其他功用。
(2)本发明通过执行一系列的图像处理算法，能够自动、快速且精确获取鱼类的表型信息，提高鱼类形态表型获取的效率与精度，适用于大批量的鱼类表型参数提取。
(3)本发明结合图像骨架提取技术对俯视图处理得到的骨架线、基于sobel算子的轮廓发现技术对俯视图处理得到的俯视轮廓、鱼的方位参数，能够得到鱼类的宽度参数，这是传统2D鱼类图像表型提取技术所做不到的。
(4)本发明通过对三视图的处理，所获取的信息更加全面，能够用于进一步计算鱼类的各种表型信息。
附图说明
图1为本发明的无接触式鱼类形态表型自动获取装置的结构示意图。
图2为本发明的无接触式鱼类形态表型自动获取方法的流程图。
图中，1－第一CCD传感器，2－第二CCD传感器，3－第三CCD传感器，4－拍摄支架，5－图像处理装置。
具体实施方式
下面将结合附图和具体实施方式，对本发明作进一步描述。
如图1所示，本发明的无接触式鱼类形态表型自动获取装置，包括CCD传感器组件、拍摄支架4、图像处理装置5；
所述拍摄支架4构成一个长方体空间；
所述CCD传感器组件包括第一CCD传感器1、第二CCD传感器2、第三CCD传感器3；
所述第一CCD传感器1、第二CCD传感器2、第三CCD传感器3分别设置在所述立方体空间的正前方、正上方、正左方；
所述第一CCD传感器1、第二CCD传感器2、第三CCD传感器3的输出端均与所述图像处理装置5的输入端电连接。
其中，第一CCD传感器1、第二CCD传感器2、第三CCD传感器3分别用于获取拍摄支架4内透明鱼缸里的待提取表型鱼类的主视图、俯视图、左视图，并将三视图传输给图像处理装置5，图像处理装置5用于对三视图进行处理，获取待提取表型鱼类的全局表型参数。
本实施例中，所述拍摄支架4包括长方体框架、底座、传感器安装架，所述底座设置在所述长方体空间的底面，所述传感器安装架有三个且分别设置在所述立方体空间的正面、上面、左侧面，每个所述传感器安装架上均安装有基板，所述第一CCD传感器1、第二CCD传感器2、第三CCD传感器3分别设置在对应方向的基板上。
本发明的使用上述无接触式鱼类形态表型自动获取装置进行鱼类形态表型自动获取的方法，包括下述步骤：
步骤1：工作准备
将待提取表型鱼类放入透明鱼缸，将透明鱼缸放在拍摄支架4内。
步骤2：获取三视图
同时使用第一CCD传感器1、第二CCD传感器2、第三CCD传感器3分别获取待提取表型鱼类的主视图P1、俯视图P2、左视图P3，得到一组图像{P1,P2,P3}，并将该组图像传输给图像处理装置5，图像处理装置5执行步骤3至步骤9。
步骤3：判断所述一组图像是否符合表型提取要求
步骤3.1：分别提取主视图P1、左视图P3的HOG特征向量hog1、hog3，将hog1、hog3分别输入第一分类器、第二分类器，分别得到主视图P1、左视图P3的类别；其中，所述第一分类器以主视图的HOG特征向量为输入、图像类别为输出，所述第二分类器以左视图的HOG特征向量为输入、图像类别为输出，所述图像类别包括符合要求、不符合要求；所述第一分类器由第一CCD传感器1获取的鱼类主视图正样本和负样本训练得到，所述第二分类器由第三CCD传感器3获取的鱼类左视图正样本和负样本训练得到，所述正样本为鱼类处于伸直状态的图像也即符合要求的图像，所述负样本为鱼类处于蜷曲状态的图像也即不符合要求的图像；
步骤3.2：利用图像骨架提取技术对俯视图P2进行图像骨架提取，得到待提取表型鱼类的骨架线L0，将所述骨架线L0的首尾两点相连形成的直线向该直线的两侧分别平移距离a，平移后得到的两条直线形成一个矩形区域，计算骨架线L0上的点落在矩形区域内的数目占骨架线L0上的点总数目的比值，若该比值大于设定的阈值b，则俯视图P2符合要求，反之不符合要求；
步骤3.3：若主视图P1、俯视图P2、左视图P3均符合要求，则所述一组图像符合表型提取要求，将所述一组图像作为待处理图像，进入步骤4；若主视图P1、俯视图P2、左视图P3中有一个图不符合要求，则所述一组图像不符合表型提取要求，过一个随机时间s，转至步骤2。
其中，步骤3中设置评价的原因是，如果在鱼类活动的瞬间拍照，成像照片中鱼处于一个蜷曲的状态，则该组图像不能用于提取形态表型。所述第一分类器、第二分类器均为SVM分类器，或者均为CNN分类器。本实施例中，所述第一分类器、第二分类器均为SVM分类器。
步骤4：根据俯视图获取鱼的方位参数与宽度参数
步骤4.1：利用基于sobel算子的轮廓发现技术对俯视图P2进行处理，得到鱼的俯视轮廓S0；
步骤4.2：获取骨架线L0的首尾两点相连形成的直线的方位参数，所述方位参数为该直线与x轴之间的夹角，利用所述方位参数对俯视图P2进行旋转，使得骨架线L0的首尾两点相连形成的直线与x轴平行，得到旋转后的俯视轮廓S与骨架线L；
步骤4.3：结合旋转后的俯视轮廓S与骨架线L，获取鱼的宽度参数。
本实施例中，所述步骤4中，获取鱼的宽度参数的方法为：对骨架线L上的每一个像素点l，获取俯视轮廓S上的每个像素点s到该像素点l的距离dsl，获取鱼的宽度参数为D＝2*max{min{dsl,s∈S},l∈L}。
可见，本发明结合图像骨架提取技术对俯视图处理得到的骨架线、基于sobel算子的轮廓发现技术对俯视图处理得到的俯视轮廓、鱼的方位参数，能够得到鱼类的宽度参数，这是传统2D鱼类图像表型提取技术所做不到的。
步骤5：从主视图与左视图中选取用于表型提取的主图
若骨架线L0的首尾两点相连形成的直线与x轴、y轴构成三角形，则选取所述三角形的最长直角边所在方位对应的视图作为用于表型提取的主图P0；若不构成三角形，则转至步骤2。
其中，获取三角形的目的是为了获取鱼的大致的位置状态。极端情况下该鱼刚好正对着正面或者左边的相机，则从俯视图中提取出的骨架线平行于x轴或者y轴，此时不构成三角形。
步骤6：获取主图的主要颜色区间
用所述三角形的最长直角边和斜边的比值，对所述主图P0使用双线性插值进行拉伸，得到拉伸后的主图P*作为用于表型提取的正面图像，提取拉伸后的主图P*的全局亮度参数与主要颜色区间；所述全局亮度参数包括拉伸后的主图P*中每个像素点在每个通道上的亮度值。
本实施例中，所述步骤6中，提取拉伸后的主图P*的主要颜色区间，包括下述步骤：
步骤6.1：令选择次数i＝1，从拉伸后的主图P*中随机选择一个像素点记为q1，取像素点q1的RGB值±10内的颜色构成颜色集合Q1，记颜色集合Q1包括的像素点数为n1＝1；其中，拉伸后的主图P*为8位RGB图像；
步骤6.2：令i＝i+1；
步骤6.3：从拉伸后的主图P*中随机选择一个未被选择的像素点记为qi；
步骤6.4：判断像素点qi的颜色是否属于已有颜色集合{Q1,…,Qi-1}，若不属于，则取像素点qi的RGB值±10内的颜色构成新的颜色集合Qi，进入步骤6.5；若属于，则将像素点qi的颜色所属的颜色集合包括的像素点数加1，进入步骤6.5；
步骤6.5：判断选择次数i是否大于或等于预设的最大选择次数，若是，则选择已有颜色集合{Q1,Q2,…,Qi}中包括的像素点数最多的颜色集合对应的颜色区间作为主要颜色区间；若否，则转至步骤6.2。其中，此处需要排除水的颜色。
步骤7：提取鱼头、鱼尾、鱼鳍的boundingbox
步骤7.1：利用选择性搜索算法对拉伸后的主图P*进行处理，获取区域框建议；
步骤7.2：对每个区域框提取daisy+hog混合特征；
步骤7.3：将每个区域框的daisy+hog混合特征输入第三分类器，输出每个区域框的类别；所述第三分类器以区域框的daisy+hog混合特征为输入、区域框类别为输出，并由获取的包含鱼头、鱼尾或鱼鳍的区域框样本集训练得到，所述区域框类型包括鱼头、鱼尾、鱼鳍；
步骤7.4：使用非极大抑制算法，提取出鱼头、鱼尾、鱼鳍的boundingbox。
本实施例中，采用RF分类器作为第三分类器。若数据集充足，也可使用CNN分类器，这样分类结果会更加鲁棒。其中，RF分类器为基于随机森林(Random forest)算法的分类器，CNN分类器为基于卷积神经网络(Convolutional Neural Networks)的分类器。也可以采用RCNN系列技术，mask-rcnn可以进一步提取目标和分割图像。
步骤8：提取鱼类各个部位的特征点
利用特征点提取技术对鱼头、鱼尾、鱼鳍的boundingbox进行处理，提取各个部位的轮廓点集，提取各轮廓的特征点，并计算出每个特征点在拉伸后的主图P*上的坐标。
本实施例中，步骤8中，在执行特征点提取技术前，还进行图像分割，包括：利用基于随机游走的图像分割算法，对鱼头、鱼尾、鱼鳍的boundingbox分别进行分割，并计算各部位的面积参数。其中，boundingbox为唯一区域框。
其中，特征点往往都是各个部位的凸端点，这些凸端点使用图像处理技术非常易于获取，再根据该boundingbox的坐标信息，能够转换成主图上的全局坐标信息。
步骤9：计算表型参数
根据所述特征点计算待提取表型鱼类的全局表型参数。
本实施例中，计算得到的全局表型参数包括全长、体长、头长、吻长、眼径、眼后头长、体高、肛前体长、尾柄长、尾柄高。可见，本发明通过对三视图的处理，所获取的信息比传统方法更加全面，能够用于进一步计算鱼类的各种表型信息。其中，还可以根据步骤8中提取的各种特征点提取不限定于上述的表型。
此外，还可以重复执行所述步骤2至步骤9多次，以多次获取每个表型参数，去掉离群点，再取均值，以克服单次表型提取过程中的误差，显著提升方法的准确性。
可见，本发明中，只需将装有鱼类的容器放进拍摄支架即可全自动化提取表型。鱼类可以在鱼缸中自由活动，可以做到表型提取过程中真正的与鱼类无接触，对其无伤害，表型提取结束后鱼还可以发挥其他功用。本发明通过执行一系列的图像处理算法，能够自动、快速且精确获取鱼类的表型信息，提高鱼类形态表型获取的效率与精度，适用于大批量的鱼类表型参数提取。
显然，上述实施例仅仅是本发明的一部分实施例，而不是全部的实施例。上述实施例仅用于解释本发明，并不构成对本发明保护范围的限定。基于上述实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，也即凡在本申请的精神和原理之内所作的所有修改、等同替换和改进等，均落在本发明要求的保护范围内。

Claims (10)

1.一种无接触式鱼类形态表型自动获取方法，其特征在于，包括下述步骤：
步骤1：工作准备
将待提取表型鱼类放入透明鱼缸，将透明鱼缸放在拍摄支架(4)内；
步骤2：获取三视图
同时使用第一CCD传感器(1)、第二CCD传感器(2)、第三CCD传感器(3)分别获取待提取表型鱼类的主视图P1、俯视图P2、左视图P3，得到一组图像{P1,P2,P3}，并将该组图像传输给图像处理装置(5),图像处理装置(5)执行步骤3至步骤9；
步骤3：判断所述一组图像是否符合表型提取要求
步骤3.1：分别提取主视图P1、左视图P3的HOG特征向量hog1、hog3,将hog1、hog3分别输入第一分类器、第二分类器，分别得到主视图P1、左视图P3的类别；其中，所述第一分类器以主视图的HOG特征向量为输入、图像类别为输出，所述第二分类器以左视图的HOG特征向量为输入、图像类别为输出，所述图像类别包括符合要求、不符合要求；所述第一分类器由第一CCD传感器(1)获取的鱼类主视图正样本和负样本训练得到，所述第二分类器由第三CCD传感器(3)获取的鱼类左视图正样本和负样本训练得到，所述正样本为鱼类处于伸直状态的图像也即符合要求的图像，所述负样本为鱼类处于蜷曲状态的图像也即不符合要求的图像；
步骤3.2：利用图像骨架提取技术对俯视图P2进行图像骨架提取，得到待提取表型鱼类的骨架线L0,将所述骨架线L0的首尾两点相连形成的直线向该直线的两侧分别平移距离a,平移后得到的两条直线形成一个矩形区域，计算骨架线L0上的点落在矩形区域内的数目占骨架线L0上的点总数目的比值，若该比值大于设定的阈值b，则俯视图P2符合要求，反之不符合要求；
步骤3.3：若主视图P1、俯视图P2、左视图P3均符合要求，则所述一组图像符合表型提取要求，将所述一组图像作为待处理图像，进入步骤4；若主视图P1、俯视图P2、左视图P3中有一个图不符合要求，则所述一组图像不符合表型提取要求，过一个随机时间s,转至步骤2；
步骤4：根据俯视图获取鱼的方位参数与宽度参数
步骤4.1：利用基于sobel算子的轮廓发现技术对俯视图P2进行处理，得到鱼的俯视轮廓S0；
步骤4.2获取骨架线L0的首尾两点相连形成的直线的方位参数，所述方位参数为该直线与x轴之间的夹角，利用所述方位参数对俯视图P2进行旋转，使得骨架线L0的首尾两点相连形成的直线与x轴平行，得到旋转后的俯视轮廓S与骨架线L；
步骤4.3：结合旋转后的俯视轮廓S与骨架线L获取鱼的宽度参数；
步骤5：从主视图与左视图中选取用于表型提取的主图
若骨架线L0的首尾两点相连形成的直线与x轴、y轴构成三角形，则选取所述三角形的最长直角边所在方位对应的视图作为用于表型提取的主图P0；若不构成三角形，则转至步骤2；
步骤6：获取主图的主要颜色区间
用所述三角形的最长直角边和斜边的比值，对所述主图P0使用双线性插值进行拉伸，得到拉伸后的主图P*作为用于表型提取的正面图像，提取拉伸后的主图P*的全局亮度参数与主要颜色区间；所述全局亮度参数包括拉伸后的主图P*中每个像素点在每个通道上的亮度值；
步骤7：提取鱼头、鱼尾、鱼鳍的boundingbox
步骤7.1：利用选择性搜索算法对拉伸后的主图P*进行处理，获取区域框建议；
步骤7.2：对每个区域框提取daisy+hog混合特征；
步骤7.3：将每个区域框的daisy+hog混合特征输入第三分类器，输出每个区域框的类别；所述第三分类器以区域框的daisy+hog混合特征为输入、区域框类别为输出，并由获取的包含鱼头、鱼尾或鱼鳍的区域框样本集训练得到，所述区域框类型包括鱼头、鱼尾、鱼鳍；
步骤7.4：使用非极大抑制算法，提取出鱼头、鱼尾、鱼鳍的boundingbox；
步骤8：提取鱼类各个部位的特征点
利用特征点提取技术对鱼头、鱼尾、鱼鳍的boundingbox进行处理，提取各个部位的轮廓点集，提取各轮廓的特征点，并计算出每个特征点在拉伸后的主图P*上的坐标；
步骤9：计算表型参数
根据所述特征点计算待提取表型鱼类的全局表型参数。
2.根据权利要求1所述的无接触式鱼类形态表型自动获取方法，其特征在于，所述步骤3中，所述第一分类器、第二分类器均为SVM分类器，或者均为CNN分类器。
3.根据权利要求1所述的无接触式鱼类形态表型自动获取方法，其特征在于，所述步骤4中，获取鱼的宽度参数的方法为：对骨架线L上的每一个像素点l,获取俯视轮廓S上的每个像素点s到该像素点l的距离dsl，获取鱼的宽度参数为D＝2*max{min{dsl,s∈S},l∈L}。
4.根据权利要求1所述的无接触式鱼类形态表型自动获取方法，其特征在于，所述步骤6中，提取拉伸后的主图P*的主要颜色区间，包括下述步骤：
步骤6.1：令选择次数i＝1,从拉伸后的主图P*中随机选择一个像素点记为q1,取像素点q1的RGB值±10内的颜色构成颜色集合Q1,记颜色集合Q1包括的像素点数为n1＝1；其中，拉伸后的主图P*为8位RGB图像；
步骤6.2：令i＝i+1；
步骤6.3：从拉伸后的主图P*中随机选择一个未被选择的像素点记为qi；
步骤6.4判断像素点qi的颜色是否属于已有颜色集合{Q1,...,Qi-1},若不属于，则取像素点qi的RGB值±10内的颜色构成新的颜色集合Qi，进入步骤6.5；若属于，则将像素点qi分的颜色所属的颜色集合包括的像素点数加1,进入步骤6.5；
步骤6.5：判断选择次数i是否大于或等于预设的最大选择次数，若是，则选择已有颜色集合{Q1,Q2,...,Qi}中包括的像素点数最多的颜色集合对应的颜色区间作为主要颜色区间；若否，则转至步骤6.2。
5.根据权利要求1所述的无接触式鱼类形态表型自动获取方法，其特征在于，所述步骤7中，所述第三分类器为RF分类器或CNN分类器。
6.根据权利要求1所述的无接触式鱼类形态表型自动获取方法，其特征在于，所述步骤8中，在执行特征点提取技术前，还进行图像分割，包括：利用基于随机游走的图像分割算法，对鱼头、鱼尾、鱼鳍的boundingbox分别进行分割，并计算各部位的面积参数。
7.根据权利要求1所述的无接触式鱼类形态表型自动获取方法，其特征在于，所述步骤9中，所述全局表型参数包括全长、体长、头长、吻长、眼径、眼后头长、体高、肛前体长、尾柄长、尾柄高。
8.根据权利要求1所述的无接触式鱼类形态表型自动获取方法，其特征在于，重复执行所述步骤2至步骤9多次，以多次获取每个表型参数，去掉离群点，再取均值。
9.采用权利要求1-8任意一项所述的无接触式鱼类形态表型自动获取方法获取鱼类形态表型的装置，其特征在于，包括CCD传感器组件、拍摄支架(4)、图像处理装置(5)；
所述拍摄支架(4)构成一个长方体空间；
所述CCD传感器组件包括第一CCD传感器(1)、第二CCD传感器(2)、第三CCD传感器(3)；
所述第一CCD传感器(1)、第二CCD传感器(2)、第三CCD传感器(3)分别设置在所述长方体空间的正前方、正上方、正左方；
所述第一CCD传感器(1)、第二CCD传感器(2)、第三CCD传感器(3)的输出端均与所述图像处理装置(5)的输入端电连接。
10.根据权利要求9所述的无接触式鱼类形态表型自动获取装置，其特征在于，所述拍摄支架(4)包括长方体框架、底座、传感器安装架，所述底座设置在所述长方体空间的底面，所述传感器安装架有三个且分别设置在所述长方体空间的正面、上面、左侧面，每个所述传感器安装架上均安装有基板，所述第一CCD传感器(1)、第二CCD传感器(2)、第三CCD传感器(3)分别设置在对应方向的基板上。
CN202010585968.0A 2020-06-24 2020-06-24 一种无接触式鱼类形态表型自动获取装置及方法 Active CN111738279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010585968.0A CN111738279B (zh) 2020-06-24 2020-06-24 一种无接触式鱼类形态表型自动获取装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010585968.0A CN111738279B (zh) 2020-06-24 2020-06-24 一种无接触式鱼类形态表型自动获取装置及方法

Publications (2)

Publication Number Publication Date
CN111738279A CN111738279A (zh) 2020-10-02
CN111738279B true CN111738279B (zh) 2022-01-04

Family

ID=72650904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010585968.0A Active CN111738279B (zh) 2020-06-24 2020-06-24 一种无接触式鱼类形态表型自动获取装置及方法

Country Status (1)

Country Link
CN (1) CN111738279B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464744A (zh) * 2020-11-09 2021-03-09 湖北省农业科学院农产品加工与核农技术研究所 一种鱼姿态识别方法
CN112580662A (zh) * 2020-12-09 2021-03-30 中国水产科学研究院渔业机械仪器研究所 一种基于图像特征识别鱼体方向的方法及系统
CN113591671B (zh) * 2021-07-28 2023-10-24 常州大学 一种基于Mask-Rcnn识别鱼类生长检测方法
CN114049479A (zh) * 2021-11-10 2022-02-15 苏州魔视智能科技有限公司 自监督的鱼眼相机图像特征点提取方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205317124U (zh) * 2016-01-26 2016-06-15 无锡职业技术学院 一种可伸缩式的三维鱼体测量器
CN107236814A (zh) * 2017-07-14 2017-10-10 集美大学 一种鉴别大黄鱼遗传性别的分子标记及其应用
CN108267122A (zh) * 2018-04-25 2018-07-10 北京农业信息技术研究中心 一种基于机器视觉的水下鱼类体长测量装置及测量方法
CN108564573A (zh) * 2018-03-30 2018-09-21 大连工业大学 面向鲅鱼切段机的鱼头鱼尾图像自动识别方法
CN109146947A (zh) * 2018-09-04 2019-01-04 清华-伯克利深圳学院筹备办公室 海洋鱼类三维图像获取及处理方法、装置、设备及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7775421B2 (en) * 2005-10-17 2010-08-17 Susannah Lee Clary Device for determining the sex (gender) of fish by measurement of morphological characteristics
CN104482860B (zh) * 2014-12-05 2017-10-31 浙江大学宁波理工学院 鱼类形态参数自动测量装置和方法
CN105651183A (zh) * 2016-01-13 2016-06-08 中国科学院海洋研究所 一种鱼类形态学指标的测量装置及其测量方法
CN105830987A (zh) * 2016-05-26 2016-08-10 贵州大学 一种鱼类形态学数据测量装置
AU2018278761A1 (en) * 2017-05-29 2019-12-05 Ecotone As Method and system for underwater hyperspectral imaging of fish
CN207180597U (zh) * 2017-07-17 2018-04-03 河南省水产科学研究院 一种鱼体表面图像采集系统
US20190037865A1 (en) * 2017-08-07 2019-02-07 Pharmaq As Live fish processing system, and associated methods
CN109272546B (zh) * 2018-09-14 2020-12-08 中国农业大学 一种鱼苗长度测量方法及系统
CN110298856B (zh) * 2019-06-19 2023-03-21 江苏农林职业技术学院 一种鱼体长度非接触式估算方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205317124U (zh) * 2016-01-26 2016-06-15 无锡职业技术学院 一种可伸缩式的三维鱼体测量器
CN107236814A (zh) * 2017-07-14 2017-10-10 集美大学 一种鉴别大黄鱼遗传性别的分子标记及其应用
CN108564573A (zh) * 2018-03-30 2018-09-21 大连工业大学 面向鲅鱼切段机的鱼头鱼尾图像自动识别方法
CN108267122A (zh) * 2018-04-25 2018-07-10 北京农业信息技术研究中心 一种基于机器视觉的水下鱼类体长测量装置及测量方法
CN109146947A (zh) * 2018-09-04 2019-01-04 清华-伯克利深圳学院筹备办公室 海洋鱼类三维图像获取及处理方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111738279A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111738279B (zh) 一种无接触式鱼类形态表型自动获取装置及方法
CN105608671B (zh) 一种基于surf算法的图像拼接方法
CN107610108B (zh) 图像处理方法和装置
CN109785379B (zh) 一种对称物体尺寸及重量的测量方法及测量系统
CN109145808B (zh) 一种基于自适应鱼体弯曲模型的金枪鱼识别方法
CN110443199B (zh) 一种基于二维几何轮廓的点云姿态识别方法
JP2013089252A (ja) 映像処理方法及び装置
CN107221005B (zh) 物体检测方法及装置
CN110210577B (zh) 一种针对密集鸟群的深度学习以及识别方法
CN114241031A (zh) 基于双视角融合的鱼类体尺测量和体重预测的方法及装置
Huang et al. Chute based automated fish length measurement and water drop detection
CN115187715A (zh) 贴图方法、装置、设备及存储介质
CN115082777A (zh) 基于双目视觉的水下动态鱼类形态测量方法及装置
CN113706472A (zh) 公路路面病害检测方法、装置、设备及存储介质
WO2021051382A1 (zh) 白平衡处理方法和设备、可移动平台、相机
CN103177244B (zh) 水下显微图像中快速检测目标生物的方法
CN113180640B (zh) 一种家畜养殖用尺寸测量方法及系统
CN112446926B (zh) 一种激光雷达与多目鱼眼相机的相对位置标定方法及装置
CN113284111A (zh) 一种基于双目立体视觉的毛囊区域定位方法及系统
CN113222889A (zh) 高分辨率图像下水产养殖物的工厂化养殖计数方法及装置
CN115690107B (zh) 基于图像处理的豆荚果粒高通量计数方法、系统及装置
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
CN114882095B (zh) 一种基于轮廓匹配的物体高度在线测量方法
CN114600160A (zh) 生成三维(3d)模型的方法
CN112614178B (zh) 一种基于单设备的多摄像头位置定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant