CN113283306B - 一种基于深度学习和迁移学习的啮齿动物识别分析的方法 - Google Patents
一种基于深度学习和迁移学习的啮齿动物识别分析的方法 Download PDFInfo
- Publication number
- CN113283306B CN113283306B CN202110478772.6A CN202110478772A CN113283306B CN 113283306 B CN113283306 B CN 113283306B CN 202110478772 A CN202110478772 A CN 202110478772A CN 113283306 B CN113283306 B CN 113283306B
- Authority
- CN
- China
- Prior art keywords
- rodent
- network
- data
- image
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000283984 Rodentia Species 0.000 title claims abstract description 267
- 238000013135 deep learning Methods 0.000 title claims abstract description 46
- 238000004458 analytical method Methods 0.000 title claims abstract description 21
- 238000013508 migration Methods 0.000 title claims description 7
- 230000005012 migration Effects 0.000 title claims description 7
- 238000001514 detection method Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000013526 transfer learning Methods 0.000 claims abstract description 15
- 241001465754 Metazoa Species 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000011808 rodent model Methods 0.000 claims abstract description 6
- 238000004140 cleaning Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000002360 preparation method Methods 0.000 claims abstract description 4
- 230000011218 segmentation Effects 0.000 claims description 62
- 210000003128 head Anatomy 0.000 claims description 27
- 230000037308 hair color Effects 0.000 claims description 21
- 238000013136 deep learning model Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 210000001508 eye Anatomy 0.000 claims description 7
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 210000001331 nose Anatomy 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000007639 printing Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 210000000624 ear auricle Anatomy 0.000 claims description 2
- 210000005010 torso Anatomy 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 241000607479 Yersinia pestis Species 0.000 abstract 1
- 210000005069 ears Anatomy 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000000059 patterning Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000037396 body weight Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 208000013007 Rodent disease Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000013043 chemical agent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 208000007345 glycogen storage disease Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习和迁移学习的啮齿动物识别分析的方法，属于动物分类和图像处理技术领域。包括以下步骤：S1：啮齿动物视频采集和预处理S2：啮齿动物数据集制作；S3：啮齿动物模型的构建和训练；S4：啮齿动物检测；S5：啮齿动物图像裁剪和超分辨率重建；S6：啮齿动物影像各部位分割；S7：数据清洗及各项身体指标数据计算；S8：啮齿动物分类。本发明的有益效果：本发明基于深度学习方法实现了对啮齿动物的检测、分类和各部位的分割，并计算了啮齿动物的各项身体指标数据，有效地提高了检测啮齿动物的准确率和效率，改变了传统啮齿动物分类的方式，并可以自动化地分割啮齿动物的各部位，有助于开展动物保护及有害生物害防控工作。
Description
技术领域
本发明涉及智能分析技术领域，特别涉及一种基于深度学习和迁移学习的啮齿动物识别分析的方法。
背景技术
不同啮齿动物种类的危害方式不同，则防治重点不同，传统的监测手段以物理器械、化学药剂为主，需要专业人员进行操作，耗费大量的劳动力，且人为操作存在差异，进而导致监测结果受主观因素影响，监测效果较差。随着大数据、物联网、云计算、人工智能等学科技术不断发展，通过采用图像自动采集、数字图像处理、人工智能识别、无线传感传输等多项先进技术融合构建监测系统，对啮齿动物活动情况进行监测管理，工作人员通过网络监测到相关数据和图片、视频等信息，通过人工智能系统综合分析得到准确的监测数据，可从更多维度数据进行研究，建立啮齿动物种群动态预测预警模型，为生物多样性保护提供数据支持。
随着深度学习的不断发展，一些基于深度学习的目标检测和分割方法被提了出来。比如：YOLOv3、YOLOv4、faster R-CNN、mask R-CNN和YOLACT等，由于深度学习可以从大数据中自动学习图像的各层特征，低级特征通常指图像的边缘、线方向和颜色等，而高级特征通常指某些成分的形状和组合等。因此深度学习能够较好地提取图像的底层特征和高层的抽象特征，并将这些特征融合，从而为啮齿动物分类提供有效充分的特征依据，同时，对啮齿动物身体的各项指标进行计算，对研究啮齿动物也同样具有重要的意义。
发明内容
本发明的目的在于：利用深度学习和迁移学习对啮齿动物进行识别分析。
为了实现上述目的，本发明提供了一种基于深度学习和迁移学习的啮齿动物识别分析的方法，包括以下步骤：
S1：啮齿动物视频采集和预处理：通过视频录入系统采集啮齿动物视频数据，并对所述视频数据进行预处理，得到图像数据；
S2：啮齿动物数据集制作：依据动物分类学和深度学习的基础规则以及Mixup和CutMix的数据增强方法制作了啮齿动物数据集；
S3：啮齿动物模型的构建和训练；
S4：啮齿动物检测：采用经过参数优化的检测网络对预处理的图像数据进行检测，得到啮齿动物的最小外接矩形，去除背景和其它动物对分类和分割的影响；
S5：啮齿动物图像裁剪和超分辨率重建：
S51：根据啮齿动物的外接矩形轮廓将图像中的啮齿动物裁剪下来；
S52：采用构建的啮齿动物超分辨率重建网络对裁剪的图像进行超分辨率重建，以获取高质量的超分辨重建的图像数据；
S6：啮齿动物影像各部位分割：采用参数优化的啮齿动物分割网络模型对S5中超分辨重建的图像进行实例分割，得到啮齿动物各部位分割结果；
S7：数据清洗及各项身体指标数据计算：
S71：根据动物分类学基础规则、几何形态结构以及采用的深度学习模型的优化参数，自动选取符合使用要求的特征数据；
S72：依据分割结果和视频数据采集参数进行几何形态测量，采用叠印法实现结果的图形化，去除非形态变异的干扰，计算啮齿动物身体的各项指标；
S8：啮齿动物分类：将S5中的高质量图像与啮齿动物部分指标的文本数据进行数据融合，得到啮齿动物多模态数据作为啮齿动物分类网络的输入，采用参数优化的啮齿动物分类网络对多模态数据进行分类，得到啮齿动物类别。
优选地，所述步骤S2中啮齿动物数据集包括：啮齿动物检测数据集、啮齿动物分类数据集、啮齿动物分割数据集和啮齿动物超分辨重建数据集；所述啮齿动物检测数据集根据VOC数据集的制作规则进行制作；所述啮齿动物分割数据集依据COCO数据集的制作规则进行制作；所述啮齿动物分类数据集依据细粒度分类、多模态数据基础规则以及无监督的思想进行制作；所述啮齿动物超分辨率重建数据集依据无监督的思想进行制作。
优选地，所述步骤S3中啮齿动物模型的构建和训练的具体步骤包括：
S301：选取有监督的预训练算法对初始化的深度学习模型进行预训练，得到预训练深度学习网络模型；
S302：引入多核最大均值误差思想，基于深度学习构建啮齿动物检测网络，减小训练数据和测试数据之间的分布差异，使得训练后的模型在测试集上具有良好的迁移性；
S303：通过引入多核最大均值误差思想构建了啮齿动物分割网络，该网络结合深度卷积网络与空洞卷积网络并将多尺度卷积进行融合，利用多层感知机和度量学习的方式对每个像素进行分割和预测，实现实例分割，最终得到啮齿动物各部位分割结果；
S304：采用预训练的深度学习模型和啮齿动物检测数据集对构建的啮齿动物检测网络进行训练，优化网络参数，得到参数优化的啮齿动物检测网络；
S305：采用预训练的深度学习模型和啮齿动物分割数据集对构建的啮齿动物分割网络进行训练，优化网络参数，得到参数优化的啮齿动物分割网络；
S306：通过引入多核最大均值误差思想、多模态深度学习和深度自编码器聚类的思想，基于无监督学习的方式构建了啮齿动物分类网络；
S307：采用啮齿动物分类数据集对构建的深度学习啮齿动物分类网络进行训练，优化网络参数，得到参数优化的啮齿动物分类网络；
S308：依据零样本无监督方法和生成对抗网络构建深度学习啮齿动物超分辨率重建网络；
S309：采用啮齿动物超分辨重建数据集对构建的啮齿动物超分辨率重建网络进行训练，得到参数优化的啮齿动物超分辨率重建数据集。
优选地，所述步骤S4啮齿动物检测的具体步骤包括：
S401：将S1读取的每一帧图像数据逐一输入到检测网络中；
S402：采用特征提取网络得到图像的特征图；
S403：依据空间金字塔思想对得到的特征图进行特征融合，得到融合的不同特征级别的特征图；
S404：采用全局引导模块为不同特征级别的图层提供潜在显著物体的位置信息；
S405：采用构建的分类器对步骤S403得到的新特征图进行检测，得到啮齿动物的有向外接矩形和置信度分数；
S406：采用非极大抑制算法去除交并比较大的检测框，保留置信度分数高的边界框作为啮齿动物的检测结果。
优选地，所述步骤S52中超分辨率重建的具体步骤包括：
S521：判断步骤S51裁剪图像的大小，如果最长边大于等于1024像素，则不做任何处理；否则，对裁剪图像进行超分辨率重建；
S522：把裁剪后的啮齿动物图像输入到深度学习啮齿动物超分辨率重建网络中；
S523：对输入图像通过卷积神经网络提取图像特征，得到特征图；
S524：将特征图分解为边缘和纹理等多个成分，分别作为不同的频率子带，各部分独立重建；
S525：不同频率子带信息组合得到最终的超分辨率重建图像。
优选地，所述步骤S6啮齿动物影像各部位包括：尾巴、背部、躯干、耳廓、耳朵、眼睛、鼻子、头部。
优选地，所述步骤S6啮齿动物影像各部位分割的具体步骤为：
S601：将步骤S5中的超分辨率重建图像输入到参数优化的啮齿动物深度分割网络中；
S602：采用结合了空洞卷积的特征提取网络得到图像的特征图；
S603：采用构建的啮齿动物分类器预测步骤S602特征图各个位置的啮齿动物各部位类别和置信度分数；
S604：利用多层感知机和构建的分割机制对步骤S602特征图进行实例分割；
S605：对步骤S603和步骤S604中的结果采用构建的非极大抑制算法等操作得到啮齿动物各部位的分割结果。
优选地，所述步骤S7中的各项指标包括：头部角度、头部毛色及纹案、背部毛色及纹案、尾长、尾巴直径、尾巴毛色及纹案、身体尾端的角度、耳廓形状、耳朵长度、耳朵到眼睛距离、体长、身体轮廓周长、身体轮廓面积、体长与尾长的比值、耳朵长度与耳朵到眼睛距离的比值、啮齿动物体重。
优选地，所述步骤S72中啮齿动物身体的各项指标数据计算的具体步骤为：
S721：依据摄像头参数、拍摄高度和焦距计算地面采样间隔GSD；
S722：依据选取的分割结果和视频数据采集参数进行几何形态测量，采用叠印法实现结果的图形化，去除非形态变异的干扰；
S723：采用地面采样间隔GSD和图形化后的结果计算各项指标。
优选地，所述头部角度的计算方法为：根据步骤S605分割的两只耳朵掩码和鼻子掩码，计算每个掩码中心点的坐标，通过三个点的坐标以及图形化的结果计算头部方向相对于水平方向的角度。
优选地，所述头部毛色及纹案计算方法为：根据步骤S605分割的头部图像的RGB值得到毛色；将分割的头部图像转换为灰度图并对其进行局部二值模式操作，得到头部的纹案图像。
优选地，所述背部毛色及纹案计算方法为：根据步骤S605分割的背部图像的RGB值得到毛色；将分割的背部图像转换为灰度图并对其进行局部二值模式操作，得到背部的纹案图像。
优选地，所述尾巴毛色及纹案计算方法为：根据步骤S605分割的尾巴图像的RGB值得到毛色；将分割的尾巴图像转换为灰度图并对其进行局部二值模式操作，得到尾巴的纹案图像。
优选地，所述尾长的计算方法为：根据分割的尾巴掩码图像和图形化的结果得到尾巴掩码的逼近曲线，逼近曲线的长度×GSD即为尾巴的长度；所述尾巴直径的计算方法为：根据分割的尾巴掩码和图形化的结果计算尾部宽度，每个尾部宽度×GSD并计算均值得到尾巴直径；所述身体尾端的角度的计算方法为：通过尾巴掩码、躯干掩码和图形化的结果可得到身体尾端坐标，然后根据躯干掩码得到躯干轮廓，最后以尾端坐标为界限分别对该点附近区域的轮廓曲线进行线性回归，得到两条直线，两条直线的夹角为身体尾端的角度。
优选地，所述耳廓形状的计算方法为：耳廓掩码为耳廓的形状，或者通过掩码二值图和和图形化的结果得到外部轮廓作为耳廓的轮廓；所述耳朵长度的计算方法为：对耳朵掩码求最小外接圆，最小外接圆的直径×GSD为耳朵长度；所述耳朵到眼睛距离的计算方法为：根据两只耳朵的掩码、两个眼睛的掩码和图形化的结果计算每个掩码中心点的坐标，根据坐标和GSD得到耳朵到眼睛的距离。
优选地，所述体长的计算方法为：根据躯干掩码、头部的掩码和图形化的结果得到最小外接圆，最小外接圆的直径×GSD为啮齿动物的体长；所述身体轮廓周长的计算方法为：根据躯干掩码、头部掩码和尾部掩码得到掩码轮廓，轮廓像素点个数×GSD即为啮齿动物身体轮廓周长。
优选地，所述身体轮廓面积的计算方法为：将躯干掩码、头部掩码、尾部掩码和图形化的结果得到掩码的像素点个数，掩码的像素点个数×GSD的平方即为啮齿动物身体轮廓面积。
优选地，所述体长与尾长的比值：根据计算得到的体长与计算得到的尾长得到该比值；所述耳朵长度与耳朵到眼睛距离的比值的计算方法为：根据计算得到的耳朵长度与耳朵到眼睛距离得到该比值。
优选地，所述体重的计算方法为：通过不同啮齿动物在摄像头正下方时啮齿动物轮廓面积，测量啮齿动物体重；统计得到体重和啮齿动物轮廓面积的关系式；最后采用此关系式和啮齿动物身体轮廓面积计算得到啮齿动物的体重。
优选地，所述步骤S8啮齿动物分类的具体步骤为：
S801：将步骤S5得到的高质量的超分辨重建的图像数据与啮齿动物部分指标的文本数据进行数据融合，得到啮齿动物多模态数据；
S802：啮齿动物多模态数据经过结合了注意力机制的卷积神经网络后得到图像的特征图，该提取网络融合了有判别性的区域定位和细粒度特征，使得特征图保留了更多的啮齿动物分类特征；
S803：对步骤S802得到的特征图进行空间金字塔池化，得到固定长度的特征向量；
S804：将步骤S803的特征向量经过全连接层和构建的分类器得到啮齿动物类别和置信度分数，置信度分数最大的类别即为该图像的啮齿动物类别。
本发明的有益效果：本发明首先通过视频录入系统采集啮齿动物视频数据，并对所述视频数据进行预处理；然后，依据动物分类学和深度学习的基础规则制作啮齿动物数据集；其次，采用啮齿动物数据集对构建的啮齿动物检测网络、啮齿动物分割网络、啮齿动物分类网络和啮齿动物超分辨率重建网络进行训练，优化网络参数；接着，采用经过参数优化的啮齿动物检测网络对预处理的图像数据进行检测，得到啮齿动物的最小外接矩形；然后，根据啮齿动物的外接矩形轮廓通过参数优化的啮齿动物超分辨率重建网络进行超分辨率重建，得到超分辨率重建的图像；接着，采用参数优化的啮齿动物分割网络模型对超分辨率重建的图像进行分割，得到啮齿动物各部位的分割结果；然后，对分割结果进行数据清洗并计算啮齿动物的各项指标；最后，将超分辨率重建的图像与啮齿动物的部分身体指标的文本数据进行数据融合，得到啮齿动物多模态数据，采用参数优化的啮齿动物分类网络对啮齿动物多模态数据进行分类，得到啮齿动物类别。本发明基于深度学习和迁移学习方法实现了对啮齿动物的检测、分类和对各部位的分割，并计算了啮齿动物各项指标。相比于现有技术，有效地提高了检测啮齿动物的准确率和效率，改变了传统啮齿动物分类的方式，并可以自动化地分割啮齿动物的各部位，有助于开展鼠患防治工作。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单说明。显然，所描述的附图只是本发明的一部分实施例，而不是全部实施例，本领域的技术人员在不付出创造性劳动的前提下，还可以根据这些附图获得其他设计方案和附图。
图1为本发明一种基于深度学习和迁移学习的啮齿动物识别分析的方法的流程图；
图2为本发明一种基于深度学习和迁移学习的啮齿动物识别分析的方法的中步骤S3的具体流程图；
图3为本发明一种基于深度学习和迁移学习的啮齿动物识别分析的方法的中步骤S4的具体流程图；
图4为本发明一种基于深度学习和迁移学习的啮齿动物识别分析的方法的中步骤S52的具体流程图；
图5为本发明一种基于深度学习和迁移学习的啮齿动物识别分析的方法的中步骤S6的具体流程图；
图6为本发明一种基于深度学习和迁移学习的啮齿动物识别分析的方法的中步骤S72的具体流程图；
图7为本发明一种基于深度学习和迁移学习的啮齿动物识别分析的方法的中步骤S8的具体流程图。
具体实施方式
下面结合附图以及实施例对本发明作进一步的说明。
一种基于深度学习和迁移学习的啮齿动物识别分析的方法，包括以下步骤：
S1：啮齿动物视频采集和预处理：通过视频录入系统采集啮齿动物视频数据，并对所述视频数据进行预处理，得到图像数据；
S2：啮齿动物数据集制作：依据动物分类学和深度学习的基础规则以及Mixup和CutMix的数据增强方法制作了啮齿动物数据集，包括：啮齿动物检测数据集、啮齿动物分类数据集、啮齿动物分割数据集和啮齿动物超分辨重建数据集；
其中，啮齿动物检测数据集根据VOC数据集的制作规则进行制作；啮齿动物分割数据集依据COCO数据集的制作规则进行制作；啮齿动物分类数据集依据细粒度分类、多模态数据基础规则以及无监督的思想进行制作；超分辨率重建数据集依据无监督的思想进行制作；
S3：啮齿动物模型的构建和训练：
S301：选取有监督的预训练算法对初始化的深度学习模型进行预训练，得到预训练深度学习网络模型；
S302：引入多核最大均值误差思想，基于深度学习构建啮齿动物检测网络，减小训练数据和测试数据之间的分布差异，使得训练后的模型在测试集上具有良好的迁移性；
S303：通过引入多核最大均值误差思想构建了啮齿动物分割网络，该网络结合深度卷积网络与空洞卷积网络并将多尺度卷积进行融合，利用多层感知机和度量学习的方式对每个像素进行分割和预测，实现实例分割，最终得到啮齿动物各部位分割结果；
S304：采用预训练的深度学习模型和啮齿动物检测数据集对构建的啮齿动物检测网络进行训练，优化网络参数，得到参数优化的啮齿动物检测网络；
S305：采用预训练的深度学习模型和啮齿动物分割数据集对构建的啮齿动物分割网络进行训练，优化网络参数，得到参数优化的啮齿动物分割网络；
S306：通过引入多核最大均值误差思想、多模态深度学习和深度自编码器聚类的思想，基于无监督学习的方式构建了啮齿动物分类网络；
S307：采用啮齿动物分类数据集对构建的深度学习啮齿动物分类网络进行训练，优化网络参数，得到参数优化的啮齿动物分类网络；
S308：依据零样本无监督方法和生成对抗网络构建深度学习啮齿动物超分辨率重建网络；
S309：采用啮齿动物超分辨重建数据集对构建的啮齿动物超分辨率重建网络进行训练，得到参数优化的啮齿动物超分辨率重建数据集。
S4：啮齿动物检测：
S401：将S1读取的每一帧图像数据逐一输入到检测网络中；
S402：采用特征提取网络得到图像的特征图；
S403：依据空间金字塔思想对得到的特征图进行特征融合，得到融合的不同特征级别的特征图；
S404：采用全局引导模块为不同特征级别的图层提供潜在显著物体的位置信息；
S405：采用构建的分类器对步骤S403得到的新特征图进行检测，得到啮齿动物的有向外接矩形和置信度分数；
S406：采用非极大抑制算法去除交并比较大的检测框，保留置信度分数高的边界框作为啮齿动物的检测结果
S5：啮齿动物图像裁剪和超分辨率重建：
S51：根据啮齿动物的外接矩形轮廓将图像中的啮齿动物裁剪下来；
S52：采用构建的啮齿动物超分辨率重建网络对裁剪的图像进行超分辨率重建，以获取高质量的超分辨重建的图像数据；
S521：判断步骤S51裁剪图像的大小，如果最长边大于等于1024像素，则不做任何处理；否则，对裁剪图像进行超分辨率重建；
S522：把裁剪后的啮齿动物图像输入到深度学习啮齿动物超分辨率重建网络中；
S523：对输入图像通过卷积神经网络提取图像特征，得到特征图；
S524：将特征图分解为边缘和纹理等多个成分，分别作为不同的频率子带，各部分独立重建；
S525：不同频率子带信息组合得到最终的超分辨率重建图像。
S6：啮齿动物影像各部位分割：采用参数优化的啮齿动物分割网络模型对S5中超分辨重建的图像进行实例分，得到尾巴、背部、躯干、耳廓、耳朵、眼睛、鼻子、头部的影像。；
S601：将步骤S5中的超分辨率重建图像输入到参数优化的啮齿动物深度分割网络中；
S602：采用结合了空洞卷积的特征提取网络得到图像的特征图；
S603：采用构建的啮齿动物分类器预测步骤S602特征图各个位置的啮齿动物各部位类别和置信度分数；
S604：利用多层感知机和构建的分割机制对步骤S602特征图进行实例分割；
S605：对步骤S603和步骤S604中的结果采用构建的非极大抑制算法等操作得到啮齿动物各部位的分割结果。
S7：数据清洗及各项身体指标数据计算，各项身体指标数据包括：头部角度、头部毛色及纹案、背部毛色及纹案、尾长、尾巴直径、尾巴毛色及纹案、身体尾端的角度、耳廓形状、耳朵长度、耳朵到眼睛距离、体长、身体轮廓周长、身体轮廓面积、体长与尾长的比值、耳朵长度与耳朵到眼睛距离的比值、啮齿动物体重：
S71：根据动物分类学基础规则、几何形态结构以及采用的深度学习模型的优化参数，自动选取符合使用要求的特征数据；
S72：依据分割结果和视频数据采集参数进行几何形态测量，采用叠印法实现结果的图形化，去除非形态变异的干扰，计算啮齿动物身体的各项指标；
S721：依据摄像头参数、拍摄高度和焦距计算地面采样间隔GSD；
S722：依据选取的分割结果和视频数据采集参数进行几何形态测量，采用叠印法实现结果的图形化，去除非形态变异的干扰；
S723：采用地面采样间隔GSD和图形化后的结果计算各项指标。
S8：啮齿动物分类：
S801：将步骤S5得到的高质量的超分辨重建的图像数据与啮齿动物部分指标的文本数据进行数据融合，得到啮齿动物多模态数据；
S802：啮齿动物多模态数据经过结合了注意力机制的卷积神经网络后得到图像的特征图，该提取网络融合了有判别性的区域定位和细粒度特征，使得特征图保留了更多的啮齿动物分类特征；
S803：对步骤S802得到的特征图进行空间金字塔池化，得到固定长度的特征向量；
S804：将步骤S803的特征向量经过全连接层和构建的分类器得到啮齿动物类别和置信度分数，置信度分数最大的类别即为该图像的啮齿动物类别。
各个部位的计算方法如下：
①头部角度：根据啮齿动物分割网络分割的两只耳朵掩码和鼻子掩码，计算每个掩码中心点的坐标，通过三个点的坐标以及图形化的结果计算头部方向相对于水平方向的角度。
②头部毛色及纹案：根据啮齿动物分割网络分割的头部图像的RGB值得到毛色；将分割的头部图像转换为灰度图并对其进行局部二值模式操作，得到头部的纹案图像。
③背部毛色及纹案：根据啮齿动物分割网络分割的背部图像的RGB值得到毛色；将分割的背部图像转换为灰度图并对其进行局部二值模式操作，得到背部的纹案图像。
④尾长：根据分割的尾巴掩码图像和图形化的结果得到尾巴掩码的逼近曲线，逼近曲线的长度×GSD即为尾巴的长度。
⑤尾巴直径：根据分割的尾巴掩码和图形化的结果计算尾部宽度，每个尾部宽度×GSD并计算均值得到尾巴直径。
⑥尾巴毛色及纹案：根据啮齿动物分割网络分割的尾巴图像的RGB值得到毛色；将分割的尾巴图像转换为灰度图并对其进行局部二值模式操作，得到尾巴的纹案图像。
⑦耳廓形状：耳廓掩码为耳廓的形状，或者通过掩码二值图得到外部轮廓作为耳廓的轮廓。
⑧耳朵长度：对耳朵掩码求最小外接圆，最小外接圆的直径×GSD为耳朵长度。
⑨耳朵到眼睛距离：根据两只耳朵的掩码和两个眼睛的掩码计算每个掩码中心点的坐标，根据坐标和GSD得到耳朵到眼睛的距离。
⑩身体尾端的角度：通过尾巴掩码、躯干掩码和图形化的结果可得到身体尾端坐标，然后根据躯干掩码得到躯干轮廓，最后以尾端坐标为界限分别对该点附近区域的轮廓曲线进行线性回归，得到两条直线，两条直线的夹角为身体尾端的角度。
⑪体长：根据躯干掩码、头部的掩码和图形化的结果得到最小外接圆，最小外接圆的直径×GSD为啮齿动物的体长。
⑫身体轮廓周长：根据躯干掩码、头部掩码和尾部掩码得到掩码轮廓，轮廓像素点个数×GSD为啮齿动物身体轮廓周长。
⑬身体轮廓面积：将躯干掩码、头部掩码、尾部掩码和图形化的结果得到掩码的像素点个数，掩码的像素点个数×GSD的平方即为啮齿动物身体轮廓面积。
⑭体长与尾长的比值：根据⑪计算得到的体长与④计算得到的尾长得到该比值
⑮耳朵长度与耳朵到眼睛距离的比值：根据⑧计算得到的耳朵长度与⑨计算得到的耳朵到眼睛距离得到该比值。
⑯体重：通过⑬得到不同啮齿动物在摄像头正下方时啮齿动物轮廓面积，测量啮齿动物体重；统计得到体重和啮齿动物轮廓面积的关系式；最后采用此关系式和啮齿动物身体轮廓面积计算得到啮齿动物的体重。
Claims (7)
1.一种基于深度学习和迁移学习的啮齿动物识别分析的方法，其特征在于，包括以下步骤：
S1：啮齿动物视频采集和预处理：通过视频录入系统采集啮齿动物视频数据，并对所述视频数据进行预处理，得到图像数据；
S2：啮齿动物数据集制作：依据动物分类学和深度学习的基础规则以及Mixup和CutMix的数据增强方法制作了啮齿动物数据集；
S3：啮齿动物模型的构建和训练；
S4：啮齿动物检测：采用经过参数优化的检测网络对预处理的图像数据进行检测，得到啮齿动物的最小外接矩形，去除背景和其它动物对分类和分割的影响；
S5：啮齿动物图像裁剪和超分辨率重建：
S51：根据啮齿动物的外接矩形轮廓将图像中的啮齿动物裁剪下来；
S52：采用构建的啮齿动物超分辨率重建网络对裁剪的图像进行超分辨率重建，以获取高质量的超分辨重建的图像数据；
S6：啮齿动物影像各部位分割：采用参数优化的啮齿动物分割网络模型对步骤S5中超分辨重建的图像进行实例分割，得到啮齿动物各部位分割结果；
S7：数据清洗及各项身体指标数据计算：
S71：根据动物分类学基础规则、几何形态结构以及采用的深度学习模型的优化参数，自动选取符合使用要求的特征数据；
S72：依据分割结果和视频数据采集参数进行几何形态测量，采用叠印法实现结果的图形化，去除非形态变异的干扰，计算啮齿动物身体的各项指标；
S8：啮齿动物分类：将步骤S5中的高质量图像与啮齿动物部分 指标的文本数据进行数据融合，得到啮齿动物多模态数据作为啮齿动物分类网络的输入，采用参数优化的啮齿动物分类网络对多模态数据进行分类，得到啮齿动物类别；
所述步骤S2中啮齿动物数据集包括：啮齿动物检测数据集、啮齿动物分类数据集、啮齿动物分割数据集和啮齿动物超分辨重建数据集；所述啮齿动物检测数据集根据VOC数据集的制作规则进行制作；所述啮齿动物分割数据集依据COCO数据集的制作规则进行制作；所述啮齿动物分类数据集依据细粒度分类、多模态数据基础规则以及无监督的思想进行制作；所述啮齿动物超分辨率重建数据集依据无监督的思想进行制作；
所述步骤S3中啮齿动物模型的构建和训练的具体步骤包括：
S301：选取有监督的预训练算法对初始化的深度学习模型进行预训练，得到预训练深度学习网络模型；
S302：引入多核最大均值误差思想，基于深度学习构建啮齿动物检测网络，减小训练数据和测试数据之间的分布差异，使得训练后的模型在测试集上具有良好的迁移性；
S303：通过引入多核最大均值误差思想构建了啮齿动物分割网络，该网络结合深度卷积网络与空洞卷积网络并将多尺度卷积进行融合，利用多层感知机和度量学习的方式对每个像素进行分割和预测，实现实例分割，最终得到啮齿动物各部位分割结果；
S304：采用预训练的深度学习模型和啮齿动物检测数据集对构建的啮齿动物检测网络进行训练，优化网络参数，得到参数优化的啮齿动物检测网络；
S305：采用预训练的深度学习模型和啮齿动物分割数据集对构建的啮齿动物分割网络进行训练，优化网络参数，得到参数优化的啮齿动物分割网络；
S306：通过引入多核最大均值误差思想、多模态深度学习和深度自编码器聚类的思想，基于无监督学习的方式构建了啮齿动物分类网络；
S307：采用啮齿动物分类数据集对构建的深度学习啮齿动物分类网络进行训练，优化网络参数，得到参数优化的啮齿动物分类网络；
S308：依据零样本无监督方法和生成对抗网络构建深度学习啮齿动物超分辨率重建网络；
S309：采用啮齿动物超分辨重建数据集对构建的啮齿动物超分辨率重建网络进行训练，得到参数优化的啮齿动物超分辨率重建数据集；
所述步骤S7中的各项指标包括：头部角度、头部毛色及纹案、背部毛色及纹案、尾长、尾巴直径、尾巴毛色及纹案、身体尾端的角度、耳廓形状、耳朵长度、耳朵到眼睛距离、体长、身体轮廓周长、身体轮廓面积、体长与尾长的比值、耳朵长度与耳朵到眼睛距离的比值、啮齿动物体重。
2.根据权利要求1所述的一种基于深度学习和迁移学习的啮齿动物识别分析的方法，其特征在于，所述步骤S4啮齿动物检测的具体步骤包括：
S401：将步骤S1读取的每一帧图像数据逐一输入到检测网络中；
S402：采用特征提取网络得到图像的特征图；
S403：依据空间金字塔思想对得到的特征图进行特征融合，得到融合的不同特征级别的特征图；
S404：采用全局引导模块为不同特征级别的图层提供潜在显著物体的位置信息；
S405：采用构建的分类器对步骤S403得到的新特征图进行检测，得到啮齿动物的有向外接矩形和置信度分数；
S406：采用非极大抑制算法去除交并比较大的检测框，保留置信度分数高的边界框作为啮齿动物的检测结果。
3.根据权利要求1所述的一种基于深度学习和迁移学习的啮齿动物识别分析的方法，其特征在于，所述步骤S52中超分辨率重建的具体步骤包括：
S521：判断步骤S51裁剪图像的大小，如果最长边大于等于1024像素，则不做任何处理；否则，对裁剪图像进行超分辨率重建；
S522：把裁剪后的啮齿动物图像输入到深度学习啮齿动物超分辨率重建网络中；
S523：对输入图像通过卷积神经网络提取图像特征，得到特征图；
S524：将特征图分解为边缘和纹理等多个成分，分别作为不同的频率子带，各部分独立重建；
S525：不同频率子带信息组合得到最终的超分辨率重建图像。
4.根据权利要求1所述的一种基于深度学习和迁移学习的啮齿动物识别分析的方法，其特征在于，所述步骤S6啮齿动物影像各部位包括：尾巴、背部、躯干、耳廓、耳朵、眼睛、鼻子、头部。
5.根据权利要求1所述的一种基于深度学习和迁移学习的啮齿动物识别分析的方法，其特征在于，所述步骤S6啮齿动物影像各部位分割的具体步骤为：
S601：将步骤S5中的超分辨率重建图像输入到参数优化的啮齿动物深度分割网络中；
S602：采用结合了空洞卷积的特征提取网络得到图像的特征图；
S603：采用构建的啮齿动物分类器预测步骤S602特征图各个位置的啮齿动物各部位类别和置信度分数；
S604：利用多层感知机和构建的分割机制对步骤S602特征图进行实例分割；
S605：对步骤S603和步骤S604中的结果采用构建的非极大抑制算法等操作得到啮齿动物各部位的分割结果。
6.根据权利要求1所述的一种基于深度学习和迁移学习的啮齿动物识别分析的方法，其特征在于，所述步骤S72中啮齿动物身体的各项指标数据计算的具体步骤为：
S721：依据摄像头参数、拍摄高度和焦距计算地面采样间隔GSD；
S722：依据选取的分割结果和视频数据采集参数进行几何形态测量，采用叠印法实现结果的图形化，去除非形态变异的干扰；
S723：采用地面采样间隔GSD和图形化后的结果计算各项指标。
7.根据权利要求1所述的一种基于深度学习和迁移学习的啮齿动物识别分析的方法，其特征在于，所述步骤S8啮齿动物分类的具体步骤为：
S801：将步骤S5得到的高质量的超分辨重建的图像数据与啮齿动物部分指标的文本数据进行数据融合，得到啮齿动物多模态数据；
S802：啮齿动物多模态数据经过结合了注意力机制的卷积神经网络后得到图像的特征图，啮齿动物多模态数据经过结合了注意力机制的卷积神经网络融合了有判别性的区域定位和细粒度特征，使得特征图保留了更多的啮齿动物分类特征；
S803：对步骤S802得到的特征图进行空间金字塔池化，得到固定长度的特征向量；
S804：将步骤S803的特征向量经过全连接层和构建的分类器得到啮齿动物类别和置信度分数，置信度分数最大的类别即为该图像的啮齿动物类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110478772.6A CN113283306B (zh) | 2021-04-30 | 2021-04-30 | 一种基于深度学习和迁移学习的啮齿动物识别分析的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110478772.6A CN113283306B (zh) | 2021-04-30 | 2021-04-30 | 一种基于深度学习和迁移学习的啮齿动物识别分析的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113283306A CN113283306A (zh) | 2021-08-20 |
| CN113283306B true CN113283306B (zh) | 2023-06-23 |
Family
ID=77277750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110478772.6A Active CN113283306B (zh) | 2021-04-30 | 2021-04-30 | 一种基于深度学习和迁移学习的啮齿动物识别分析的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113283306B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114982663B (zh) * | 2022-06-02 | 2023-06-20 | 新瑞鹏宠物医疗集团有限公司 | 一种流浪宠物管理方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109325527A (zh) * | 2018-09-05 | 2019-02-12 | 哈尔滨工程大学 | 一种基于迁移学习与深度学习的侧扫声呐图像目标自动分类方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108509976A (zh) * | 2018-02-12 | 2018-09-07 | 北京佳格天地科技有限公司 | 动物的识别装置和方法 |
| CN110837768B (zh) * | 2018-08-16 | 2023-06-20 | 武汉大学 | 一种面向珍稀动物保护的在线检测与识别方法 |
| CN109583425B (zh) * | 2018-12-21 | 2023-05-02 | 西安电子科技大学 | 一种基于深度学习的遥感图像船只集成识别方法 |
| CN110189255B (zh) * | 2019-05-29 | 2023-01-17 | 电子科技大学 | 基于两级检测的人脸检测方法 |
| US11393088B2 (en) * | 2019-06-27 | 2022-07-19 | Nutech Ventures | Animal detection based on detection and association of parts |
| US20210049355A1 (en) * | 2019-08-16 | 2021-02-18 | Stephanie Sujin CHOI | Method for clustering and identifying animals based on the shapes, relative positions and other features of body parts |
| CN112419202B (zh) * | 2020-12-11 | 2023-09-26 | 北京林业大学 | 基于大数据及深度学习的野生动物图像自动识别系统 |
-
2021
- 2021-04-30 CN CN202110478772.6A patent/CN113283306B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109325527A (zh) * | 2018-09-05 | 2019-02-12 | 哈尔滨工程大学 | 一种基于迁移学习与深度学习的侧扫声呐图像目标自动分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的移动物体检测;曾贤灏;;电子技术与软件工程(第11期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113283306A (zh) | 2021-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106169081B (zh) | 一种基于不同照度的图像分类及处理方法 | |
| CN108171112B (zh) | 基于卷积神经网络的车辆识别与跟踪方法 | |
| CN108154192B (zh) | 基于多尺度卷积与特征融合的高分辨sar地物分类方法 | |
| CN108830237B (zh) | 一种人脸表情的识别方法 | |
| CN110765833A (zh) | 一种基于深度学习的人群密度估计方法 | |
| CN111126127B (zh) | 一种多级空间上下文特征指导的高分辨率遥感影像分类方法 | |
| CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
| Zhang et al. | End to end video segmentation for driving: Lane detection for autonomous car | |
| Xing et al. | Traffic sign recognition using guided image filtering | |
| CN109657704A (zh) | 一种基于稀疏融合的核化场景特征提取方法 | |
| CN113283306B (zh) | 一种基于深度学习和迁移学习的啮齿动物识别分析的方法 | |
| Zuo et al. | A remote sensing image semantic segmentation method by combining deformable convolution with conditional random fields | |
| CN112766145B (zh) | 人工神经网络的人脸动态表情识别方法及装置 | |
| CN117541844A (zh) | 一种基于超图学习的弱监督组织病理学全切片图像分析方法 | |
| CN111611919A (zh) | 一种基于结构化学习的道路场景布局分析方法 | |
| Alsaedi et al. | Design and Simulation of Smart Parking System Using Image Segmentation and CNN | |
| CN112419392A (zh) | 基于机器视觉计算运动物体实际大小的方法、设备及介质 | |
| Kulkarni et al. | Techniques for lung cancer nodule detection: a survey | |
| Alam et al. | Identification of empty land based on google earth using convolutional neural network algorithm | |
| Ateş | Pothole detection in asphalt images using convolutional neural networks | |
| CN114155555B (zh) | 人体行为人工智能判断系统和方法 | |
| Hiremani et al. | Validating Machine Vision Competency Against Human Vision | |
| Zhang et al. | Artificial Intelligence Technology in the Operation and Management of Rail Transit System | |
| Xu et al. | Research on target detection methods under the concept of deep learning | |
| Xu | Analysis and Prospect of the Application Development of License Plate Recognition and Perception Technology Based on Computer Vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |