CN116519106B - 一种用于测定生猪体重的方法、装置、存储介质和设备 - Google Patents

一种用于测定生猪体重的方法、装置、存储介质和设备 Download PDF

Info

Publication number
CN116519106B
CN116519106B CN202310790771.4A CN202310790771A CN116519106B CN 116519106 B CN116519106 B CN 116519106B CN 202310790771 A CN202310790771 A CN 202310790771A CN 116519106 B CN116519106 B CN 116519106B
Authority
CN
China
Prior art keywords
live pig
rgb
image
network
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310790771.4A
Other languages
English (en)
Other versions
CN116519106A (zh
Inventor
米阳
何威
丁向东
刘刚
张梓鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN202310790771.4A priority Critical patent/CN116519106B/zh
Publication of CN116519106A publication Critical patent/CN116519106A/zh
Application granted granted Critical
Publication of CN116519106B publication Critical patent/CN116519106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G17/00—Apparatus for or methods of weighing material of special form or property
    • G01G17/08—Apparatus for or methods of weighing material of special form or property for weighing livestock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P60/00—Technologies relating to agriculture, livestock or agroalimentary industries
    • Y02P60/80—Food processing, e.g. use of renewable energies or variable speed drives in handling, conveying or stacking
    • Y02P60/87—Re-use of by-products of food processing for fodder production

Abstract

本发明适用于图像处理技术领域，提供了一种用于测定生猪体重的方法、装置、存储介质和设备，一种用于测定生猪体重的方法，包括：获取生猪RGB图像和生猪深度图像；构建多模态融合网络模型，所述多模态融合网络模型包含RGB流网络和深度流网络，所述RGB流网络和深度流网络之间通过自适应注意力交互模块进行跨模态特征交互学习，以提高生猪体重的测算精度；将所述获取生猪RGB图像和生猪深度图像输入至所述多模态融合网络模型，得到生猪体重测定值。本申请有效地融合了来自RGB图像的二维的纹理形状信息与来自深度图像的三维的空间结构信息，从而提高了对于生猪体重估算结果的准确性的鲁棒性。

Description

一种用于测定生猪体重的方法、装置、存储介质和设备
技术领域
本发明属于图像处理技术领域，尤其涉及一种用于测定生猪体重的方法、装置、存储介质和设备。
背景技术
随着全球猪肉需求的增加，生猪养殖规模逐渐加大。对于养猪场而言，及时掌握猪体信息有利于分析猪只生长状况并促进猪肉生产。猪只体重作为生猪重要的身体信息之一，可以帮助饲养者控制饲料的投喂量，并了解猪只的健康状况。在早些时期，饲养员通常采用将生猪赶到秤台上的方法来测量体重，这不仅消耗了大量的人力资源，同时也容易造成猪的应激。而且，以这种方式称重的猪可能会减少采食量和采食频率。
近些年来，利用图像技术对于生猪体重进行估算的方法逐渐开始兴起。目前的主流方案中，对于生猪图像的多采用单一的RGB（彩色）相机或深度相机进行。例如，先获取生猪所处空间的景深图像，再利用算法将对图像进行特征处理后的数据输入模型得到生猪体重的估算值。但此类仅依靠景深信息或RGB信息的方案所得到的估算值精度较低；而现有的结合RGB信息和深度信息的估算方案也往往仅是将两种评估策略简单地拼合，估算精度同样较低，且易受复杂环境等因素干扰，可信度较差。
可见，现有的利用图像技术采集生猪体重的方法的对于生猪体重的估算精度较低，可信度差。
发明内容
本申请实施例的目的在于提供一种用于测定生猪体重的方法，旨在解决现有的利用图像技术采集生猪体重的方法的对于生猪体重的估算精度较低，可信度较差的问题。
本申请实施例是这样实现的，提供一种用于测定生猪体重的方法，所述方法包括：获取生猪RGB图像和生猪深度图像；构建多模态融合网络模型，所述多模态融合网络模型包含RGB流网络和深度流网络，所述RGB流网络和深度流网络之间通过自适应注意力交互模块进行跨模态特征交互学习，以提高生猪体重的测算精度，所述RGB流网络用于处理输入至所述多模态融合网络模型中的所述生猪RGB图像，所述深度流网络用于处理输入至所述多模态融合网络模型中的所述生猪深度图像；将所述获取生猪RGB图像和生猪深度图像输入至所述模态融合网络模型，得到生猪体重测定值。
本申请实施例的另一目的在于，提供一种用于测定生猪体重的装置，所述用于测定生猪体重的装置包括：生猪RGB图像和生猪深度图像获取模块，用于获取生猪RGB图像和生猪深度图像；多模态融合网络模型构建模块，用于构建多模态融合网络模型，所述多模态融合网络模型包含RGB流网络和深度流网络，所述RGB流网络和深度流网络之间通过自适应注意力交互模块进行跨模态特征交互学习，以提高生猪体重的测算精度，所述RGB流网络用于处理输入至所述多模态融合网络模型中的所述生猪RGB图像，所述深度流网络用于处理输入至所述多模态融合网络模型中的所述生猪深度图像；生猪体重测定模块，用于将所述获取生猪RGB图像和生猪深度图像输入至所述多模态融合网络模型，得到生猪体重测定值。
本申请实施例的另一目的在于，提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述一种用于测定生猪体重的方法的步骤。
本申请实施例的另一目的在于，提供一种用于测定生猪体重的设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述一种用于测定生猪体重的方法的步骤。
本申请实施例提供的一种用于测定生猪体重的方法，有效地融合了来自RGB的二维的纹理形状信息与来自深度相机的三维的空间结构信息，从而提高了对于生猪体重估算结果的准确性和鲁棒性。
附图说明
图1为本申请实施例提供的一种用于测定生猪体重的方法的应用环境图；
图2为本申请实施例提供的一种用于测定生猪体重的方法的流程图；
图3为本申请实施例提供的一种用于测定生猪体重的方法的算法结构示意图；
图4为本申请实施例提供的另一种用于测定生猪体重的方法的算法结构示意图；
图5为本申请实施例提供的另一种用于测定生猪体重的方法的算法结构示意图；
图6为本申请实施例提供的一种输入到系统中的RGB图像和深度图像组；
图7为本申请实施例提供的一种图像分割方法的示意图；
图8为本申请实施例提供的一组对比参考算法结构的示意图；
图9为本申请实施例提供的一种用于测定生猪体重的装置的结构框图；
图10为本申请实施例提供的一种可操作页面的示意图；
图11为一个实施例中计算机设备的内部结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种单元或模块，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个模块与另一个模块区分。举例来说，在不脱离本申请的范围的情况下，可以将第一模块称为第二模块，且类似地，可将第二模块称为第一模块。
图1为本申请实施例提供的一种用于测定生猪体重的方法的应用环境图，如图1所示，在该应用环境中，包括图像采集设备110以及计算机设备120。
计算机设备120可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。
图像采集设备110可以是包含有能够采集图像深度信息以及色彩信息模组的智能摄像头、网络摄像头、传感器等，但并不局限于此。图像采集设备110以及计算机设备120可以通过网络进行连接，本申请在此不做限制。本申请实施例中所述的一种用于测定生猪体重的方法可运行于计算机设备120中，也可运行于同时包含有图像采集设备110和计算机设备120的一体机中。
如图2所示，在一个实施例中，提出了一种用于测定生猪体重的方法，本实施例主要以该方法应用于上述图1中的计算机设备120中来举例说明。一种用于测定生猪体重的方法，具体可以包括以下步骤：
步骤S202，获取生猪RGB图像和生猪深度图像。
步骤S204，构建多模态融合网络模型，所述多模态融合网络模型包含RGB流网络和深度流网络，所述RGB流网络和深度流网络之间通过自适应注意力交互模块进行跨模态特征交互学习，以提高生猪体重的测算精度，所述RGB流网络用于处理输入至所述多模态融合网络模型中的所述生猪RGB图像，所述深度流网络用于处理输入至所述多模态融合网络模型中的所述生猪深度图像。
步骤S206，将所述获取生猪RGB图像和生猪深度图像输入至所述多模态融合网络模型，得到生猪体重测定值。
在本申请实施例中，对于步骤S202与步骤S204执行时间的先后并无要求，可先构建好多模态融合网络模型，再获取生猪RGB图像和生猪深度图像，并将上述图像输入至多模态融合网络模型，得到生猪体重测定值。RGB图像可表示具有三原色的彩色图像。通过上述方法，RGB图像的注意力能够引导深度图像中的注意力学习，深度图像的注意力能够引导RGB图像流中的注意力学习，因此模型能够使得从两个流的注意力模块中学习到的特征相互作用。经过相互学习的RGB和深度这两种模态数据的纹理外观信息和空间结构信息，使得方案最终显著提高了生猪体重估测模型的测定精度。
在本申请的一个实施例中，如图3所示，图中上方的彩色（RGB）图像经由RGB流网络进行处理，图中下方的深度图像经由深度流网络进行处理。RGB流网络和深度流网络之间，能够通过自适应注意力交互Adaptive Cross Attention模块进行跨模态特征交互学习，进而提高生猪体重的测算精度。
在本申请的一个实施例中，如图4所示，多模态融合网络模型还含有：特征合并层Features Fusion Layer和回归层Regression，所述特征合并层用于融合基于所述生猪RGB图像和所述生猪深度图像中提取到的特征信息，生成融合特征信息；所述回归层用于根据所述融合特征信息计算生成生猪体重测定值。
在本申请实施例中，回归层用于将一维的特征向量映射到单一体重实值。特征合并层的计算方式为：
，
其中，为融合后的特征，/>和/>分别表示RGB图像流和深度图像流输出的特征。通过特征合并层，能够将生猪RGB图像和所述生猪深度图像中提取到的特征信息相融合，进而提高系统对于生猪体重的测算精度。
在本申请实施例中，通过将来自RGB图像的二维的纹理形状中提取的特征信息与来自深度图像的三维的空间结构中提取的特征信息进行有效融合，从而提高了对于生猪体重估算结果的准确性的鲁棒性。
在本申请的一个实施例中，所述RGB流网络和深度流网络采用相同的主干网络架构，所述主干网络架构至少包含有Patch Partition（块状分区）模块和Swin Transformer模块；所述Patch Partition模块用于将输入的图像分割成不同的patch，并将每个patch视为一个token，每个所述patch为一个大小是4×4的图像块；所述Swin Transformer模块由4个连续的Stage组成，每个Stage均包含有自适应注意力交互模块；所述自适应注意力交互模块用于进行跨模态特征交互学习，还用于进行自注意力计算。
在本申请实施例中，如图4所示，RGB流网络和深度流网络采用相同的主干网络架构。所述主干网络架构至少包含有Patch Partition模块和Swin Transformer模块。SwinTransformer模块包含有4个阶段，每个阶段记为一个Stage，4个阶段分别为图中的阶段1（即Stage1）、阶段2（即Stage2）、阶段3（即Stage3）和阶段4（即Stage4）。4个Stage中都包含有自适应注意力交互模块（ACA Blocks）。Stage1中还包含有线性嵌入Linear Embedding层，Linear Embedding层能够将特征投影到任意维度。Stage2、Stage3和Stage4至少包含有一个Patch Merging模块和多个Swin Transformer Block。Patch Merging模块从第2个Stage开始，能够用于在每个Stage开始前做降采样，以减小图像分辨率。多头自注意力模块Swin Transformer Block可以包含多层感知机（MLP）、层归一化层（Layer Norm）、窗口多头自注意力层（W-MSA）和滑动窗口多头自注意力层（SW-MSA）等多个网络层。通过上述模块，构成了本实施例的基本框架。Patch Merging模块可用于将每一组相邻patch的特征相互连接，以减少所述token的数量。自适应注意力交互模块能够用于进行跨模态特征交互学习，还能够用于进行自注意力计算。
在本申请实施例中，每个Stage都会缩小输入特征图的分辨率，并像卷积神经网络一样扩大感受野。其中Patch Merging模块从第2个Stage开始，在每个Stage开始前做降采样，以减小图像分辨率。
在本申请的一个实施例中，所述自适应注意力交互模块进行跨模态特征交互学习的方法为：分别对所述RGB流网络和深度流网络进行注意力计算，得到Query矩阵、Key矩阵和Value矩阵，以获取网络对某个特征的注意力分数；将所述RGB流网络的Query矩阵与所述深度流网络的Key矩阵和Value矩阵进行交互注意力计算，将所述深度流网络的Query矩阵与所述RGB流网络的Key矩阵和Value矩阵进行交互注意力计算，进而实现跨模态特征交互学习。
在本申请实施例中，如图5所示，给出了一种在原始Swin Transformer Block的基础上，实现双流Swin Transformer Block的注意力交互的方法。图5(a)为一种原始的SwinTransformer模块的流程示意图，图5(b)为一种基于本申请实施例中的自适应注意力交互模块的流程示意图。自适应注意力交互模块中采用了自注意力机制模块，注意力机制模块中分别进行计算得到Query矩阵、Key矩阵和Value矩阵用于计算模型对某个特征的注意力分数，注意力特征交互模块将两种模态的Query矩阵数值进行交换。通过此种方法，实现了将深度流网络与RGB流网络之间的信息进行交换，进而显著提高了模型对于生猪体重估算值的准确度。
作为本申请的一个实施例，所述4个连续的Stage中的每个Stage前均设置有自适应判断环节；每个所述自适应判断环节均通过学习参数β的数值，对其相对应的Stage中是否利用所述自适应注意力交互模块进行跨模态特征交互学习进行判定，以使模型自适应地调整注意力特征交互的时机；当β的值低于预设的临界值时，不进行跨模态特征交互学习；当β的值高于预设的临界值时，进行跨模态特征交互学习。
在本申请实施例中，在自适应判断环节中，对于自适应注意力交互模块中每个阶段中的自注意力模块是否进行注意力特征交互由可学习参数β决定。β的值可由模型学习自主获得，也可以由人工对β的值进行设定，此处不做限制。例如，随着学习的进行，模型可利用反向传播机制对β的值进行自动更新。可以对模型的四个阶段，即4个Stage分别定义四个β参数：β1，β2，β3，β4。从而使得模型可以进行自适应地调整注意力特征交互的时机，适用更广泛的训练数据。
在本申请的一个实施例中，将临界值设为0，并利用阶跃函数对是否进行注意力特征进行交互进行判定，β的值由模型学习自主获得。此时，在每个Stage前的自适应判断环节中，若β>=0, 函数输出1，则此Stage实施交互；否则，函数输出0，则不进行交互。
作为本申请的一个实施例，通过自注意力计算输出结果的计算方法为：
，
，
其中，dR和dD表示RGB流网络和深度流网络的Query矩阵和Key矩阵维数，BR和BD为每个流计算得到的相对位置偏置，Q、K、V分别为由注意力模块计算得到Query、Key、Value三个矩阵，T代表转置运算，RGB流网络和深度流网络中模块的输出分别记为AttentionR和AttentionD，SoftMax是一种激活函数，用于将计算对象的输出范围限制到（0-1）。
在本申请实施例中，通过上述多头注意力模块的计算，使得模型中每个流基于另一种模态产生注意力，即RGB图像的注意力引导深度图像中的注意力学习，深度图像的注意力引导RGB图像流中的注意力学习，模型从两个流的注意力模块中学习到的特征可以相互作用。经过相互学习RGB和深度这两种模态数据的纹理外观信息和空间结构信息，最终显著提高了生猪体重估测模型的测算精度。
作为本申请的一个实施例，所述用于测定生猪体重的方法还包括以下步骤：获取生猪所处环境的环境RGB图像和/或环境深度图像；对所述环境RGB图像和/或环境深度图像进行预处理，以使所述RGB图像和所述环境深度图像的像素一对一映射；当所述预处理的对象为所述环境RGB图像时，预处理后得到配准RGB图像，将所述配准RGB图像进行图像分割，以将所述配准RGB图像中的每一头生猪从猪群中分割开来，得到至少一张生猪RGB图像，每张所述生猪RGB图像中含有的生猪数量为一；当所述预处理的对象为所述环境深度图像时，预处理后得到配准深度图像，将所述配准深度图像进行图像分割，以将所述配准深度图像中的每一头生猪从猪群中分割开来，得到至少一张生猪深度图像，每张所述生猪深度图像中含有的生猪数量为一。
如图6所示，提供了6张RGB相机和6张深度相机采集到的生猪在栏位内图像。传统的方案中，对于生猪体重进行估算的方案往往需要在每个栏位中仅饲养一头生猪，以便算法进行图像识别与处理。在本申请实施例中，可实现对聚集的猪种群进行分割，并对每一头猪的体重进行测算。环境RGB图像和环境深度图像可以指若干头生猪聚集时，直接利用相机所获取到的RGB图像和深度图像。在所述对所述环境RGB图像和/或环境深度图像进行预处理，以使所述RGB图像和所述环境深度图像的像素一对一映射这一步骤中，由于RGB相机与深度相机的视场大小往往不同，因而先将视场进行统一后，方便后续步骤的处理。图像配准过程实际上是对两张图像之间的视场交集的像素进行一一映射，从而使两者的像素点在同一视野范围并对应相同空间位置。优选地，仅需将视场大的图像进行处理，截取其部分图像，使所截部分图像与小视场图像具有相同的视野区域，即仅需对RGB图像和深度图像中的一张进行处理。例如，RGB图像大小为1920×1080，深度图像大小为640×576，因此首先将两种视场大小不同的图像进行配准，使两者大小均为640×576，即使两者的视野范围一致，从而便于后续步骤的交互处理。然后可将图像输入到实例分割模型，例如卷积神经网络，得到单个体的生猪图像。
在本申请实施例中，通过将拍摄的栏位内包含猪只背部的配准的RGB图像输入至实例分割模型，从而区分栏内的生猪个体，然后利用分割好的RGB图像分割对应的深度图像。之后通过将处理好的RGB和深度图像输入至体重测定模型，从而通过跨模态特征交互技术自动测定生猪的体重值。进而实现对栏内生猪体重的快速测定，无需依靠人工方式对猪群进行驱赶以获得单一猪只影像。
作为本申请的一个实施例，当所述预处理的对象为所述环境RGB图像时，生猪体重测定值的获取方法为：将所述配准RGB图像输入到分割网络模型中进行图像分割，得到生猪RGB图像和生猪RGB图像的掩膜；利用所述生猪RGB图像的掩膜分割所述环境深度图像，得到至少一张单通道深度图像；将所述单通道深度图像像素线性压缩后复制叠加为三通道，得到生猪深度图像；将所述生猪深度图像与所述生猪RGB图像输入至所述模态融合网络模型，得到生猪体重测定值。
在本申请实施例中，仅需对视野更大的RGB图像进行预处理，如图7所示，提供了一种从生猪群中分离得到单个猪的RGB图像和深度图像的方法。RGB图像像素到深度图像像素的映射可以由RGB坐标向深度坐标旋转和平移变换得到，变换关系为：
，
其中，和/>分别代表深度图像和RGB图像的非齐次像素坐标，/>和分别为对应的深度图像和RGB图像的像素值，R为旋转矩阵，T为平移矩阵。对于同一台相机而言，旋转矩阵R和平移矩阵T均为固定值。
将上述配准后的RGB图像输入到实例分割网络模型，可分割目标为图像中每一头生猪个体，从而将群养的生猪区分开，并得到分割后的前景图像和前景图像的掩膜，然后借助OpenCV使用掩膜分割相应的深度图像，进而得到相同的RGB图像和深度图像，以便于后续步骤的处理。由于深度图像为单通道，其像素值为相机到被拍摄物体的高度。而RGB图像为三通道图，像素值范围一般为（0-255）。因此，可以首先将深度图像素值线性缩小至（0-255）的范围，然后复制叠加为三通道。本领域技术人员可知，对于深度图像，某点的像素值指其距相机的距离，单位为毫米。
在本申请的一个实施例中，例如，相机到拍摄的物体为两米，该点像素值为2000，对应的彩色图像为（0，22，255）。为了缩小RGB图像与深度图像的差异，将2000缩小至255范围内，并复制为三通道。例如（200，200，200），其中，缩放比例由最大的像素值决定。利用此种方法可以帮助模型更好地收敛。
在本申请实施例中，利用机器学习中的神经网络架构或模型构建特定的实例分割模型，借助一些训练机制对神经网络模型进行训练，可以使方案适应不同相机品牌和拍摄时间。
作为本申请的一个优选实施例，对于生猪图像的实例分割采用U-Net原理。U-Net具有编码器-解码器结构。首先在编码器（Encoder）阶段，模型使用卷积层对输入图像进行特征提取，并通过下采样操作逐渐减小特征图的尺寸。然后在解码器（Decoder）阶段，模型通过上采样操作（如反卷积层）来逐渐增加特征图的尺寸。在解码器的每一步中，将来自对应编码器层的特征图与当前层的特征图进行拼接，以保留更多的细节信息。在解码器的最后一层，使用卷积层和Softmax激活函数将特征图映射到所需的分割图。
本领域技术人员可知，在视觉处理和语言处理领域中，token这个概念可以被解释成为“模型理解的输入单位”，是被模型用来进行计算和推断的基本输入单元，通过研究可知，在图像处理中将图像分割成小块（即Patch）作为输入，在视觉任务中取得了较好的表现，因此可将Patch看作是一个视觉模型中的一个token。跨模态特征表示学习是指将不同的数据模态中的信息提取出来，例如，深度模态信息与色彩模态信息，融合起来形成一个统一的特征表示，以便更好地将不同模态的数据用于相关的任务。它可以将不同模态中的信息进行有机的组合，提高数据的多样性和丰富度，从而提高数据处理的效果，使得不同模态数据的特征能够在该空间中自然地对齐。
在本申请实施例中，对于利用算法测得的生猪体重测定值与真实值的误差对比可主要采用以下三个参数来衡量，即平均绝对误差、平均绝对百分比误差以及均方根误差。上述误差的技术方式为如下：
平均绝对误差（Mean Absolute Error, MAE）是一种经常用于回归模型的损失函数，可以很好地反映估测值误差的实际情况，因此可以用来衡量生猪体重测定的误差大小。平均绝对误差的公式表示为：
，
其中N 代表样本数量，表示测试图像的/>真实值，/>为模型估测值。
平均绝对百分比误差（Mean Absolute Percentage Error，MAPE）可以用于衡量模型的拟合效果。MAPE 的值越小，说明估测模型拟合效果越好，具有更好的精确度。MAPE的公式为：
，
均方根误差（Root Mean Square Error, RMSE）即均方误差开根号，代表了估测的值和样本真实值之差的样本标准差，可以用来反映体重测定误差的波动程度，RMSE的公式为：
，
其中，主要采用平均绝对误差作为评价标准，并辅以平均百分比误差和均方根误差可以用于评估方法鲁棒性。
在本申请实施例中，将基于本申请实施例形成的体重测定方法与当前最先进的基于深度学习的生猪体重估测方法（例如采用BotNet+DBRB+PFC），以及其他流行的主干网络进行比较。进行对比的网络包括：ResNet50、EfficientNetV2、改进DenseNet201（现有方法）、Vision Transformer以及原始的Swin Transformer。对比试验测试集上结果如下表所示，表中RGB代表彩色模态，深度代表Depth（深度）模态：
如上表所示，本方案的各项误差指数均优于现有方案。
在本申请的一个实施例中，将基于本申请实施例所形成的方案与目前采用ResNet50和EfficientNet作为主干网络的主流方案进行对比。如图8(a)所示，为采用早期融合的方式，将三通道的RGB图像和单通道的深度图像拼接成一个四通道的RGB-D图像，作为网络输入的架构。如图8(b)所示，为采用晚期融合的方式的网络架构。如图8(c)所示，为采用了神经网络内部连接进行RGB和深度特征融合的架构。对比试验结果下表所示：
其中，early 表示采用如图8(a)中所示的架构，late表示采用如图8(b)所示的架构，internal表示采用如图8(c)所示的架构。如上表所示，本方案的各项误差指数均优于现有方案。
如图9所示，在一个实施例中，提供了一种用于测定生猪体重的装置，该一种用于测定生猪体重的装置可以集成于上述的计算机设备120中，具体可以包括：生猪RGB图像和生猪深度图像获取模块510、多模态融合网络模型构建模块520和生猪体重测定模块530。
生猪RGB图像和生猪深度图像获取模块510，用于获取生猪RGB图像和生猪深度图像。
多模态融合网络模型构建模块520，用于构建多模态融合网络模型，多模态融合网络模型构建模块，用于构建多模态融合网络模型，所述多模态融合网络模型包含RGB流网络和深度流网络，所述RGB流网络和深度流网络之间通过自适应注意力交互模块进行跨模态特征交互学习，以提高生猪体重的测算精度，所述RGB流网络用于处理输入至所述多模态融合网络模型中的所述生猪RGB图像，所述深度流网络用于处理输入至所述多模态融合网络模型中的所述生猪深度图像。
生猪体重测定模块530，用于将所述获取生猪RGB图像和生猪深度图像输入至所述模态融合网络模型，得到生猪体重测定值。
在本申请实施例中，如图10所示，给出了一种基于本模块原理形成的应用软件的示意图，在该软件中，选择输入的RGB图像和深度图像可以自动得到生猪体重的测算值。对于上述装置中各个模块具体步骤的描述可参考上文中对于一种用于测定生猪体重的方法的描述，此处不再赘述。通过上述装置，RGB图像的注意力能够引导深度图像中的注意力学习，深度图像的注意力能够引导RGB图像流中的注意力学习，因此模型能够使得从两个流的注意力模块中学习到的特征相互作用。经过相互学习的RGB和深度这两种模态数据的纹理外观信息和空间结构信息，使得方案最终显著提高了生猪体重估测模型的测定精度。
图11示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的计算机设备120。如图11所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现一种用于测定生猪体重的方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行一种用于测定生猪体重的方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的一种用于测定生猪体重的装置可以实现为一种计算机程序的形式，计算机程序可在如图1所示的计算机设备上运行。计算机设备的存储器中可存储组成该一种用于测定生猪体重的装置的各个程序模块，比如，图9所示的生猪RGB图像和生猪深度图像获取模块510、多模态融合网络模型构建模块520和生猪体重测定模块530。 各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的一种用于测定生猪体重的方法中的步骤。
例如，图1所示的计算机设备可以通过如图9所示的一种用于测定生猪体重的装置中的510模块执行步骤S202。计算机设备可通过520模块执行步骤S204。计算机设备可通过530模块执行步骤S206。
在一个实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述一种用于测定生猪体重的方法的步骤。
在本申请实施例中，对于用于测定生猪体重的方法的步骤的描述请参考上文，此处不再赘述。本申请实施例提供的一种用于测定生猪体重的方法，有效地融合了来自RGB的二维的纹理形状信息与来自深度相机的三维的空间结构信息，从而提高了对于生猪体重估算结果的准确性的鲁棒性。
在一个实施例中，提出了一种用于测定生猪体重的设备，所述设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种用于测定生猪体重的方法的步骤。
本领域技术人员可知，该用于测定生猪体重的设备不仅可以包括存储器、处理器，还可以包括视频采集器，例如RGB-D相机传感器等。在本申请实施例中，对于用于测定生猪体重的方法的步骤的描述请参考上文，此处不再赘述。本申请实施例提供的一种用于测定生猪体重的方法，有效地融合了来自RGB的二维的纹理形状信息与来自深度相机的三维的空间结构信息，从而提高了对于生猪体重估算结果的准确性的鲁棒性。
应该理解的是，虽然本申请各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种用于测定生猪体重的方法，其特征在于，所述方法包括：
获取生猪RGB图像和生猪深度图像；
构建多模态融合网络模型，所述多模态融合网络模型包含RGB流网络和深度流网络，所述RGB流网络和深度流网络之间通过自适应注意力交互模块进行跨模态特征交互学习，以提高生猪体重的测算精度，
所述RGB流网络用于处理输入至所述多模态融合网络模型中的所述生猪RGB图像，所述深度流网络用于处理输入至所述多模态融合网络模型中的所述生猪深度图像；
将所述生猪RGB图像和生猪深度图像输入至所述多模态融合网络模型，得到生猪体重测定值；
所述多模态融合网络模型还包含：特征合并层和回归层；
所述特征合并层用于融合基于所述生猪RGB图像和所述生猪深度图像中提取到的特征信息，生成融合特征信息；所述回归层用于根据所述融合特征信息计算生成生猪体重测定值；
所述RGB流网络和深度流网络采用相同的主干网络架构，所述主干网络架构至少包含有Patch Partition模块和Swin Transformer模块；
所述Patch Partition模块用于将输入的图像分割成不同的patch，并将每个patch视为一个token，每个所述patch为一个大小是4×4的图像块；
所述Swin Transformer模块由4个连续的阶段组成，每个阶段均包含有自适应注意力交互模块；
所述自适应注意力交互模块还用于进行自注意力计算；
所述自适应注意力交互模块进行跨模态特征交互学习的方法为：
分别对所述RGB流网络和深度流网络进行自注意力计算，得到Query矩阵、Key矩阵和Value矩阵，以获取网络对某个特征的注意力分数；
将所述RGB流网络的Query矩阵与所述深度流网络的Key矩阵和Value矩阵进行交互注意力计算，
将所述深度流网络的Query矩阵与所述RGB流网络的Key矩阵和Value矩阵进行交互注意力计算，进而实现跨模态特征交互学习。
2.根据权利要求1所述的一种用于测定生猪体重的方法，其特征在于，所述4个连续的阶段中的每个阶段前均设置有自适应判断环节；
每个所述自适应判断环节均通过学习参数β的数值，对其相对应的阶段中是否利用所述自适应注意力交互模块进行跨模态特征交互学习进行判定，以使模型自适应地调整注意力特征交互的时机；
当β的值低于预设的临界值时，不进行跨模态特征交互学习；当β的值高于预设的临界值时，进行跨模态特征交互学习。
3.根据权利要求1所述的一种用于测定生猪体重的方法，其特征在于，通过自注意力计算输出自注意力计算结果的方法为：，，
其中，dR和dD表示RGB流网络和深度流网络的Key矩阵维数，BR和BD为每个流计算得到的相对位置偏置，Q、K、V分别为由注意力模块计算得到Query、Key、Value三个矩阵，T代表转置运算，RGB流网络和深度流网络中模块的输出分别记为AttentionR和AttentionD，SoftMax是一种激活函数，用于将计算对象的输出范围限制到（0-1）。
4.根据权利要求1所述的一种用于测定生猪体重的方法，其特征在于，所述方法还包括以下步骤：
获取生猪所处环境的环境RGB图像和/或环境深度图像；
对所述环境RGB图像和/或环境深度图像进行预处理，以使所述环境RGB图像和所述环境深度图像的像素一对一映射；
当所述预处理的对象为所述环境RGB图像时，预处理后得到配准RGB图像，
将所述配准RGB图像进行图像分割，以将所述配准RGB图像中的每一头生猪从猪群中分割开来，得到至少一张生猪RGB图像，每张所述生猪RGB图像中含有的生猪数量为一；
当所述预处理的对象为所述环境深度图像时，预处理后得到配准深度图像，
将所述配准深度图像进行图像分割，以将所述配准深度图像中的每一头生猪从猪群中分割开来，得到至少一张生猪深度图像，每张所述生猪深度图像中含有的生猪数量为一。
5.根据权利要求4所述的一种用于测定生猪体重的方法，其特征在于，当所述预处理的对象为所述环境RGB图像时，生猪体重测定值的获取方法为：
将所述配准RGB图像输入到分割网络模型中进行图像分割，得到生猪RGB图像和生猪RGB图像的掩膜；
利用所述生猪RGB图像的掩膜分割所述环境深度图像，得到至少一张单通道深度图像；
将所述单通道深度图像像素线性压缩后复制叠加为三通道，得到生猪深度图像；
将所述生猪深度图像与所述生猪RGB图像输入至所述多模态融合网络模型，得到生猪体重测定值。
6.一种用于测定生猪体重的装置，其特征在于，所述用于测定生猪体重的装置包括：
生猪RGB图像和生猪深度图像获取模块，用于获取生猪RGB图像和生猪深度图像；
多模态融合网络模型构建模块，用于构建多模态融合网络模型，所述多模态融合网络模型包含RGB流网络和深度流网络，所述RGB流网络和深度流网络之间通过自适应注意力交互模块进行跨模态特征交互学习，以提高生猪体重的测算精度，所述RGB流网络用于处理输入至所述多模态融合网络模型中的所述生猪RGB图像，所述深度流网络用于处理输入至所述多模态融合网络模型中的所述生猪深度图像；
生猪体重测定模块，用于将所述生猪RGB图像和生猪深度图像输入至所述模态融合网络模型，得到生猪体重测定值；
所述多模态融合网络模型还包含：特征合并层和回归层；
所述特征合并层用于融合基于所述生猪RGB图像和所述生猪深度图像中提取到的特征信息，生成融合特征信息；所述回归层用于根据所述融合特征信息计算生成生猪体重测定值；
所述RGB流网络和深度流网络采用相同的主干网络架构，所述主干网络架构至少包含有Patch Partition模块和Swin Transformer模块；
所述Patch Partition模块用于将输入的图像分割成不同的patch，并将每个patch视为一个token，每个所述patch为一个大小是4×4的图像块；
所述Swin Transformer模块由4个连续的阶段组成，每个阶段均包含有自适应注意力交互模块；
所述自适应注意力交互模块还用于进行自注意力计算；
所述自适应注意力交互模块进行跨模态特征交互学习的方法为：
分别对所述RGB流网络和深度流网络进行自注意力计算，得到Query矩阵、Key矩阵和Value矩阵，以获取网络对某个特征的注意力分数；
将所述RGB流网络的Query矩阵与所述深度流网络的Key矩阵和Value矩阵进行交互注意力计算，
将所述深度流网络的Query矩阵与所述RGB流网络的Key矩阵和Value矩阵进行交互注意力计算，进而实现跨模态特征交互学习。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至5中任一项权利要求所述的一种用于测定生猪体重的方法的步骤。
8.一种用于测定生猪体重的设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至5中任一项权利要求所述的一种用于测定生猪体重的方法的步骤。
CN202310790771.4A 2023-06-30 2023-06-30 一种用于测定生猪体重的方法、装置、存储介质和设备 Active CN116519106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310790771.4A CN116519106B (zh) 2023-06-30 2023-06-30 一种用于测定生猪体重的方法、装置、存储介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310790771.4A CN116519106B (zh) 2023-06-30 2023-06-30 一种用于测定生猪体重的方法、装置、存储介质和设备

Publications (2)

Publication Number Publication Date
CN116519106A CN116519106A (zh) 2023-08-01
CN116519106B true CN116519106B (zh) 2023-09-15

Family

ID=87390556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310790771.4A Active CN116519106B (zh) 2023-06-30 2023-06-30 一种用于测定生猪体重的方法、装置、存储介质和设备

Country Status (1)

Country Link
CN (1) CN116519106B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689718A (zh) * 2024-02-02 2024-03-12 北京友友天宇系统技术有限公司 一种目标物体的视觉快速三维定位方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107667904A (zh) * 2017-07-27 2018-02-09 北京奥云牧数据科技有限公司 基于物联网技术的生猪大数据系统
CN109766856A (zh) * 2019-01-16 2019-05-17 华南农业大学 一种双流RGB-D Faster R-CNN识别哺乳母猪姿态的方法
CN110426112A (zh) * 2019-07-04 2019-11-08 平安科技（深圳）有限公司 一种生猪体重测量方法及装置
WO2021088300A1 (zh) * 2019-11-09 2021-05-14 北京工业大学 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN113662530A (zh) * 2021-07-02 2021-11-19 华南农业大学 一种猪只生理生长状态监测预警方法
CN115471470A (zh) * 2022-09-14 2022-12-13 安徽大学 一种食管癌ct图像分割方法
CN115661505A (zh) * 2022-09-07 2023-01-31 杭州电子科技大学 一种语义感知的图像阴影检测方法
CN115713679A (zh) * 2022-10-13 2023-02-24 北京大学 基于多源信息融合、热红外和三维深度图的目标检测方法
CN115752683A (zh) * 2022-11-09 2023-03-07 青岛不愁网信息科技有限公司 一种基于深度相机的体重预估方法、系统及终端
WO2023060777A1 (zh) * 2021-10-13 2023-04-20 华南农业大学 一种基于深度学习的猪只体尺体重估测方法
CN116168291A (zh) * 2023-01-18 2023-05-26 福州大学 基于深度学习的中等分辨率遥感影像茶园信息提取方法
CN116263949A (zh) * 2021-12-10 2023-06-16 中移(成都)信息通信科技有限公司 一种重量测量方法、装置、设备及存储介质
CN116295022A (zh) * 2022-09-19 2023-06-23 天津农学院 一种基于深度学习多参数融合的猪只体尺测量方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107667904A (zh) * 2017-07-27 2018-02-09 北京奥云牧数据科技有限公司 基于物联网技术的生猪大数据系统
CN109766856A (zh) * 2019-01-16 2019-05-17 华南农业大学 一种双流RGB-D Faster R-CNN识别哺乳母猪姿态的方法
CN110426112A (zh) * 2019-07-04 2019-11-08 平安科技（深圳）有限公司 一种生猪体重测量方法及装置
WO2021088300A1 (zh) * 2019-11-09 2021-05-14 北京工业大学 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN113662530A (zh) * 2021-07-02 2021-11-19 华南农业大学 一种猪只生理生长状态监测预警方法
WO2023060777A1 (zh) * 2021-10-13 2023-04-20 华南农业大学 一种基于深度学习的猪只体尺体重估测方法
CN116263949A (zh) * 2021-12-10 2023-06-16 中移(成都)信息通信科技有限公司 一种重量测量方法、装置、设备及存储介质
CN115661505A (zh) * 2022-09-07 2023-01-31 杭州电子科技大学 一种语义感知的图像阴影检测方法
CN115471470A (zh) * 2022-09-14 2022-12-13 安徽大学 一种食管癌ct图像分割方法
CN116295022A (zh) * 2022-09-19 2023-06-23 天津农学院 一种基于深度学习多参数融合的猪只体尺测量方法
CN115713679A (zh) * 2022-10-13 2023-02-24 北京大学 基于多源信息融合、热红外和三维深度图的目标检测方法
CN115752683A (zh) * 2022-11-09 2023-03-07 青岛不愁网信息科技有限公司 一种基于深度相机的体重预估方法、系统及终端
CN116168291A (zh) * 2023-01-18 2023-05-26 福州大学 基于深度学习的中等分辨率遥感影像茶园信息提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于OpenCV的母猪体重评估的研究;武尧;刘振宇;张宏娇;;农村实用技术(01);全文 *
基于全卷积网络的生猪轮廓提取;胡志伟;杨华;娄甜田;胡刚;谢倩倩;黄佳佳;;华南农业大学学报(第06期);全文 *

Also Published As

Publication number Publication date
CN116519106A (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
WO2020228446A1 (zh) 模型训练方法、装置、终端及存储介质
WO2021000423A1 (zh) 一种生猪体重测量方法及装置
CN110111366A (zh) 一种基于多级损失量的端到端光流估计方法
CN112884682B (zh) 一种基于匹配与融合的立体图像颜色校正方法及系统
CN111242844B (zh) 图像处理方法、装置、服务器和存储介质
CN114255238A (zh) 一种融合图像特征的三维点云场景分割方法及系统
CN110381268B (zh) 生成视频的方法，装置，存储介质及电子设备
EP3937124A1 (en) Image processing method, device and apparatus, and storage medium
CN110910437B (zh) 一种复杂室内场景的深度预测方法
CN116519106B (zh) 一种用于测定生猪体重的方法、装置、存储介质和设备
CN112927279A (zh) 一种图像深度信息生成方法、设备及存储介质
CN112215129A (zh) 一种基于排序损失和双分支网络的人群计数方法及系统
CN115512103A (zh) 多尺度融合遥感图像语义分割方法及系统
CN113313763A (zh) 一种基于神经网络的单目相机位姿优化方法及装置
WO2022052782A1 (zh) 图像的处理方法及相关设备
CN111368733B (zh) 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN111079507A (zh) 一种行为识别方法及装置、计算机装置及可读存储介质
CN112242002A (zh) 基于深度学习的物体识别和全景漫游方法
CN116152439A (zh) 一种基于多视角人体图像的人体三维姿态重建方法及系统
CN115049945A (zh) 一种基于无人机图像的小麦倒伏面积提取方法和装置
CN117095132B (zh) 基于隐式函数的三维重建方法和系统
CN116258756B (zh) 一种自监督单目深度估计方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant