CN116263949A - 一种重量测量方法、装置、设备及存储介质 - Google Patents

一种重量测量方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116263949A
CN116263949A CN202111506050.3A CN202111506050A CN116263949A CN 116263949 A CN116263949 A CN 116263949A CN 202111506050 A CN202111506050 A CN 202111506050A CN 116263949 A CN116263949 A CN 116263949A
Authority
CN
China
Prior art keywords
weight
feature
image
network
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111506050.3A
Other languages
English (en)
Inventor
李舜铭
张程
李泽源
苗海委
陈建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Chengdu ICT Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Chengdu ICT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Chengdu ICT Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202111506050.3A priority Critical patent/CN116263949A/zh
Publication of CN116263949A publication Critical patent/CN116263949A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00—Other apparatus for animal husbandry
    • A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G17/00—Apparatus for or methods of weighing material of special form or property
    • G01G17/08—Apparatus for or methods of weighing material of special form or property for weighing livestock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Environmental Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种重量测量方法、装置、设备及存储介质，包括：对目标图像进行目标检测，得到至少一个特征图，所述目标图像的图像内容中包括位于第一检测区域的至少一个对象，不同的特征图对应不同的对象；对于所述至少一个特征图中的各特征图，确定所述特征图的关键点特征、姿态特征和图像畸变特征，基于所述关键点特征、所述姿态特征和所述图像畸变特征确定所述特征图对应的对象的预测重量；基于所述至少一个特征图中各特征图对应的预测重量，确定所述第一检测区域中对象的总重量，在解除对测重设备、工人专业技术的依赖的同时，提高测量结果的精度。

Description

一种重量测量方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域，涉及但不限于一种重量测量方法、装置、设备、及存储介质。
背景技术
在猪只称重领域，称重的方案包括两条技术路线：1)传统设备测重方案；2)智能设备测重方案。传统设备测重方案需要依赖体重秤等大型测重设备完成，从流程上分析大致分为两种方式：方式1，逐只测量；方案2，整栏测量。传统设备测重方案需要依赖体重秤等大型测重设备完成。智能称重方案依赖传感器和智能算法。其分为数据采集、训练和推理三部分。数据采集的目的是收集训练数据，收集的训练数据包括传感器数据以及真实值数据；训练是将采集到的传感器数据作为输入，真实值数据作为标签，训练深度神经网络模型；推理是使用训练阶段的深度神经网络模型，将待预测的传感器数据输入其中，直接得到整栏猪只的体重结果。其中，传统设备测重方案依赖于测重设备、工人专业技术以及猪只的配合度。智能称重方案不依赖于测重设备、工人专业技术以及猪只的配合度，但是相关技术中，智能称重方案的数据维度过于单一导致模型无法学习到真实反映体重的特征，且未考虑图像畸变以及猪只离摄像头远近距离对图像数据和体重预测的影响，从而导致测量结果的精度低。
发明内容
本申请实施例提供一种重量测量方法、装置、设备及存储介质，能够解除对测重设备、工人专业技术的依赖的同时，提高测量结果的精度。
本申请实施例的技术方案是这样实现的：
本申请实施例提供了一种重量测量方法，所述方法包括：
对目标图像进行目标检测，得到至少一个特征图，所述目标图像的图像内容中包括位于第一检测区域的至少一个对象，不同的特征图对应不同的对象；
对于所述至少一个特征图中的各特征图，确定所述特征图的关键点特征、姿态特征和图像畸变特征，基于所述关键点特征、所述姿态特征和所述图像畸变特征确定所述特征图对应的对象的预测重量；
基于所述至少一个特征图中各特征图对应的预测重量，确定所述第一检测区域中对象的总重量。
本申请实施例提供了一种重量测量装置，所述装置包括：
检测模块，用于对目标图像进行目标检测，得到至少一个特征图，所述目标图像的图像内容中包括位于第一检测区域的至少一个对象，不同的特征图对应不同的对象；
预测模块，用于对于所述至少一个特征图中的各特征图，确定所述特征图的关键点特征、姿态特征和图像畸变特征，基于所述关键点特征、所述姿态特征和所述图像畸变特征确定所述特征图对应的对象的预测重量。
确定模块，用于基于所述至少一个特征图中各特征图对应的预测重量，确定所述第一检测区域中对象的总重量。
本申请实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述重量测量方法中的步骤。
本申请实施例还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述重量测量方法。
本申请实施例所提供的重量测量方法、装置、设备及存储介质，对目标图像进行目标检测，得到至少一个特征图，所述目标图像的图像内容中包括位于第一检测区域的至少一个对象，不同的特征图对应不同的对象；对于所述至少一个特征图中的各特征图，确定所述特征图的关键点特征、姿态特征和图像畸变特征，基于所述关键点特征、所述姿态特征和所述图像畸变特征确定所述特征图对应的对象的预测重量；基于所述至少一个特征图中各特征图对应的预测重量，确定所述第一检测区域中对象的总重量；从而基于对象在第一检测区域的目标图像来确定第一检测区域中对象的重量，且基于目标图像中以下多维度特征来确定各对象的重量：关键点特征、姿态特征、图像畸变特征，在解除对测重设备、工人专业技术的依赖的同时，提高测量结果的精度。
附图说明
图1为本申请实施例提供的重量测量系统的一种可选的结构示意图；
图2为本申请实施例提供的重量测量系统的一种可选的结构示意图；
图3为本申请实施例提供的重量测量方法的一种可选的流程示意图；
图4为本申请实施例提供的电子设备的一种可选的逻辑结构示意图；
图5A为本申请实施例提供的电子设备的一种可选的逻辑结构示意图；
图5B为本申请实施例提供的电子设备的一种可选的逻辑结构示意图；
图6为本申请实施例提供的重量测量方法的一种可选的结构示意图；
图7为本申请实施例提供的区域分布的一种可选的示意图；
图8为本申请实施例提供的关键点的一种可选的示意图；
图9为本申请实施例提供的关键点的一种可选的示意图；
图10为本申请实施例提供的重量测量方法的一种可选的流程示意图；
图11为本申请实施例提供的目标图像的一种可选的示意图；
图12为本申请实施例提供的特征块的一种可选的示意图；
图13为本申请实施例提供的重量测量方法的一种可选的流程示意图；
图14为本申请实施例提供的损失关系示意图；
图15为本申请实施例提供的重量测量装置的一种可选的结构示意图；
图16为本申请实施例提供的电子设备的一种可选的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
本申请实施例可提供为重量测量方法及设备、存储介质。实际应用中，重量测量方法可实施于电子设备，电子设备中的各功能实体可以由电子设备(如终端设备、服务器)的硬件资源，如处理器等计算资源、通信资源(如用于支持实现光缆、蜂窝等各种方式通信)协同实现。
本申请实施例提供的重量测量方法应用于重量测量系统。如图1所示，重量测量系统包括：第一采集端101和服务端102。第一采集端101和服务端102可通过网络进行通信。其中，第一采集端可为能够采集图像的图像采集装置，比如：摄像头、深度照相机、鱼眼摄像头等，服务端为具有信息处理能力的电子设备。
如图1所示，第一采集端101可设置于第一目标检测区域103，以检测位于第一目标检测区域的对象的图像即目标图像，其中，第一目标检测区域可容纳至少一个对象。第一采集端101采集目标图像后，可将目标图像发送至服务端102。其中，第一采集端101的镜头根可包括广角镜头、长焦镜头等，本申请实施例中对第一采集端的镜头类型不进行任何限定。
服务端102接收到目标图像后，可基于目标图像执行以下处理：对目标图像进行目标检测，得到至少一个特征图，所述目标图像的图像内容中包括位于第一检测区域的至少一个对象，不同的特征图对应不同的对象；对于所述至少一个特征图中的各特征图，确定所述特征图的关键点特征、姿态特征和图像畸变特征，基于所述关键点特征、所述姿态特征和所述图像畸变特征确定所述特征图对应的对象的预测重量；基于所述至少一个特征图中各特征图对应的预测重量，确定所述第一检测区域中对象的总重量。
本申请实施例中，服务端可设置有重量测量网络，服务端可基于重量测量网络执行以下处理：对目标图像进行目标检测，，得到至少一个特征图，所述目标图像的图像内容中包括位于第一检测区域的至少一个对象，不同的特征图对应不同的对象；对于所述至少一个特征图中的各特征图，确定所述特征图的关键点特征、姿态特征和图像畸变特征，基于所述关键点特征、所述姿态特征和所述图像畸变特征确定所述特征图对应的对象的预测重量；基于所述至少一个特征图中各特征图对应的预测重量，确定所述第一检测区域中对象的总重量。
本申请实施例提供的重量测量系统，如图2所示，还可包括客户端104。其中，客户端可为具有显示屏幕的电子设备。当服务端102得到总重量后，可将总重量展示在客户端104上。
在实际应用中，客户端与服务端可位于同一物理实体上，也可位于不同的物理实体上。
当客户端与服务端位于不同的物理实体上，服务端102确定总重量后，可将总重量发送中客户端104，且第一采集端101也可将总重量发送至客户端104。
本申请实施例中，位于第一检测区域的对象可为具有生命特征或不具有生命特征的对象，比如：人、猪只、狗、牛、集装箱、打包的商品。第一检测区域为可容纳多个对象的空间，且基于对象不同，第一检测区域可不同，比如：当对象为人时，第一检测区域可为休息室、会议室等容纳多人的空间。又比如：当对象为猪只时，第一检测区域为猪圈即猪栏。再比如：当对象为集装箱或打包的商品时，第一检测区域可为仓库。本申请实施例中对对象以及第一检测区域不进行任何限定。
结合图1或图2所示的重量测量系统，本实施例提出一种重量测量方法，从采集范围内包括多个对象的目标图像中确定各对象对应的特征图，并根据基于特征图确定的关键点特征、姿态特征和图像畸变特征确定对象的重量，从而确定多个对象的总体中，在解除对测重设备、工人专业技术以及猪只的配合度的依赖的同时，提高测量结果的精度。
下面，结合图1或图2所示的重量测量系统的示意图，对本申请实施例提供的重量测量方法及设备、存储介质的各实施例进行说明。
本实施例提供一种重量测量方法，该方法应用于电子设备。该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该电子设备至少包括处理器和存储介质。
电子设备可以是任何具有信息处理能力的设备，在一种实施例中，电子设备可以是智能终端，例如可以是笔记本等具有无线通信能力的电子设备、AR/VR设备、移动终端。在另一种实施例中，电子设备还可以是不便移动的具有计算功能的终端设备，比如台式计算机、桌面电脑等。在再一实施例中，电子设备还可以是图1或2所示的服务器，比如：云端服务器等。
当然，本申请实施例不局限于提供为方法和硬件，还可有多种实现方式，例如提供为存储介质(存储有用于执行本申请实施例提供的重量测量方法的指令)。
图3为本申请实施例的重量测量方法的实现流程示意图，如图3所示，该方法包括以下步骤：
S301、电子设备对目标图像进行目标检测，得到至少一个特征图。
所述目标图像的图像内容中包括位于第一检测区域的至少一个对象，不同的特征图对应不同的对象。
第一采集端对位于第一检测区域的至少一个对象进行图像采集，得到目标图像，并将目标图像发送至电子设备，电子设备接收到目标图像后，对目标图像进行目标检测，得到各目标对象对应的特征图。其中，一个特征图对应一个对象，且不同的特征图对象对应不同的对象。
在一示例中，目标图像中的第一检测区域包括有以下对象：对象1、对象2、对象3和对象4，电子设备对目标对象进行目标检测，得到以下特征图：包括对象1的特征图1、包括对象2的特征图2、包括对象3的特征图3和包括对象4的特征图4。
本申请实施例中，不同特征图的大小可相同，也可不同。
在实际应用中，将不同特征图的大小不同的情况下，可对特征图的尺寸进行调整，使得各特征图的尺寸大小相同。
S302、电子设备对于所述至少一个特征图中的各特征图，确定所述特征图的关键点特征、姿态特征和图像畸变特征，基于所述关键点特征、所述姿态特征和所述图像畸变特征确定所述特征图对应的对象的预测重量。
电子设备在得到各对象对应的特征图后，对各特征图分别进行以下处理：确定特征图的关键点特征、姿态特征和图像畸变特征，并基于关键点特征、姿态特征和图像畸变特征确定该特征图对应的对象的预测重量。
在一示例中，目标图像中的第一检测区域包括对象1、对象2、对象3和对象4，电子设备基于包括对象1的特征图1确定对象1的预测重量，基于包括对象2的特征图2确定对象2的预测重量，基于包括对象3的特征图3确定对象3的预测重量，以及基于包括对象4的特征图4确定对象4的预测重量。
电子设备在基于一个特征图确定该特征图的关键点特征、姿态特征和图像畸变特征，以确定该特征图对应的对象的预测重量，其中，关键点特征为特征图中能够反映关键点的特征，姿态特征为特征图中能够反映姿态的特征，图像畸变特征包括：图像畸变信息、对象与第一采集端之间的距离等。
本申请实施例中，电子设备可基于关键点特征、姿态特征和图像畸变确定第一重量，且将确定第一重量作为对象的预测重量，这里，第一重量是基于特征图中的图形特征确定的重量。
本申请实施例中，电子设备可解耦姿态特征和图像畸变特征，确定超参数，基于超参数对关键点特征预测的体型参数进行修正，得到修正后的体型参数，并基于修正后的体型参数确定第二重量，且将确定第二重量作为对象的预测重量，这里，第二重量是基于特征图确定的对象的体型参数确定的重量。
本申请实施例中，电子设备可基于关键点特征、姿态特征和图像畸变确定对象的重量，且将确定的重量作为第一重量，电子设备可解耦姿态特征和图像畸变特征，确定超参数，基于超参数对关键点特征预测的体型参数进行修正，得到修正后的体型参数，并基于修正后的体型参数确定第二重量，并基于第一重量和第二重量确定对象的预测重量。其中，可取第一重量和第二重量的均值作为对象的重量。
这里，确定第二重量的体型参数可包括体长、体宽等。
S303、电子设备基于所述至少一个特征图中各特征图对应的预测重量，确定所述第一检测区域中对象的总重量。
电子设备确定目标图像所包括的第一检测区域中各对象的预测重量后，将各对象的重量进行相加，得到第一检测区域中所包括的对象的总重量。
在一示例中，目标图像中的第一检测区域包括对象1、对象2、对象3和对象4，电子设备确定对象1的重量、对象2的重量、对象3的重量以及对象4的重量，将对象1的重量、对象2的重量、对象3的重量以及对象4的重量相加，得到第一检测区域中对象的总重量。
本申请实施例中，电子设备中可设置有重量测量网络，电子设备将目标图像输入重量测量网络，通过重量测量网络对目标图像进行目标检测，得到至少一个特征图，所述目标图像的图像内容中包括位于第一检测区域的至少一个对象，不同的特征图对应不同的对象；对于所述至少一个特征图中的各特征图，确定所述特征图的关键点特征、姿态特征和图像畸变特征，基于所述关键点特征、所述姿态特征和所述图像畸变特征确定所述特征图对应的对象的预测重量；基于所述至少一个特征图中各特征图对应的预测重量。
本申请实施例提供的重量测量方法，对目标图像进行目标检测，得到至少一个特征图，所述目标图像的图像内容中包括位于第一检测区域的至少一个对象，不同的特征图对应不同的对象；对于所述至少一个特征图中的各特征图，确定所述特征图的关键点特征、姿态特征和图像畸变特征，基于所述关键点特征、所述姿态特征和所述图像畸变特征确定所述特征图对应的对象的预测重量；基于所述至少一个特征图中各特征图对应的预测重量，确定所述第一检测区域中对象的总重量；从而基于对象在第一检测区域的目标图像来确定第一检测区域中对象的重量，且基于目标图像中以下多维度特征来确定各对象的重量：关键点特征、姿态特征、图像畸变特征，在解除对测重设备、工人专业技术的依赖的同时，提高测量结果的精度。
在一些实施例中，如图4所示，电子设备400中设置有目标检测网络401和重量预测网络402；其中，目标检测网络401，用于对目标图像中的对象进行检测，得到各对象对应的特征图；重量预测网络402用于基于特征图评估特征图对应的对象的重量。
这里，目标检测网络401和重量预测网络402为重量测量网络的子网络。
基于图4所示的电子设备，S302的实施包括：
S3021、通过目标检测网络对所述目标图像进行检测，得到所述至少一个特征图。
电子设备将目标图像输入目标检测网络，目标检测输出至少一个特征图，本申请实施例中，目标检测网络用于定位对象在目标图像中的位置，并提取对象所对应的图像像素特征图。
在一示例中，目标检测网络可采用Faster-RCNN网络，其中，Faster-RCNN网络可包括：目标检测骨干网络、候选区域推荐网络，Faster-RCNN网络还可包括感兴趣区域(regionof interest，ROI)池化网络。
这里，ROI池化网络将候选区域推荐网络输出的不同大小的特征图进行修正，确保经过ROI池化网络后输出的特征图都是统一尺寸和大小。
在一示例中，目标检测网络还可为骨干网络中嵌入注意力模块的Faster-RCNN网络。其中，注意力模块可以使用SE、CAM以及CBAM等注意力方法，目的是对骨干网络中某一层传入的特征再进行一次非线性变换提取特征，同时使用softmax激活函数将提取的特征归一化到0-1之间作为注意力的权重，其中0代表不注意，1代表极度注意，该注意力可以同时加载特征图的空间维度和通道维度上。通过这样的方式骨干网络就能关注到很多更加细微的细节特征，从而使得网络对于猪只聚集所导致的遮挡和不完整的情况更加鲁棒。
电子设备将目标图像输入目标检测网络，目标检测网络使用嵌入注意力模块的骨干网络进行特征提取；目标检测网络将提取到的特征输入候选区域推荐网络，候选区域推荐网络提取得到对象对应的特征图；目标检测网络将对象对应的特征图和骨干网络提取的特征同时输入ROI池化网络，输出统一尺寸的特征图。
这里，电子设备还可将候选区域推荐网络输出的特征图映射回目标图像，获取得到每个特征图的中心点坐标，其中，每个特征图的中心坐标用于确定图像畸变特征。
S3022、对于所述至少一个特征图中的各特征图，利用所述重量预测网络，确定所述特征图的关键点特征、姿态特征和图像畸变特征，并基于所述关键点特征、所述姿态特征和所述图像畸变特征确定所述特征图对应的对象的预测重量。
电子设备将至少一个特征图中的各特征图分别输入重量预测网络，重量预测网络输出各特征图对应的预测重量。其中，重量预测网络基于输入的特征图提取关键点特征、姿态特征和图像畸变特征，并基于提取的关键点特征、姿态特征和图像畸变特征评估特征图所包括的对象的重量。
在一些实施例中，如图5A所示，重量预测网络402包括：第一预测网络4021和第二预测网络4022，其中，第一预测网络4021用于基于对象对应的图像特征评估对象的重量，第二预测网络4022用于基于对象的体型参数评估对象的重量。
基于图5A所示的重量预测网络，S3022中基于所述关键点特征、所述姿态特征和所述图像畸变特征确定所述特征图对应的对象的预测重量的实施包括：利用所述第一预测网络，对所述关键点特征、所述姿态特征和所述图像畸变特征进行融合，得到第一融合特征，并且基于将所述第一融合特征确定第一重量；利用所述第二预测网络，基于所述姿态特征和所述图像畸变特征，确定超参数，基于所述超参数对所述关键点特征表征的关键点进行修正，基于修正后的关键点确定所述对象的体型参数，并基于所述体型参数确定第二重量；基于所述第一重量和所述第二重量确定所述预测重量。
电子设备将关键点特征、所述姿态特征和所述图像畸变特征输入至第一预测网络，第一预测网络对输入的关键点特征、所述姿态特征和所述图像畸变特征进行融合，得到第一融合特征，并基于第一融合网络输出第一重量。
其中，第一预测网络包括：第一融合网络、第二融合网络和第一预测回归网络，电子设备将关键点特征、姿态特征输入至第一融合网络，第一融合网络对关键点特征和姿态特征融合，电子设备将第一融合网络的融合结果和图像畸变特征输入第二融合网络得到第一融合特征。电子设备将第一融合特征输入至第一预测回归网络，第一预测回归网络基于第一融合网络输出第一重量。
这里，第一融合网络和第二融合网络可为全连接网络，其目的是将输入的特征进行非线性变化使其中信息更好的融合。在一示例中，第一融合网络包括3个全连接单元，其中，一个全连接单元包括：一个全连接层、一个relu激活层和一个批处理(BatchNormalization，BN)层。
在实际应用中，第一融合网络和第二融合网络的结构可相同。
电子设备将关键点特征和姿态特征输入中第一融合网络之前，可先对关键点特征和姿态特征进行拼接，并将拼接后的特征输入第一融合网络。电子设备将第一融合网络输出的融合结果和图像畸变特征输入至第二网络之前，可对第一融合网络输出的融合结果和图像畸变特征进行拼接，并将拼接后的特征输入第二融合网络。其中，这里的拼接为将特征A和特征B进行拼接得到特征C的特征拼接。在一示例中，特征A的维度为1x256，特征B的维度为1x512，则拼接得到特征C的维度为1x768。电子设备将拼接后的特征输入至特征融合网络，使得特征融合网络对输入的拼接后的特征进行非线性变换融合后输出。
第一预测回归网络基于第一融合特征进行重量特征的提取，并基于提取的重量特征进行第一重量的预测。第一预测回归网络可为全连接网络。在一示例中，第一预测回归网络可由5个全连接单元构成，最后一个全连接单元维度为一，从而得到维度为1的第一重量。
电子设备将关键点特征、所述姿态特征和所述图像畸变特征输入至第二预测网络，第二预测网络基于所述姿态特征和所述图像畸变特征，确定超参数，基于所述超参数对所述关键点特征表征的关键点进行修正，确定所述对象的体型参数，并基于所述体型参数确定第二重量。
其中，第二预测网络包括第三融合网络和第二预测回归网络。电子设备将姿态特征和所述图像畸变特征输入至第三融合网络，第三融合网络解耦猪只姿态特征和图像畸变特征，得到超参数，电子设备基于超参数对基于关键点特征预测的关键点进行修正，得到修正后的关键点，并基于修正后的关键点确定体型参数。电子设备将体型参数输入至第二预测回归网络，第二预测回归网络输出第二重量。
第三融合网络的结构类似第一融合网络和第二融合网络，与第一融合网络和第二融合网络的区别在于最后一个连接单元的维度与关键特征预测的关键点的数量相关，从而使得输出的超参数的数量与关键点的数量相关，使得电子设备可基于超参数对相邻的两个关键点之间的距离进行修正，得到体型参数。在一示例中，关键点的数量为7，则第三融合网络的最后一个连接单元的维度为6，输出的超参数用于对相邻的关键点之间的距离进行修正。
本申请实施例中，电子设备可通过超参数对基于关键特征预测的关键点进行修正，确定对象的体型参数。其中，体型参数可包括体长和体宽中的一个和两个。
在一示例中，关键点包括7个关键点：关键点1、关键点2、关键点3、关键点4、关键点5、关键点6和关键点7，其中，关键点1、关键点2、关键点3、关键点4、关键点5这5个用于确定体长，关键点4、关键点6和关键点7这3个用于确定体宽。这里，电子设备基于公式(1)确定修正后的体长l′体长：
Figure BDA0003404413050000051
其中，λ1至λ4为四个超参数，(X1、Y1、Z1)为关键点1的坐标，(X2、Y2、Z2)为关键点2的坐标……(X5、Y5、Z5)为关键点5的坐标。
电子设备将修正后的体型参数输入第二预测回归网络，第二预测回归网络输出第二重量。
其中，第二预测回归网络的结构框架同第一预测回归网络，都是利用输入数据进行特种特征的提取和重量预测从而得到重量预测值，但不同点在于，第二预测回归网络的第一层全连接单元的全连接层维度为同体型参数所包括的参数的数量，而测重回归网络1的第一层全连接层维度与其输入的融合后特征维度一致。在一示例中，体型参数包括：体长和体宽，则第二预测回归网络的第一层全连接单元的全连接层维度为2。
在一些实施例中，如图5B所示，重量预测网络402包括：关键点预测网络4023、姿态预测网络4024和位置处理网络4025，其中，关键点预测网络4023用于基于对象对应的图像特征确定关键点特征，并基于关键点特征预测目标图像中对象的关键点，姿态预测网络4024用于基于对象对应的图像特征确定姿态特征，并基于姿态特征预测目标图像中对象的姿态，位置处理网络4025用于基于每个特征图的中心坐标确定图像畸变特征。
关键点预测网络4023的目的是提取出关键点特征。关键点预测网络4023中的第一特征提取子模块用于提取关键点特征，第一特征提取子模块包括3个卷积单元构成，其中，一个卷积单元包括：卷积网络、relu激活函数以及批量归一化模块。
关键点预测网络4023还用于基于关键点特征预测出对象的关键点的坐标，这里，关键点能够用于确定对象的体型参数。在一示例中，关键点预测网络预测7个关键点，其中，5个为体长关键点，用于确定体长，2个为体宽关键点，用于确定体宽。
关键点预测网络4023包括的第一输出子模块基于关键点特征预测出对象的关键点的坐标，其中，第一输出子模块由全连接网络构成，且全连接网络的维度为基于关键点的数量确定。在一示例中，关键点的数量为7，则全连接网络的维度为17，对应7个关键点，且每个关键点有xy两维。
姿态预测网络4024的目的是提取出姿态特征。姿态预测网络4024中的第二特征提取子模块用于提取姿态特征。在一示例中，第二特征提取子模块包括3个卷积单元构成。
姿态预测网络4024还用于预测出当前姿态，其中，姿态预测网络4024中的第二输出子模块用于基于姿态特征预测当前姿态，第二输出子模块由全连接网络构成，该全连接网络的网络维度同姿态的分类数量。在一示例中，当对象为猪只，猪只的姿态包括躺、立、左侧头、右侧头、低头、侧面低头、抬头、背对这8种，则全连接网络的网络维度为8。
位置处理网络4025为全连接网络，目的为通过输入每个特征图的中心点坐标即特征图在目标图像中的位置提取每个特征图所对应的图像位置信息，从而确定图像畸变特征。
本申请实施例中，第一采集端采集的图像中，不同位置的图像畸变特征不同，因此，对于各特征图，基于各特征图在目标图像中的中心点坐标即位置能够确定该特征图的图像畸变特征。
位置处理网络4025包括5个全连接单元组成，因为输入的是特征图的中心点坐标，因此第一个全连接单元中的全连接层维度为二(对应位置信息坐标x，y)。
基于图5B所示的重量预测网络，S3021所述利用所述重量预测网络，确定所述特征图的关键点特征、姿态特征和图像畸变特征的实施包括：将所述特征图输入所述关键点预测网络，得到所述关键点预测网络输出的关键点特征；将所述特征图输入所述姿态预测网络，得到所述姿态网络输出的姿态特征；基于所述特征图在所述目标图像中的位置，确定所述图像畸变特征。
电子设备将特征图输入关键点预测网络，关键点预测网络输出关键点特征。其中，特征图输入关键点预测网络中的特征提取子模块，特征提取子模块提取关键点特征，且将关键点特征输入输出子模块，输出子模块基于关键点特征预测得到预测的关键点ykey_pred。在一示例中，ykey_pred为14个维度，包括7个关键点，一个关键点为2个维度。其中，预测的关键点用于确定体型参数，关键点特征用于与姿态特征进行融合。
本申请实施例中，电子设备可将预测的关键点由二维转换为三维。在一示例中，将第三维的值置为0。
在一示例中，可通过反投影公式将关键点从二维映射为三维。其中，反投影公式如公式(2)所示：
X＝(u*Z-cx*Z)/fx
X＝(v*Z-cy*Z)/fy 公式(2)；
Z＝Z
其中，
Figure BDA0003404413050000061
K为相机内参，可以通过对相机标定得到，很多相机说明书中也会自带此类参数值，fx、fy分别为x轴和y轴上的相机焦距，cx、cy分别为x轴和y轴上的相机光圈中心偏离值。u、v分别为图像在像素平面的坐标，X、Y、Z则分别为对应的像素点在三维空间中的坐标，其中，Z的值直接取对应像素点的深度图值。
本申请实施例中，对将预测的关键点由二维转换为三维的转换方式不进行任何的限定。
电子设备将特征图输入姿态预测网络，姿态预测网络输出姿态特征。姿态预测网络将姿态特征输入姿态预测网络的输出子模块，姿态预测网络的输出子模块基于姿态特征预测得到预测的姿态ypose_pred。
电子设备将特征图在目标图像中的位置即特征图的中心点坐标输入位置处理网络，得到位置处理网络输出的图像畸变特征。其中，图像畸变特征包括：图像畸变所包含的信息同时也包含了对象与第一采集端之间的距离所导致的距离误差信息。这里，对象距离第一采集端的远近不一致，使得第一采集端采集到的对象的大小受影响，从而影响对象的重量的测量，这里，将对象与第一采集端之间的距离加入测量重量的考量因素，提高测量结果的精确度。
本申请实施例中，电子设备进行重量测量的重量预测网络可在电子设备本地进行训练而成，也为电子设备通过网络从其他设备获取。
在一些实施例中，在S301之前实施的步骤还包括：
获取训练图像和所述训练图像对应的重量集合，所述训练图像的图像内容中包括位于所述第一检测区域的至少一个参考对象，所述重量集合中包括所述至少一个参考对象中每一所述参考对象的参考重量，所述参考重量为所述参考对象通过第二检测区域时由位于第二检测区域的称重设备测重得到，所述第二检测区域用于所述参考对象在不同的第一检测区域之间转移；
通过所述训练图像和第一标注数据对所述目标检测网络进行训练，得到收敛的目标检测网络，所述第一标注数据包括：所述至少一个参考对象中每一参考对象对应的位置；
在所述收敛的目标检测网络的基础上，通过所述训练图像和所述重量集合，对所述重量预测网络进行训练。
本申请实施例中，第一检测区域用于容纳至少一个对象，第二检测区域用于将对象从转移至第一检测区域。其中，对象可从在不同的第一检测区域之间转移，也可从其他区域转移至第一检测区域，还可从第一检测区域转移至其他区域。在一示例中，当对象为打包商品，第一检测区域为仓库，第二检测区域为仓库外的通道。在一示例中，对象为集装箱，第一检测区域为仓库，第二检测区域为将集装箱放入仓库的具有称重功能的集装箱转移设备。在一示例中，对象为猪只，第一检测区域为猪圈即猪栏，第二检测区域为猪圈外的走烂。
当对象从第二检测区域转移到第一检测区域过程中，位于第二检测区域的侧重设备获取对象的真实重量，作为对目标检测网络和重量预测网络进行训练的真实重量即参考重量，且将该对象称为参考对象。
这里，至少一个参考对象位于第一检测区域时，第一采集端检测位于第一检测区域的图像，得到训练图像，训练图像的图像内容中包括位于第一检测区域的至少一个参考对象。
电子设备接收用户对训练图像中各参考对象的标注，得到第一标注数据，第一标注数据包括目标图像中各参考对象对应的图像区域。
电子设备将第一标注数据输入至目标检测网络，使得目标检测网络输出预测的参考对象对应的特征图，并将预测的特征图和第一标注数据中该参考对象对应的图像区域进行计算，确定目标检测网络的损失，并基于确定的损失对目标检测网络的参数进行更新，在更新后的目标检测网络未收敛的情况下，继续将训练图像输入目标检测网络，以对目标检测网络的参数进行更新，直到目标检测网络收敛。
在目标检测网络收敛后，电子设备将目标检测网络和重量预测网络进行连接，构成重量测量网络，将训练图像输入目标检测网络，将目标检测网络输出的特征图输入至重量预测网络，并得到重量预测网络输出的重量，并基于重量预测网络输出的重量和参考对象的参考重量确定损失，基于确定的损失对重量预测网络的参数进行更新，并基于目标检测网络和新的重量预测网络得到新的重量测量网络，电子设备继续将训练图像继续输入新的重量测量网络，以继续对重量预测网络的参数进行更新直到重量预测网络收敛。
本申请实施例中，基于训练图像对重量测量网络中的重量预测网络进行训练过程中，可对收敛的目标检测网络的参数进行微调，使得重量测量网络整体达到收敛状态。
在一些实施例中，在所述训练图像的图像内容中包括位于所述第一检测区域的至少两个参考对象的情况下，所述通过所述训练图像和所述重量集合，对所述重量预测网络进行训练，包括：
通过所述目标检测网络输出所述训练图像中各参考对象对应的训练特征图；
通过重定位网络，建立所述训练图像中各参考对象对应的训练特征图和所述重量集合中对应的参考重量之间的关联关系；
通过所述训练特征图和各参考对象对应的参考重量，对所述重量预测网络进行训练。
本申请实施例中，重量预测网络包括有重定位系统，重定位系统用于建立训练图像中的参考对象和实际的参考对象之间的关联关系。
本申请实施例中，在第二检测区域中检测至少两个参考对象的参考重量，电子设备接收第一采集端发送的目标图像，此时，电子将目标检测网络输出的特征图输入至重定位网络，并确定各训练特征图对应的参考重量，基于重量预测网络输出的各训练特征图中的对象的重量和参考重量来确定损失，以对重量预测网络进行训练。
在一示例中，电子设备在第二检测区域中分别对以下对象进行了重量的采集：对象1、对象2、对象3至对象10，得到对应的重量：重量1、重量2、重量3至重量10，电子设备接收到第一采集端发送的训练图像(以训练图像中的参考对象包括：对象2、对象5和对象7为例)，此时，电子设备并不清楚训练图像中包括哪些参考对象，电子设备将训练图像输入目标检测网络，目标检测网络输出参考图像中所包括的4个训练特征图，一个训练特征图对应一个参考对象，但此时，电子设备仍然并不清楚这些训练特征图包括的参考对象是哪个参考对象，电子设备将各训练特征图输入至重定位网络。重定位网络通过对训练特征图的分析，确定出各训练特征图分别对应的对象：对象2、对象3和对象4，则确定各训练特征图对应的重量分别为：重量2、重量5和重量7，电子设备基于重量预测网络输出的对象2、对象3和对象4对应的重量和对象2、对象3和对象4对应的参考重量计算损失，以对重量预测网络的参数进行更新。
在一些实施例中，所述通过所述训练特征图和各参考对象对应的参考重量，对所述重量预测网络进行训练，包括：
对于所述训练特征图输入所述重量预测网络，得到所述重量预测网络输出的至少一个参考对象中各参考对象的预测参数；所述预测参数包括：所述预测关键点、预测体型参数、预测姿态、第一预测重量、第二预测重量；
根据所述至少一个参考对象中各参考对象的以下参数确定完整损失：所述预测关键点、所述预测体型参数、所述预测姿态、所述第一预测重量、所述第二预测重量和关键点信息、体型参数、参考重量、姿态，并基于所述完整损失对所述重量预测网络的参数进行更新；
在所述重量预测网络未收敛的情况下，继续将所述训练图像输入参数更新后的所述重量预测网络，直到参数更新后的所述重量预测网络收敛。
本申请实施例中，重量预测网络包括：关键点预测网络、姿态预测网络、位置处理网络、第一预测网络、第二预测网络，电子设备将特征图分别输入关键点预测网络和姿态预测网络，关键点预测网络输出关键点特征和预测关键点，姿态网络输出姿态特征和预测姿态，位置处理网络基于各参考对象在训练图像中的中心位置确定图像畸变特征，第一预测网络基于输入的关键点特征、姿态特征和图像畸变特征输出第一预测重量，第二预测网络基于输入的姿态特征、图像畸变特征输出预测体型参数和第二预测重量。电子设备基于所述预测关键点、所述预测体型参数、所述预测姿态、所述第一预测重量、所述第二预测重量和关键点信息、体型参数、参考重量、姿态确定完整损失，并基于确定的完整损失对重量预测网络的参数进行更新。其中，在确定损失后，可采用梯度下降法来对重量预测网络的参数进行更新。其中，关键点信息和姿态可为对用户对训练图像中的参考对象的关键点的位置和姿态进行标注得到，体型参数可基于位于第二检测区域的第二采集端采集的深度图像确定，也可基于关键点信息确定。其中，第二采集端为能够采集深度图像的采集端。
在一些实施例中，所述方法还包括：
针对所述至少一个参考对象中的各参考对象，获取所述参考对象在所述第二检测区域的深度图像，并基于所述深度图像确定所述参考对象的体型参数。
本申请实施例中，在第二检测区域还设置有第二采集端，第二采集端能够在采集参考位于第二检测区域时，采集参考对象的深度图像，这里，第二采集端为能够采集图像的采集端，则采集的图像为深度图像，第二采集端将深度图像发送至电子设备，电子设备基于采集的深度图像确定体型参数。这里，电子设备可基于深度图像检测关键点，并基于检测的关键点确定体型参数。
在一些实施例中，所述基于所述深度图像确定所述参考对象的体型参数，包括：
确定所述参考对象在所述深度图像中的关键点，
确定所述深度图像对应的点云图；
确定所述关键点在所述点云图中的映射位置，并基于所述映射位置确定所述参考对象的体型参数。
这里，深度图像可具备RGB信息和深度信息，电子设备基于深度图像中的RGB信息确定关键点。其中，关键点可为基于RGB图像标注。本申请实施例中，关键点可包括位于至少两个方向的至少四个关键点，其中，一个方向可包括至少两个关键点。
电子设备基于深度图像中的深度信息生成点云图，点云图是一种三维空间中的图像，点云图的每一个点都是三维坐标(x，y，z)。电子设备在获得深度图像xi,depth后，可以通过相机内参和深度图像的值，通过反投影公式得到RGB图像对应的三维点云图，反投影示意图参考图9中的902，对象经过摄像头9021的投影后，投影至空间9022。反投影公式如上述公式(2)所示。
电子设备获得点云图和关键点之后，根据关键点的像素值将关键点映射至点云图上，然后就能得到关键点对应的三维点P1(X1,Y1,Z1)...P7(X7,Y7,Z7)，然后通过欧式距离计算体长体宽(体长对应的关键点是P1至P5，体宽对应的点是P6和P7，其中，体长的距离值l体长如公式(3)所示：
Figure BDA0003404413050000091
在一些实施例中，根据所述至少一个参考对象中各参考对象的以下参数确定完整损失：预测关键点、预测体型参数、预测姿态、第一预测重量、第二预测重量和关键点信息、体型参数、参考重量和姿态，包括：
基于所述预测关键点和所述关键点信息，确定第一损失；
基于所述预测体型参数和所述体型参数，确定第二损失；
基于所述预测姿态和所述姿态，确定第三损失；
基于所述第一预测重量、第二预测重量和所述参考重量，确定第四损失；
至少基于所述第一损失、所述第二损失、所述第三损失和所述第四损失确定所述完整损失。
电子设备基于所述预测关键点、所述预测体型参数、所述预测姿态、所述第一预测重量、所述第二预测重量和所述参考对象的关键点信息、体型参数、参考重量和姿态确定完整损失，并基于确定的完整损失对重量预测网络的参数进行更新。
在一示例中，完整损失loss的计算公式如公式(4)所示：
loss＝loss_keypoint+loss_pose+loss_len+loss_cycle公式(4)。
其中，完整损失loss包括的各分量如下所示：
第一损失，即基于关键点损失函数确定的关键点损失loss_keypoint，关键点预测定义为回归问题，关键点损失函数如公式(5)所示：
Figure BDA0003404413050000092
其中，ppred1至ppred7为预测的关键点，预测的关键点中各关键点的坐标为：(xpred1,ypred1)…(xpred7,ypred7)。pgt1至pgt7为预测的关键点，预测的关键点中各关键点的坐标为：(xgt1,ygt1)…(xgt7,ygt7)。
第三损失，即基于姿态损失函数确定的姿态损失loss_pose，姿态预测定义为分类问题。猪只姿态损失函数如公式(6)所示：
Figure BDA0003404413050000093
其中，ypose_pred为预测的姿态，ypose_gt为真实的姿态。
第二损失，即基于体长体宽损失函数确定的体长体宽损失loss_len，体长体宽预测定义为回归问题。体长体宽损失函数如公式(7)所示：
Figure BDA0003404413050000094
其中，ylen_pred为预测的体长，ylen_gt为真实的体长。
第四损失，即基于一致性循环损失函数确定的一致性损失loss_cycle，重量预测定义为回归问题。一致性循环损失函数如公式(8)所示：
Figure BDA0003404413050000095
其中，yw_pred1为第一预测重量，yw_pred2为第二预测重量，yw_gt为参考重量。
在一些实施例中，完整损失如公式(9)所示：
loss＝loss_class+loss_keypoint+loss_pose+loss_len+loss_cycle公式(9)；
公式(9)为在公式(4)的基础上增加了重定位损失loss_class，其中，重定位损失可如公式(10)所示：
Figure BDA0003404413050000101
其中，yclass_pred为预测的猪只类别，yclass_gt为真实的猪只类别。
本申请实施例中，对重量预测网络的完整损失的计算方式不进行任何限定。
下面，以检测对象为猪只为例，对本申请实施例提供的重量测量方法进行进一步说明。
在猪只称重领域，称重的方案包括两条技术路线：1)传统设备测重方案；2)智能设备测重方案。
传统设备测重方案需要依赖体重秤等大型测重设备完成，从流程上分析大致分为两种方式。
方式1，逐只测量。由专业工人驱赶猪只至体重秤处，然后由体重秤对猪只进行称重。在此过程中工人需限制猪只运动并安抚猪只情绪，以免其运动对重量测量结果造成较大误差。最后将整栏中所有猪只体重相加得到整栏猪只体重。
方案2，整栏测量。在猪场建设的时候，直接将大型体重秤安装至猪栏下方，按照一定频率对整栏猪只体重进行同一测量后取平均值作为整栏猪只体重结果。
智能称重方案依赖传感器和智能算法。其分为数据采集、训练和推理三部分。
数据采集的目的是收集训练数据，收集的训练数据包括传感器数据(例如：摄像头拍摄的图像)以及真实值数据(即猪只体重，部分方法会同时采集体长、体宽等多维度数据)。此步骤通常由经过专业训练的工人在现场实地采集测量，且需要猪只配合(特别是体长、体宽等需要接触式测量得到的数据)。
训练是将采集到的传感器数据作为输入，真实值数据作为标签，训练深度神经网络模型。运用深度神经网络强大的数据拟合能力，建立输入与标签之间的非线性映射关系。
推理是使用训练阶段的深度神经网络模型，将待预测的传感器数据输入其中，直接得到整栏猪只的体重结果。
传统设备测重方案依赖于测重设备、工人专业技术以及猪只的配合度，基于这些前置条件存在以下问题：1、猪只应激反应和工作人员水平不足导致测量误差；2、测重设备损耗带来测量误差；3、猪场瘟疫问题。
智能设备测重方案依赖于传感器和智能算法方案，其中，智能算法的选择十分重要，因为其决定了数据采集、模型设计与训练以及模型推理三个步骤的具体实施方式。智能算法为基于2D图像的数据拟合。
基于2D图像的数据拟合为通过传感器(例如：摄像头)获取数据，然后直接运用神经网络的拟合能力对传感器数据和真实值数据进行拟合，从而实现对整栏猪只的体重估计。
由于目前神经网络为代表的人工智能技术以及该技术在农业细分领域的应用仍在研究阶段，目前已有的智能设备测重方案存在以下技术点问题：
1、数据维度过于单一导致模型无法学习到真实反映体重的特征。
真实值数据值只单独采集了猪只体重，而没有采集猪只的其他维度真实值(例如：体长体宽、猪只姿态)，而后直接建立猪只图像与体重之间的数据关联，因此，这种数据关联缺乏足够的先验知识和可解释性，也就是说，单纯建立猪只图像与体重之间的映射关系这种方法过于粗暴直接，深度神经网络很可能是过拟合，并没有学习到真实能反映猪只体重的特征。
2、未考虑图像畸变以及猪只离摄像头远近距离对图像数据和体重预测的影响。
相关技术中，直接建立猪只图像与猪只体重之间的数据关联。但是未很好的考虑图像畸变以及猪只离摄像头远近距离(虽然猪只的参数特征-例如体长体宽不变，但是在图像中央和图像边缘的话，其体长体宽等猪只参数特征反应在图像上是不一样的)对图像数据和体重预测所造成的影响。
3、未考虑猪只图像与真实数据的对应或依赖耳标等外部设备进行图像与真实数据进行对应。
相关技术中，直接建立猪只图像与猪只体重之间的数据关联。但是未很好的考虑图像畸变以及猪只离摄像头远近距离(虽然猪只的参数特征-例如体长体宽不变，但是在图像中央和图像边缘的话，其体长体宽等猪只参数特征反应在图像上是不一样的)对图像数据和体重预测所造成的影响。
本申请实施例提供的重量测量方法，应用于基于神经网络的无接触式智能化猪只整栏估重系统，该系统包括数据采集系统与猪只整栏估重预测系统两个子系统，以实现高精度的无接触式猪只整栏估重功能，从而为猪场实现更加精准的资产盘点和更强的疫病防控能力。
本申请实施例提供的重量测量方法，涉及以下几方面：
一方面，本申请实施例提供的数据采集系统，运用计算机图形技术和计算机视觉技术，可以在尽可能减少人工干预和猪场正常生产情况下，采集猪只图像、背长等数据。
一方面，重量测量网络(对于对象为猪只，可称为猪只整栏估重预测系统)以深度学习技术为核心，在考虑图像畸变和猪只姿态的情况下运用关键点回归技术计算猪只的体长，然后建立猪只体长与猪只体重之间的数据关联，通过每头猪体长推理得到其对应的体重，然后将猪栏中所有猪只体重相加即可得到整栏猪只体重。其中，根据生猪养殖专业知识和专家模型可知，猪只体长可以很好的反应出猪只的体重值。
本申请实施例提供的重量测量方法，如图6所示，包括：数据采集流程601、模型训练流程602、预测推理流程603。其中，数据采集流程601基于数据采集系统实现，模型训练流程602和预测推理流程603基于猪只整栏估重预测系统即重量测量网络实现。
数据采集系统
为了不影响正常的猪场生产养殖流程、不让猪只产生应激反、获取高质量的猪只数据并尽可能减少人工参与，本申请提案提出了图7所示的数据采集系统，该数据采集系统目的是为模型训练和推理两个阶段提供数据。
数据采集系统在不同的流程中采集的数据不同。针对模型训练流程601，采集的数据包括：1)猪只的RGB图像，用于后续的猪只重识别；2)猪只的深度图像，用于猪只体长体宽真实值计算；3)猪只真实体重，采用地秤测量；4)猪圈内不同姿态下猪只图像，由猪圈内采用广角镜头的鱼眼摄像头获取，用于猪只重识别和体重估计训练。针对预测推理流程，采集的数据包括：1)猪圈内不同姿态下猪只图像，由猪圈内鱼眼摄像头获取，用于推理得到整栏猪只体重。
如图7所示，数据采集系统分为两部分：走道数据采集系统701和猪圈数据采集系统702。
走道数据采集系701，是将原始的猪舍中猪栏旁的猪只走道(对应第二检测区域)进行数字化改造，用于采集训练所需真实值数据。
走道采集系统，采集训练阶段所需要的三种数据：
数据一、猪只RGB图像xid，由RGBD相机获取，用于猪只重识别，建立猪只图像与猪只体重体长数据一一对应关系；
数据二、猪只深度图像xdepth，由RGBD相机获取，用于猪只体长体宽真实值计算；
数据三、猪只真实的体重yw_gt，由体重秤获得。
如图7所示，走道数据采集系统701包括：
a.转栏走道7011，用于正常生产过程中猪只进出猪栏并提供各类设备的安装空间；
b.地秤7012，用于测量猪只的真实体重；
c.可开关挡板7013，当猪只测量体重时，关闭挡板防止猪只移动造成重量测量偏差；测量结束后打开挡板让猪只进栏；
d.走道导轨吊架7014，安装于转栏走道7011正上方的导轨，用于架设RGBD摄像头7015；
e.RGBD摄像头7015，每个猪圈7016处对应着装一个，用于采集猪只RGB图像信息和深度图信息。
走道采集系统701采集数据的流程如图6中数据采集流程601中的走道数据采集6011所示，包括：
S6111、猪只进入转栏走道。
当工人将猪只驱赶进转栏走道中，猪只在生长过程中需要多次进行转栏，例如：幼年期到育肥期或者是新猪进栏。走道采集系统701是在正常养殖转栏过程中自动采集数据，不会影响生猪养殖，也不需要额外的为了数据采集而进行转栏操作。这就节省了人力，并且将数据采集对猪只养殖的影响降低到了最小。
S6112、猪只测重得到yw_gt。
当猪只到达地秤7012位置后，关闭前后挡板7013，防止猪只因移动造成测量误差，然后读取体重秤值，作为该猪只的真实体重值yw_gt其中，对于第i只猪只，真实体重值可标记为yi,w_gt。
S6113、测量猪只走道RGBD图像。
当猪只测重时，使用标定好的RGBD摄像头对猪只采集对应的RGBD数据信息，RGBD数据信息包括RGB图像xi,id和深度图像xi,depth。其中，RGB图像信息xi,id用于猪只重识别，深度图像xi,depth用于计算猪只的体长真实值ylen_gt；其中，第i只猪只的体长真实值为yi,len_gt。
猪只进栏，采集完成数据后，打开前后挡板，让猪只自行进入需要进入的猪圈中。
S6114、关键点打标。
采集完成数据后，需要对数据进行标注，第一步就是对关键点进行打标，根据RGB图像标注猪只背部的关键点，其中，如图8所示，体长相关的关键点有五个：801、802、803、804、805，体宽相关的关键点有两个：806、807，总共七个关键点。
S6115、获得点云图。
点云图是一种三维空间中的图像，点云图的每一个点都是三维坐标(x，y，z)。在获得深度图像xi,depth后，可以通过相机内参和深度图像的值，通过反投影公式得到RGB图像对应的三维点云图，反投影示意图参考图9中的902。反投影公式如公式(2)所示：
X＝(u*Z-cx*Z)/fx
X＝(v*Z-cy*Z)/fy 公式(2)；
Z＝Z
其中，
Figure BDA0003404413050000121
K为相机内参，可以通过对相机标定得到，很多相机说明书中也会自带此类参数值，fx、fy分别为x轴和y轴上的相机焦距，cx、cy分别为x轴和y轴上的相机光圈中心偏离值。u、v分别为图像在像素平面的坐标，X、Y、Z则分别为对应的像素点在三维空间中的坐标，其中，Z的值直接取对应像素点的深度图值，对于图9中的901中摄像头9011采集的位于挡板9012中的猪只9013的图像，最后生成的点云图如图9中的903所示，其中，901中的点9015和点9016之间的长度9014为猪只9013的背长即体长，点9015和点9016分别映射为点云图903的点9031和点9032，其中，点9031的坐标为(x1，y1，z1)，点9032的坐标为(x2，y2，z2)。
S6116、获得猪只体长。
获得点云图和关键点之后，根据关键点的像素值将关键点映射至点云图上，然后就能得到关键点对应的三维点P1(X1,Y1,Z1)...P7(X7,Y7,Z7)，然后通过欧式距离计算体长体宽(体长对应的关键点是P1至P5，体宽对应的点是P6和P7，其中，体长l体长即ylen_gt如公式(3)所示：
Figure BDA0003404413050000122
猪圈数据采集系统702即猪栏数据采集系统，将饲养猪只的猪栏区域(对应第一检测区域)进行数字化改造，以便在完全无人工参与的情况下采集训练数据和推理数据。
猪圈数据采集系统702采集模型训练流程和预测推理流程所需要的数据：猪栏区域内不同姿态下猪只图像，由鱼眼摄像头获取。
如图7所示，猪圈数据采集系统702包括以下设备与组件：
a、猪圈导轨吊架7021，安装于猪圈7016正上方的导轨，用于架设RGB鱼眼摄像头7022；
b、RGB鱼眼摄像头7022，每个猪圈7016内安装一个，用于采集整个栏位7016中所有猪只的RGB图像信息。
猪圈数据采集系统702采集数据的流程如图6中数据采集流程601中的猪栏数据采集6012，猪栏数据采集6012，包括：
S6121、获取栏位RGB图像。
猪圈数据采集系统702运用猪栏上安装的RGB鱼眼摄像头，按照固定频率采集猪只图像数据xin，并保存在云端数据库，以备打标和训练。
S6122、目标检测打标。
对于用于模型训练流程的猪只图像数据xin，进行目标检测打标，使用矩形框标注猪只位置。
S6123、关键点打标。
针对用于模型训练流程的猪只图像数据xin，对其中每一只猪进行关键点打标，得到关键点信息ykey_gt。
猪只整栏估重预测系统
本申请实施例提供的重量测量方法，在考虑图像畸变、猪只姿态等信息的前提下，以深度学习模型为基础，运用目标检测、关键点回归以及一致性损失等方法，创造性的提出一种高精度无接触的猪只整栏估重预测系统。
本申请实施例中，在先通过模型训练流程602对猪只整栏估重预测系统进行训练，并基于训练得到的收敛的猪只整栏估重预测系统执行预测推理流程603。其中，猪只整栏估重预测系统即重量测量网络的结构如图10所示，包括：
目标检测网络1001、重量预测网络1002，其中，目标检测网络1001用于定位图像1003中每头猪的位置，并对对应像素块进行特征提取，得到每只猪只对应的特征块；重量预测网络1002则是依据目标检测网络1001所提供的每头猪的特征块，在考虑图像畸变、物体远近距离、猪只姿态的情况下预测每头猪只的体重，进而得到整栏猪只的体重。如图10所示，重量预测网络1002包括有：
重定位模块1021，实施重定位网络，用于建立猪只图像与真实值之间一一对应关系。
特征提取模块1022，实施特征提取网络，用于提取估重共享特征。估重共享特征包括关键点特征、姿态特征和图像畸变特征。
特征重量预测模块1023，用于实施特征重量预测网络即第一预测网络，提取特征直接用于体重预估，得到猪只体重预测值1yw_pred1。
关键点重量预测模块1024，用于实施关键点重量预测网络即第二预测网络，结合关键点坐标，并使用畸变、姿态进行修正，通过预测猪只体长预测猪只体重，得到猪只体重预测值2yw_pred2。
猪只整栏估重预测系统的训练流程，如图6中的模型训练流程602所示，将图像xin6200输入至目标检测网络6201，目标检测网络输出各对象对应的特征图，将各特征图分别输入至猪只重定位网络6202、特征提取网络6203，猪只重定位网络6202基于输入的特征图，确定包括所有猪只的体长的第一集合6204中各特征图对应的体长6205，并确定包括所有猪只的体重的第二集合6206中各特征图对应的体重6207。特征提取网络6203提取特征图的关键点特征、姿态特征和图像畸变特征，并将提取的关键点特征、姿态特征和图像畸变特征分别输入至关键点重量网络6208和特征重量预测网络6209，关键点重量网络6208输出体重预测值6210即猪只体重预测值2yw_pred2，特征重量预测网络6209输出体重预测值6211即猪只体重预测值1yw_pred1。此时，可基于各特征图对应的体长6205、各特征图对应的体重6207、体重预测值6210、体重预测值6211计算对模型训练流程中涉及的各网络或模块进行训练，得到收敛的目标检测网络6021即目标检测网络6301、收敛的特征提取模块6023即特征提取网络6302、收敛的关键点重量网络6208即关键点重量网络6303、收敛的特征重量预测网络6209即特征重量预测网络6304。
猪只整栏估重预测系统的重量预测流程，如图6中预测推理流程603所示，包括：将图像xin6300输入至目标检测网络6301，得到图像xin6300中各猪只的特征图，将各猪只的特征图输入至特征提取网络6302，特征提取网络6302提取特征图的关键点特征、姿态特征和图像畸变特征，并将提取的关键点特征、姿态特征和图像畸变特征分别输入至关键点重量网络62303和特征重量预测网络6304，关键点重量网络6208输出体重预测值和特征重量预测网络输出体重预测值的平均值为各猪只的体重预测值6305，将各猪只的体重预测值6305相加，得到图像数据xin6300中各猪只的总体中6306。
如图10所示，基于重量预测系统进行体重预测的过程包括：
采集第一检测区域的图像，得到输入图像1003。其中，第一检测区域中容纳有六只猪只，且部署有采集设备，采集设备能够采集第一检测区域的图像1003，其中，采集的图像的图像内容包括六只猪只。且重量预测网络输出六只猪只中每只猪只的体重：35kg、30kg、40kg、28kg、10kg、50kg，从而得到第一检测区域的六只猪只的体重结果即整栏猪只的体重：193kg。
目标检测网络1001
目标检测网络1001用于定位猪只位置，并提取猪只所对应的图像像素特征块，在本申请实施例中，该目标检测网络1001采用目前成熟的Faster-RCNN网络为基础，如图10所示，目标检测网络1001包括：目标检测骨干模块1011、候选区域推荐模块1012和ROI池化模块1013，目标检测骨干模块1011用于目标检测，候选区域推荐模块1012用于确定各对象对应的特征图，ROI池化模块1013用于对候选区域推荐模块1012进行尺寸调整。如图10所示，目标检测骨干模块1011还嵌入注意力模块1014。
注意力模块1014可以使用积压刺激(Squeeze-and-Excitation，SE)、通道注意模块(Channel Attention Module，CAM)以及卷积块注意模块(Convolutional BlockAttention Module，CBAM)等现有注意力模块方法，其根本目的是对骨干网络中某一层传入的特征再进行一次非线性变换提取特征，同是使用分类函数如(softmax()激活函数)将提取的特征归一化到0至1之间作为注意力的权重，其中0代表不注意，1代表极度注意，该注意力可以同时加载特征图的空间维度和通道维度上，通过这样的方式骨干网络就能关注到很多更加细微的细节特征，从而使得网络对于猪只聚集所导致的遮挡和不完整的情况更加鲁棒。
图11是注意力机制在猪只中的可视化示意结果。图11所示的场景中的猪只都是黑猪，加入注意力模块1014的注意力机制后，目标检测骨干模块在提取特征时就会着重关注白色区域所覆盖的猪只图像对应的信息，这里，模型的关注区域不是图像中无意义的区域，而是图中所标示的白色有猪只区域。加入注意力机制后，模型的关注区域不是图像1101中无意义的区域，而是图像1101中所标示的白色有猪只区域1102。通过这样的方式模型更加能够抓住关键物体所在区域，减少体征提取中的冗余信息。
在该目标检测网络1001的最后有一个ROI池化1013，其目的是将候选区域推荐1012得到的不同大小的特征图进行修正，确保经过ROI池化后输出的猪只特征块都是统一尺寸和大小，这里，ROI池化1013输出的特征图称为特征块。如图12所示，原始特征图1200中包括不同大小的猪只特征图：特征图1201、特征图1202和特征图1203，每个特征图经过ROI池化后会输出统一大小的特征块：对应特征图1201的特征块1204、对应特征图1202的特征块1205、以及对应特征图1203的特征块1206。
如图6所示，将栏位RGB图像输入目标检测网络，目标检测网络识别栏位RGB图像中各猪只对应的特征块。
如图10所示，目标检测网络对输入的栏位RGB图像的处理包括：使用嵌入注意力模块1014的目标检测骨干模块1011对栏位RGB图像进行特征提取，将目标检测骨干网络1011提取的特征输入候选区域推荐模块1012，提取得到各猪只对应的猪只特征图；候选区域推荐模块1012输出的猪只特征图和目标检测骨干网络1011提取的特征同时输入ROI池化模块1013，ROI池化模块1013输出统一尺寸的猪只特征块，将候选区域推荐模块1012输出的猪只特征图映射回输入的栏位RGB图像，获取得到每个猪只特征图的中心点坐标，以备后续使用。
下面，对重量预测网络进行介绍。
如图13所示，重量预测网络的输入数据包括：1)ROI池化模块输出的特征块；2)候选区域推荐模块输出的特征位置。特征块是指的进目标检测网络ROI池化模块后输出的尺寸大小一致的猪只特征块(特征块是一个NxM的矩阵)，原始的RGB图像中有多少头猪只，则这里就有多少个特征块(特征块与图像中猪只一一对应)；特征位置是指目标检测网络中经候选区域推荐生成的包含猪只的猪只特征图的中心点在原始RGB图像上的坐标(x，y)，因为此时特征图未经过ROI池化统一尺度，因此可以根据网络结构和特征图尺寸倒推出猪只的中心点在原始RGB图像上的位置。
重量预测网络中各个部分的流程描述如下：
重定位网络1021，其目的是建立猪栏内猪只图像与数据库中真实猪只数据之间的一一映射关系。其网络结构由特征提取和输出两个子模块构成，特征提取模块由3个卷积单元构成(卷积单元包括：卷积网络、relu激活函数以及批量归一化BN模块)，输出模块由全连接网络构成该层网络维度取决于猪只头数，如果有1000头猪只则输出维度为1000。
重定位网络1021的流程是，将特征块输入重定位网络1021，重定位网络1021会对输入猪只进行分类(分类采用输出层的结果，1000头猪则进行1000分类)，即判定属于几号猪只，分类完成后会使用此过程中生成的特征实现对猪只的重定位(使用的特征是指特征提取中的最后一个卷积单元输出的特征，其原始维度为n*m维度，为了方便重定位检索会在使用时进行维度转换变为1x(nxm)维度)。
重定位公式如公式(11)所示：
Figure BDA0003404413050000141
其中，featpig为猪栏内某头猪猪只图像特征，featdataset为数据集中猪只的特征，为了知道当前猪只对应数据库中的哪一头，我们将featpig与数据库中所有猪只特征featdataset,0至featdataset,i之间的距离，数据库中哪一头猪只的特征与featpig的距离最小，则猪只图像就对应数据库中该头猪只的数据信息。
如图13所示，特征提取模块1022包含关键点预测网络1221、姿态预测网络1222、位置信息处理模块1223和特征融合网络1224。
关键点预测网络1221，其目的是提取出关键点特征并预测出每头猪体长和体宽关键点坐标(5个体长关键点，2个体宽关键点)。其网络结构由特征提取和输出两个子模块构成，特征提取模块由3个卷积单元构成(卷积单元结构同上)，输出模块由全连接网络构成该层网络维度为14(7个关键点，每个关键点有xy两维)。
关键点预测网络1221的流程为，将特征块输入关键点预测网络1221的特征提取子模块，得到关键点特征，关键点特征会进一步输入进输出子模块进行预测得到预测的关键点ykey_pred(14个维度)，该预测值会与关键点真实值ykey_gt进行监督损失计算(回归损失)，用来提取关键点信息。同时该关键点特征会输入进后面网络与猪只姿态特征进行合并和融合。
姿态预测网络1222，其目的是提取出猪只姿态特征并预测出每头猪当前姿态。其网络结构由特征提取和输出两个子模块构成，特征提取模块由3个卷积单元构成(卷积单元结构同上)，输出模块由全连接网络构成该层网络维度为8(根据养殖专业知识，定义8种常见猪只姿态：躺、立、左侧头、右侧头、低头、侧面低头、抬头、背对)。
姿态预测网络1222的流程为，将特征块输入姿态预测网络1222特征提取子模块，输出猪只姿态特征，猪只姿态特征进一步输入输出子模块得到预测的姿态ypose_pred，该预测值也会与姿态真实值ypose_gt进行监督损失计算(交叉熵)。同时猪只姿态特征也会传入后续网络与关键点特征进行融合。之所以考虑猪只体态，是因为猪只不同的体态会直接影响猪只在图像中的形象，进而影响猪只体长和体重测预估，因此需要将其作为一个变量进行引入。
特征融合模块1223是一个全连接网络，其目的为将输入特征进一步进行非线性变化使其中信息更好的融合。其网络结构只包含3个全连接单元(一个全连接单元包括：一个全连接层，一个relu激活层，一个批处理BN层)。
特征融合模块1223流程为，将关键点特征和猪只姿态特征拼接后，直接传入特征融合模块1223，在特征融合模块1223中对输入的不同信息进行非线性变换融合然后输出1x256维度的融合后特征。
拼接说明：特征拼接是指将特征A(维度：1x256)和特征B(维度：1x512)拼接得到特征C(维度：1x768)。
位置信息处理模块1224，为全连接网络，其目的为通过输入的特征位置提取每个特征块所对应的图像位置信息，从而将图像畸变信息与猪只与摄像机距离信息纳入考量。其具体结构是由5个全连接单元组成(全连接单元结构同上)，因为输入的是特征中心在图像上的位置信息，因此第一个全连接单元中的全连接层维度为二(对应位置信息坐标(x，y))。
位置信息处理模块1224的流程为，该位置信息处理模块1224以目标检测网络中候选区域推荐生成的特征图中心点为输入数据，将该数据进行特征抽取后，得到图像畸变特征。图像畸变特征包含了图像畸变所包含的信息同时也包含了物体离摄像机距离所导致的距离误差信息。该特征会与其他特征融合后送入后续网络中。
特征重量预测模块1023，用于实施特征重量预测网络，如图13所示，包括特征融合模块1231和测重回归网络1232，其目的在无人工先验干预的情况下，单纯利用神经网络的拟合能力提取猪只重量特征，实现猪只测重。特征重量预测模块1023中的特征融合网络1231的结构同特征融合模块1223的框架结构；测重回归网络1232为全连接网络，由5个全连接单元(全连接单元结构同上)构成，其中最后一个全连接单元维度为一，因为体重为单一值。
特征重量预测模块1023的流程为将特征提取模块1022提取的融合后的特征(包括以下特征信息：关键点特征、猪只姿态特征)和图像畸变特征输入进特征融合模块1231，促进以上特征信息的融合，而后再将结果传入回归测重网络1232。融合的特征在测重回归网络1232中进行体重特征提取和体重预测，从而得到猪只测重值预测1yw_pred1。
关键点重量预测模块1024，用于实施关键点重量预测网络，如图13所示，包括特征融合模块1241、体长体宽预测模块1242以及测重回归网络1243。其目是显式的提取出猪只体长体宽特征，利用体长体宽计算得到猪只体重，包含以下内容：
1)解耦猪只姿态特征和图像畸变特征，通过解耦得到的超参数λ来修正特征提取模块1023中关键点预测网络1221得到的关键点(猪只姿态、图像畸变以及猪只与摄像机的距离等干扰会让关键点预测存在偏移问题)；
2)通过修正后的关键点计算精准的猪只体长体宽；
3)根据体长体宽利用测重回归网络1243预测得到猪只体重结果。
特征融合网络1241的框架结构同特征融合网络1231的网络架构，区别在于其最后一个全连接单元维度为7，分别代表超参数λ1至λ7，超参数λ1至λ7对应修正7个猪只体长体宽关键点坐标值。
测重回归网络1243结构框架同测重回归网络1232，他们都是利用输入数据进行特种特征的提取和体重预测从而得到猪只测重预测值，但不同点在于，测重回归网络1243的第一层全连接单元的全连接层维度为2(对应猪只体长体宽二维数据)，而测重回归网络1232的第一层全连接层维度与其输入的融合后特征维度一致(比如：512维)。
关键点重量预测模块1024将融合了猪只姿态特征和图像畸变特征的一个综合特征(该特征不包含关键点信息)输入特征融合模块1241，得到七个关键点对应的修正超参数λ1至λ7，将这些超参数与特征提取模块1022中关键点预测网络输出的预测关键点结合能够得到修正后的猪只体长和体宽数据这里，以体长计算为例，修正后的体长l′体长的计算入公式(1)所示：
Figure BDA0003404413050000151
/>
得到修正后的特长体宽预测值ylen_pred后将其与体长体宽真实值ylen_gt做损失函数计算。修正后的体长体宽预测值ylen_pred将传入测重回归网络1253进行体重预测，得到体重预测结果2yw_pred2。
对于一个猪只，可如图10所示，将预测的yw_pred1和yw_pred2求解平均值，得到该猪只的预测重量。
本申请实施例中，图13所示，重量预测网络还包括损失函数模块1025，其中，在进行重量预测过程中，不需要涉及损失函数模块1025，在重量预测网络的训练过程中，需涉及损失函数模块1025。
损失函数模块1025，构建测重回归网络1023输出的猪只体重即预测值1、测重回归网络1024输出的猪只体重即预测值2和真实的猪只体重之间的一致性关系，计算损失值，用于更新网络参数。
损失函数模块1025用于确定猪只体重预估的损失函数，不包括关键点估计、猪只姿态估计以及体长体宽预测的损失函数。为了提升最后预测的精准度，在本申请实施例中，提出一种一致性循环损失的损失函数结构，其示意图如图14所示，一致性循环损失的目的是，通过是的猪只体重yw_gt即真实值、猪只体重yw_pred1即基于特征确定的预测值1以及猪只体重yw_pred2即基于关键点确定的预测值2三者之间两两相互的回归损失的计算，以三者之间两两互相相等且两两之差和最小的方式，加强监督信息对于整个网络的信息约束，从而使得网络能够学习到更好的特征信息，三者之间互相相等是运用的回归损失实现的，其中，如图14所示，猪只体重yw_gt和猪只体重yw_pred1之间的回归损失为第一回归损失。猪只体重yw_gt和猪只体重yw_pred2之间的回归损失为第二回归损失，猪只体重yw_pred1和猪只体重yw_pred2之间的回归损失为第三回归损失。除此以外在一致性循环约束中包含了预测值1yw_pred1和预测值2yw_pred2，因此通过该损失计算方式，也进一步间接的使用和修正特征结果和关键点结果。整个一致性循环损失的损失函数数学表达式请参考损失函数部分。
重量预测网络1002的损失函数公式包括：
a、重定位损失函数
重定位定义为回归问题，用于特征提取。重定位损失函数如公式(10)所示：
Figure BDA0003404413050000161
其中，yclass_pred为预测的猪只类别，yclass_gt为真实的猪只类别。
b、关键点损失函数
关键点预测定义为回归问题，关键点损失函数如公式(5)所示：
Figure BDA0003404413050000162
其中，ppred1至ppred7为预测的关键点，预测的关键点中各关键点的坐标为：(xpred1,ypred1)…(xpred7,ypred7)。pgt1至pgt7为预测的关键点，预测的关键点中各关键点的坐标为：(xgt1,ygt1)…(xgt7,ygt7)。
c、猪只姿态损失函数
猪只姿态预测定义为分类问题。猪只姿态损失函数如公式(6)所示：
Figure BDA0003404413050000163
其中，ypose_pred为预测的猪只姿态，ypose_gt为真实的猪只姿态。
d、体长体宽损失函数
体长体宽预测定义为回归问题。体长体宽损失函数如公式(7)所示：
Figure BDA0003404413050000164
其中，ylen_pred为预测的猪只体长体宽，ylen_gt为真实的猪只体长体宽。
e、一致性循环损失函数
体重预测定义为回归问题。一致性循环损失函数如公式(8)所示：
Figure BDA0003404413050000165
其中，yw_pred1为测重回归网络1023的预测值，yw_pred2为测重回归网络1024的预测值，yw_gt为真实体重值。
f、完整损失函数集合
完整损失函数如公式(9)所示：
loss＝loss_class+loss_keypoint+loss_pose+loss_len+loss_cycle公式(9)。
依据深度学习的梯度下降计算方式，我们的训练目的为使得loss值最小，即min(loss)。
重量预测网络训练
整个网络训练分为两个阶段：阶段1、目标检测网络训练；阶段2、整体网络训练。
阶段1、目标检测网络训练
目标检测网络训练使用猪栏数据采集系统中的数据进行训练，包括栏位内猪只RGB图像xin以及目标检测打标数据ydetect。
在训练过程中，采用随机梯度下降算法(stochastic gradient descent，SGD)进行优化，初始学习率为0.001，学习率下降方式采用线性下降，批量化尺寸(batch size)选取为64，迭代80个时期(epoch)直至收敛。将训练好的模型保存到本地命名为modelpre-detect。
阶段2、整体网络训练
整体网络训练使用走道数据采集系统中的猪只体重数据yw_gt，关键点数据ykey_gt，体长体宽数据ylen_gt等，此轮训练会在之前训练好的目标检测模型modelpre-detect基础上微调目标检测网络并对估重网络进行训练。
在训练中，同目标检测网络，采用随机SGD进行优化，初始学习率为0.0001，学习率下降方式采用线性下降，批量化尺寸选取为32，迭代100个epoch直至收敛。将训练好的模型保存到本地命名为modelweight。
重量预测网络预测推理
重量预测网络预测推理流程如图6所示，将训练好的模型modelweight加载进网络模型中，然后按照流程将输入的栏位RGB图像xin送入目标检测网络fdetec后检测得到该栏位中所有猪只的特征图。
然后将每头猪的特征图分别送入特征提取模块得到公共特征并执行以下步骤：
1)、将公共特征送入特征重量预测模块得到特征预测的猪只重量yw_pred1；
2)、将公共特征送入关键点重量预测网络得到关键点预测的猪只重量yw_pred2；
3)、对yw_pred1和yw_pred2求取算数平均值求得该猪只所对应的体重。
重复上述步骤1)至3)直到所有猪只体重计算完毕。
将所有猪只体重相加，得到最后整栏猪只的体重。
此处所提到的公共特征包含有由以下特征信息通过图13的网络结构融合得到：特征信息1、传入特征重量预测模块的公共特征包括：猪只图像特征、关键点特征、猪只姿态特征、图像畸变特征；特征信息2、传入关键点重量预测模块的公共特征包括：猪只姿态特征、图像畸变特征。
预测结果分析
为验证本申请实施例提供的估重系统的可靠性，使用在合作猪场采集的1000张图像数据进行测试(对应20个不同猪栏且同栏位中猪只数量变化由5-20按5叠加，且为了加大实验难度猪只选用仔猪进行测试)，测试结果的精度如表1所示。
表1、不同重量测量方法的精度比对
猪只数量 方法1 方法2 方法3
5 92.5％ 93.6％ 98.8％
10 92.3％ 93.7％ 97.4％
15 91.4％ 93.2％ 97.3％
20 90.9％ 92.8％ 96.5％
上述表1中，方法1为特征重量预测方法，方法2为关键点重量预测方法，方法3为本申请实施例提供的重量评估方法，测试结果中精度计算方法采用公式(12)：
精度百分比＝预测猪只总重量/实际猪只总重量*100公式(12)；
由表1可以发现，所有方法随着栏位中猪只数量的增加经预测精准度都有所下降，同时犯法1表现略逊于方法2，方法3明显优于方法1或方法2的单独使用的任一方法。
本申请实施例提供一种重量测量装置1500，如图15所示，重量测量装置1500包括：
检测模块1501，用于对目标图像进行目标检测，得到至少一个特征图，所述目标图像的图像内容中包括位于第一检测区域的至少一个对象，不同的特征图对应不同的对象；
预测模块1502，用于对于所述至少一个特征图中的各特征图，确定所述特征图的关键点特征、姿态特征和图像畸变特征，基于所述关键点特征、所述姿态特征和所述图像畸变特征确定所述特征图对应的对象的预测重量。
确定模块1503，用于基于所述至少一个特征图中各特征图对应的预测重量，确定所述第一检测区域中对象的总重量。
在一些实施例中，预测模块1502，还用于：
通过目标检测网络对所述目标图像进行检测，得到所述至少一个特征图；
对于所述至少一个特征图中的各特征图，利用所述重量预测网络，确定所述特征图的关键点特征、姿态特征和图像畸变特征，并基于所述关键点特征、所述姿态特征和所述图像畸变特征确定所述特征图对应的对象的预测重量。
在一些实施例中，预测模块1502，还用于：
利用所述第一预测网络，对所述关键点特征、所述姿态特征和所述图像畸变特征进行融合，得到第一融合特征，并基于所述第一融合特征确定第一重量；
利用所述第一预测网络，基于所述姿态特征和所述图像畸变特征，确定超参数，基于所述超参数对所述关键点特征表征的关键点进行修正，基于修正后的关键点确定所述对象的体型参数，并基于所述体型参数确定第二重量；
基于所述第一重量和所述第二重量确定所述预测重量。
在一些实施例中，预测模块1502，还用于：
将所述特征图输入所述重量预测网络中的关键点预测网络，得到所述关键点预测网络输出的关键点特征；
将所述特征图输入所述重量预测网络中的姿态预测网络，得到所述姿态网络输出的姿态特征；
基于所述特征图在所述目标图像中的位置，确定所述图像畸变特征。
在一些实施例中，装置1500还包括：训练模块，用于：
获取训练图像和所述训练图像对应的重量集合，所述训练图像的图像内容中包括位于所述第一检测区域的至少一个参考对象，所述重量集合中包括所述至少一个参考对象中每一所述参考对象的参考重量，所述参考重量为所述参考对象通过第二检测区域时由位于第二检测区域的称重设备测重得到，所述第二检测区域用于所述参考对象在不同的第一检测区域之间转移；
通过所述训练图像和第一标注数据对所述目标检测网络进行训练，得到收敛的目标检测网络；所述第一标注数据包括：所述至少一个参考对象中每一参考对象对应的位置；
在所述收敛的目标检测网络的基础上，通过所述训练图像和所述重量集合，对所述重量预测网络进行训练。
在一些实施例中，所述训练模块，还用于：
通过所述目标检测网络输出所述训练图像中各参考对象对应的训练特征图；
通过重定位网络，建立所述训练图像中各参考对象对应的训练特征图和所述重量集合中对应的参考重量之间的关联关系；
通过所述训练特征图和各参考对象对应的参考重量，对所述重量预测网络进行训练。
在一些实施例中，所述训练模块，还用于：
对于所述训练特征图输入所述重量预测网络，得到所述重量预测网络输出的至少一个参考对象中各参考对象的预测参数；所述预测参数包括：预测关键点、预测体型参数、预测姿态、第一预测重量、第二预测重量；
根据所述至少一个参考对象中各参考对象的以下参数确定完整损失：所述预测关键点、所述预测体型参数、所述预测姿态、所述第一预测重量、所述第二预测重量和关键点信息、体型参数、参考重量、姿态，并基于所述完整损失对所述重量预测网络的参数进行更新；
在所述重量预测网络未收敛的情况下，继续将所述训练图像输入参数更新后的所述重量预测网络，直到参数更新后的所述重量预测网络收敛。
在一些实施例中，装置1500还包括：获取模块，用于：
针对所述至少一个参考对象中的各参考对象，获取所述参考对象在所述第二检测区域的深度图像，并基于所述深度图像确定所述参考对象的体型参数。
在一些实施例中，所述获取模块，还用于：
确定所述参考对象在所述深度图像中的关键点，
确定所述深度图像对应的点云图；
确定所述关键点在所述点云图中的映射位置，并基于所述映射位置确定所述参考对象的体型参数。
在一些实施例中，所述训练模块，还用于：
基于所述预测关键点和所述关键点信息，确定第一损失；
基于所述预测体型参数和所述体型参数，确定第二损失；
基于所述预测姿态和所述姿态，确定第三损失；
基于所述第一预测重量、第二预测重量和所述参考重量，确定第四损失；
至少基于所述第一损失、所述第二损失、所述第三损失和所述第四损失确定所述损失。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的重量测量方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
对应地，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例中提供的重量测量方法中的步骤。
对应地，本申请实施例提供一种存储介质，也就是计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的重量测量方法。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，图16为本申请实施例电子设备的一种硬件实体示意图，如图16所示，所述电子设备1600包括：一个处理器1601、至少一个通信总线1602、用户接口1603、至少一个外部通信接口1604和存储器1605。其中，通信总线1602配置为实现这些组件之间的连接通信。其中，用户接口1603可以包括显示屏，外部通信接口1604可以包括标准的有线接口和无线接口。
存储器1605配置为存储由处理器1601可执行的指令和应用，还可以缓存待处理器1601以及电子设备中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一些实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种重量测量方法，其特征在于，所述方法包括：
对目标图像进行目标检测，得到至少一个特征图，所述目标图像的图像内容中包括位于第一检测区域的至少一个对象，不同的特征图对应不同的对象；
对于所述至少一个特征图中的各特征图，确定所述特征图的关键点特征、姿态特征和图像畸变特征，基于所述关键点特征、所述姿态特征和所述图像畸变特征确定所述特征图对应的对象的预测重量；
基于所述至少一个特征图中各特征图对应的预测重量，确定所述第一检测区域中对象的总重量。
2.根据权利要求1所述的方法，其特征在于，
通过目标检测网络对所述目标图像进行检测，得到所述至少一个特征图；
对于所述至少一个特征图中的各特征图，利用所述重量预测网络，确定所述特征图的关键点特征、姿态特征和图像畸变特征，并基于所述关键点特征、所述姿态特征和所述图像畸变特征确定所述特征图对应的对象的预测重量。
3.根据权利要求2所述的方法，其特征在于，所述重量预测网络包括：第一预测网络和第二预测网络，所述利用所述重量预测网络，基于所述关键点特征、所述姿态特征和所述图像畸变特征确定所述特征图对应的对象的预测重量，包括：
利用所述第一预测网络，对所述关键点特征、所述姿态特征和所述图像畸变特征进行融合，得到第一融合特征，并基于所述第一融合特征确定第一重量；
利用所述第一预测网络，基于所述姿态特征和所述图像畸变特征，确定超参数，基于所述超参数对所述关键点特征表征的关键点进行修正，基于修正后的关键点确定所述对象的体型参数，并基于所述体型参数确定第二重量；
基于所述第一重量和所述第二重量确定所述预测重量。
4.根据权利要求2或3所述的方法，其特征在于，所述重量预测网络包括：关键点预测网络、姿态预测网络，所述利用所述重量预测网络，确定所述特征图的关键点特征、姿态特征和图像畸变特征，包括：
将所述特征图输入所述关键点预测网络，得到所述关键点预测网络输出的关键点特征；
将所述特征图输入所述姿态预测网络，得到所述姿态网络输出的姿态特征；
基于所述特征图在所述目标图像中的位置，确定所述图像畸变特征。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取训练图像和所述训练图像对应的重量集合，所述训练图像的图像内容中包括位于所述第一检测区域的至少一个参考对象，所述重量集合中包括所述至少一个参考对象中每一所述参考对象的参考重量，所述参考重量为所述参考对象通过第二检测区域时由位于第二检测区域的称重设备测重得到，所述第二检测区域用于所述参考对象在不同的第一检测区域之间转移；
通过所述训练图像和第一标注数据对所述目标检测网络进行训练，得到收敛的目标检测网络；所述第一标注数据包括：所述至少一个参考对象中每一参考对象对应的位置；
在所述收敛的目标检测网络的基础上，通过所述训练图像和所述重量集合，对所述重量预测网络进行训练。
6.根据权利要求5所述的方法，其特征在于，在所述训练图像的图像内容中包括位于所述第一检测区域的至少两个参考对象的情况下，所述通过所述训练图像和所述重量集合，对所述重量预测网络进行训练，包括：
通过所述目标检测网络输出所述训练图像中各参考对象对应的训练特征图；
通过重定位网络，建立所述训练图像中各参考对象对应的训练特征图和所述重量集合中对应的参考重量之间的关联关系；
通过所述训练特征图和各参考对象对应的参考重量，对所述重量预测网络进行训练。
7.根据权利要求5所述的方法，其特征在于，所述通过所述训练特征图和各参考对象对应的参考重量，对所述重量预测网络进行训练，包括：
对于所述训练特征图输入所述重量预测网络，得到所述重量预测网络输出的至少一个参考对象中各参考对象的预测参数；所述预测参数包括：预测关键点、预测体型参数、预测姿态、第一预测重量、第二预测重量；
根据所述至少一个参考对象中各参考对象的以下参数确定完整损失：所述预测关键点、所述预测体型参数、所述预测姿态、所述第一预测重量、所述第二预测重量和关键点信息、体型参数、参考重量、姿态，并基于所述完整损失对所述重量预测网络的参数进行更新；
在所述重量预测网络未收敛的情况下，继续将所述训练图像输入参数更新后的所述重量预测网络，直到参数更新后的所述重量预测网络收敛。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
针对所述至少一个参考对象中的各参考对象，获取所述参考对象在所述第二检测区域的深度图像，并基于所述深度图像确定所述参考对象的体型参数。
9.根据权利要求8所述的方法，其特征在于，所述基于所述深度图像确定所述参考对象的体型参数，包括：
确定所述参考对象在所述深度图像中的关键点；
确定所述深度图像对应的点云图；
确定所述关键点在所述点云图中的映射位置，并基于所述映射位置确定所述参考对象的体型参数。
10.根据权利要求7所述的方法，其特征在于，所述根据所述至少一个参考对象中各参考对象的以下参数确定损失：所述预测关键点、所述预测体型参数、所述预测姿态、所述第一预测重量、所述第二预测重量和关键点信息、体型参数、参考重量和姿态，包括：
基于所述预测关键点和所述关键点信息，确定第一损失；
基于所述预测体型参数和所述体型参数，确定第二损失；
基于所述预测姿态和所述姿态，确定第三损失；
基于所述第一预测重量、第二预测重量和所述参考重量，确定第四损失；
至少基于所述第一损失、所述第二损失、所述第三损失和所述第四损失确定所述损失。
11.一种重量测量装置，其特征在于，所述装置包括：
检测模块，用于对目标图像进行目标检测，得到至少一个特征图，所述目标图像的图像内容中包括位于第一检测区域的至少一个对象，不同的特征图对应不同的对象；
预测模块，用于对于所述至少一个特征图中的各特征图，确定所述特征图的关键点特征、姿态特征和图像畸变特征，基于所述关键点特征、所述姿态特征和所述图像畸变特征确定所述特征图对应的对象的预测重量；
确定模块，用于基于所述至少一个特征图中各特征图对应的预测重量，确定所述第一检测区域中对象的总重量。
12.一种电子设备，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10任一项所述重量测量方法中的步骤。
13.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现权利要求1至10任一项所述重量测量方法。
CN202111506050.3A 2021-12-10 2021-12-10 一种重量测量方法、装置、设备及存储介质 Pending CN116263949A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111506050.3A CN116263949A (zh) 2021-12-10 2021-12-10 一种重量测量方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111506050.3A CN116263949A (zh) 2021-12-10 2021-12-10 一种重量测量方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116263949A true CN116263949A (zh) 2023-06-16

Family

ID=86721646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111506050.3A Pending CN116263949A (zh) 2021-12-10 2021-12-10 一种重量测量方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116263949A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116519106A (zh) * 2023-06-30 2023-08-01 中国农业大学 一种用于测定生猪体重的方法、装置、存储介质和设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116519106A (zh) * 2023-06-30 2023-08-01 中国农业大学 一种用于测定生猪体重的方法、装置、存储介质和设备
CN116519106B (zh) * 2023-06-30 2023-09-15 中国农业大学 一种用于测定生猪体重的方法、装置、存储介质和设备

Similar Documents

Publication Publication Date Title
US20220414911A1 (en) Three-dimensional reconstruction method and three-dimensional reconstruction apparatus
US20220172450A1 (en) Depth-based object re-identification
Liu et al. Classification of tree species and stock volume estimation in ground forest images using Deep Learning
CN112990211B (zh) 一种神经网络的训练方法、图像处理方法以及装置
CN113807399B (zh) 一种神经网络训练方法、检测方法以及装置
CN111507343A (zh) 语义分割网络的训练及其图像处理方法、装置
CN102640168B (zh) 用于基于局部二进制模式的面部特征定位的方法和设备
CN110569703B (zh) 计算机执行的从图片中识别损伤的方法及装置
CN111339818B (zh) 一种人脸多属性识别系统
WO2021098618A1 (zh) 数据分类方法、装置、终端设备及可读存储介质
CN112801265A (zh) 一种机器学习方法以及装置
US20220237917A1 (en) Video comparison method and apparatus, computer device, and storage medium
CN113780584B (zh) 标签预测方法、设备、存储介质
CN113312957A (zh) 基于视频图像的脱岗识别方法、装置、设备及存储介质
CN115082968B (zh) 基于红外光和可见光融合的行为识别方法及终端设备
CN113706558A (zh) 图像分割方法、装置及计算机设备
CN111814804A (zh) 基于ga-bp-mc神经网络的人体三维尺寸信息预测方法及装置
CN113191479A (zh) 联合学习的方法、系统、节点及存储介质
Xie et al. Event-based stereo matching using semiglobal matching
CN113052295A (zh) 一种神经网络的训练方法、物体检测方法、装置及设备
CN113536970A (zh) 一种视频分类模型的训练方法及相关装置
CN110110628B (zh) 一种频率综合器劣化的检测方法及检测设备
CN116263949A (zh) 一种重量测量方法、装置、设备及存储介质
KR102454715B1 (ko) 영상에 기반하여 동물의 승가 행위를 검출하는 장치 및 방법
CN113240699A (zh) 图像处理方法及装置，模型的训练方法及装置，电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination