CN116452597A - 母猪背膘高精度测定方法、系统、设备及存储介质 - Google Patents

母猪背膘高精度测定方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN116452597A
CN116452597A CN202310729907.0A CN202310729907A CN116452597A CN 116452597 A CN116452597 A CN 116452597A CN 202310729907 A CN202310729907 A CN 202310729907A CN 116452597 A CN116452597 A CN 116452597A
Authority
CN
China
Prior art keywords
sow
color
target
backfat
detection frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310729907.0A
Other languages
English (en)
Other versions
CN116452597B (zh
Inventor
薛素金
周怡安
杨焜
李梦炜
周宝灵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Nongxin Shuzhi Technology Co ltd
Xiamen Nongxin Digital Technology Co ltd
Original Assignee
Xiamen Nongxin Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Nongxin Digital Technology Co ltd filed Critical Xiamen Nongxin Digital Technology Co ltd
Priority to CN202310729907.0A priority Critical patent/CN116452597B/zh
Publication of CN116452597A publication Critical patent/CN116452597A/zh
Application granted granted Critical
Publication of CN116452597B publication Critical patent/CN116452597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/40Animals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P60/00Technologies relating to agriculture, livestock or agroalimentary industries
    • Y02P60/80Food processing, e.g. use of renewable energies or variable speed drives in handling, conveying or stacking
    • Y02P60/87Re-use of by-products of food processing for fodder production

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明一种母猪背膘高精度测定方法、系统、设备及存储介质,该方法包括:利用巡检机器人拍摄限位栏漏粪板侧的母猪彩色原图,并通过目标检测算法从母猪彩色原图获取母猪彩色检测框;通过图像定位检测框方法获得目标母猪彩色检测框;基于目标母猪彩色检测框将目标猪只分别从母猪彩色原图和深度文件中提取出,获得目标母猪彩色图和目标母猪深度文件;通过视觉大模型分别提取目标母猪彩色图的彩色信息特征和目标母猪深度文件的深度信息特征,将彩色信息特征和深度信息特征全局平均汇聚后输入至回归器中,最终获得母猪背膘数值。本发明能够在多个检测框中准确定位到拍摄栏位的母猪,可以低成本、易迁移、高精度地测定母猪背膘。

Description

母猪背膘高精度测定方法、系统、设备及存储介质
技术领域
本申请涉及计算机视觉技术领域,具体涉及一种母猪背膘高精度测定方法、系统、设备及存储介质。
背景技术
母猪的背膘数值在猪场实际生产中非常关键,例如:(1)提高繁殖效果:背膘厚度是评估母猪营养状况的重要指标。通过检测背膘厚度,猪场可以根据母猪的实际情况调整饲喂策略,从而提高繁殖效果。适当的背膘厚度有助于提高母猪的产仔数、出生重、断奶重和母猪的繁殖寿命。(2)优化饲料管理:通过监测背膘厚度,猪场可以针对母猪的营养需求调整饲料比例,减少饲料浪费。这有助于降低饲料成本,提高猪场的经济效益。(3)监控母猪健康:背膘厚度可以反映母猪的健康状况。若背膘厚度过低,可能表明母猪营养不良;若背膘厚度过高,可能导致母猪肥胖,影响繁殖能力。通过监测背膘厚度,猪场可以更好地监控母猪的健康状况,及时采取干预措施。(4)有助于定期评估:检测背膘厚度可以为猪场提供定期评估母猪生产性能的依据。这有助于猪场及时发现和解决问题,提高生产效率。(5)减少主观误差:采用专业设备和方法检测母猪背膘厚度,可以减少人为主观判断的误差,提高数据的准确性。这有助于猪场做出更科学、合理的决策。
背膘测量对于猪场生产如此重要,但现有背膘测量方法存在以下问题:属于重复机械性劳动,工人测量热情不高;猪场日常工作繁重,背膘测量抽不出足够人手;人工测量存在人为误差;人频繁与猪接触会引发如疾病传播、猪只应激反应等额外的问题影响生产。
中国专利CN109620150B公开了一种智能养猪限位测膘方法、装置、电子设备及存储介质,其虽能克服现有方式中采用背膘仪进行人工测膘的各种弊端,但是实际拍摄的图像中常常不止有目标栏位的猪只,目标栏位两侧、甚至前面一排的猪只都可能被检测模型识别。
鉴于此,本申请提出了一种母猪背膘高精度测定方法、系统、设备及存储介质,使用基于巡检机器人的无接触式母猪背膘测定算法流程,有效解决猪场背膘测量痛点以及在多个检测框中定位到拍摄栏位的母猪,可以低成本、易迁移、高精度地测定母猪背膘。
发明内容
为了解决人工测膘的各种弊端和现有智能测膘方法无法准确定位到拍摄栏位的母猪以及无法高精度地测定母猪背膘等问题,本申请提供一种母猪背膘高精度测定方法、系统、设备及存储介质,以解决上述技术缺陷问题。
根据本发明的一个方面提出了一种母猪背膘高精度测定方法,该方法包括以下步骤:
S11、利用巡检机器人拍摄限位栏漏粪板侧的母猪彩色原图,并通过目标检测算法从母猪彩色原图获取母猪彩色检测框;
S12、将母猪彩色检测框存储至bbox数组中,并通过以下表达式从多个母猪彩色检测框中定位到目标母猪彩色检测框:
其中,bbox_area(i)表示数组内第i个母猪彩色检测框的面积,intersection_area(i)表示数组内第i个母猪彩色检测框和预设的先验框相交的面积,argmax表示求其中最大比值的下标i,表示目标母猪彩色检测框在bbox数组中的下标,根据bbox数组中的下标获得对应的目标母猪彩色检测框;
S13、基于目标母猪彩色检测框将目标猪只分别从母猪彩色原图和深度文件中提取出,获得目标母猪彩色图和目标母猪深度文件;
S14、通过视觉大模型分别提取目标母猪彩色图的彩色信息特征和目标母猪深度文件的深度信息特征,将彩色信息特征和深度信息特征全局平均汇聚后输入至回归器中,最终获得母猪背膘数值。
通过上述技术方案,本申请能够在多个检测框中准确定位到拍摄栏位的母猪,精度高、鲁棒性强,并且通过视觉大模型对彩色信息特征和深度信息特征进行提取、融合后,最终获得高精度的母猪背膘数值结果。适用于在数据量不足的情况下使用,而且可以快速完成业务上的初期交付。
在具体的实施例中,步骤S14具体包括以下子步骤:
S141、通过swintransformer v2网络结构分别提取目标母猪彩色图的彩色信息特征和目标母猪深度文件的深度信息特征,在swintransformer v2网络结构的阶段1、阶段2和阶段3中,目标母猪彩色图和目标母猪深度文件使用相同的预训练权重,在swintransformer v2网络结构的阶段4和阶段6中,目标母猪彩色图和目标母猪深度文件使用各自的独立权重;
S142、将步骤S141获得的彩色信息特征和深度信息特征进行全局平均汇聚,拼接获得一个向量;
S143、将向量输入回归器中,线性回归获得母猪背膘数值。
通过上述技术方案,仅微调最后两个结构块block,以较少的计算成本获得与全面微调相似的准确率。部分微调应是当前视觉大模型迁移到下游任务的首选方法,可以把大型公司或机构先进的研究成果轻松迁移到下游的具体任务。
在具体的实施例中,在步骤S12中,预设的先验框的高为母猪彩色原图高的100%,预设的先验框的宽为母猪彩色原图宽的50%,并且预设的先验框位于母猪彩色原图的中间。
在具体的实施例中,在步骤S12和步骤S13之间,还包括对目标母猪彩色检测框进行扩大化处理。
通过上述技术方案,可以增加图片环境信息进而增强下游任务效果,用扩大处理后的检测框范围截图送入视觉大模型中进行后续操作。
在具体的实施例中,视觉大模型的损失函数计算表达式为:
式中,n表示样本总数,表示第i个样本的预测值,/>第i个样本的真实测量值,表示损失函数。
由于采集数据时,人工测量结果存在一定误差。因此视觉大模型的损失函数选择对误差更为鲁棒的,而不是更注重精度的/>
在具体的实施例中,在步骤S14中,还包括目标母猪彩色图的形状为HxWx3,复制通道调整目标母猪深度文件的形状至HxWx3,其中H表示高度,W表示宽度。
第二方面,本申请提供了一种母猪背膘高精度测定系统,该系统包括:
获取模块,配置于利用巡检机器人拍摄限位栏漏粪板侧的母猪彩色原图,并通过目标检测算法从母猪彩色原图获取母猪彩色检测框;
检测框定位模块,配置于将母猪彩色检测框存储至bbox数组中,并通过以下表达式从多个母猪彩色检测框中定位到目标母猪彩色检测框:
其中,bbox_area(i)表示数组内第i个母猪彩色检测框的面积,intersection_area(i)表示数组内第i个母猪彩色检测框和预设的先验框相交的面积,argmax表示求其中最大比值的下标i,表示目标母猪彩色检测框在bbox数组中的下标,根据bbox数组中的下标获得对应的目标母猪彩色检测框;
提取模块,配置于基于目标母猪彩色检测框将目标猪只分别从母猪彩色原图和深度文件中提取出,获得目标母猪彩色图和目标母猪深度文件;
回归预测模块,配置于通过视觉大模型分别提取目标母猪彩色图的彩色信息特征和目标母猪深度文件的深度信息特征,将彩色信息特征和深度信息特征全局平均汇聚后输入至回归器中,最终获得母猪背膘数值。
第三方面,本申请提供了一种设备,其特征在于,包括处理器、存储器以及存储在存储器内的计算机程序,计算机程序被处理器执行以实现如上述任意一项的母猪背膘高精度测定方法的步骤。
第四方面,本申请提供了一种计算机可读存储介质,介质中存储有计算机程序,在计算机程序被处理器执行时,实施如上述任意一项的母猪背膘高精度测定方法的步骤。
与现有技术相比,本发明的有益成果在于:
(1)本申请利用先进的AI技术解决现有母猪背膘测量方法中存在的缺陷,从算法设计角度,照顾到具体业务的开展方式,提出了一种基于图像定位的无接触式的母猪背膘高精度测定方法,该方法的设计的理念是应用于猪场母猪巡检机器人业务开展初期,数据量不足的情况下使用,通过一些巧妙地设计,获得高精度的结果,可以快速完成业务上的初期交付。
(2)本申请能够有效解决猪场背膘测量痛点,在实际猪场测试后取得优秀的效果,有着成本低、灵活性高、可迁移性强、精度高、鲁棒性强等优点,已完全可以在猪场生产中取代人工背膘测量的工作。
附图说明
通过阅读参照以下附图,所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是根据本申请的母猪背膘高精度测定方法的流程图;
图2是根据本申请的母猪背膘高精度测定方法中预设的先验框示意图;
图3是根据本申请的单彩色通道母猪背膘回归预测网络结构图;
图4是根据本申请的整体母猪背膘回归预测网络结构图;
图5是根据本申请的母猪背膘高精度测定系统的结构图;
图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本申请的目的是提供一种无人工、无接触式的母猪背膘高精度测定方法。本申请结合当今先进的人工智能技术成果在母猪背膘测定领域开创性地提出一种算法流程,可以低成本、易迁移、高精度地测定母猪背膘。通过巡检机器人搭载的彩色、深度摄像头,定时巡检拍摄母猪限位栏漏粪板侧(母猪屁股方向),经过本申请的算法流程得到拍摄栏位不逊于人工测量的高精度母猪背膘数值。
图1示出了本申请的母猪背膘高精度测定方法的流程图,请参考图1,该方法包括以下步骤:
S11、利用巡检机器人拍摄限位栏漏粪板侧的母猪彩色原图,并通过目标检测算法从母猪彩色原图获取母猪彩色检测框。
在本实施例中,目标检测算法用来找到拍摄图片中的所有猪只,这部分有很多开源算法,本申请采用的是最新的yolov8目标检测算法,这是2023年一月新发布的目标检测SOTA算法(State-of-the-art,深度学习中指的是最佳算法)。因限位栏母猪目标较为明显,且背膘估计任务对检测框精度要求不高,本申请模型规模选择最小的yolov8n模型。
然而,在实验中使用地面巡检机器人或轨道式巡检机器人,发现均存在一些痛点:
(1)巡检机器人或轨道式巡检机器人工作在母猪限位栏漏粪板侧(即母猪排泄的方向),地面有许多空洞,地面也非常湿滑。因此机器人很难准确停在限位栏的标定位。
(2)在机器人拍摄过程中,由于需要采集不同高度的图像,摄像头在不同高度视野不同。
上面两个问题结合,导致实际拍摄的图像中常常不止有目标栏位的猪只,目标栏位两侧、甚至前面一排的猪只都可能被检测模型识别。基于这个痛点,本申请提出猪场巡检机器人图像定位拍摄栏位技术SFIRILSST(Swine Farm InspectionRobot ImageLocalization and Shooting Stall Technology),用于在多个检测框中定位到拍摄栏位的母猪。具体如下:
S12、将母猪彩色检测框存储至bbox数组中,并通过以下表达式从多个母猪彩色检测框中定位到目标母猪彩色检测框:
其中,bbox_area(i)表示数组内第i个母猪彩色检测框的面积,intersection_area(i)表示数组内第i个母猪彩色检测框和预设的先验框相交的面积,argmax表示求其中最大比值的下标i,表示目标母猪彩色检测框在bbox数组中的下标,根据bbox数组中的下标获得对应的目标母猪彩色检测框。
在本实施例中,预设的先验框的高为母猪彩色原图高的100%,预设的先验框的宽为母猪彩色原图宽的50%,并且预设的先验框位于母猪彩色原图的中间。
应当理解的是,如果有多个最大比值相同,则取其中置信度最大的检测框。这种方法定位的精度在母猪限位栏私有数据集上相比单纯取最大置信度框或最大面积框要领先很多。当然,巡检机器人会尽可能拍摄限位栏中央。本申请使用这种方法在私有母猪限位栏数据集上测试,寻找拍摄限位栏的准确率可以达到99%以上。
图2示出了本申请的母猪背膘高精度测定方法中预设的先验框示意图,如图2所示,box1、box2和box3为母猪彩色检测框(附图2已对彩色图进行去色化处理,此处重点在于示出检测框和先验框),box0为预设的先验框。可见,中间和右边猪只都非常明显,按置信度难以区分。如果取面积最大检测框会取到右边的猪只,即会选取box3为目标母猪彩色检测框,但显然右边猪只并不是正在拍摄的栏位。这种情况下使用本申请提出的猪场巡检机器人图像定位拍摄栏位技术SFIRILSST可以稳定取到中间的猪,即选取box2为目标母猪彩色检测框,精度高、鲁棒性强。
继续参考图1,本申请提供的母猪背膘高精度测定方法还包括:
S13、基于目标母猪彩色检测框将目标猪只分别从母猪彩色原图和深度文件中提取出,优选的提取方式为截图,获得目标母猪彩色图和目标母猪深度文件。
其中,深度文件的每个点表示该点真实的物理距离,这个距离是由深度相机得到的,其单位为毫米,输入物理深度信息模型能学习到的是真实物理距离的特征。
本申请使用的巡检机器人摄像头是彩色和深度双通道的,算法只在母猪彩色原图工作,得到目标母猪彩色检测框后通过调用摄像头厂家sdk或者其他转换接口等方式,将目标母猪彩色图的坐标向深度信息坐标转换,得到检测框在深度文件中的对应坐标,即目标母猪深度检测框,进而可以获得目标母猪深度文件。换言之,深度文件中的检测框是通过目标母猪彩色图转换获得的。
进一步的,使用步骤S12方法定位到目标母猪彩色检测框后,把目标母猪彩色检测框扩大5%,以增加图片环境信息增强下游任务效果。用扩大后的检测框范围截图后输入至视觉大模型中执行后续操作。
S14、通过视觉大模型分别提取目标母猪彩色图的彩色信息特征和目标母猪深度文件的深度信息特征,将彩色信息特征和深度信息特征全局平均汇聚后输入至回归器中,最终获得母猪背膘数值。
在本实施例中,步骤S14具体包括以下子步骤:
S141、通过swintransformer v2网络结构分别提取目标母猪彩色图的彩色信息特征和目标母猪深度文件的深度信息特征,在swintransformer v2网络结构的阶段1、阶段2和阶段3中,目标母猪彩色图和目标母猪深度文件使用相同的预训练权重,在swintransformer v2网络结构的阶段4和阶段6中,目标母猪彩色图和目标母猪深度文件使用各自的独立权重;
S142、将步骤S141获得的彩色信息特征和深度信息特征进行全局平均汇聚,拼接获得一个向量;
S143、将向量输入回归器中,线性回归获得母猪背膘数值。
其中,视觉大模型是由科学组织或机构在大规模数据集上进行预训练(深度学习中的一种技术),分为预训练和微调两个阶段:在预训练阶段,模型通常在大量的有标签或无标签数据上进行训练,学习数据的一般特征或表示。微调阶段:在微调阶段,预训练的模型会在特定的任务上进行进一步的训练,这个任务通常有标签数据。模型的参数会根据这个任务的数据进行微调,使得模型能够更好地适应这个任务。这个过程通常需要较少的数据和计算资源,因为模型已经在预训练阶段学习了一般的特征或表示。
视觉大模型地训练需要海量数据和计算资源,除少数公司和组织难以有效地组织起训练大模型所需资源,这样的客观条件制约也使得视觉大模型成为“少数人”才能涉足的领域。但是预训练技术的出现有效地改变这一情况,本申请在网络上免费获取到需要昂贵成本才能训练出来的预训练模型,通过微调手段把预训练模型对一般特征的强力提取能力迁移到自己的下游任务中,迁移过程中不依赖大量算力和海量数据,只需少量算力和少量数据即可完成。这种做法效果好、成本低、普适性强,是现阶段的首选方式。
具体的,本申请选择swintransformer v2作为母猪背膘回归深度神经网络的backbone。backbone是深度学习领域的术语,可以理解为对目标提取高维的特征表示,backbone是深度神经网络开头的一个组件,先提取到目标特征才能进行后续任务。swintransformer v2是2021年分类任务的SOTA算法,相对一代(swin transformer)能很好地解决模型深度和模型性能的问题。一般来说,在深度学习领域,并不是越深越大的模型性能就越好,swintransformer v2解决的问题就是相对一代模型,扩大规模的同时可以提升性能,因为这个特点,模型的规模和性能相比以前可以提高很多。
图3示意出了本申请单彩色通道母猪背膘回归预测网络结构图,如图3所示,backbone部分套用的swintransformer v2网络结构;neck部分使用全局平均汇聚技术,这项技术没有可学习参数,有效减少计算量的同时减轻模型的过拟合风险,使得训练更加容易,同时使每个通道不再只关注局部特征:逐通道的平均使得每个通道的特征均具有全局视野,不容易让模型陷入局部陷阱。回归器使用一个线性层回归,这里使用简单结构的原因同样是为训练考虑,避免模型过拟合。火图案表示实际训练的权重,雪花图案表示冻结的预训练权重。本申请使用部分微调(Partial fine-tuning)技术,仅微调swintransformer v2的两个block(即阶段4和阶段6),这样把大模型迁移到估计母猪背膘的下游任务时,计算量在可以接受的范围,且精度不逊色于全面微调(fine-tuning),相比传统的线性探测(在本例中冻结backbone全部参数,仅训练回归器)精度大大提高。
请参考图4,图4示意出了整体母猪背膘回归预测网络结构图。本申请提出的算法流程非常灵活,考虑到带深度的摄像头成本比较昂贵,上面给出母猪彩色原图的实现方案。但由于母猪彩色原图不带有真实的深度信息,背膘的准确率一定会受到影响,这种损失与模型无关,是数据直接导致的。故完整算法会加入深度分支,深度信息是HxWx1的数组,为和母猪彩色原图统一,复制通道调整深度信息形状到HxWx3,其中H表示高度,W表示宽度。然后把母猪彩色原图的特征和深度信息特征分别采样后拼接起来(此处默认彩色图和深度信息有一一对应关系,即已知母猪彩色检测框能得到母猪深度检测框,这样在步骤S12中根据得到的母猪彩色检测框就能截出对应的深度信息),再接入回归器得到回归结果。
图4中的图片分块(Patch Partition)是视觉transformer(vit)的一个固定步骤,具体操作为:在原图中用4*4的大小的正方形对整张图分块,每个块有16个像素,以图片块为单位进行后续操作(所以可以看到维度是HxWx3的图片经过这步操作后H和W都除以4,H、W减少的部分乘在了通道维度48=3*4*4)。线性映射(Linear Embedding)的具体操作为:把通道映射到更高维度,增强模型的表达能力。这步仅在阶段1存在,阶段1输入通道数是48,输出通道数为C,C就是线性映射的结果。线性映射(Linear Embedding)把48个通道经过线性层映射到更高的维度C,C是由选择的模型规模决定的,本申请使用的swintransformer v2模型,C的值是192,小模型C值小、大模型C值大。swintransformer v2Block的每个阶段不同点在于堆叠的块数量不同,swintransformer v2Block下面写X 2表示堆叠了两个块,X 18表示堆叠18个块,堆叠的数量也取决于模型规模,本申请用的large模型是图中堆叠的方式。堆叠(串联)的解释:以X 2举例,数据流经过第一个块,输出的结果再经过第二个块再输出,transformer架构用这种方法可以有效增加模型规模。图片块合并(PatchMerging)是swin transformer中特有的操作,每个阶段把图片子块(最开始是4*4的)按一定规则进行融合,获得图片多尺度信息。其中,阶段2、阶段3、阶段4通过图片块合并(Patch Merging)逐阶段扩大模型的感受野,让模型可以更好地学习到多尺度信息。算法学习的是图片块的信息,阶段2、阶段3、阶段4这三个阶段每个都是把前一阶段的四个图片块拼成一个再训练(图片块合并的方法是swin transformer提供的),因此宽、高在这三个阶段(阶段2、阶段3、阶段4)都是逐步除以2的(2*2=4)。
前面的图中(从下向上看是backbone执行的过程)可以看出来该过程,patch越来越大就是通过图片块合并(Patch Merging)实现的。
由于采集数据时,人工测量结果存在一定误差。因此视觉大模型的损失函数选择对误差更为鲁棒的,而不是更注重精度的/>,因为/>作为损失函数会放大人工测量的误差。/>损失函数计算方法如下:
式中,n表示样本总数,表示第i个样本的预测值,/>第i个样本的真实测量值,表示损失函数。即对所有训练图片,模型预测值与真实测量值之差的绝对值之和再求平均。
进一步参考图5,作为对上述方法的实现,本申请提供了母猪背膘高精度测定系统500的一个实施例,该系统实施例与图1所示的方法实施例相对应,该系统具体可以应用于各种电子设备中。该系统500包括以下模块:
获取模块510,配置于利用巡检机器人拍摄限位栏漏粪板侧的母猪彩色原图,并通过目标检测算法从母猪彩色原图获取母猪彩色检测框;
检测框定位模块520,配置于将母猪彩色检测框存储至bbox数组中,并通过以下表达式从多个母猪彩色检测框中定位到目标母猪彩色检测框:
其中,bbox_area(i)表示数组内第i个母猪彩色检测框的面积,intersection_area(i)表示数组内第i个母猪彩色检测框和预设的先验框相交的面积,argmax表示求其中最大比值的下标i,表示目标母猪彩色检测框在bbox数组中的下标,根据bbox数组中的下标获得对应的目标母猪彩色检测框;
提取模块530,配置于基于目标母猪彩色检测框将目标猪只分别从母猪彩色原图和深度文件中提取出,获得目标母猪彩色图和目标母猪深度文件;
回归预测模块540,配置于通过视觉大模型分别提取目标母猪彩色图的彩色信息特征和目标母猪深度文件的深度信息特征,将彩色信息特征和深度信息特征全局平均汇聚后输入至回归器中,最终获得母猪背膘数值。
第三方面,本申请提供了一种设备,其特征在于,包括处理器、存储器以及存储在存储器内的计算机程序,计算机程序被处理器执行以实现如上述任意一项的母猪背膘高精度测定方法的步骤。
第四方面,本申请提供了一种计算机可读存储介质,介质中存储有计算机程序,在计算机程序被处理器执行时,实施如上述任意一项的母猪背膘高精度测定方法的步骤。
本申请在熟悉猪场业务和AI技术的前提下,敏锐发掘现有猪场生产中的业务痛点,利用先进的AI技术加以解决,提供了一种基于图像定位的方法一是母猪背膘高精度测定方法,其是二阶段的,阶段一先使用目标检测技术在拍摄的彩色图片找到母猪。本申请依据猪场巡检机器人行动特点,提出猪场巡检机器人图像定位拍摄栏位技术SFIRILSST(Swine FarmInspection Robot Image Localization and Shooting StallTechnology),准确定位图片中巡检机器人拍摄栏位的母猪。阶段二使用目前先进的视觉大模型,分别提取彩色图和深度文件的特征,把两类特征接入回归器得到母猪背膘数值。其中,SFIRILSST算法依赖实际场景的先验知识,在不同领域和应用场景的普适性有限,优势在于对小规模数据集非常有效,便于灵活调整,节省硬件算力。
下面参考图6,其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统600的结构示意图。图6示出的终端设备或服务器仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (9)

1.一种母猪背膘高精度测定方法,其特征在于,包括以下步骤:
S11、利用巡检机器人拍摄限位栏漏粪板侧的母猪彩色原图,并通过目标检测算法从所述母猪彩色原图获取母猪彩色检测框;
S12、将所述母猪彩色检测框存储至bbox数组中,并通过以下表达式从多个所述母猪彩色检测框中定位到目标母猪彩色检测框:
其中,bbox_area(i)表示数组内第i个母猪彩色检测框的面积,intersection_area(i)表示数组内第i个母猪彩色检测框和预设的先验框相交的面积,argmax表示求其中最大比值的下标i,表示所述目标母猪彩色检测框在所述bbox数组中的下标,根据所述bbox数组中的下标获得对应的所述目标母猪彩色检测框;
S13、基于所述目标母猪彩色检测框将目标猪只分别从所述母猪彩色原图和深度文件中提取出,获得目标母猪彩色图和目标母猪深度文件;
S14、通过视觉大模型分别提取所述目标母猪彩色图的彩色信息特征和所述目标母猪深度文件的深度信息特征,将所述彩色信息特征和深度信息特征全局平均汇聚后输入至回归器中,最终获得母猪背膘数值。
2.根据权利要求1所述的母猪背膘高精度测定方法,其特征在于,步骤S14具体包括以下子步骤:
S141、通过swintransformer v2网络结构分别提取所述目标母猪彩色图的彩色信息特征和所述目标母猪深度文件的深度信息特征,在所述swintransformer v2网络结构的阶段1、阶段2和阶段3中,所述目标母猪彩色图和所述目标母猪深度文件使用相同的预训练权重,在所述swin transformer v2网络结构的阶段4和阶段6中,所述目标母猪彩色图和所述目标母猪深度文件使用各自的独立权重;
S142、将步骤S141获得的所述彩色信息特征和所述深度信息特征进行全局平均汇聚,拼接获得一个向量;
S143、将所述向量输入回归器中,线性回归获得母猪背膘数值。
3.根据权利要求1所述的母猪背膘高精度测定方法,其特征在于,在步骤S12中,预设的所述先验框的高为所述母猪彩色原图的100%,预设的所述先验框的宽为所述母猪彩色原图宽的50%,并且预设的所述先验框位于所述所述母猪彩色原图的中间。
4.根据权利要求1所述的母猪背膘高精度测定方法,其特征在于,在步骤S12和步骤S13之间,还包括对所述目标母猪彩色检测框进行扩大化处理。
5.根据权利要求1所述的母猪背膘高精度测定方法,其特征在于,所述视觉大模型的损失函数计算表达式为:
式中,n表示样本总数,表示第i个样本的预测值,/>第i个样本的真实测量值,/>表示损失函数。
6.根据权利要求1所述的母猪背膘高精度测定方法,其特征在于,在步骤S14中,还包括所述目标母猪彩色图的形状为HxWx3,复制通道调整所述目标母猪深度文件的形状至HxWx3,其中H表示高度,W表示宽度。
7.一种母猪背膘高精度测定系统,其特征在于,所述系统包括:
获取模块,配置于利用巡检机器人拍摄限位栏漏粪板侧的母猪彩色原图,并通过目标检测算法从所述母猪彩色原图获取母猪彩色检测框;
检测框定位模块,配置于将所述母猪彩色检测框存储至bbox数组中,并通过以下表达式从多个所述母猪彩色检测框中定位到目标母猪彩色检测框:
其中,bbox_area(i)表示数组内第i个母猪彩色检测框的面积,intersection_area(i)表示数组内第i个母猪彩色检测框和预设的先验框相交的面积,argmax表示求其中最大比值的下标i,表示所述目标母猪彩色检测框在所述bbox数组中的下标,根据所述bbox数组中的下标获得对应的所述目标母猪彩色检测框;
提取模块,配置于基于所述目标母猪彩色检测框将目标猪只分别从所述母猪彩色原图和深度文件中提取出,获得目标母猪彩色图和目标母猪深度文件;
回归预测模块,配置于通过视觉大模型分别提取所述目标母猪彩色图的彩色信息特征和所述目标母猪深度文件的深度信息特征,将所述彩色信息特征和深度信息特征全局平均汇聚后输入至回归器中,最终获得母猪背膘数值。
8.一种设备,其特征在于,包括处理器、存储器以及存储在所述存储器内的计算机程序,所述计算机程序被所述处理器执行以实现如权利要求1至6中任意一项所述的母猪背膘高精度测定方法的步骤。
9.一种计算机可读存储介质,所述介质中存储有计算机程序,在所述计算机程序被处理器执行时,实施如权利要求1至6中任意一项所述的母猪背膘高精度测定方法的步骤。
CN202310729907.0A 2023-06-20 2023-06-20 母猪背膘高精度测定方法、系统、设备及存储介质 Active CN116452597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310729907.0A CN116452597B (zh) 2023-06-20 2023-06-20 母猪背膘高精度测定方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310729907.0A CN116452597B (zh) 2023-06-20 2023-06-20 母猪背膘高精度测定方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116452597A true CN116452597A (zh) 2023-07-18
CN116452597B CN116452597B (zh) 2023-08-29

Family

ID=87124193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310729907.0A Active CN116452597B (zh) 2023-06-20 2023-06-20 母猪背膘高精度测定方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116452597B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110530477A (zh) * 2019-09-28 2019-12-03 四川农业大学 后备母猪体重预估方法
CN113989353A (zh) * 2021-09-18 2022-01-28 华南农业大学 一种猪只背膘厚度测定方法及系统
CN114170292A (zh) * 2021-10-27 2022-03-11 广州华农大智慧农业科技有限公司 一种基于深度图像的猪只体重估测方法和设备
CN115355948A (zh) * 2022-09-01 2022-11-18 山西农业大学 一种母猪体尺、体重、背膘厚度检测方法
WO2023060777A1 (zh) * 2021-10-13 2023-04-20 华南农业大学 一种基于深度学习的猪只体尺体重估测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110530477A (zh) * 2019-09-28 2019-12-03 四川农业大学 后备母猪体重预估方法
CN113989353A (zh) * 2021-09-18 2022-01-28 华南农业大学 一种猪只背膘厚度测定方法及系统
WO2023060777A1 (zh) * 2021-10-13 2023-04-20 华南农业大学 一种基于深度学习的猪只体尺体重估测方法
CN114170292A (zh) * 2021-10-27 2022-03-11 广州华农大智慧农业科技有限公司 一种基于深度图像的猪只体重估测方法和设备
CN115355948A (zh) * 2022-09-01 2022-11-18 山西农业大学 一种母猪体尺、体重、背膘厚度检测方法

Also Published As

Publication number Publication date
CN116452597B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN111860573B (zh) 模型训练方法、图像类别检测方法、装置和电子设备
Xudong et al. Automatic recognition of dairy cow mastitis from thermal images by a deep learning detector
WO2021008328A1 (zh) 图像处理方法、装置、终端及存储介质
WO2021000423A1 (zh) 一种生猪体重测量方法及装置
EP3968179A1 (en) Place recognition method and apparatus, model training method and apparatus for place recognition, and electronic device
KR20180057785A (ko) 영상분석을 통한 어류 개체수 측정 시스템 및 그 측정방법
CN112560829B (zh) 人群数量确定方法、装置、设备及存储介质
CN112614133B (zh) 一种无锚点框的三维肺结节检测模型训练方法及装置
CN107948586B (zh) 基于视频拼接的跨区域运动目标检测方法和装置
CN110738235A (zh) 肺结核判定方法、装置、计算机设备及存储介质
CN113706562B (zh) 图像分割方法、装置、系统及细胞分割方法
Alkhudaydi et al. Counting spikelets from infield wheat crop images using fully convolutional networks
CN116452597B (zh) 母猪背膘高精度测定方法、系统、设备及存储介质
Cao et al. Learning-based low-illumination image enhancer for underwater live crab detection
CN114511556B (zh) 胃黏膜出血风险预警方法、装置和医学图像处理设备
CN115908969A (zh) 图像处理及模型训练的方法和设备
Zeng et al. Evaluation of physical electrical experiment operation process based on YOLOv5 and ResNeXt cascade networks
CN114492657A (zh) 植物疾病分类方法、装置、电子设备及存储介质
CN114743108B (zh) 一种草原鼠情识别与量化方法和鼠情记录仪
Cong et al. Machine vision-based estimation of body size and weight of pearl gentian grouper
CN113642671B (zh) 基于任务分布变化的半监督元学习方法及装置
Sha et al. A light-weight and accurate pig detection method based on complex scenes
CN117475294A (zh) 一种基于机器视觉技术的养殖鱼类缺氧检测方法及终端
CN115272901A (zh) 一种塑胶跑道裂缝自动检测方法和装置
CN115995038A (zh) 一种水下目标数量估计方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231108

Address after: A1, Unit 1601, No. 50, Chengyi North Street, Phase III, Software Park, Jimei District, Xiamen, Fujian Province, 361000

Patentee after: Xiamen Nongxin Digital Technology Co.,Ltd.

Patentee after: Beijing Nongxin Shuzhi Technology Co.,Ltd.

Address before: A1, Unit 1601, No. 50, Chengyi North Street, Phase III, Software Park, Jimei District, Xiamen, Fujian Province, 361000

Patentee before: Xiamen Nongxin Digital Technology Co.,Ltd.