CN112825791B - 一种基于深度学习与点云凸包化特征的奶牛体况评分方法 - Google Patents
一种基于深度学习与点云凸包化特征的奶牛体况评分方法 Download PDFInfo
- Publication number
- CN112825791B CN112825791B CN202011561643.5A CN202011561643A CN112825791B CN 112825791 B CN112825791 B CN 112825791B CN 202011561643 A CN202011561643 A CN 202011561643A CN 112825791 B CN112825791 B CN 112825791B
- Authority
- CN
- China
- Prior art keywords
- cow
- image
- voxel
- point cloud
- body condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000008267 milk Substances 0.000 title claims abstract description 24
- 235000013336 milk Nutrition 0.000 title claims abstract description 24
- 210000004080 milk Anatomy 0.000 title claims abstract description 24
- 238000013077 scoring method Methods 0.000 title claims abstract description 12
- 238000013135 deep learning Methods 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000005484 gravity Effects 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims abstract description 4
- 235000013365 dairy product Nutrition 0.000 claims description 45
- 238000001914 filtration Methods 0.000 claims description 9
- 210000001015 abdomen Anatomy 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013138 pruning Methods 0.000 claims description 3
- 238000009945 crocheting Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 2
- 241000283690 Bos taurus Species 0.000 description 124
- 230000008569 process Effects 0.000 description 13
- 210000000988 bone and bone Anatomy 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 210000000577 adipose tissue Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 210000003041 ligament Anatomy 0.000 description 4
- 201000010099 disease Diseases 0.000 description 3
- 238000009966 trimming Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000009395 breeding Methods 0.000 description 2
- 230000001488 breeding effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 230000037149 energy metabolism Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 208000030159 metabolic disease Diseases 0.000 description 2
- 230000009984 peri-natal effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000004930 Fatty Liver Diseases 0.000 description 1
- 206010019708 Hepatic steatosis Diseases 0.000 description 1
- 208000007976 Ketosis Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001079 digestive effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 208000010706 fatty liver disease Diseases 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000001981 hip bone Anatomy 0.000 description 1
- 229940088597 hormone Drugs 0.000 description 1
- 239000005556 hormone Substances 0.000 description 1
- 230000036737 immune function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004140 ketosis Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 208000004396 mastitis Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001850 reproductive effect Effects 0.000 description 1
- 230000003938 response to stress Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 231100000240 steatosis hepatitis Toxicity 0.000 description 1
- 210000004003 subcutaneous fat Anatomy 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; CARE OF BIRDS, FISHES, INSECTS; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
- A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明涉及一种基于深度学习与点云凸包化特征的奶牛体况评分方法，属于图像处理技术领域，方法包括获取目标奶牛背部深度图像，进行旋转，使图像中奶牛脊柱方向与图像横轴平行；去掉图像中奶牛的前躯部分，获取奶牛后躯深度图像，将奶牛后躯图像转换为点云，得到后躯点云；进行体素栅格化，进行凸包化处理，确定包含所有体素云的最小凸多面体，计算特征距离；将体素云的各体素重心的坐标值依次替换为体素编号和特征距离，得到奶牛后躯的特征图像；获取若干张经过各步骤处理的特征图像，利用卷积神经网络模型进行预训练，然后利用训练好的卷积神经网络模型进行体况评分。与现有方法相比，本发明的方法原理简单，可靠性高，具体较高的应用价值。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于深度学习与点云凸包化特征的奶牛体况评分方法。
背景技术
奶牛产犊后将面临巨大的营养需求，但受激素水平、消化机能减弱等因素的影响，日粮摄入量仍保持在较低水平。能量消耗与摄入量不均衡，奶牛进入能量负平衡状态。此时需要消耗体内储存的脂肪，以保证生理机能的正常运转。长时间处于深度能量负平衡状态，将消耗大量体内储存的能量。若体脂储存量不足以支撑其渡过能量负平衡期，则奶牛机体将产生复杂的应激反应，出现能量代谢失调、矿物质紊乱、免疫机能下降等问题，并诱发突发性脂肪肝、酮病、乳房炎等疾病，严重影响奶牛产量以及产后恢复，最终导致过早淘汰甚至死亡。
而在奶牛饲养中，因能量代谢问题被淘汰的奶牛达到淘汰总数的30％，其平均利用年限由5胎下降为3胎，75％的奶牛疾病发生在产后1个月内，超过50％奶牛要经历围产期代谢疾病，约50％的奶牛真胃左方变位(LDA)是由长期能量负平衡造成的。仅此一项每年对我国奶业造成的直接经济损失就达6亿美元。因此，在围产期对奶牛能量负平衡的控制已成为决定奶牛产奶量、繁殖性能、利用年限等生产性能指标及疾病管控的最重要的影响因素，而奶牛能量负平衡的管理离不开对奶牛体况等级的准确监测。
目前，传统的人工体况评分方法存在耗时长、成本高、主观性强等问题；自动评分系统的研究成果与实际应用相脱节，精度和可靠性难以满足实际养殖管理的需求。近年来，随着我国养殖规模的进一步提升，对奶牛体况进行快速、精准感知的需求愈加迫切。
为解决人工评分结果主观性与成本效率问题，基于机器视觉的体况评分方法已成为研究热点，并在降低评分主观性与提高评估效率方面表现出极大潜力。例如，公布号为CN110400310A的中国发明专利申请，提供了一种奶牛体况自动评分方法，该方法通过对奶牛深度图像进行一系列复杂处理计算，包括进行勾股定位、计算勾骨曲率，进行针骨定位、计算针骨曲率，进行骶骨定位、计算骶骨可见度，然后将这些参数代入预测模型，实现了奶牛体况评分，但是，该自动评分方法的不足之处在于，在算法复杂度大，由于图像处理问题，会存在定位的特征(如勾骨等)不准确的情况，影响预测模型的预测精度，导致对奶牛的评分不可靠，存在较大误差。
发明内容
本发明的目的是提供一种基于深度学习与点云凸包化特征的奶牛体况评分方法，用于解决现有方法对奶牛体况评分不可靠的问题。
基于上述目的，一种基于深度学习与点云凸包化特征的奶牛体况评分方法的技术方案如下：
1)获取目标奶牛背部深度图像；
2)对所述目标奶牛背部深度图像进行旋转，使图像中的奶牛脊柱方向与图像横轴平行；
3)去掉图像中奶牛的前躯部分，获取奶牛后躯深度图像，将奶牛后躯图像转换为点云，得到后躯点云；
4)对后躯点云进行体素栅格化，进行凸包化处理，确定包含所有体素云的最小凸多面体，计算特征距离，所述特征距离为凸多面体内部及边界各点到其表面的最近距离；
5)将体素云的各体素重心的xyz坐标值依次替换为体素编号i，j和特征距离，得到奶牛后躯的特征图像；
6)获取若干张经过步骤1)至步骤5)处理的特征图像，利用卷积神经网络模型进行预训练，然后利用训练好的卷积神经网络模型进行体况评分。
上述技术方案的有益效果是：
本发明的奶牛体况评分方法，利用对后躯点云进行凸包化处理，计算出特征距离，用于表征奶牛后躯的凹陷度，因而构建出的特征图像能够精确表征奶牛的胖瘦程度，利用此特征图像训练网络模型，能够有效提高模型的预测精度，提高奶牛评分的可靠性，减小误差。与现有方法相比，本发明的方法原理简单，无需进行针骨、骶骨定位及曲率等复杂计算，可靠性高，具体较高的应用价值。
进一步的，所述确定包含所有体素云的最小凸多面体包括：
从体素化后的点云中任选三个点组成有向三角形，判断其余所有点是否均在该三角形同侧，若是则记录这三个点坐标，并将其各点标注为凸边点，该三角形标注为有效三角形；
重复上述步骤直至查找完所有凸边点，并均标注为有效三角形；然后，拼接所有标注出来的有效三角形，最终形成包含所有体素云的最小凸多面体。
进一步的，所述特征距离的计算过程如下：对于凸多面体内部的任意一点，依次计算该点与组成凸多面体的各有效三角形的距离，并取其中的最小值作为该点的特征距离。
进一步的，步骤5)中，还包括采用最邻近插值法，对奶牛后躯的特征图像进行尺寸变换，使所有特征图像的尺寸统一。
进一步的，所述的卷积神经网络模型为直接评分模型或二级评分模型，对于直接评分模型，直接采用卷积神经网络分类器对特征图像进行分类，以得到奶牛体况评分；
对于二级评分模型，设置分类器阈值，采用卷积神经网络分类器对特征图像进行二分类，分为胖奶牛图像和瘦奶牛图像；再利用卷积神经网络分类器分别对胖奶牛图像和瘦奶牛图像进行精细分类，以得到精细的奶牛体况评分。
进一步的，步骤3)中，去掉图像中奶牛的前躯部分，获取奶牛后躯深度图像包括：
(1)滤除图像中的奶牛尾巴及后腹部的离散像素点，得到滤波后的奶牛深度图像；
(2)用深度阈值DT对滤波后的奶牛深度图像进行高度方向的修剪，以分割出深度图像中与体况评分相关的考量区域；
(3)对于修剪后的深度图像，进行奶牛的勾骨定位，以确定奶牛后躯与前躯的分界线，并基于分界线获取后躯图像。
附图说明
图1是本发明实施例中奶牛体况评分方法的整体流程图；
图2是本发明实施例中的奶牛背部深度图像的预处理流程图；
图3是本发明实施例中的图像修剪及勾骨定位示意图；
图4是本发明实施例中的瘦奶牛和胖奶牛的骶骨韧带切面线及其包络线示意图；
图5是本发明实施例中的凸包特征提取流程图；
图6-1是本发明实施例中的滤波前奶牛后躯点云的腹侧区域图；
图6-2是本发明实施例中的滤波后奶牛后躯点云的腹侧区域图；
图6-3是本发明实施例中的后躯点云的初始体素图；
图6-4是本发明实施例中的后躯点云的体素栅格化(顶视)效果图；
图6-5是本发明实施例中的包含所有体素云的最小凸多面体示意图；
图6-6是本发明实施例中构建的特征图像；
图7是本发明实施例中的采用直接评分模型和二级评分模型进行体况评分示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的说明。
本实施例提出一种基于深度学习与点云凸包化特征的奶牛体况评分方法，方法的整体流程如图1所示，其实现思路为：利用深度图像采集系统，获取包含待测奶牛完整背部的深度图像；对采集的奶牛背部深度图像进行预处理，包括奶牛背部深度图像提取、旋转，去掉图像中奶牛的前躯部分，获取奶牛后躯深度图像，并将奶牛后躯深度图像转换为后躯点云；体素化点云，提取体素云的凸包特征，并形成特征图像；利用卷积神经网络算法对特征图像进行分类，以得到奶牛体况评分值。
具体的，上述奶牛体况评分方法的具体实现过程如下：
步骤一，目标提取，得到目标奶牛背部深度图像。
具体的，如图2所示，采用背景减除法，从采集的待测奶牛深度图像中提取目标奶牛的背部区域，并滤除背景像素(阈值设为1500mm)，得到目标奶牛背部深度图像。且为提高目标提取质量，避免因相机测量微小变化或其他潜在错误对深度背景图像的影响，采用线性卡尔曼滤波方法，对1200帧的深度背景图像进行背景建模，并通过实际采集中未检测到目标奶牛的图像对其更新，即利用采集的含有奶牛的深图图像与建模所得的背景图像进行帧间相减且阈值设为1500mm以提高获取的奶牛图像的质量。
步骤二，目标旋转，使奶牛脊柱线与图像横轴平行。
具体的，为降低因图像采集过程奶牛身体倾斜带来的算法开发难度，化简深度图像的后续处理操作，对提取的目标奶牛背部深度图像进行旋转，使其脊柱方向与图像横轴平行，以便于后续算法沿脊柱方向对两侧做对称性处理。
具体旋转方法为：首先，定位脊柱线：选取奶牛深度图像中每1列的最高值作为脊柱点，采用线性拟合方法对其拟合以获取脊柱线；然后，依据脊柱线与图像横轴的夹角进行旋转，即可得到与脊柱相对称的奶牛深度图像，并通过计算奶牛脊柱两侧相较于脊柱的二阶矩，对旋转后图像进行对称度检验。
步骤三，去掉图像中奶牛的前躯部分，获取奶牛后躯深度图像。
由于体况评分的考量区域(勾骨、针骨、脊柱、短肋骨、髋骨、尾骨)均位于奶牛后躯，因此，需对不含体况信息的前躯图像进行删除，以减少图像信息的冗余，且为提高奶牛后躯图像的获取质量，还需对图像中的离散像素点及尾巴(影响评分)进行了剔除，具体步骤如下所示：
1)尾巴去除与滤波。定位图像最左侧像素点所在列，并从此列开始，当某列所有非NAN像素点的跨度Wj(j＝1,2,...,n)大于阈值Tt(实验中设为200)时，将此列的像素值修改为NAN(含意为不包含像素值，即零像素值)，使得图像一分为二，并依据图像区域的连通域属性，滤除尾巴(像素点少的区域)及后腹部的离散像素点。
2)图像修剪。采用深度阈值DT对滤波后的奶牛深度图像进行高度方向的修剪，以分割出深度图像中与体况评分相关的考量区域。即按照下面公式(1)对图像各列中与该列像素深度最大值Hspj(脊柱点)偏离大于DT的像素点进行剔除，并保留其余像素点。
式中，Maski,j表示该像素点(i,j)是否被保留(掩模＝1)还是丢弃(掩模＝0)；Hspj是指第j列像素点的深度最大值；Hi,j是指像素点(i,j)处的深度值；DT为深度阈值，依据试验设置为100mm。
3)勾骨定位及后躯图像获取。由于修剪后奶牛深度图像的前后躯以勾骨连线为明显界限，因此可通过定位勾骨来实现后躯图像的获取。
具体过程为：以10列为一个滑动窗口，步长为1，从左到右依次计算掩模矩阵Maski,j中各滑动窗口所含列的元素值之和(例如，假设Maski,j矩阵总共有500列，依次计算1-10列元素之和，再计算2-11列、3-12列)，并取其中的最大值作为勾骨所在的列即图3中勾骨连线所在列，并通过定位该列中远离奶牛对称线的A,B两点的x坐标，来标识左右勾骨所在的行，保存A,B两点连接线左侧的像素点即可得到奶牛后躯图像。为便于后续的特征提取，将奶牛后躯图像转换为点云，得到后躯点云。本实施例中，掩模矩阵是指图像修剪过程中判断像素点是否被剔除的Maski,j矩阵。
步骤四，进行凸包特征提取。
由于奶牛体况评分主要是对各考量区域的皮下脂肪厚度的综合评测，而胖瘦程度不同的奶牛在不同考量区域的脂肪填充度是不同的，因而胖瘦奶牛的骶骨韧带切面线与周围骨骼包络线所形成的凹陷度(空间大小、距离)也不同，图4中，Envelop line为包络线，Thin cow表示瘦奶牛的骶骨韧带切面线，Fatter cow为胖奶牛的骶骨韧带切面线。对于胖奶牛而言，由于脂肪的堆积，各区域凹陷较小且后躯整体以脊柱为中心，向两侧呈平坦过渡状；而瘦奶牛由于其脂肪含量少，骨骼(脊柱)较为突出，整体凹陷明显，且后躯呈现倒V型。奶牛由瘦(倒V)到胖(近似平面)的过程是体脂在各骨骼间区域的富积填充过程，因此基于包络线原理及奶牛由瘦到胖后躯外形的渐变特性，提出了基于奶牛后躯凸包化的三维凹陷度特征提取方法，方法流程如图5所示，凸包特征提取的具体过程如下：
1)统计滤波。
具体的，获取步骤三得到的奶牛后躯点云后，采用统计滤波方法对奶牛后躯两腹侧稀疏离群点云进行滤除，以获取服从高斯分布的紧凑点云。其中，高斯分布的平均值由一点与其200个临近点的平均距离决定，且标准差系数设为3，滤波前奶牛后躯点云的腹侧区域如图6-1所示，滤波后奶牛后躯点云的腹侧区域如图6-2所示。
2)点云体素化。
具体的，受奶牛个体大小差异及拍摄过程奶牛身体晃动等因素的影响，所获取的后躯点云在数量级及各坐标数据值所含信息量上均不具备可比性。因此，基于组成图像像素小方格的位置标号与定量特性，对已滤波的后躯点云进行体素栅格化，使其初步具备图像特性。其中，如图6-3所示的初始体素(Original Volume Pixel)，初始体素的长宽高(l,w,h)由XYZ三个方向点云数据坐标的最大值与最小值之差决定即(maxx-minx,maxy-miny,maxz-minz)，体素分辨率设为(10,10,maxz-minz)，体素重心坐标为体素内所有点的坐标均值。由于栅格化后的体素编号均为(i,j,1)，且每个体素内仅含一个点，若去除标识其所在体素编号的各体素重心的x,y坐标值，以其z坐标值为像素值，则体素云将初具图像特性，如图6-4所示，并通过后续特征图像的尺寸变换与像素值替换，使其在x,y,z方向上均具有可比性。
3)凸包特征提取。
具体的，基于奶牛生长过程中体脂在各骨骼间区域富积程度对其后躯外形的影响特性，及胖瘦奶牛骨骼包络线与其间脂肪表面的凹陷度差异，对体素化后的点云进行凸包化特征提取，以实现依据不同奶牛完整后躯的凹陷度差异鉴别其胖瘦程度，即体况等级评定。
其中，凸包特征的具体提取过程如下：
首先，进行凸包化处理，包含所有体素云(即体素化后的点云)的最小凸多面体，即凸包，如图6-5所示。
具体的，从体素化后的点云中任选三个点组成有向三角形(指定三个顶点顺序的三角形)，判断其余所有点是否均在该三角形同侧，若是则记录这三个点坐标，并将其各点标注为凸边点，该三角形标注为有效三角形。
重复上述步骤直至查找完所有凸边点，并均标注为有效三角形；然后，拼接所有标注出来的有效三角形，最终形成包含所有体素云的最小凸多面体。
然后，计算凸包的特征距离。
具体的，在完成凸包化处理以后，为衡量完整后躯的凹陷度，采用凸包多面体内部各点(包含边界上的点)到其表面最近距离所组成的特征向量来表示。其中，特征向量的元素即为特征距离，特征距离计算过程如下：对于凸包多面体内部的任意一点，依次计算其与组成凸包多面体的各有效三角形的距离，并取其中的最小值作为该点的特征距离。
4)建立奶牛后躯的特征图像，并进行尺寸变换。
本实施例中，由于完整后躯的凹陷度由各体素内的点距凸包多面体最近面的距离所组成的特征向量表示，且无效体素的特征距离设为0。将各体素重心的xyz坐标值依次替换为其体素编号i，j和特征距离，形成如图6-6所示的特征图像(像素值替换)。明显地像素值的替换使得其在z轴方向具备了可比性与体况评价意义，但受初始体素的长宽差异影响，在体素分辨率相同时，不同点云所形成的特征图像尺寸也不尽相同，因而采用最邻近插值法对其进行尺寸变换，使得不同点云的特征图像具备可比性，试验过程中特征图像的尺寸均统一为60×60。
步骤五，体况评分。
对于步骤四提取的若干张奶牛后躯的特征图像，利用卷积神经网络模型进行预训练，然后利用训练好的卷积神经网络模型进行体况评分。本实施例中，分别采用直接评分模型和二级评分模型两种模型来估计奶牛体况评分。对于直接评分模型，直接采用卷积神经网络分类器(VGG、DenseNet、ResNet、MobileNet等)对特征图像进行分类以得到奶牛体况评分，并通过对比分析不同模型参数下各模型的准确率及速度进行模型的优选及优化。
对于二级评分模型而言，首先采用卷积神经网络分类器对其进行二分类，例如，设置分类器阈值，将分类器输出的评分≤3.25分为一类，将分类器输出的评分≥3.25分为一类，此次分类为粗分类，效果相当于将奶牛图像大致分出胖奶牛图像和瘦奶牛图像；然后将分类得到的胖奶牛图像和瘦奶牛图像，再分别利用分类器对各类别进行精细分类，以得到精细的奶牛体况评分，并通过对比分析不同模型参数下各模型的准确率及速度进行模型的优选及优化。
此外，两种模型在进行分类之前，均采用迁移学习的方法将分类器在ImageNet等超大型数据集上预训练，并通过在奶牛体况评分数据集上进行模型微调以得到最终分类结果，具体流程如图7所示。
本发明的奶牛体况评分方法，利用对后躯点云进行凸包化处理，计算出特征距离，用于表征奶牛后躯的凹陷度，因而构建出的特征图像能够精确表征奶牛的胖瘦程度，利用此特征图像训练卷积神经网络模型，能够有效提高模型的预测精度，提高奶牛评分的可靠性，减小误差。与现有方法相比，本发明的方法原理简单，无需进行针骨、骶骨定位及曲率等复杂计算，只需计算出特征向量，构建出特征图像，即可进行模型预测，可靠性高，具体较高的应用价值。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (3)
1.一种基于深度学习与点云凸包化特征的奶牛体况评分方法，其特征在于，包括以下步骤：
1)获取目标奶牛背部深度图像；
2)对所述目标奶牛背部深度图像进行旋转，使图像中的奶牛脊柱方向与图像横轴平行；
3)去掉图像中奶牛的前躯部分，获取奶牛后躯深度图像，将奶牛后躯图像转换为点云，得到后躯点云；
4)对后躯点云进行体素栅格化，进行凸包化处理，从体素化后的点云中任选三个点组成有向三角形，判断其余所有点是否均在该三角形同侧，若是则记录这三个点坐标，并将其各点标注为凸边点，该三角形标注为有效三角形；重复上述步骤直至查找完所有凸边点，并均标注为有效三角形；然后，拼接所有标注出来的有效三角形，最终形成包含所有体素云的最小凸多面体；对于凸多面体内部的任意一点，依次计算该点与组成凸多面体的各有效三角形的距离，并取其中的最小值作为该点的特征距离；
5)将体素云的各体素重心的xyz坐标值依次替换为体素编号i，j和特征距离，得到奶牛后躯的特征图像，采用最邻近插值法，对奶牛后躯的特征图像进行尺寸变换，使所有特征图像的尺寸统一；
6)获取若干张经过步骤1)至步骤5)处理的特征图像，利用卷积神经网络模型进行预训练，然后利用训练好的卷积神经网络模型进行体况评分。
2.根据权利要求1所述的奶牛体况评分方法，其特征在于，所述的卷积神经网络模型为直接评分模型或二级评分模型，对于直接评分模型，直接采用卷积神经网络分类器对特征图像进行分类，以得到奶牛体况评分；
对于二级评分模型，设置分类器阈值，采用卷积神经网络分类器对特征图像进行二分类，分为胖奶牛图像和瘦奶牛图像；再利用卷积神经网络分类器分别对胖奶牛图像和瘦奶牛图像进行精细分类，以得到精细的奶牛体况评分。
3.根据权利要求1所述的奶牛体况评分方法，其特征在于，步骤3)中，去掉图像中奶牛的前躯部分，获取奶牛后躯深度图像包括：
(1)滤除图像中的奶牛尾巴及后腹部的离散像素点，得到滤波后的奶牛深度图像；
(2)用深度阈值DT对滤波后的奶牛深度图像进行高度方向的修剪，以分割出深度图像中与体况评分相关的考量区域；
(3)对于修剪后的深度图像，进行奶牛的勾骨定位，以确定奶牛后躯与前躯的分界线，并依据分界线获取后躯图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011561643.5A CN112825791B (zh) | 2020-12-25 | 2020-12-25 | 一种基于深度学习与点云凸包化特征的奶牛体况评分方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011561643.5A CN112825791B (zh) | 2020-12-25 | 2020-12-25 | 一种基于深度学习与点云凸包化特征的奶牛体况评分方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112825791A CN112825791A (zh) | 2021-05-25 |
| CN112825791B true CN112825791B (zh) | 2023-02-10 |
Family
ID=75924615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011561643.5A Active CN112825791B (zh) | 2020-12-25 | 2020-12-25 | 一种基于深度学习与点云凸包化特征的奶牛体况评分方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112825791B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408916B (zh) * | 2021-06-28 | 2023-12-29 | 河南唐都科技有限公司 | 基于智能ai和移动app的消防设施检测及现场验收评定系统 |
| CN113470106B (zh) * | 2021-07-14 | 2022-12-02 | 河南科技大学 | 一种无接触式奶牛体尺信息采集方法 |
| CN114677322B (zh) * | 2021-12-30 | 2023-04-07 | 东北农业大学 | 基于注意力引导点云特征学习的奶牛体况自动评分方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010063527A1 (en) * | 2008-12-03 | 2010-06-10 | Delaval Holding Ab | Arrangement and method for determining a body condition score of an animal |
| CN103020960A (zh) * | 2012-11-26 | 2013-04-03 | 北京理工大学 | 基于凸包不变性的点云配准方法 |
| CN105787933A (zh) * | 2016-02-19 | 2016-07-20 | 武汉理工大学 | 基于多视角点云配准的岸线三维重建装置及方法 |
| WO2017030448A1 (en) * | 2015-08-17 | 2017-02-23 | Livestock Improvement Corporation Limited | Method and apparatus for evaluating an animal |
| CN106548484A (zh) * | 2016-10-27 | 2017-03-29 | 济宁学院 | 基于二维凸包的产品模型散乱点云边界特征提取方法 |
| CN109508907A (zh) * | 2018-12-24 | 2019-03-22 | 中国科学院合肥物质科学研究院 | 基于深度学习与远程视频的奶牛体况智能评分系统 |
| JP2019187277A (ja) * | 2018-04-24 | 2019-10-31 | 国立大学法人 宮崎大学 | 牛のボディコンディションスコアの評価装置、評価方法及び評価プログラム |
| CN110400310A (zh) * | 2019-07-31 | 2019-11-01 | 宁夏金宇智慧科技有限公司 | 一种奶牛体况自动评分系统 |
| CN110415282A (zh) * | 2019-07-31 | 2019-11-05 | 宁夏金宇智慧科技有限公司 | 一种奶牛体重预测系统 |
| CN110569735A (zh) * | 2019-08-13 | 2019-12-13 | 中国农业大学 | 一种基于奶牛背部体况的分析方法及装置 |
| CN111291683A (zh) * | 2020-02-08 | 2020-06-16 | 内蒙古大学 | 一种基于深度学习的奶牛个体识别系统及其识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140029808A1 (en) * | 2012-07-23 | 2014-01-30 | Clicrweight, LLC | Body Condition Score Determination for an Animal |
| CN111259978A (zh) * | 2020-02-03 | 2020-06-09 | 东北农业大学 | 一种融合多区域深度特征的奶牛个体身份识别方法 |
-
2020
- 2020-12-25 CN CN202011561643.5A patent/CN112825791B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010063527A1 (en) * | 2008-12-03 | 2010-06-10 | Delaval Holding Ab | Arrangement and method for determining a body condition score of an animal |
| CN103020960A (zh) * | 2012-11-26 | 2013-04-03 | 北京理工大学 | 基于凸包不变性的点云配准方法 |
| WO2017030448A1 (en) * | 2015-08-17 | 2017-02-23 | Livestock Improvement Corporation Limited | Method and apparatus for evaluating an animal |
| CN105787933A (zh) * | 2016-02-19 | 2016-07-20 | 武汉理工大学 | 基于多视角点云配准的岸线三维重建装置及方法 |
| CN106548484A (zh) * | 2016-10-27 | 2017-03-29 | 济宁学院 | 基于二维凸包的产品模型散乱点云边界特征提取方法 |
| JP2019187277A (ja) * | 2018-04-24 | 2019-10-31 | 国立大学法人 宮崎大学 | 牛のボディコンディションスコアの評価装置、評価方法及び評価プログラム |
| CN109508907A (zh) * | 2018-12-24 | 2019-03-22 | 中国科学院合肥物质科学研究院 | 基于深度学习与远程视频的奶牛体况智能评分系统 |
| CN110400310A (zh) * | 2019-07-31 | 2019-11-01 | 宁夏金宇智慧科技有限公司 | 一种奶牛体况自动评分系统 |
| CN110415282A (zh) * | 2019-07-31 | 2019-11-05 | 宁夏金宇智慧科技有限公司 | 一种奶牛体重预测系统 |
| CN110569735A (zh) * | 2019-08-13 | 2019-12-13 | 中国农业大学 | 一种基于奶牛背部体况的分析方法及装置 |
| CN111291683A (zh) * | 2020-02-08 | 2020-06-16 | 内蒙古大学 | 一种基于深度学习的奶牛个体识别系统及其识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| Estimating Body Condition Score of Cows from Images with the Newly Developed Approach;Nay Chi Lynn 等;《SNPD 2017》;20170628;第91-94页 * |
| 基于深度图像的奶牛表型特征获取系统设计与试验;鞠喜鹏等;《农业工程》;20200531(第05期);第24-28页 * |
| 应用体况评分(BCS)监控预防奶牛疾病;李生虎等;《黑龙江科技信息》;20070331(第05期);第97页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112825791A (zh) | 2021-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112825791B (zh) | 一种基于深度学习与点云凸包化特征的奶牛体况评分方法 | |
| CN106296653B (zh) | 基于半监督学习的脑部ct图像出血区域分割方法及系统 | |
| CN111243005B (zh) | 牲畜估重方法、装置、设备以及计算机可读存储介质 | |
| CN109636779B (zh) | 识别家禽体积体尺的方法、装置及存储介质 | |
| CN109141248A (zh) | 基于图像的猪体重测算方法及系统 | |
| Zhou et al. | An integrated skeleton extraction and pruning method for spatial recognition of maize seedlings in MGV and UAV remote images | |
| CN107256398A (zh) | 基于特征融合的奶牛个体识别方法 | |
| CN113470106B (zh) | 一种无接触式奶牛体尺信息采集方法 | |
| CN112288793B (zh) | 畜类个体背膘检测方法、装置、电子设备及存储介质 | |
| CN108764159A (zh) | 小样本条件下的动物面部识别方法和系统 | |
| CN112861872A (zh) | 一种南美白对虾表型数据测定方法、装置、计算机设备及存储介质 | |
| CN114723965A (zh) | 一种鱼类关键点表型数据测量方法 | |
| Shi et al. | Automatic estimation of dairy cow body condition score based on attention-guided 3D point cloud feature extraction | |
| Feng et al. | Classification of shellfish recognition based on improved faster r-cnn framework of deep learning | |
| CN116295022A (zh) | 一种基于深度学习多参数融合的猪只体尺测量方法 | |
| CN110349168B (zh) | 一种股骨头ct影像的分割方法 | |
| CN115331064A (zh) | 面向体尺测量的养殖场场景点云分类方法及装置 | |
| CN113222889A (zh) | 高分辨率图像下水产养殖物的工厂化养殖计数方法及装置 | |
| CN113920138A (zh) | 一种基于rgb-d相机的奶牛体尺检测装置及其检测方法 | |
| CN114022489A (zh) | 家畜点云双向断层区域分割方法及装置 | |
| CN111275269A (zh) | 一种基于养殖鱼异常行为的在线水质溶解氧变化预测方法 | |
| CN113706512B (zh) | 一种基于深度学习和深度相机的生猪体重测量方法 | |
| CN110298856A (zh) | 一种鱼体长度非接触式估算方法 | |
| CN112712088B (zh) | 动物膘情检测方法、装置及计算机可读存储介质 | |
| CN111179303B (zh) | 基于粒子滤波的谷物收获机器人视觉导航方法及其应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210525 Assignee: Luoyang Quanrun Animal Husbandry Co.,Ltd. Assignor: HENAN University OF SCIENCE AND TECHNOLOGY Contract record no.: X2023980047793 Denomination of invention: A Cow Health Rating Method Based on Deep Learning and Point Cloud Convex Hull Features Granted publication date: 20230210 License type: Common License Record date: 20231124 |