CN113470106B - 一种无接触式奶牛体尺信息采集方法 - Google Patents
一种无接触式奶牛体尺信息采集方法 Download PDFInfo
- Publication number
- CN113470106B CN113470106B CN202110795592.0A CN202110795592A CN113470106B CN 113470106 B CN113470106 B CN 113470106B CN 202110795592 A CN202110795592 A CN 202110795592A CN 113470106 B CN113470106 B CN 113470106B
- Authority
- CN
- China
- Prior art keywords
- cow
- point cloud
- angle
- plane
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 241000283690 Bos taurus Species 0.000 claims abstract description 204
- 235000013365 dairy product Nutrition 0.000 claims abstract description 79
- 239000008267 milk Substances 0.000 claims abstract description 12
- 235000013336 milk Nutrition 0.000 claims abstract description 12
- 210000004080 milk Anatomy 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 210000003141 lower extremity Anatomy 0.000 claims description 35
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 210000000003 hoof Anatomy 0.000 claims description 19
- 210000003414 extremity Anatomy 0.000 claims description 17
- 210000001624 hip Anatomy 0.000 claims description 17
- 210000000988 bone and bone Anatomy 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 15
- 210000000746 body region Anatomy 0.000 claims description 12
- 230000031702 trunk segmentation Effects 0.000 claims description 11
- 230000003187 abdominal effect Effects 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000009616 inductively coupled plasma Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 210000001015 abdomen Anatomy 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 241001061264 Astragalus Species 0.000 claims description 5
- 235000006533 astragalus Nutrition 0.000 claims description 5
- 238000007499 fusion processing Methods 0.000 claims description 5
- 235000010110 Astragalus glycyphyllos Nutrition 0.000 claims description 4
- 210000001217 buttock Anatomy 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 229910052731 fluorine Inorganic materials 0.000 claims description 3
- 125000001153 fluoro group Chemical group F* 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000033001 locomotion Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 210000000577 adipose tissue Anatomy 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract 1
- 238000009395 breeding Methods 0.000 description 11
- 230000001488 breeding effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 210000003739 neck Anatomy 0.000 description 9
- 230000008569 process Effects 0.000 description 4
- 230000000386 athletic effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000008765 Sciatica Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000001981 hip bone Anatomy 0.000 description 1
- 210000004124 hock Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000004233 talus Anatomy 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明属于奶牛体尺信息采集技术领域，具体涉及一种无接触式奶牛体尺信息采集方法。该方法首先利用覆盖奶牛完整身体区域的深度图像，构建奶牛三维模型；然后根据奶牛三维模型，对奶牛的身体区域进行分割；接着根据分割后的身体区域，提取奶牛的特征参数，所述特征参数包括点特征、线特征和面特征中的至少一种；最后根据奶牛的特征参数、以及特征参数和体尺参数之间的对应关系，得到奶牛的体尺参数。本发明在对奶牛身体区域进行分割后才提取奶牛的特征参数，保证了奶牛特征参数提取的准确性，从而实现了全自动、无接触、无应激且测量精度高的奶牛体尺采集。
Description
技术领域
本发明属于奶牛体尺信息采集技术领域，具体涉及一种无接触式奶牛体尺信息采集方法。
背景技术
奶牛养殖业蓬勃发展的国家的实际产出表明，规模化、标准化养殖是奶牛养殖业兴盛的必然之路。故奶牛的规模化、标准化养殖也是提升我国奶业竞争力和品质的必然要求。规模化、标准化养殖需要优良的奶牛品种，而奶牛的体尺参数对选育优良体型奶牛品种具有重要的意义：第一，体型优良的奶牛生产性能好、经济效益高，许多研究表明，体型性状的表现与健康状况、寿命长短及繁殖率等生产性能指标均有很大的相关性；第二，体型优良的奶牛更适于机械化挤奶装备和高效的生产管理；第三，有利于减少育种周期；第四，从商业利益看，体型优良的奶牛其售价更高。总之，选育优良体型的奶牛品种有助于选出健康、高产、适用于机械化管理的奶牛，并促进奶牛规模化、标准化养殖。而奶牛体尺信息是进行优良体型奶牛品种选育的依据，因此体尺信息的测量显得尤为重要。
目前奶牛体尺参数指标的检测多为人工应用卡尺、皮尺等量具进行测量，工作量大，而且易受人为因素、奶牛配合程度等的影响，测量精度低。
发明内容
本发明提供了一种无接触式奶牛体尺信息采集方法，用以解决采用人工测量奶牛体尺造成的工作量大、精度低的问题。
为解决上述技术问题，本发明所包括的技术方案以及技术方案对应的有益效果如下：
本发明提供了一种无接触式奶牛体尺信息采集方法，包括如下步骤：
1)获取覆盖奶牛完整身体区域的深度图像；
2)利用覆盖奶牛完整身体区域的深度图像，构建奶牛三维模型；
3)根据奶牛三维模型，对奶牛的身体区域进行分割；
4)根据分割后的身体区域，提取奶牛的特征参数，所述特征参数包括点特征、线特征和面特征中的至少一种；
5)根据奶牛的特征参数、以及特征参数和体尺参数之间的对应关系，得到奶牛的体尺参数。
上述技术方案的有益效果为：本发明提供了一种无接触式奶牛体尺信息采集方法，该方法利用获取的覆盖奶牛完整身体区域的深度图像来构建奶牛三维模型，在构建好奶牛三维模型后先将奶牛的身体区域进行分割，在分割后才提取奶牛的特征参数，保证了奶牛特征参数提取的准确性，进而利用奶牛的特征参数得到奶牛的体尺参数，从而实现了全自动、无接触、无应激且测量精度高的奶牛体尺采集。
进一步的，为了利用精确划分的身体区域以得到更为准确的奶牛体尺参数，步骤3)中，分割的身体区域包括：头部、颈部、前后肢、腰腹部和臀部。
进一步的，为了全方位获取奶牛体尺参数以对奶牛的状态进行评价，所述体尺参数包括体高、尻宽度、体躯大小、后肢侧视、体深、后肢后视、楞角性、蹄角度、尻角度、以及运动能力中的至少一种；
所述体高采用如下方法得到：提取脊柱轮廓线，定位耆甲最高点，计算耆甲最高点至地面的距离；
所述尻宽度采用如下方法得到：利用提取的臀部点云，在X-Y平面内提取其轮廓线并定位臀部骨骼关键点，利用臀部骨骼关键点之间的距离计算尻宽度；
所述体躯大小采用如下方法得到：利用提取的腰腹部点云定位测量关键点，并做与Y-Z平面平行的切面；提取切面点云并对其进行曲面拟合，求解拟合所得的切面圆的圆周作为胸围，对所得胸围及奶牛自身体重进行加权以对体躯大小进行评估。
所述后肢侧视采用如下方法得到：利用提取的前后肢点云定位后肢侧视点云并在X-Y平面内提取点云轮廓线，计算其曲率以及与地面的夹角，对曲率与所得夹角进行加权以对后肢侧视进行评估；
所述体深采用如下方法得到：利用提取的腹部点云进行曲面拟合，求解腹部曲面的左右切面及切点，依据腹部切点求取平行于Y-Z平面的切面点云，并在X-Y平面内对切面点云进行线段拟合以及距离计算以得到体深；
所述后肢后视采用如下方法得到：利用提取的前后肢点云定位后肢后视点云，并在X-Y平面内对其进行曲线拟合，计算曲线曲率以及与地面的夹角，对得到的曲线曲率与夹角进行加权以对后肢后视进行评估；
所述楞角性采用如下方法得到：将躯干分割后的颈部点云投影至X-Y平面内，并提取其轮廓线，计算其上下轮廓线的长度及倾斜角度，对所得长度及倾斜角度进行加权处理以对楞角性进行评估。
所述蹄角度采用如下方法得到：利用提取的前后肢点云定位趾蹄部位，在X-Y平面内提取趾蹄轮廓线，计算趾蹄轮廓线与地面的水平夹角得到蹄角度；
所述尻角度采用如下方法得到：利用提取的臀部点云定位勾骨针骨区域，提取勾骨至针骨区域的背脊轮廓线，计算背脊轮廓线与X-Z平面的夹角得到所述尻角度；
所述运动能力采用如下方法得到：利用提取的前后肢点云，将其投影至Y-Z平面内，计算其重叠区域面积，以对运动能力进行评估。
进一步的，为了能够构建出完整的奶牛三维模型，步骤1)中，所述覆盖奶牛完整身体区域的深度图像包括三幅分区域深度图像，其中一幅分区域深度图像是从奶牛的正上方拍摄的奶牛的背部深度图像，其余两幅分区域深度图像分别是从奶牛的两侧拍摄的奶牛的侧视深度图像。
进一步的，为了方便且准确构建出奶牛三维模型，步骤2)中，利用三幅分区域深度图像构建奶牛的三维模型时，包括将三幅分区域深度图像对应的三维点云数据统一到同一坐标系下以得到奶牛在同一坐标系下完整的三维点云数据的步骤；而且，在统一到同一坐标系下时，所采用的坐标变换公式为：
其中，(xci,yci,zci)表示拍摄第i幅深度图像的传感器的点云坐标在局部坐标系Ci下的三维表示；(xc1,yc1,zc1)表示拍摄第i幅深度图像的传感器的点云坐标经变换后在局部坐标系C1下的是三维表示；Rj(j-1)和tj(j-1)表示拍摄第j幅深度图像的传感器和拍摄第j-1幅深度图像的传感器之间的局部坐标的转换关系，且j＝i；Rl(l-1)表示拍摄第l幅深度图像的传感器和拍摄第l-1幅深度图像的传感器之间的局部坐标的转换关系，且l＝j-1。
进一步的，为了准确分割奶牛的身体区域，步骤3)中，采用基于超体素的区域增长算法对奶牛的身体区域进行分割；所述基于超体素的区域增长算法包括：
①将奶牛三维模型体素化，并在体素空间下利用网格化处理筛选种子体素；
②提取体素特征，计算种子体素与其邻接体素的相似性；
③利用聚类算法将体素云过分割以得到超体素云；
④对超体素数据进行平面拟合，计算对应的残差值，选取残差之最小的超体素作为初始种子，并依据残差阈值筛选邻域内的候选种子点；
⑤计算相邻超体素之间的相似性，并根据设定的距离阈值进行区域增长得到邻接面片；
⑥计算邻接面片的凹凸性，根据凹凸性判定准则对凸连接的邻接面片进行融合处理，得到最终的分割结果。
进一步的，步骤②中，所述体素特征包括提取体素的空间、FPFH、颜色和曲率特征中的至少一种。
进一步的，为了确保奶牛三维点云数据的准确获取，还包括采用双边滤波算法对覆盖奶牛完整身体区域的深度图像进行预处理的步骤。
进一步的，为了准确进行奶牛三维模型的重构，步骤2)中，采用如下方法构建奶牛三维模型：
a)从覆盖奶牛完整身体区域的深度图像对应的点云数据中筛选特征点对，完成基于点对的粗配准；
b)依据初始配准参数并结合ICP配准算法实现原始点云的精配准；
c)检测精配准后的点云数据的重叠区域，进行冗余数据的融合处理；
d)对融合后的点云数据进行脊柱线提取，计算脊柱线与横轴夹角，利用夹角旋转点云数据使其脊柱与横轴对齐，以构建出轴对称的奶牛三维模型。
进一步的，为了保证点云数据的准确性以构建出精准的奶牛三维模型，还包括对覆盖奶牛完整身体区域的深度图像对应的点云数据进行预处理的步骤，所述预处理包括对点云数据进行滤波平滑处理、数据清洗处理和修复点云孔洞。
附图说明
图1是本发明的无接触式奶牛体尺信息采集方法的流程图；
图2-1是本发明的图像采集系统的正视图；
图2-2是本发明的图像采集系统的侧视图；
图2-3是本发明的图像采集系统的俯视图；
图3是本发明的构建奶牛三维模型的流程图；
图4是本发明的对奶牛的身体区域进行分割的流程图；
图5是本发明的提取体尺参数的流程图；
图6-1是本发明的奶牛体高为极其矮(extremely short)状态的示意图；
图6-2是本发明的奶牛体高为中间程度状态(intermediate)的示意图；
图6-3是本发明的奶牛体高为极其高(extremely tall)状态的示意图；
图7-1是本发明的奶牛尻宽度为极其窄(extremely narrow)状态的示意图；
图7-2是本发明的奶牛尻宽度为中等宽度(intermediate width)状态的示意图；
图7-3是本发明的奶牛尻宽度为非常宽大(extermely open)状态的示意图；
图8-1是本发明的奶牛体躯大小为极其狭窄和脆弱(extremely narrow andfrail)状态的示意图；
图8-2是本发明的奶牛体躯大小为中间程度(intermediate)状态的示意图
图8-3是本发明的奶牛体躯大小为非常强壮(extremely strong&wide)状态的示意图；
图9-1是本发明的奶牛后肢侧视为非常笔直(posty and straight)状态的示意图；
图9-2是本发明的奶牛后肢侧视为中度弯曲(intermediate set in hock)状态的示意图；
图9-3是本发明的奶牛后肢侧视为极度弯曲(extremely sickled)状态的示意图；
图10-1是本发明的奶牛体深为极浅(extremely shallow body)状态的示意图；
图10-2是本发明的奶牛体深为中度(intermediate)状态的示意图；
图10-3是本发明的奶牛体深为极深(extremely deep body)状态的示意图；
图11-1是本发明的奶牛后肢后视为严重的脚趾外翻(severe toe-out)状态的示意图；
图11-2是本发明的奶牛后肢后视为没有脚趾外翻(no toe-out)状态的示意图；
图12-1是本发明的奶牛楞角性为非常紧(extremely tight)状态的示意图；
图12-2是本发明的楞角性为中等程度(intermediate)状态的示意图；
图12-3是本发明的楞角性为非常敞开(extremely open)状态的示意图；
图13-1是本发明的奶牛蹄角度为小角度(extreme low angle)状态的示意图；
图13-2是本发明的奶牛蹄角度为中间角度(intermediate angle)状态的示意图；
图13-3是本发明的奶牛蹄角度为陡峭角度(extreme steep angle)状态的示意图；
图14-1是本发明的奶牛尻角度为针骨明显高于勾骨(Pins clearly higher thanhooks)状态的示意图；
图14-2是本发明的奶牛尻角度为针骨基本持平勾骨(Slight slope from hooksto pins)状态的示意图；
图14-3是本发明的奶牛尻角度为针骨明显低于勾骨(Extremely sloped fromhooks to pins)状态的示意图；
图15-1是本发明的奶牛运动能力为后肢明显外展(Severe abduction)状态的示意图；
图15-2是本发明的奶牛运动能力为后肢轻微外展(Slight abduction)状态的示意图；
图15-3是本发明的奶牛运动能力为后肢没有外展(No abduction)状态的示意图。
具体实施方式
本发明提取的一种无接触式奶牛体尺信息采集方法，其整体流程如图1所示，基本思路为：
首先获取覆盖奶牛完整身体区域的深度图像，然后基于深度图像获取奶牛体尺信息。其中，奶牛体尺信息的获取主要是在通过对不同视场获取的点云数据进行坐标的全局变换与统一得到的奶牛完整体表点云数据的基础上，采用点云ICP配准算法对其进行二次配准与三维模型重构；并通过点云分割算法实现三维模型不同身体区域的自动定位与分割；最后根据体尺参数测定标准，定位参数测量区域或点位，并提取相应的点线面特征来完成的。下面对整个过程展开进行详细介绍：
步骤一，搭建图像采集系统，获取覆盖奶牛完整身体区域的深度图像。
为实现奶牛完整体尺信息的测量，构建基于深度相机的多视角图像采集系统，以获取得到覆盖奶牛完整身体区域的深度图像。依据相机参数对图像采集结果的影响特性，为得到奶牛完整体表点云，选用D455深度相机，并根据其深度视场参数(86°×57°)、测距范围(0.2～6m)及奶牛体型参数范围(L×W×H)，通过三角计算，得出系统所需相机个数及其摆放距离。
计算过程如下：
为清楚描述图像采集系统的搭建过程，提供如下参数：奶牛的体长为L、体宽为W、体高为H，相机的水平视常角为θ1，竖直视场角为θ2，相机到奶牛体表的距离为x。
侧视情况下，依据奶牛的体长、体宽、体高、相机的视场角以及方程组(1)可以解得x的值。
式中，x1为水平视角下，相机可以拍摄完整奶牛体长的最小距离；x2为竖直视场角下，相机可以拍摄完整奶牛体高的最小距离。其中，为了保证相机可以拍摄到完整的奶牛侧面图像，故x要取x1、x2的最大值。
俯视情况下，依据奶牛的体长、体宽、体高、相机的视场角以及方程组(2)可以解得x的值。
式中，x3为水平视角下，相机可以拍摄完整奶牛体长的最小距离；x4为竖直视场角下，相机可以拍摄完整奶牛体宽的最小距离。其中，为了保证相机可以拍摄到完整的奶牛背部图像，故x要取x3、x4的最大值。
以我国养殖量较大的荷斯坦奶牛为例：假定L等于2.4m，H等于1.5m，W等于0.7m。经计算可得，侧视相机与奶牛体表的最小距离为1.38m，俯视相机与奶牛体表的最小距离为1.29m。而为了拍摄到完整的奶牛深度图像，共需要安装三台D455相机，分别位于奶牛的左侧方(C1)、右侧方(C2)和正上方(C3)。又因奶牛个体差异，相机摆放时需留出一定阈值，最终确定左右两侧的相机距离奶牛中心点的距离均为1.8m，距离地面高度为0.75m，另一台相机摆放在奶牛中心正上方，距离地面2.85m处。如图2-1、2-2、2-3所示，装置整体由一个相机承载框架、3台D455深度相机和4个滑轮组成，且装置整体高2.92m，宽3.75m，两侧相机(C1，C2)均距地面0.73m，上方相机(C3)位于横梁中心，4个滑轮高均为12cm。
步骤二，利用步骤一中获取的覆盖奶牛完整身体区域的深度图像，构建奶牛三维模型。
1、坐标系的全局变换与统一。
由于本系统中各相机处于不同的视角，因此需通过在相邻相机深度视场内摆放圆形标记物对多台相机进行位置标定，并依据圆形标记物在不同相机坐标系下的空间位置，求解其坐标变换矩阵，以实现多台相机坐标的全局变换与统一。
以多视角深度传感器的全局标定为例，假定奶牛三维信息获取系统共有N个摄像机且局部坐标系分别为(C1,C2,…CN)，以局部坐标系C1作为世界坐标系W、相邻深度传感器局部坐标系的转换关系为R(i+1)i和t(i+1)i，则有：
其中，(xc(i+1),yc(i+1),zc(i+1))表示传感器i+1的点云坐标在局部坐标系Ci+1下的三维表示；(xci,yci,zci)表示传感器i+1的点云坐标经变换后在局部坐标系Ci下的三维表示。因此，依据上述递推关系可得，任一传感器i测量得到的点云空间坐标经过前面的i-1个层层关联的转换矩阵均可变换到传感器1的坐标系统，变换方式如下：
其中，(xc1,yc1,zc1)表示拍摄第i幅深度图像的传感器的点云坐标经变换后在局部坐标系C1下的是三维表示；Rj(j-1)和tj(j-1)表示拍摄第j幅深度图像的传感器和拍摄第j-1幅深度图像的传感器之间的局部坐标的转换关系，且j＝i；Rl(l-1)表示拍摄第l幅深度图像的传感器和拍摄第l-1幅深度图像的传感器之间的局部坐标的转换关系，且l＝j-1。
将相邻两个相机采集的多个不同大小的圆锥靶标深度图像转换为点云数据，使用三维特征点匹配算法计算两个深度摄像机之间的全局坐标变换矩阵。然后可根据式(4)将同步获取的多视角点云数据变换至同一坐标系下(即指定的世界坐标系)，实现不同来源的奶牛三维点云数据的融合。
经过坐标的统一之后便可得到奶牛在同一坐标系下完整的三维点云数据，可用于重构奶牛模型，进行奶牛体尺的测量。
2、奶牛三维模型重建。
1)采用双边滤波算法对图像采集系统获取的深度图像进行预处理，确保奶牛三维点云数据的准确获取。
2)对变换至同一坐标系下的不同视角的点云数据进行配准融合以得到高精度且完整的奶牛三维模型。步骤如下：①预处理。利用数据清洗技术及点云滤波平滑算法对点云数据进行降噪处理，并通过填充优化算法修复点云孔洞。②粗配准。通过特征提取算法与随机采样一致性方法筛选特征点对，完成基于点对的粗配准，得到初始配准参数。③精配准。依据初始配准参数结合ICP配准算法实现原始点云的精配准，并以Kd-Tree加速搜索对应点对，提高配准效率。④点云融合。采用栅栏法和K-D树法检测配准后点云重叠区域，并删除同名点对，以实现冗余数据的融合。⑤轴向对齐。为便于后续的区域分割与特征提取，利用奶牛对称性，旋转奶牛点云使其脊柱与横轴对齐，以构建得到轴对称的奶牛三维模型。重建流程如图3所示。
步骤三，根据步骤二中构建的奶牛三维模型，对奶牛的身体区域进行分割，分割的区域包括头部、颈部、前后肢、腰腹部和臀部。
对于构建的奶牛三维点云模型，采用基于超体素的区域增长分割算法来实现各身体区域的精准分割，以减少后续表型参数测量的复杂性。具体过程如下：①体素化和网格化。采用Kd-Tree将奶牛三维模型体素化，并在体素空间下利用网格化处理筛选种子体素，以初始化后续聚类算法。②特征提取与距离度量。提取体素的空间、FPFH、颜色、曲率等特征，对其归一化处理，依据体素特征距离计算种子体素与其邻接体素的相似性。③流约束聚类。利用流约束聚类算法对体素云进行聚类以得到依附于边界信息、均匀同质的超体素点云。④初始化生长种子。利用最小二乘法对超体素数据进行平面拟合，计算对应的残差值，选取残差值最小的超体素作为初始种子，并依据残差阈值来筛选邻域内的候选种子点。⑤超体素区域增长。提取超体素特征(表面几何及特征约束)，通过归一化距离值来测量相邻超体素之间的相似性，并根据设定的距离阈值进行区域增长得到一组由超体素聚集而成的邻接面片簇。⑥跨凸边区域融合。计算邻接面片凹凸性，根据邻接面片凹凸性判定准则对凸连接的邻接面片进行融合处理，以得到最终超体素聚类分割结果。最终的分类结果即头部、颈部、前后肢、腰腹部和臀部。具体流程如图4所示。
步骤四，根据步骤三中得到的身体区域，提取奶牛的特征参数；并利用奶牛的特征参数以及特征参数和体尺参数之间的对应关系，得到奶牛的体尺参数。
为构建能够客观描述不同表型参数的特征描述子，通过分析体尺参数在不同体型时的三维结构特点，构建基于几何特性的不同特征体系。对体尺参数定位参数测量区域或关键点；提取对应的点、线、面特征(角度、曲率、面积、切面)；求解体尺特征参数；计算体尺参数测量值与真实值之间的平均误差、最大误差、误差变异系数等，并通过分析误差分布规律对测量结果进行校正；采用回归系数、重复性检验以及一致性检验对系统测量精度、可靠性进行综合评价。具体步骤如图5所示。
需说明的是，特征参数中的点特征对应于奶牛某一个/多个身体区域中的关键点(例如在计算“尻宽度”时需要选取点特征，且点特征为臀部骨骼关键点)，线特征对应于奶牛某一个/多个身体区域的一些轮廓线(例如在计算“后肢侧视”时需要选取线特征，且线特征为后肢侧视点云在X-Y平面内的点云轮廓线)，等等。而且，在进行不同体尺参数计算时，选取的点、线、面特征可能不同，选取的奶牛身体区域也可能不同。
不同体尺参数测量的详细方法如下：
体高(STATURE)：提取脊柱轮廓线，定位体高关键点(耆甲最高点)，计算其到地平面的距离。不同状态分别如图6-1、6-2、6-3所示。
尻宽度(RUMP WIDTH)：依据躯干分割结果提取臀部点云，在X-Y平面内提取其轮廓线并定位臀部骨骼(坐骨)关键点，计算关键点距离即可得到尻宽度。不同状态分别如图7-1、7-2、7-3所示。
体躯大小(STRENGTH)：定位测量关键点并做与Y-Z平面平行的切面；提取切面点云并对其进行曲面拟合，求解拟合所得的切面圆的圆周作为胸围，对所得胸围及奶牛自身体重进行加权即可获取体躯大小。不同状态分别如图8-1、8-2、8-3所示。
后肢侧视(REAR LEGS(SIDE))：依据躯干分割结果定位后肢侧视点云并在X-Y平面内提取点云轮廓线，计算其曲率以及与地面的夹角，对曲率与所得夹角进行加权即可对后肢侧视进行评估。不同状态分别如图9-1、9-2、9-3所示。
体深(BODY DEPTH)：依据躯干分割结果提取腹部点云并对其进行曲面拟合，求解腹部曲面的左右切面及切点；依据腹部切点求取平行与Y-Z平面的切面点云，并在X-Y平面内对切面点云进行线段拟和以及距离计算。不同状态分别如图10-1、10-2、10-3所示。
后肢后视(REAR LEGS(RL))：依据躯干分割结果定位后肢后视点云，在X-Y平面内采用PCA、移动最小二乘法等其进行曲线拟合，计算曲线曲率及与地面夹角，对曲率与所得夹角进行加权即可对后肢后视进行评估。不同状态分别如图11-1、11-2所示。
楞角性(DAIRY FORM)：依据躯干分割结果，将躯干分割后的颈部点云投影至X-Y平面内，并提取其轮廓线，计算其上下轮廓线的长度及倾斜角度，对所得长度及倾斜角度进行加权处理即可对楞角性进行评估。不同状态分别如图12-1、12-2、12-3所示。
蹄角度(FOOT ANGLE)：采用区域生长、CPC、LCCP等分割算法对躯干分割后的四肢点云进行精细分割以定位趾蹄部位，并在X-Y平面内提取其轮廓线，计算与地面的水平夹角即可得到蹄角度。不同状态分别如图13-1、13-2、13-3所示。
尻角度(RUMP ANGLE)：依据躯干分割结果提取臀部点云并定位勾骨针骨区域，提取勾骨至针骨区域的脊背轮廓线，计算其与X-Z平面的夹角即可得到尻角度。不同状态分别如图14-1、14-2、14-3所示。
运动能力(LOCOMOTION)：依据躯干分割结果提取四肢点云，将其投影至Y-Z平面内并计算其重叠区域面积即可对运动能力进行评估。不同状态分别如图15-1、15-2、15-3所示。
至此，便可完成无接触、全自动、无应激、且测量精度高的奶牛体尺信息采集。利用这些信息，可对奶牛的状态进行评价与判断。
Claims (8)
1.一种无接触式奶牛体尺信息采集方法，其特征在于，包括如下步骤：
1)搭建图像采集系统，获取覆盖奶牛完整身体区域的深度图像，所述覆盖奶牛完整身体区域的深度图像包括三幅分区域深度图像，其中一幅分区域深度图像是从奶牛的正上方拍摄的奶牛的背部深度图像，其余两幅分区域深度图像分别是从奶牛的两侧拍摄的奶牛的侧视深度图像；根据相机深度视场参数、测距范围及奶牛体型参数范围，通过三角计算得出相机的摆放距离：
在侧视情况下，依据方程组(1)得到相机到奶牛体表的距离：
式中，x1为水平视角下，相机拍摄完整奶牛体长的最小距离；x2为竖直视场角下，相机拍摄完整奶牛体高的最小距离，L为奶牛的体长，H为奶牛的体高，θ1为相机的水平视常角，θ2为相机的竖直视场角；
在俯视情况下，依据方程组(2)得到相机到奶牛体表的距离：
式中，x3为水平视角下，相机拍摄完整奶牛体长的最小距离；x4为竖直视场角下，相机拍摄完整奶牛体宽的最小距离，W为奶牛的体宽；
2)利用覆盖奶牛完整身体区域的深度图像，构建奶牛三维模型；
3)根据奶牛三维模型，对奶牛的身体区域进行分割；
4)根据分割后的身体区域，提取奶牛的特征参数，所述特征参数包括点特征、线特征和面特征中的至少一种；
5)根据奶牛的特征参数、以及特征参数和体尺参数之间的对应关系，得到奶牛的体尺参数，所述体尺参数包括体高、尻宽度、体躯大小、后肢侧视、体深、后肢后视、楞角性、蹄角度、尻角度、以及运动能力中的至少一种；
所述体高采用如下方法得到：提取脊柱轮廓线，定位耆甲最高点，计算耆甲最高点至地面的距离；
所述尻宽度采用如下方法得到：利用提取的臀部点云，在X-Y平面内提取其轮廓线并定位臀部骨骼关键点，利用臀部骨骼关键点之间的距离计算尻宽度；
所述体躯大小采用如下方法得到：利用提取的腰腹部点云定位测量关键点，并做与Y-Z平面平行的切面；提取切面点云并对其进行曲面拟合，求解拟合所得的切面圆的圆周作为胸围，对所得胸围及奶牛自身体重进行加权以对体躯大小进行评估；
所述后肢侧视采用如下方法得到：利用提取的前后肢点云定位后肢侧视点云并在X-Y平面内提取点云轮廓线，计算其曲率以及与地面的夹角，对曲率与所得夹角进行加权以对后肢侧视进行评估；
所述体深采用如下方法得到：利用提取的腹部点云进行曲面拟合，求解腹部曲面的左右切面及切点，依据腹部切点求取平行于Y-Z平面的切面点云，并在X-Y平面内对切面点云进行线段拟合以及距离计算以得到体深；
所述后肢后视采用如下方法得到：利用提取的前后肢点云定位后肢后视点云，在X-Y平面内对其进行曲线拟合，计算曲线曲率以及与地面的夹角，对得到的曲线曲率与夹角进行加权以对后肢后视进行评估；
所述楞角性采用如下方法得到：依据躯干分割结果，将躯干分割后的颈部点云投影至X-Y平面内，并提取其轮廓线，计算其上下轮廓线的长度及倾斜角度，对所得长度及倾斜角度进行加权处理以对楞角性进行评估；
所述蹄角度采用如下方法得到：利用提取的前后肢点云定位趾蹄部位，在X-Y平面内提取趾蹄轮廓线，计算趾蹄轮廓线与地面的水平夹角得到所述蹄角度；
所述尻角度采用如下方法得到：利用提取的臀部点云定位勾骨针骨区域，提取勾骨至针骨区域的背脊轮廓线，计算背脊轮廓线与X-Z平面的夹角得到所述尻角度；
所述运动能力采用如下方法得到：利用提取的前后肢点云，将其投影至Y-Z平面内，计算其重叠区域面积，以对运动能力进行评估。
2.根据权利要求1所述的无接触式奶牛体尺信息采集方法，其特征在于，步骤3)中，分割的身体区域包括：头部、颈部、前后肢、腰腹部和臀部。
3.根据权利要求1所述的无接触式奶牛体尺信息采集方法，其特征在于，步骤2)中，利用三幅分区域深度图像构建奶牛的三维模型时，包括将三幅分区域深度图像对应的三维点云数据统一到同一坐标系下以得到奶牛在同一坐标系下完整的三维点云数据的步骤；而且，在统一到同一坐标系下时，所采用的坐标变换公式为：
其中，(xci,yci,zci)表示拍摄第i幅深度图像的传感器的点云坐标在局部坐标系Ci下的三维表示；(xc1,yc1,zc1)表示拍摄第i幅深度图像的传感器的点云坐标经变换后在局部坐标系C1下的是三维表示；Rj(j-1)和tj(j-1)表示拍摄第j幅深度图像的传感器和拍摄第j-1幅深度图像的传感器之间的局部坐标的转换关系，且j＝i；Rl(l-1)表示拍摄第l幅深度图像的传感器和拍摄第l-1幅深度图像的传感器之间的局部坐标的转换关系，且l＝j-1。
4.根据权利要求1所述的无接触式奶牛体尺信息采集方法，其特征在于，步骤3)中，采用基于超体素的区域增长算法对奶牛的身体区域进行分割；所述基于超体素的区域增长算法包括：
①将奶牛三维模型体素化，并在体素空间下利用网格化处理筛选种子体素；
②提取体素特征，计算种子体素与其邻接体素的相似性；
③利用聚类算法将体素云过分割以得到超体素云；
④对超体素数据进行平面拟合，计算对应的残差值，选取残差之最小的超体素作为初始种子，并依据残差阈值筛选邻域内的候选种子点；
⑤计算相邻超体素之间的相似性，并根据设定的距离阈值进行区域增长得到邻接面片；
⑥计算邻接面片的凹凸性，根据凹凸性判定准则对凸连接的邻接面片进行融合处理，得到最终的分割结果。
5.根据权利要求4所述的无接触式奶牛体尺信息采集方法，其特征在于，步骤②中，所述体素特征包括提取体素的空间、FPFH、颜色和曲率特征中的至少一种。
6.根据权利要求1所述的无接触式奶牛体尺信息采集方法，其特征在于，还包括采用双边滤波算法对覆盖奶牛完整身体区域的深度图像进行预处理的步骤。
7.根据权利要求1所述的无接触式奶牛体尺信息采集方法，其特征在于，步骤2)中，采用如下方法构建奶牛三维模型：
a)从覆盖奶牛完整身体区域的深度图像对应的点云数据中筛选特征点对，完成基于点对的粗配准；
b)依据初始配准参数并结合ICP配准算法实现原始点云的精配准；
c)检测精配准后的点云数据的重叠区域，进行冗余数据的融合处理；
d)对融合后的点云数据进行脊柱线提取，计算脊柱线与横轴夹角，利用夹角旋转点云数据使其脊柱与横轴对齐，以构建出轴对称的奶牛三维模型。
8.根据权利要求7所述的无接触式奶牛体尺信息采集方法，其特征在于，还包括对覆盖奶牛完整身体区域的深度图像对应的点云数据进行预处理的步骤，所述预处理包括对点云数据进行滤波平滑处理、数据清洗处理和修复点云孔洞。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110795592.0A CN113470106B (zh) | 2021-07-14 | 2021-07-14 | 一种无接触式奶牛体尺信息采集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110795592.0A CN113470106B (zh) | 2021-07-14 | 2021-07-14 | 一种无接触式奶牛体尺信息采集方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113470106A CN113470106A (zh) | 2021-10-01 |
| CN113470106B true CN113470106B (zh) | 2022-12-02 |
Family
ID=77878554
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110795592.0A Active CN113470106B (zh) | 2021-07-14 | 2021-07-14 | 一种无接触式奶牛体尺信息采集方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113470106B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114966733B (zh) * | 2022-04-21 | 2023-04-18 | 北京福通互联科技集团有限公司 | 基于激光阵列和单目摄像机的肉牛立体深度图像采集系统 |
| CN115039717B (zh) * | 2022-06-28 | 2023-06-16 | 光明牧业有限公司 | 一体化奶牛生长发育智能监测装置 |
| CN115294181B (zh) * | 2022-08-18 | 2023-06-30 | 东北农业大学 | 基于两阶段关键点定位的奶牛体型评定指标测量方法 |
| CN116071417B (zh) * | 2023-01-31 | 2024-01-12 | 河北农业大学 | 一种基于Azure Kinect的羊只体尺体重获取系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106600622A (zh) * | 2016-12-06 | 2017-04-26 | 西安电子科技大学 | 一种基于超体素的点云数据分割方法 |
| CN108961271A (zh) * | 2018-06-27 | 2018-12-07 | 西安工程大学 | 一种彩色3d点云超体素凹凸分割算法 |
| CN112331345A (zh) * | 2020-11-26 | 2021-02-05 | 河南科技大学 | 一种基于直接评测模型的奶牛体脂率检测方法 |
| CN112508890A (zh) * | 2020-11-26 | 2021-03-16 | 河南科技大学 | 一种基于二级评测模型的奶牛体脂率检测方法 |
| CN112825791A (zh) * | 2020-12-25 | 2021-05-25 | 河南科技大学 | 一种基于深度学习与点云凸包化特征的奶牛体况评分方法 |
| CN213482938U (zh) * | 2020-12-07 | 2021-06-18 | 河南科技大学 | 获取奶畜乳房区域三维点云的装置 |
-
2021
- 2021-07-14 CN CN202110795592.0A patent/CN113470106B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106600622A (zh) * | 2016-12-06 | 2017-04-26 | 西安电子科技大学 | 一种基于超体素的点云数据分割方法 |
| CN108961271A (zh) * | 2018-06-27 | 2018-12-07 | 西安工程大学 | 一种彩色3d点云超体素凹凸分割算法 |
| CN112331345A (zh) * | 2020-11-26 | 2021-02-05 | 河南科技大学 | 一种基于直接评测模型的奶牛体脂率检测方法 |
| CN112508890A (zh) * | 2020-11-26 | 2021-03-16 | 河南科技大学 | 一种基于二级评测模型的奶牛体脂率检测方法 |
| CN213482938U (zh) * | 2020-12-07 | 2021-06-18 | 河南科技大学 | 获取奶畜乳房区域三维点云的装置 |
| CN112825791A (zh) * | 2020-12-25 | 2021-05-25 | 河南科技大学 | 一种基于深度学习与点云凸包化特征的奶牛体况评分方法 |
Non-Patent Citations (5)
| Title |
|---|
| "Automatic body condition scoring system for dairy cows based on depth-image analysis";Kaixuan Zhao等;《https://www.ijabe.org》;20200731;第45-54页 * |
| "基于EfficientNet与点云凸包特征的奶牛体况自动评分";赵凯旋等;《农业机械学报》;20210531;第192-201、73页 * |
| "基于凹凸性的杂乱场景点云分割算法研究";黄镇等;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180815;I143-9 * |
| "基于机器视觉的奶牛个体信息感知及行为分析";赵凯旋;《中国博士学位论文全文数据库 农业科技辑》;20171015;D050-1 * |
| "基于邻接区域凸融合的室内点云分割算法研究";魏琪;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190215;I138-1725 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113470106A (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113470106B (zh) | 一种无接触式奶牛体尺信息采集方法 | |
| CN110338840B (zh) | 三维成像数据的显示处理方法和三维超声成像方法及系统 | |
| CN111243005B (zh) | 牲畜估重方法、装置、设备以及计算机可读存储介质 | |
| EP2370952B1 (en) | Arrangement and method for determining a body condition score of an animal | |
| US20130094732A1 (en) | Method and system of automatic determination of geometric elements from a 3d medical image of a bone | |
| Zhou et al. | An integrated skeleton extraction and pruning method for spatial recognition of maize seedlings in MGV and UAV remote images | |
| CN108830272A (zh) | 基于rgb-d相机的马铃薯图像采集装置及芽眼识别和定位方法 | |
| Zhang et al. | Algorithm of sheep body dimension measurement and its applications based on image analysis | |
| CN112258651B (zh) | 一种遮挡情况下奶牛体表点云三维重建方法 | |
| CN105103164B (zh) | 基于视图分类的模型初始化 | |
| US9183630B2 (en) | Method and apparatus for orienting image representative data | |
| CN112825791B (zh) | 一种基于深度学习与点云凸包化特征的奶牛体况评分方法 | |
| US20120113116A1 (en) | Method and apparatus for preparing image representative data | |
| CN112184781A (zh) | 超声图像和ct图像的配准方法、装置及设备 | |
| CN113920106B (zh) | 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法 | |
| CN109872325A (zh) | 基于双路三维卷积神经网络的全自动肝脏肿瘤分割方法 | |
| CN103307978A (zh) | 一种测量鸡蛋体积和表面积的方法 | |
| CN112288793A (zh) | 畜类个体背膘检测方法、装置、电子设备及存储介质 | |
| CN103908258A (zh) | 一种奶牛乳腺组织体积的测量方法 | |
| CN115886792A (zh) | 一种牲畜智能体尺测定方法、系统及装置 | |
| Yang et al. | Automated measurement of dairy cows body size via 3D point cloud data analysis | |
| CN114677322B (zh) | 基于注意力引导点云特征学习的奶牛体况自动评分方法 | |
| CN112508890B (zh) | 一种基于二级评测模型的奶牛体脂率检测方法 | |
| Becker et al. | Automatic segmentation of the cerebellum of fetuses on 3D ultrasound images, using a 3D Point Distribution Model | |
| CN111008602A (zh) | 一种小曲率薄壁零件用二维和三维视觉结合的划线特征提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20211001 Assignee: Luoyang Quanrun Animal Husbandry Co.,Ltd. Assignor: HENAN University OF SCIENCE AND TECHNOLOGY Contract record no.: X2023980047793 Denomination of invention: A non-contact method for collecting body size information of cows Granted publication date: 20221202 License type: Common License Record date: 20231124 |
|
| EE01 | Entry into force of recordation of patent licensing contract |