CN116071417B - 一种基于Azure Kinect的羊只体尺体重获取系统及方法 - Google Patents
一种基于Azure Kinect的羊只体尺体重获取系统及方法 Download PDFInfo
- Publication number
- CN116071417B CN116071417B CN202310047701.XA CN202310047701A CN116071417B CN 116071417 B CN116071417 B CN 116071417B CN 202310047701 A CN202310047701 A CN 202310047701A CN 116071417 B CN116071417 B CN 116071417B
- Authority
- CN
- China
- Prior art keywords
- point
- sheep
- point cloud
- points
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241001494479 Pecora Species 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000005259 measurement Methods 0.000 claims abstract description 18
- 230000037396 body weight Effects 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 238000001914 filtration Methods 0.000 claims description 15
- 230000001960 triggered effect Effects 0.000 claims description 8
- 238000012417 linear regression Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 210000001217 buttock Anatomy 0.000 claims description 3
- 241000416162 Astragalus gummifer Species 0.000 claims description 2
- 239000009636 Huang Qi Substances 0.000 claims description 2
- 241001074086 Peprilus triacanthus Species 0.000 claims description 2
- 229920001615 Tragacanth Polymers 0.000 claims description 2
- 210000001015 abdomen Anatomy 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000000611 regression analysis Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 229940116362 tragacanth Drugs 0.000 claims description 2
- 235000010487 tragacanth Nutrition 0.000 claims description 2
- 239000000196 tragacanth Substances 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 241001465754 Metazoa Species 0.000 description 19
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000283690 Bos taurus Species 0.000 description 1
- 208000035240 Disease Resistance Diseases 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 238000003975 animal breeding Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01G—WEIGHING
- G01G17/00—Apparatus for or methods of weighing material of special form or property
- G01G17/08—Apparatus for or methods of weighing material of special form or property for weighing livestock
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01G—WEIGHING
- G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
- G01G19/52—Weighing apparatus combined with other objects, e.g. furniture
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V1/00—Seismology; Seismic or acoustic prospecting or detecting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Abstract
本发明公开了一种基于AzureKinect的羊只体尺体重获取系统及方法，属于体尺体重测量技术领域。本发明的羊只体尺体重获取系统包括：检测通道及围栏、超声波触发装置、两个深度相机和计算机；所述检测通道和围栏构成半封闭式前进通道；所述超声波触发装置由两个超声波传感器和一块stm32单片机组成，两个超声波传感器设置到前进通道的前后两端，前端为超声波传感器a，后端为超声波传感器b；所述两个深度相机安装在围栏上。采用本发明的系统，可以通过非接触的方式，快速、精确地重建出目标区域的三维模型，且根据三维模型计算出羊只的体尺参数和预估出羊只的体重数据，算法简单，计算量小，且可以达到较高的精度。
Description
技术领域
本发明属于体尺体重测量技术领域，特别是涉及一种基于Azure Kinect的羊只体尺体重获取系统及方法。
背景技术
羊的养殖是畜牧业的重要组成部分。羊的体尺参数可以反映其体型、结构和发育状况，也可以反映其生理功能、生产性能、抗病能力和对外界生活条件的适应性等。因此，进行羊只体尺的监测对于提高精准养殖水平具有重要的现实意义。
传统的动物体尺测量方法是人工利用标尺、卷尺等工具对其进行直接测量。这种方式不但工作量大，而且获取的结果受主观性影响。此外，这种测量方法需要固定住动物并与之直接接触，这易使动物产生应激反应，导致生产性能下降、疾病增加，甚至死亡，严重影响了动物个体的生长发育。这种传统的接触式体尺测量方法降低了动物的福利化饲养水平，并增加了人畜共患病传播的风险。
随着信息感知技术和精准养殖水平的提高，家畜体尺获取方式逐渐向非接触式转变，在猪、牛和羊的体尺获取方面，非接触式测量都得到了研究。非接触式测量一般利用图像的方法进行体尺的估计，通过图像处理方法寻找图像中动物体尺的关键点，计算关键点之间的距离从而得到动物的体尺数据。图像是平面而非立体的，无法一次性得到更多的体尺参数，比如体高、体长、体宽等无法通过同一个平面得到。动物的三维模型能够反映出其更多的体尺特征，便于从不同的角度对体尺参数进行评估。
综上所述，在养殖场等环境下，发明一种非接触式羊只体尺体重获取系统及方法非常必要。
发明内容
针对上述现有技术存在的问题，本发明提供一种基于Azure Kinect的羊只体尺体重获取系统及方法，能够快速无损的对动物进行精准地三维重建，以及动物体尺体重信息的获取。
为实现上述目的，本发明提供了如下方案：
本发明目的之一是提供一种基于Azure Kinect的羊只体尺体重获取系统，包括：检测通道及围栏、超声波触发装置、两个深度相机和计算机；
所述检测通道和两侧围栏构成半封闭式前进通道；所述超声波触发装置由两个超声波传感器和一块stm32单片机组成，单片机接收两个超声波信号并进行处理，两个超声波传感器设置到前进通道的前后两端，前端为超声波传感器a，后端为超声波传感器b，用于判断动物是否到达指定位置，到达指定位置并作为深度相机拍摄的启动信号；所述两个深度相机Azure Kinect分别安装在两侧围栏上，Azure Kinect采集的三维点云数据传输到计算机进行处理，以重建动物体的三维模型并计算体尺和体重。
本发明目的之二是提供一种基于Azure Kinect的羊只体尺体重获取方法，采用权利要求1所述的系统进行，步骤包括：
(1)系统启动后，打开深度相机使其处于等待拍摄的状态；
(2)超声波触发装置判断是否有羊只通过，若有羊只通过，单片机向计算机发出信号，计算机控制深度相机拍照；
(3)根据深度相机获取的深度数据得到三维点云数据；
(4)点云数据处理：利用体素网格滤波算法对点云进行下采样，利用约束条件去除背景点云，利用统计滤波去除噪声点云；
(5)点云数据融合：基于相机相对位置进行初始配准，利用ICP算法在初次配准的基础上进行精细配准；
(6)利用RANSK算法去除两片点云中的地面点云；
(7)获取羊只体尺，计算羊只体重；
(8)返回步骤(2)，测量下一羊只体尺体重。
进一步地，步骤(2)所述判断的过程为：超声波传感器a被触发，一段时间内超声波传感器b被触发，判定有羊只通过；如果超声波传感器b没有被触发则重新等待超声波传感器a被触发。
进一步地，步骤(3)所述三维点云数据由公式(1)得到：
其中，[H_ir]-1是深度相机内参矩阵H_ir的逆矩阵；p_ir代表深度相机获取的深度图像中的某个像素的深度信息，D为深度数值，x,y分别是该深度值在深度图像中的行和列位置；P_ir是将原始深度像素转换到世界坐标系中的转换深度像素，x_ir,y_ir,z_ir分别表示转换后深度值在世界坐标系中的三维空间位置。
进一步地，步骤(4)所述约束条件如公式(2)所示：
其中，x，y和z代表点云在坐标系中的位置，(Xmin，Xmax)，(Ymin，Ymax)和(Zmin，Zmax)分别表示在坐标系三个坐标方向的滤波范围，其取值可以根据系统结构来确定，不满足约束条件的点云被认为是背景噪声而被过滤掉；
步骤(4)所述利用统计滤波去除噪声点云，包括如下步骤：
①对于点云中任意一个点，利用公式(3)计算它到附近k个临近点的平均距离
其中，xi，yi，zi分别代表目标点在三个坐标轴上的坐标值，xj，yj，zj分别代表目标点的近邻点在三个坐标轴上的坐标值；
②利用公式(4)计算点云中每个点对应的平均距离的均值μ和标准差σ：
③确定有效点云的范围为(μ-σ*std，μ+σ*std)，std为系数，如果点云中某个点到k个近邻点的平均距离不在这个范围之内，则认为该点属于噪声。
进一步地，步骤(5)所述初始配准的步骤为：
①左右两侧的深度相机坐标系分别围绕各自X轴向左和向右旋转θ角，直到Y轴处于垂直于水平面的位置，此时左侧和右侧的深度相机坐标系的Z轴方向分别为水平向右和向左，经过坐标系旋转，深度相机获取的点云坐标位置如公式(5)所示：
其中，(xL，yL，zL)和(xR，yR，zR)分别表示左右两侧深度相机获取点云的原始坐标，(xL'，yL'，zL')和(xR'，yR'，zR')分别表示左右两侧坐标转换后的坐标；
②步骤①得到的右侧深度相机坐标系沿竖直方向的Y轴，在XOZ平面中沿顺时针方向旋转180°，然后取当前X轴的负方向为正方向，使右侧深度相机的坐标轴方向与世界坐标系方向一致，右侧深度相机获取的点云坐标位置如公式(6)所示：
其中，(xR”，yR”，zR”)为经过步骤②之后右侧深度相机获取的点云的坐标；
③步骤②得到的右侧深度相机坐标系向左移动Δl，使之与左侧的深度相机转换后的坐标系及坐标原点重叠，右侧深度相机获取的点云坐标系位置如公式(7)所示：
(xT,yT,zT)＝(x'R',y'R',z'R')-[0,0,Δl] (7)
其中，(xR”'，yR”'，zR”')为经过步骤③之后右侧深度相机获取的点云的坐标。
经过坐标变换，两侧深度相机AzureKinect获取的点云被转换到世界坐标系下，两个Azure Kinect获取的点云可以被直接拼接。
进一步地，为了提高三维模型的重构精度进行精细配准，步骤(5)所述精细配准的步骤为：
①对于点云集P中任意一个点pi，计算其与点云集Q中所有点的欧式距离，取距离最小的点作为pi的对应点qi；
②计算使pi和qi完全重合需要的旋转参数Ri和平移参数Ti；
③利用Ri和Ti对点云集P和Q中的其它点进行配准，并利用公式(8)计算配准误差：
④遍历点云中所有点，取最小误差对应的R和T作为最优匹配参数；
⑤根据得到的最优R和T，对初次配准后的点云进行精细配准。
进一步地，步骤(6)所述利用RANSK算法去除两片点云中的地面点云，包括如下步骤：
①随机从点云中取三个不共面的点，并生成一个参考平面；
②计算点云中其它点到该平面的距离，如果距离值小于阈值则该点被认为属于该平面，阈值通过公式(9)计算得到：
其中，p(xp，yp，zp)为被随机选择的点，q(xq，yq，zq)为点云中其它的任意一点，dis(p,q)为点p和点q之间的欧氏距离，dp为最小欧式距离，N为点云个数；
③遍历点云中所有点，包含点数最多的平面为地面，删除属于该平面的点。
进一步地，步骤(7)所述获取羊只体尺，包括如下步骤：
①将羊只三维点云投影到XOY二维平面中，使得羊体朝向标准化，即头左，尾右为正方向；
②提取羊只点云的轮廓，并使用高斯滤波去除噪声以及平滑轮廓曲线；
③将轮廓划分为三个区间(如图5所示)：(x1，y1)为羊只头顶坐标；(x2，y2)为羊只尾部坐标，((x1+x2)/2，y3)、((x1+x2)/2，y4)分别为水平中垂线与羊只躯干点云的交点坐标，(x3，y5)为y＝y4与羊只最左端的交点坐标；根据上述坐标点，利用公式(10)-(12)将羊只二维轮廓划分为3个区间，其中区间1主要包含左半部分背部点云，耆甲点和胸深测量点在区间1中，区间2主要包含胸部点云，肩胛前端测量点在区间2中，区间3主要包含后半部分背部点云，坐骨结节最后隆突点、坐骨结节后端在区间3中；
④用三次B样条曲线算法对区间轮廓进行曲线拟合，B样条曲线如公式(13)所示：
其中，P0、P1、P2、P3为控制点，t为自变量(t∈[0,1])；
⑤羊只体尺参数测量点提取(图6为羊只体尺测量点分布图)：
A.耆甲点在轮廓线上表现为羊只脖颈的凸出处，在B样条曲线上以波峰的形式表现，通过波峰、波谷检测法检测耆甲点(xq，yq)；
B.采用局部曲率检测法，计算曲率最大的点即为坐骨端后缘点(xzd，yzd)，曲率采用海伦-秦九韶公式计算；
C.坐骨结节最后隆突点(xzt，yzt)在背部右半侧最高处，在区间3中找到Y轴坐标的最大值；
D.将区间2内数据点的首、尾点相连构成一条直线，计算区间2内的点到该条直线的距离，取距离最大的点作为肩胛前端测量点(xjq，yjq)；
E.胸深测量点在耆甲点后端的腹部，对胸深测量点进行估算：
a.根据公式(14)筛选羊只轮廓线中所有符合要求的点；
其中，xq为耆甲点的横坐标；
b.对于步骤a中得到的点集中的任意一点(x'，y')根据公式(15)规定的范围搜索纵坐标最大的对应点；按照这种方法对步骤a中所有点进行遍历，得到点集Pcm；
其中，为羊只三维模型的点云距离，如公式(9)所示；
c.根据公式(16)和点集Pcm，得到胸深测量点坐标：
其中，(xcd，ycd)为胸深测量点坐标，(xi,yi)为点集Pcm的坐标，n为点集Pcm中点的数量；
⑥根据得到的体尺参数测量点，利用公式(17)计算体高、体长、胸深、臀高：
其中，Lwh为体高，yd为地面所在平面的纵坐标，Lbl为体长，Lcd为胸深，LHh为臀高；
使用三次B样条曲线拟合并补齐胸围轮廓，根据拟合后的轮廓曲线，利用欧式距离公式计算相邻两个点云之间的距离，最后将所有距离相加记为胸围，如公式(18)所示：
其中，LB为胸围，(xi,yi)，(xi+1,yi+1)为两个相邻的点云坐标。
进一步地，步骤(7)所述羊只体重的计算步骤为：
①采用一元线性回归分析方法(Simple Linear Regression，SLR)分析各体尺参数与羊只体重之间的关系，然后找出与羊只体重关系较为密切的典型体尺参数或其组合建立它们与羊只体重之间的关系模型；
②将一元线性回归分析中得到的相关系数较高的体尺参数，如体高、体长、胸围和臀高作为体尺参数，采用逐步多元线性回归方法进行分析；
羊只体重为y，4个体尺参数体高、体长、胸围、臀高依次用x1～x4表示，在MATLAB中利用stepwise函数构建基于逐步回归分析方法的线性预估模型，拟合度R2为0.9041，最后得到的羊只体重预估模型如公式(19)所示：
y＝0.1006x1+0.1854x2+0.3597x3+0.3757x4-44.7572 (19)。
本发明的基于Azure Kinect的羊只体尺体重获取系统及方法可以应用在动物养殖领域，特别是需要获取动物体尺精准信息或者动物体三维模型的应用领域。
本发明的有益效果：
本发明提出了一种基于Azure Kinect的羊只体尺体重获取系统及方法，本发明利用两个角度重建三维动物模型，用一个相机的世界坐标系作为统一坐标系，另外的相机相对于这个坐标系的旋转矩阵和平移向量去拼接点云，并根据三维点云模型计算羊只的体尺和体重。其与现有方法相比，本发明可以通过非接触方式，快速、精确地重建出目标区域的三维模型，且根据三维模型计算出羊只的体尺参数和预估出羊只的体重数据，算法简单，计算量小，且可以达到较高的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为羊只体尺体重获取系统的结构三视图，(a)为主视图，(b)为左视图，(c)为俯视图；
图2为两个Azure Kinect相机的坐标系位置关系，θ为Azure Kinect的倾斜角度，Δl为两个Azure Kinect之间的水平距离；
图3为左侧Azure Kinect坐标系向世界坐标系转换过程；
图4为右侧Azure Kinect坐标系向世界坐标系转换过程；
图5为羊只轮廓区间划分；
图6为羊只体尺测量点分布图，1-耆甲点，2-坐骨结节最后隆突点，3-坐骨结节后端，4-肩胛前端，5-胸深测量点；
图7为实施例1点云预处理过程中不同操作后点云效果，(a)为原始点云数据，(b)为体素网格滤波下采样后点云数据，(c)为直通滤波后点云，(d)为统计滤波后点云；
图8为实施例1点云数据融合的效果，(a)点云的初始配准，(b)点云的精确配准，(c)精确配准后的融合点云；
图9为实施例1地面去除效果，(a)利用RANSAC算法找到的地面点云和羊只点云，(b)去除地面点云后剩下的羊只点云；
图10为实施例1羊只点云二维投影轮廓提取效果图；
图11为实施例1区间划分及区间轮廓线曲线拟合结果；
图12为实施例1体尺测量点提取结果。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案，下面结合实施例对本发明作进一步详细描述。
实施例1
基于Azure Kinect的羊只体尺体重获取系统，包括：检测通道及围栏、超声波触发装置、两个深度相机和计算机；
检测通道和两侧围栏构成半封闭式前进通道；超声波触发装置由两个超声波传感器和一块stm32单片机组成，单片机接收两个超声波信号并进行处理，两个超声波传感器设置到前进通道的前后两端，前端为超声波传感器a，后端为超声波传感器b，用于判断动物是否到达指定位置，到达指定位置并作为深度相机拍摄的启动信号；两个深度相机AzureKinect分别安装在两侧围栏上，Azure Kinect采集的三维点云数据传输到计算机进行处理，以重建动物体的三维模型并计算体尺和体重。
具体步骤包括：
(1)系统启动后，打开深度相机使其处于等待拍摄的状态；
(2)超声波触发装置判断是否有羊只通过，若有羊只通过，单片机向计算机发出信号，计算机控制深度相机拍照；
(3)根据深度相机获取的深度数据得到三维点云数据；
(4)点云数据处理：利用体素网格滤波算法对点云进行下采样，利用约束条件去除背景点云，利用统计滤波去除噪声点云；
获取到的点云数据预处理结果如图7及表1所示：
表1预处理结果
(5)点云数据融合：基于相机相对位置进行初始配准，利用ICP算法在初次配准的基础上进行精细配准；
点云数据融合结果如图8及表2所示：
表2配准结果
(6)利用RANSK算法去除两片点云中的地面点云，地面去除的结果如图9所示；
(7)获取羊只体尺，计算羊只体重；
羊只二维投影轮廓及体尺测量点的提取结果如图10-12及表3-5所示：
表3人工获取的羊只体尺参数
表4试验获取的羊只体尺参数
羊只体重信息获取结果如表5所示；
表5羊只体重信息获取结果
以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (7)
1.一种基于Azure Kinect的羊只体尺体重获取系统，其特征在于，包括：检测通道及围栏、超声波触发装置、两个深度相机和计算机；
所述检测通道和围栏构成半封闭式前进通道；所述超声波触发装置由两个超声波传感器和一块单片机组成，两个超声波传感器设置到前进通道的前后两端，前端为超声波传感器a，后端为超声波传感器b；所述两个深度相机安装在围栏上；
采用上述所述的系统进行，步骤包括：
(1)系统启动后，打开深度相机使其处于等待拍摄的状态；
(2)超声波触发装置判断是否有羊只通过，若有羊只通过，单片机向计算机发出信号，计算机控制深度相机拍照；
(3)根据深度相机获取的深度数据得到三维点云数据；
(4)点云数据处理：利用体素网格滤波算法对点云进行下采样，利用约束条件去除背景点云，利用统计滤波去除噪声点云；
(5)点云数据融合：基于相机相对位置进行初始配准，利用ICP算法在初次配准的基础上进行精细配准；
所述初始配准的步骤为：
①左右两侧的深度相机坐标系分别围绕各自X轴向左和向右旋转θ角，直到Y轴处于垂直于水平面的位置，此时左侧和右侧的深度相机坐标系的Z轴方向分别为水平向右和向左，经过坐标系旋转，深度相机获取的点云坐标位置如公式(5)所示：
其中，(xL，yL，zL)和(xR，yR，zR)分别表示左右两侧深度相机获取点云的原始坐标，(x′L，y′L，z′L)和(x′R，y'R，z′R)分别表示左右两侧坐标转换后的坐标；
②步骤①得到的右侧深度相机坐标系沿竖直方向的Y轴，在XOZ平面中沿顺时针方向旋转180°，然后取当前X轴的负方向为正方向，使右侧深度相机的坐标轴方向与世界坐标系方向一致，右侧深度相机获取的点云坐标位置如公式(6)所示：
其中，(x″R，y″R，z″R)为经过步骤②之后右侧深度相机获取的点云的坐标；
③步骤②得到的右侧深度相机坐标系向左移动Δl，使之与左侧的深度相机转换后的坐标系及坐标原点重叠，右侧深度相机获取的点云坐标系位置如公式(7)所示：
(xT,yT,zT)＝(x″R,y″R,z″R)-[0,0,Δl] (7)
其中，(x″R，y″R，z″R)为经过步骤③之后右侧深度相机获取的点云的坐标；
(6)利用RANSK算法去除两片点云中的地面点云；
(7)获取羊只体尺，计算羊只体重；
所述获取羊只体尺，包括如下步骤：
①将羊只三维点云投影到XOY二维平面中，使得羊体朝向标准化，即头左，尾右为正方向；
②提取羊只点云的轮廓，并使用高斯滤波去除噪声以及平滑轮廓曲线；
③将轮廓划分为三个区间：(x1，y1)为羊只头顶坐标；(x2，y2)为羊只尾部坐标，((x1+x2)/2，y3)、((x1+x2)/2，y4)分别为水平中垂线与羊只躯干点云的交点坐标，(x3，y5)为y＝y4与羊只最左端的交点坐标；根据上述坐标点，利用公式(10)-(12)将羊只二维轮廓划分为3个区间，其中区间1包含左半部分背部点云，区间2包含胸部点云，区间3包含后半部分背部点云；
④用三次B样条曲线算法对区间轮廓进行曲线拟合，B样条曲线如公式(13)所示：
其中，P0、P1、P2、P3为控制点，t为自变量；
⑤羊只体尺参数测量点提取：
A.耆甲点在轮廓线上表现为羊只脖颈的凸出处，在B样条曲线上以波峰的形式表现，通过波峰、波谷检测法检测耆甲点(xq，yq)；
B.采用局部曲率检测法，计算曲率最大的点即为坐骨端后缘点(xzd，yzd)，曲率采用海伦-秦九韶公式计算；
C.坐骨结节最后隆突点(xzt，yzt)在背部右半侧最高处，在区间3中找到Y轴坐标的最大值；
D.将区间2内数据点的首、尾点相连构成一条直线，计算区间2内的点到该条直线的距离，取距离最大的点作为肩胛前端测量点(xjq，yjq)；
E.胸深测量点在耆甲点后端的腹部，计算方法如下：
a.根据公式(14)筛选羊只轮廓线中所有符合要求的点；
其中，xq为耆甲点的横坐标；
b对于步骤a中得到的点集中的任意一点(x'，y')根据公式(15)规定的范围搜索纵坐标最大的对应点；按照这种方法对步骤a中所有点进行遍历，得到点集Pcm；
其中，为羊只三维模型的点云距离，如公式(9)所示；
c.根据公式(16)和点集Pcm，得到胸深测量点坐标：
其中，(xcd，ycd)为胸深测量点坐标，(xi,yi)为点集Pcm的坐标，n为点集Pcm中点的数量；
⑥根据得到的体尺参数测量点，利用公式(17)计算体高、体长、胸深、臀高：
其中，Lwh为体高，yd为地面所在平面的纵坐标，Lbl为体长，Lcd为胸深，LHh为臀高；
使用三次B样条曲线拟合并补齐胸围轮廓，根据拟合后的轮廓曲线，利用欧式距离公式计算相邻两个点云之间的距离，最后将所有距离相加记为胸围，如公式(18)所示：
其中，LB为胸围，(xm,ym)，(xm+1,ym+1)为两个相邻的点云坐标；
(8)返回步骤(2)，测量下一羊只体尺体重。
2.根据权利要求1所述的基于Azure Kinect的羊只体尺体重获取系统，其特征在于，步骤(2)所述判断的过程为：超声波传感器a被触发，一段时间内超声波传感器b被触发，判定有羊只通过；如果超声波传感器b没有被触发则重新等待超声波传感器a被触发。
3.根据权利要求1所述的基于Azure Kinect的羊只体尺体重获取系统，其特征在于，步骤(3)所述三维点云数据由公式(1)得到：
其中，[H_ir]-1是深度相机内参矩阵H_ir的逆矩阵；p_ir代表深度相机获取的深度图像中的某个像素的深度信息，D为深度数值，a,b分别是该深度值在深度图像中的行和列位置；P_ir是将原始深度像素转换到世界坐标系中的转换深度像素，x_ir,y_ir,z_ir分别表示转换后深度值在世界坐标系中的三维空间位置。
4.根据权利要求1所述的基于Azure Kinect的羊只体尺体重获取系统，其特征在于，步骤(4)所述约束条件如公式(2)所示：
其中，x，y和z代表点云在坐标系中的位置，(Xmin，Xmax)，(Ymin，Ymax)和(Zmin，Zmax)分别表示在坐标系三个坐标方向的滤波范围，不满足约束条件的点云被认为是背景噪声而被过滤掉；
步骤(4)所述利用统计滤波去除噪声点云，包括如下步骤：
①对于点云中任意一个点，利用公式(3)计算它到附近k个临近点的平均距离
其中，xa，ya，za分别代表目标点在三个坐标轴上的坐标值，xj，yj，zj分别代表目标点的近邻点在三个坐标轴上的坐标值；
②利用公式(4)计算点云中每个点对应的平均距离的均值μ和标准差σ：
③确定有效点云的范围为(μ-σ*std，μ+σ*std)，std为系数，如果点云中某个点到k个近邻点的平均距离不在这个范围之内，则认为该点属于噪声。
5.根据权利要求1所述的基于AzureKinect的羊只体尺体重获取系统，其特征在于，步骤(5)所述精细配准的步骤为：
①对于点云集P中任意一个点pi，计算其与点云集Q中所有点的欧式距离，取距离最小的点作为pi的对应点qi；
②计算使pi和qi完全重合需要的旋转参数Ri和平移参数Ti；
③利用Ri和Ti对点云集P和Q中的其它点进行配准，并利用公式(8)计算配准误差：
④遍历点云中所有点，取最小误差对应的R和T作为匹配参数；
⑤根据得到的R和T，对初次配准后的点云进行精细配准。
6.根据权利要求1所述的基于Azure Kinect的羊只体尺体重获取系统，其特征在于，步骤(6)所述利用RANSK算法去除两片点云中的地面点云，包括如下步骤：
①随机从点云中取三个不共面的点，并生成一个参考平面；
②计算点云中其它点到该平面的距离，如果距离值小于阈值则该点被认为属于该平面，阈值通过公式(9)计算得到：
其中，l(xl，yl，zl)为被随机选择的点，n(xn，yn，zn)为点云中其它的任意一点，dis(l,n)为点l和点n之间的欧氏距离，dl为最小欧式距离，N为点云个数；
③遍历点云中所有点，包含点数最多的平面为地面，删除属于该平面的点。
7.根据权利要求1所述的基于Azure Kinect的羊只体尺体重获取系统，其特征在于，步骤(7)所述羊只体重的计算步骤为：
①采用一元线性回归分析方法分析各体尺参数与羊只体重之间的关系，建立体尺参数与羊只体重的关系模型；
②将一元线性回归分析中得到的具有一定相关系数的体尺参数，采用逐步多元线性回归方法进行分析；
羊只体重为y，4个体尺参数体高、体长、胸围、臀高依次用x1～x4表示，在MATLAB中利用stepwise函数构建基于逐步回归分析方法的线性预估模型，拟合度R2为0.9041，最后得到的羊只体重预估模型如公式(19)所示：
y＝0.1006x1+0.1854x2+0.3597x3+0.3757x4-44.7572 (19)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310047701.XA CN116071417B (zh) | 2023-01-31 | 2023-01-31 | 一种基于Azure Kinect的羊只体尺体重获取系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310047701.XA CN116071417B (zh) | 2023-01-31 | 2023-01-31 | 一种基于Azure Kinect的羊只体尺体重获取系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116071417A CN116071417A (zh) | 2023-05-05 |
| CN116071417B true CN116071417B (zh) | 2024-01-12 |
Family
ID=86171153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310047701.XA Active CN116071417B (zh) | 2023-01-31 | 2023-01-31 | 一种基于Azure Kinect的羊只体尺体重获取系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116071417B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116763295B (zh) * | 2023-08-11 | 2024-02-06 | 北京市农林科学院智能装备技术研究中心 | 牲畜体尺测量方法、电子设备及存储介质 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127727A (zh) * | 2016-06-07 | 2016-11-16 | 中国农业大学 | 一种家畜体表三维数据获取方法 |
| CN109141364A (zh) * | 2018-08-01 | 2019-01-04 | 北京进化者机器人科技有限公司 | 障碍物检测方法、系统及机器人 |
| CN109190704A (zh) * | 2018-09-06 | 2019-01-11 | 中国科学院深圳先进技术研究院 | 障碍物检测的方法及机器人 |
| CN110693499A (zh) * | 2019-11-14 | 2020-01-17 | 河北农业大学 | 一种动物体尺和体重的检测系统及方法 |
| CN111145345A (zh) * | 2019-12-31 | 2020-05-12 | 山东大学 | 隧道施工区域三维模型构建方法及系统 |
| CN111242041A (zh) * | 2020-01-15 | 2020-06-05 | 江苏大学 | 基于伪图像技术的激光雷达三维目标快速检测方法 |
| CN111414798A (zh) * | 2019-02-03 | 2020-07-14 | 沈阳工业大学 | 基于rgb-d图像的头部姿态检测方法及系统 |
| CN111612850A (zh) * | 2020-05-13 | 2020-09-01 | 河北工业大学 | 一种基于点云的猪只体尺参数测量方法 |
| CN211723135U (zh) * | 2019-11-14 | 2020-10-23 | 河北农业大学 | 一种动物体生理指标检测系统 |
| CN113177977A (zh) * | 2021-04-09 | 2021-07-27 | 上海工程技术大学 | 一种非接触式三维人体尺寸的测量方法 |
| CN113470106A (zh) * | 2021-07-14 | 2021-10-01 | 河南科技大学 | 一种无接触式奶牛体尺信息采集方法 |
| CN113483869A (zh) * | 2021-07-02 | 2021-10-08 | 河北农业大学 | 一种羊只体重检测系统及方法 |
| CN113554691A (zh) * | 2021-07-22 | 2021-10-26 | 河北农业大学 | 一种植株高度测量方法 |
| CN113989391A (zh) * | 2021-11-11 | 2022-01-28 | 河北农业大学 | 基于rgb-d相机的动物体三维模型重构系统及方法 |
| CN113985438A (zh) * | 2021-11-12 | 2022-01-28 | 河北农业大学 | 一种植物三维模型重建系统及方法 |
| CN114429497A (zh) * | 2020-10-14 | 2022-05-03 | 西北农林科技大学 | 一种基于3d相机的活体秦川牛体尺测量方法 |
| CN114463286A (zh) * | 2022-01-13 | 2022-05-10 | 东南大学 | 一种基于移动窗口的路面点云平滑及裂缝信息处理方法 |
| CN115272237A (zh) * | 2022-07-29 | 2022-11-01 | 华南农业大学 | 一种基于单pc的多视角牛体尺自动测量方法 |
| CN115345822A (zh) * | 2022-06-08 | 2022-11-15 | 南京航空航天大学 | 一种面向航空复杂零件的面结构光自动化三维检测方法 |
-
2023
- 2023-01-31 CN CN202310047701.XA patent/CN116071417B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127727A (zh) * | 2016-06-07 | 2016-11-16 | 中国农业大学 | 一种家畜体表三维数据获取方法 |
| CN109141364A (zh) * | 2018-08-01 | 2019-01-04 | 北京进化者机器人科技有限公司 | 障碍物检测方法、系统及机器人 |
| CN109190704A (zh) * | 2018-09-06 | 2019-01-11 | 中国科学院深圳先进技术研究院 | 障碍物检测的方法及机器人 |
| CN111414798A (zh) * | 2019-02-03 | 2020-07-14 | 沈阳工业大学 | 基于rgb-d图像的头部姿态检测方法及系统 |
| CN110693499A (zh) * | 2019-11-14 | 2020-01-17 | 河北农业大学 | 一种动物体尺和体重的检测系统及方法 |
| CN211723135U (zh) * | 2019-11-14 | 2020-10-23 | 河北农业大学 | 一种动物体生理指标检测系统 |
| CN111145345A (zh) * | 2019-12-31 | 2020-05-12 | 山东大学 | 隧道施工区域三维模型构建方法及系统 |
| CN111242041A (zh) * | 2020-01-15 | 2020-06-05 | 江苏大学 | 基于伪图像技术的激光雷达三维目标快速检测方法 |
| CN111612850A (zh) * | 2020-05-13 | 2020-09-01 | 河北工业大学 | 一种基于点云的猪只体尺参数测量方法 |
| CN114429497A (zh) * | 2020-10-14 | 2022-05-03 | 西北农林科技大学 | 一种基于3d相机的活体秦川牛体尺测量方法 |
| CN113177977A (zh) * | 2021-04-09 | 2021-07-27 | 上海工程技术大学 | 一种非接触式三维人体尺寸的测量方法 |
| WO2022213612A1 (zh) * | 2021-04-09 | 2022-10-13 | 上海工程技术大学 | 一种非接触式三维人体尺寸的测量方法 |
| CN113483869A (zh) * | 2021-07-02 | 2021-10-08 | 河北农业大学 | 一种羊只体重检测系统及方法 |
| CN113470106A (zh) * | 2021-07-14 | 2021-10-01 | 河南科技大学 | 一种无接触式奶牛体尺信息采集方法 |
| CN113554691A (zh) * | 2021-07-22 | 2021-10-26 | 河北农业大学 | 一种植株高度测量方法 |
| CN113989391A (zh) * | 2021-11-11 | 2022-01-28 | 河北农业大学 | 基于rgb-d相机的动物体三维模型重构系统及方法 |
| CN113985438A (zh) * | 2021-11-12 | 2022-01-28 | 河北农业大学 | 一种植物三维模型重建系统及方法 |
| CN114463286A (zh) * | 2022-01-13 | 2022-05-10 | 东南大学 | 一种基于移动窗口的路面点云平滑及裂缝信息处理方法 |
| CN115345822A (zh) * | 2022-06-08 | 2022-11-15 | 南京航空航天大学 | 一种面向航空复杂零件的面结构光自动化三维检测方法 |
| CN115272237A (zh) * | 2022-07-29 | 2022-11-01 | 华南农业大学 | 一种基于单pc的多视角牛体尺自动测量方法 |
Non-Patent Citations (4)
| Title |
|---|
| Human Body Dimensions Extraction from 3D Scan Data;X. Li et al;《2010 International Conference on Intelligent Computation Technology and Automation》;441-444 * |
| 基于三维点云的奶牛体尺测量与体重预测方法研究;牛金玉;《中国优秀硕士学位论文全文数据库 农业科技辑》;第2019年卷(第01期);D050-147 * |
| 基于改进区域生长法的羊体点云分割及体尺参数测量;马学磊等;《中国农业大学学报》;第25卷(第3期);99-105 * |
| 基于点云旋转归一化的猪体体尺测点提取方法;王可等;《农业工程学报》;第33卷(第S1期);253-259 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116071417A (zh) | 2023-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ruchay et al. | Accurate body measurement of live cattle using three depth cameras and non-rigid 3-D shape recovery | |
| US9311556B2 (en) | Image analysis for making animal measurements including 3-D image analysis | |
| Shuai et al. | Research on 3D surface reconstruction and body size measurement of pigs based on multi-view RGB-D cameras | |
| WO2021078066A1 (zh) | 乳腺超声筛查方法、装置及系统 | |
| US10816387B2 (en) | Regression-based animal weight estimation | |
| US9684956B2 (en) | Arrangement and method for determining a body condition score of an animal | |
| CN112262408A (zh) | 用于从一距离处表征活体标本的方法和装置 | |
| EP3353744B1 (en) | Image analysis for making animal measurements including 3-d image analysis | |
| CN111612850B (zh) | 一种基于点云的猪只体尺参数测量方法 | |
| CN116071417B (zh) | 一种基于Azure Kinect的羊只体尺体重获取系统及方法 | |
| CN109068613A (zh) | 健康状态推定装置 | |
| CN109764809A (zh) | 一种基于二维激光传感器实时测算果树冠层体积的方法 | |
| CN108257120B (zh) | 一种基于ct图像的三维肝脏包围盒的自动提取方法 | |
| Yang et al. | Automated measurement of dairy cows body size via 3D point cloud data analysis | |
| CN106709432B (zh) | 基于双目立体视觉的人头检测计数方法 | |
| CN103345741A (zh) | 一种非刚性多模医学图像精确配准方法 | |
| CN116763295B (zh) | 牲畜体尺测量方法、电子设备及存储介质 | |
| CN114429497A (zh) | 一种基于3d相机的活体秦川牛体尺测量方法 | |
| Naiberg et al. | A unified recognition and stereo vision system for size assessment of fish | |
| CN111166338B (zh) | 一种基于tof深度数据的妊娠母猪体尺计算方法 | |
| Song et al. | Methods of three-dimensional reconstruction and body size measurement of cattle based on multi-view binocular camera | |
| CN113610726B (zh) | 一种区域限定的改进三次b样条插值修补方法 | |
| Liu et al. | Research on A Binocular Fish Dimension Measurement Method Based on Instance Segmentation and Fish Tracking | |
| Nygård et al. | Motion trajectory estimation of salmon using stereo vision | |
| US20230206493A1 (en) | Processing images of objects and object portions, including multi-object arrangements and deformed objects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |