CN110415282A - 一种奶牛体重预测系统 - Google Patents
一种奶牛体重预测系统 Download PDFInfo
- Publication number
- CN110415282A CN110415282A CN201910699579.8A CN201910699579A CN110415282A CN 110415282 A CN110415282 A CN 110415282A CN 201910699579 A CN201910699579 A CN 201910699579A CN 110415282 A CN110415282 A CN 110415282A
- Authority
- CN
- China
- Prior art keywords
- camera
- coordinate
- point
- dimensional
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013336 milk Nutrition 0.000 title claims abstract description 34
- 210000004080 milk Anatomy 0.000 title claims abstract description 34
- 239000008267 milk Substances 0.000 title claims abstract description 34
- 230000004438 eyesight Effects 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 29
- 235000013365 dairy product Nutrition 0.000 claims abstract description 9
- 238000012552 review Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 61
- 241000283690 Bos taurus Species 0.000 claims description 45
- 238000013519 translation Methods 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 6
- 239000000463 material Substances 0.000 claims description 5
- 238000011160 research Methods 0.000 claims description 5
- 241000208340 Araliaceae Species 0.000 claims description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 235000008434 ginseng Nutrition 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 2
- 241001465754 Metazoa Species 0.000 description 7
- 238000009395 breeding Methods 0.000 description 6
- 230000001488 breeding effect Effects 0.000 description 6
- 244000144972 livestock Species 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 241000968069 Asterolecaniidae Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241001233242 Lontra Species 0.000 description 1
- 241001416180 Moschidae Species 0.000 description 1
- 241001508687 Mustela erminea Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 241000286209 Phasianidae Species 0.000 description 1
- 241000282485 Vulpes vulpes Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 210000000085 cashmere Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013601 eggs Nutrition 0.000 description 1
- 235000020187 evaporated milk Nutrition 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 244000144977 poultry Species 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 210000002268 wool Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01G—WEIGHING
- G01G17/00—Apparatus for or methods of weighing material of special form or property
- G01G17/08—Apparatus for or methods of weighing material of special form or property for weighing livestock
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种奶牛体重预测系统，包括以下步骤：步骤一：通过多目立体视觉测距方法，得到景物点的三维世界坐标；步骤二：摄像机标定；建立摄像机图像像素位置与场景点之间的关系，实现获取空间物体的三维坐标信息与采集图像的二维信息之间的关系，进而利用其关系，恢复因采集所缺失的深度等信息；步骤三：特征点匹配；对两副待匹配图像的SIFT特征向量进行相似度度量，计算其中一副图像的每个特征点在另一幅匹配图像的特征点集中的最邻近匹配；步骤四：根据所得特征点确定奶牛体型体积，并根据预设的预测模型得出奶牛体重预测结果。
Description
技术领域
本发明属于农业养殖领域，特别涉及一种奶牛体重预测系统。
背景技术
畜牧业是利用畜禽等已经被人类驯化的动物，或者鹿、麝、狐、貂、水獭、鹌鹑等野生动物的生理机能，通过人工饲养、繁殖，使其将牧草和饲料等植物能转变为动物能，以取得肉、蛋、奶、羊毛、山羊绒、皮张、蚕丝和药材等畜产品的生产部门，是人类与自然界进行物质交换的极重要环节。畜牧业是农业的组成部分之一，与种植业并列为农业生产的两大支柱。
奶牛是乳用品种的黄牛，经过高度选育繁殖的优良品种，我国的奶牛主要以黑白花奶牛为主，从1980年山东省畜牧局牛羊养殖基地开始引进此品种，此品种适应性强、分布范围广、产奶量高、耐粗饲。以奶牛为例，奶牛体型包括奶牛体尺和体重，它是奶牛优化育种工作的一项重要指标，对奶牛改良工作起到了指导作用。目前对奶牛体尺测量大多采用人工方法，通过皮尺手工进行测量，这些方法不仅工作量大，而且还可能因人为因素造成测量误差较大，而使测量结果缺乏客观性；且人工接触还会给奶牛造成应激反应，影响奶牛的生长。进一步的，体重测量则是利用地磅秤来完成，在奶牛通道地上安置地磅，当奶牛经过地磅时获取奶牛的体重，该方法必须要求奶牛完全站在地磅上并且保持静止，才能获取准确的奶牛体重数据，但是现场很难让奶牛保持该状态，所以该方法无法获取准确的体重数据。
发明内容
针对现有技术所存在的问题，本发明提供了一种奶牛体重预测系统，包括以下步骤：
步骤一：通过多目立体视觉测距方法，得到景物点的三维世界坐标；
步骤1.1：对两个摄像机分别进行标定，获得它们的内外参数；
步骤1.2：通过双目立体视觉系统中各个坐标系之间的转换，建立目标物体的三维世界坐标与二维图像平面坐标之间转化的方程，每个摄像机对应有2个方程，即为自身图像平面中二维坐标x、y与三维坐标之间的转化关系；
步骤1.3：通过特征点提取、立体匹配获得同一三维场景中景物点在两幅图像中的投影点及其二维坐标；
步骤1.4：根据摄像机标定得到的内外参数和对应投影点的二维坐标，解方程得到景物点的三维世界坐标。
步骤二：摄像机标定；建立摄像机图像像素位置与场景点之间的关系，实现获取空间物体的三维坐标信息与采集图像的二维信息之间的关系，进而利用其关系，恢复因采集所缺失的深度等信息；
步骤2.1：对每个相机的内参进行单独标定，并获取内参；
步骤2.2：对每个相机同时进行再次标定，获取外参；
步骤2.3：将所得内部参数矩阵与外部参数矩阵，经过简单的矩阵运算便可得到投影矩阵：
M＝K(R,t) (1-1)
式中K为相机的内部参数矩阵，(R,t)为相机的外部参数矩阵，M为相机的透视投影矩阵。
根据(1-1)计算，得到相机的透视投影矩阵；
步骤2.4：根据步骤一中所得的被测物点在图像坐标系中的坐标，通过计算获取对应图像像素点在物理世界坐标系中的具体位置信息；
步骤2.5：在一个双目视觉系统中，设被测物点P的坐标为(X,Y,Z)，已知左相机在角度为Rl，位置为tl时，P在成像平面上的投影为pl，其齐次坐标表示为(xl,yl,1)，右相机在角度为Rr，位置为tr时，P在成像面上的投影为pr，其齐次坐标表示为(xr,yr,1)；设左、右相机坐标系之间的旋转矩阵为R、平移向量为t，可以得到以下关系：
pl＝RlP+tl (1-2)
pr＝RrP+tr (1-3)
pl＝R(pr+t) (1-4)
利用式(1-2)，(1-3)，(1-4)可求得旋转矩阵R和平移向量t，即：
R＝Rr(R1)t (1-5)
t＝tr-Rt1 (1-6)
则，通过式(1-5)和(1-6)可求取二个双目视觉的旋转矩阵和平移向量。
步骤三：特征点匹配；对两副待匹配图像的SIFT特征向量进行相似度度量，计算其中一副图像的每个特征点在另一幅匹配图像的特征点集中的最邻近匹配；
采用欧式距离作为特征向量的相似度度量，特征向量a,b间的欧式距离Uab表示如下：
式中：n为特征向量的维数；
为了排除因为图像遮挡和背景混乱而产生的误匹配，需要通过比较最邻近距离和次邻近距离来消除误匹配；
式中：Umin为最邻近距离，Ul为次邻近距离，若其比值小于阈值threshold，则判定为正确匹配点对，否则为错误匹配点对；
在步骤二所述相机标定过程中，已经求得了左右相机的内部参数矩阵Al、Ar和两个相机坐标系之间的旋转矩阵R和平移向量t，则基础矩阵F可表示为
利用公式(1-9)求出的基础矩阵F，求出极线方程，利用极线约束剔除误匹配点对；假设获得的匹配点对为ml，mr，其齐次坐标表示分别为(x1,y1,l)，(xr,yr,l)，则有
理论上，匹配点对若不满足式(1-10)则剔除。
步骤四：根据所得特征点确定奶牛体型体积，并根据预设的预测模型得出奶牛体重预测结果。
进一步地，所述的摄像机标定，其特征在于，利用标定板实物作为待测目标，通过标定，实现摄像机内外参数的获取。
进一步地，由于多目视觉测量和双目视觉在研究理论和方法上是相同的，所以通过以双目测量为特定的测量单元，进行各摄像头之间的两两匹配、坐标转换、数据相关，再将建立的各个坐标转换到同一世界坐标系下，通过各数据的相关性，实现奶牛体尺数据的测量。
本申请的有益效果：发明通过图像采集的方式获取奶牛的体尺数据，解决了人工现场接触式方法费时、费力、主观性强以及造成动物产生应激反应的问题，实现了完全自动化奶牛体尺数据的测量以及体重数据的测量，适合用于大型的牲畜养殖企业奶牛体型监测和育种评估，采用多目立体视觉测距方法，更加准确的获取奶牛图像，从而更加准确却的得到奶牛的尺寸信息，能够对奶牛体重的计算与预测更加精准；对所获取的特征点进行筛选处理，减少误差，避免了测量不准确的问题，使本发明系统更加合理与准确。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为一种奶牛体重预测系统的工作流程图；
图2为平行双目视觉原理图。
具体实施方式
本发明提供了一种奶牛体重预测系统，如图1所示，包括以下步骤：
步骤一：通过多目立体视觉测距方法，得到景物点的三维世界坐标；
步骤1.1：对两个摄像机分别进行标定，获得它们的内外参数；
步骤1.2：通过双目立体视觉系统中各个坐标系之间的转换，建立目标物体的三维世界坐标与二维图像平面坐标之间转化的方程，每个摄像机对应有2个方程，即为自身图像平面中二维坐标x、y与三维坐标之间的转化关系；
步骤1.3：通过特征点提取、立体匹配获得同一三维场景中景物点在两幅图像中的投影点及其二维坐标；
步骤1.4：根据摄像机标定得到的内外参数和对应投影点的二维坐标，解方程得到景物点的三维世界坐标。
步骤二：摄像机标定；建立摄像机图像像素位置与场景点之间的关系，实现获取空间物体的三维坐标信息与采集图像的二维信息之间的关系，进而利用其关系，恢复因采集所缺失的深度等信息；
步骤2.1：对每个相机的内参进行单独标定，并获取内参；
步骤2.2：对每个相机同时进行再次标定，获取外参；
步骤2.3：将所得内部参数矩阵与外部参数矩阵，经过简单的矩阵运算便可得到投影矩阵：
M＝K(R,t) (1-1)
式中K为相机的内部参数矩阵，(R,t)为相机的外部参数矩阵，M为相机的透视投影矩阵。
根据(1-1)计算，得到相机的透视投影矩阵；
步骤2.4：根据步骤一中所得的被测物点在图像坐标系中的坐标，通过计算获取对应图像像素点在物理世界坐标系中的具体位置信息；
步骤2.5：在一个双目视觉系统中，设被测物点P的坐标为(X,Y,Z)，已知左相机在角度为Rl，位置为tl时，P在成像平面上的投影为pl，其齐次坐标表示为(xl,yl,1)，右相机在角度为Rr，位置为tr时，P在成像面上的投影为pr，其齐次坐标表示为(xr,yr,1)；设左、右相机坐标系之间的旋转矩阵为R、平移向量为t，可以得到以下关系：
pl＝RlP+tl (1-2)
pr＝RrP+tr (1-3)
pl＝R(pr+t) (1-4)
利用式(1-2)，(1-3)，(1-4)可求得旋转矩阵R和平移向量t，即：
R＝Rr(R1)t (1-5)
t＝tr-Rt1 (1-6)
则，通过式(1-5)和(1-6)可求取二个双目视觉的旋转矩阵和平移向量。
步骤三：特征点匹配；对两副待匹配图像的SIFT特征向量进行相似度度量，计算其中一副图像的每个特征点在另一幅匹配图像的特征点集中的最邻近匹配；
采用欧式距离作为特征向量的相似度度量，特征向量a,b间的欧式距离Uab表示如下：
式中：n为特征向量的维数；
为了排除因为图像遮挡和背景混乱而产生的误匹配，需要通过比较最邻近距离和次邻近距离来消除误匹配；
式中：Umin为最邻近距离，Ul为次邻近距离，若其比值小于阈值threshold，则判定为正确匹配点对，否则为错误匹配点对；
在步骤二所述相机标定过程中，已经求得了左右相机的内部参数矩阵Al、Ar和两个相机坐标系之间的旋转矩阵R和平移向量t，则基础矩阵F可表示为
利用公式(1-9)求出的基础矩阵F，求出极线方程，利用极线约束剔除误匹配点对；假设获得的匹配点对为ml，mr，其齐次坐标表示分别为(x1,y1,l)，(xr,yr,l)，则有
理论上，匹配点对若不满足式(1-10)则剔除。
步骤四：根据所得特征点确定奶牛体型体积，并根据预设的预测模型得出奶牛体重预测结果。
进一步地，所述的摄像机标定，其特征在于，利用标定板实物作为待测目标，通过标定，实现摄像机内外参数的获取。
实施例一：本例采用平行双目视觉测距方法：
步骤一：由图2所示的几何关系可以得到:
Z＝f(1+b/d) (1-11)
其中，d＝X1-X2,就是立体视觉中所说的视差。上述公式(1-11)将三维场景中的物体与摄像机的图像平面的距离和视差联系在了一起，物体的距离信息与视差有关，因而通过对双目立体视觉系统的图像对进行立体匹配，寻找同一个物点在两个图像平面上的投影点，从而获取两个投影点的图像平面坐标，计算获得视差d，最后就可以通过公式(1-11)获得物点的深度Z。
式(1-11)是在理想情况下得出的如何从左右两幅图像中恢复三维场景的距离信息。实际应用中，左右两个摄像机的内部参数都有着细小的差异，且两个摄像机不可能固定到精确的水平平行，即各自的坐标轴不是准确平行。
在实际的应用中，首先需要对两个摄像机分别进行标定，获得它们的内外参数。然后通过双目立体视觉系统中各个坐标系之间的转换，建立目标物体的三维世界坐标与二维图像平面坐标之间转化的方程，每个摄像机对应有2个方程，即为自身图像平面中二维坐标x、y与三维坐标之间的转化关系。然后通过特征点提取、立体匹配获得同一三维场景中景物点在两幅图像中的投影点及其二维坐标。最后根据摄像机标定得到的内外参数和对应投影点的二维坐标，解方程得到景物点的三维世界坐标。
步骤二：摄像机标定；建立摄像机图像像素位置与场景点之间的关系，实现获取空间物体的三维坐标信息与采集图像的二维信息之间的关系，进而利用其关系，恢复因采集所缺失的深度等信息；
摄像机标定是指建立摄像机图像像素位置与场景点之间的关系，其途径是通过根据摄像机的模型，由已知特征点的图像坐标和世界坐标求解摄像机的模型参数。对摄像机标定操作是视觉测量技术中一项十分重要的步骤，此操作是对物体三维信息获取的基础和前提，通过对摄像机的标定，实现获取空间物体的三维坐标信息与采集图像的二维信息之间的关系，进而利用其关系，恢复因采集所缺失的深度等信息。摄像机标定过程中产生的模型参数分为内部参数和外部参数两个部分，标定的目的就是求解这些参数的值，摄像机参数如表2-1所示。
表2-1摄像机模型参数
在机器视觉发展的过程中，国内外从事机器视觉的研究人员通过大量的试验，成功得到多种应用性强的摄像机标定方法，这些标定的方法依据标定板类型及求解方式的不同分别应用于不同的行业中。为了适应不同的视觉项目要求，部分学者提出能够估计表2-1中全部参数的算子，也有些学者只针对性的将参数进行简化，估计出部分模型参数。根据不同的参考标准可将摄像机标定方法进行不同的划分，根据标定过程中使用的标定物不同进行分类，可将其分为自标定法、主动视觉标定法和基于传统标定法；根据标定模型中参数求解方法的不同可将其分为线性法、非线性法、两步法。
相机系统标定是指对两个或两个以上相机进行标定，需要求出相机自身的参数和相机之间的位置关系，即相机之间的平移向量和旋转矩阵。通过相机的成像模型求取三维点云后，不需要进行坐标系统的转换。在课题描述的双目视觉系统中，用于捕获视频流的相机之间的位置关系是相对固定的，在进行相机系统标定之前，需对每个相机的内参进行单独标定获取内参；然后再次标定时获取外参时，需对相机同时标定，这样相机相对的世界坐标系是同一个，所以点云获取时采用相机的成像模型的方法求取的点云也处于同一个坐标系中。将所得内部参数矩阵与外部参数矩阵，经过简单的矩阵运算便可得到投影矩阵：
M＝K(R,t) (1-1)
式中K为相机的内部参数矩阵，(R,t)为相机的外部参数矩阵，M为相机的透视投影矩阵。根据(1-1)分别计算得到二个相机的透视投影矩阵。获得透视投影矩阵后，根据双目立体视觉的原理，只要再知道空间点在两个相机所拍摄图像中的具体位置(即空间点在图像像素坐标系中的坐标)，就能够通过计算获得对应图像像素点在物理世界坐标系中的具体位置信息。
相机系统标定的目的是求取相机之间的旋转、平移关系和基础矩阵。在一个双目视觉系统中，设空间一点P的坐标为(X,Y,Z)，已知左相机在角度为Rl，位置为tl时，P在成像平面上的投影为pl，其齐次坐标表示为(xl,yl,1)，右相机在角度为Rr，位置为tr时，P在成像面上的投影为pr，其齐次坐标表示为(xr,yr,1)。设左、右相机坐标系之间的旋转矩阵为R、平移向量为t，可以得到以下关系：
pl＝RlP+tl (1-2)
pr＝RrP+tr (1-3)
pl＝R(pr+t) (1-4)
利用式(1-2)，(1-3)，(1-4)可求得旋转矩阵R和平移向量t，即：
R＝Rr(R1)t (1-5)
t＝tr-Rt1 (1-6)
通过式(1-5)和(1-6)可求取二个双目视觉的旋转矩阵和平移向量。
步骤三：特征点匹配；对两副待匹配图像的SIFT特征向量进行相似度度量，计算其中一副图像的每个特征点在另一幅匹配图像的特征点集中的最邻近匹配；
SIFT特征点匹配主要是对两副待匹配图像的SIFT特征向量进行相似度度量，计算其中一副图像的每个特征点在另一幅匹配图像的特征点集中的最邻近匹配。本课题采用欧式距离作为特征向量的相似度度量。特征向量a,b间的欧式距离Uab表示如下
式中：n为特征向量的维数，此处取128。
为了排除因为图像遮挡和背景混乱而产生的误匹配，通过比较最邻近距离和次邻近距离来消除误匹配。
式中：Umin为最邻近距离，Ul为次邻近距离，若其比值小于阈值threshold，则判定为正确匹配点对，否则为错误匹配点对。
在前面相机标定过程中，已经求得了左右相机的内部参数矩阵Al、Ar和两个相机坐标系之间的旋转矩阵R和平移向量t，则基础矩阵F可表示为
利用在式(1-9)求出的基础矩阵F，求出极线方程，利用极线约束剔除误匹配点对。根据前面介绍假设获得的匹配点对为ml，mr，其齐次坐标表示分别为(x1,y1,l)，(xr,yr,l)，则有：
理论上，匹配点对若不满足式(1-10)则剔除；在实际操作中，并非等于0，令
e是预先设定的阈值，通常取为0.2－2即可满足要求。如果匹配不满足式(1-11)，将其剔除。
进一步地，由于多目视觉测量和双目视觉在研究理论和方法上是相同的，所以通过以双目测量为特定的测量单元，进行各摄像头之间的两两匹配、坐标转换、数据相关，再将建立的各个坐标转换到同一世界坐标系下，通过各数据的相关性，实现奶牛体尺数据的测量。
本发明采用理论研究、数学建模与仿真、行为算法实验和在线实时实验验证相结合的方法。以MATLAB作为仿真模拟平台，开展运动目标检测、局部运动特征、基本运动单元匹配以及动物分层行为模型等理论和方法研究；以Visual Studio 2012语言结合多线程编程技术实现相应的算法并开发软件系统，在实际场景下进行实时在线识别实验，对建立的理论和方法的有效性进行实证性研究。
由于多目视觉测量和双目视觉在研究理论和方法上是相同的，所以通过以双目测量为特定的测量单元，进行各摄像头之间的两两匹配、坐标转换、数据相关等，再将建立的各个坐标转换到同一世界坐标系下，通过各数据的相关性，实现奶牛体尺数据的测量。利用标定板实物作为待测目标，通过标定，实现摄像机内外参数的获取，然后对目标奶牛进行图像采集，通过对奶牛图像的计算和分析，得到各特性的坐标关系，进而转化为世界坐标系下的三维坐标，获得各特征特性的尺寸。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (6)
1.一种奶牛体重预测系统，其特征在于，包括以下步骤：
步骤一：通过多目立体视觉测距方法，得到景物点的三维世界坐标；
步骤二：摄像机标定；建立摄像机图像像素位置与场景点之间的关系，实现获取空间物体的三维坐标信息与采集图像的二维信息之间的关系，进而利用其关系，恢复因采集所缺失的深度等信息；
步骤三：特征点匹配；对两副待匹配图像的SIFT特征向量进行相似度度量，计算其中一副图像的每个特征点在另一幅匹配图像的特征点集中的最邻近匹配；
步骤四：根据所得特征点确定奶牛体型体积，并根据预设的预测模型得出奶牛体重预测结果。
2.根据权利要求1所述的一种奶牛体重预测系统，其特征在于，所述步骤一具体实现方法为：当相机模型采用平行双目立体视觉模型时：
步骤1.1：对两个摄像机分别进行标定，获得它们的内外参数；
步骤1.2：通过双目立体视觉系统中各个坐标系之间的转换，建立目标物体的三维世界坐标与二维图像平面坐标之间转化的方程，每个摄像机对应有2个方程，即为自身图像平面中二维坐标x、y与三维坐标之间的转化关系；
步骤1.3：通过特征点提取、立体匹配获得同一三维场景中景物点在两幅图像中的投影点及其二维坐标；
步骤1.4：根据摄像机标定得到的内外参数和对应投影点的二维坐标，解方程得到景物点的三维世界坐标。
3.根据权利要求1所述的一种奶牛体重预测系统，其特征在于，所述步骤二具体实现方法为：当相机模型采用平行双目立体视觉模型时：
步骤2.1：对每个相机的内参进行单独标定，并获取内参；
步骤2.2：对每个相机同时进行再次标定，获取外参；
步骤2.3：将所得内部参数矩阵与外部参数矩阵，经过简单的矩阵运算便可得到投影矩阵：
M＝K(R,t) (1-1)
式中K为相机的内部参数矩阵，(R,t)为相机的外部参数矩阵，M为相机的透视投影矩阵；
根据(1-1)计算，得到相机的透视投影矩阵；
步骤2.4：根据步骤一中所得的被测物点在图像坐标系中的坐标，通过计算获取对应图像像素点在物理世界坐标系中的具体位置信息；
步骤2.5：在一个双目视觉系统中，设被测物点P的坐标为(X,Y,Z)，已知左相机在角度为Rl，位置为tl时，P在成像平面上的投影为pl，其齐次坐标表示为(xl,yl,1)，右相机在角度为Rr，位置为tr时，P在成像面上的投影为pr，其齐次坐标表示为(xr,yr,1)；设左、右相机坐标系之间的旋转矩阵为R、平移向量为t，可以得到以下关系：
pl＝RlP+tl (1-2)
pr＝RrP+tr (1-3)
pl＝R(pr+t) (1-4)
利用式(1-2)，(1-3)，(1-4)可求得旋转矩阵R和平移向量t，即：
R＝Rr(R1)t (1-5)
t＝tr-Rt1 (1-6)
则，通过式(1-5)和(1-6)可求取二个双目视觉的旋转矩阵和平移向量。
4.根据权利要求3所述的摄像机标定，其特征在于，利用标定板实物作为待测目标，通过标定，实现摄像机内外参数的获取。
5.根据权利要求1所述的一种奶牛体重预测系统，其特征在于，所述步骤三具体实现方法为：当相机模型采用平行双目立体视觉模型时：
采用欧式距离作为特征向量的相似度度量，特征向量a,b间的欧式距离Uab表示如下：
式中：n为特征向量的维数；
为了排除因为图像遮挡和背景混乱而产生的误匹配，需要通过比较最邻近距离和次邻近距离来消除误匹配；
式中：Umin为最邻近距离，Ul为次邻近距离，若其比值小于阈值threshold，则判定为正确匹配点对，否则为错误匹配点对；
在步骤二所述相机标定过程中，已经求得了左右相机的内部参数矩阵Al、Ar和两个相机坐标系之间的旋转矩阵R和平移向量t，则基础矩阵F可表示为
利用公式(1-9)求出的基础矩阵F，求出极线方程，利用极线约束剔除误匹配点对；假设获得的匹配点对为ml，mr，其齐次坐标表示分别为(x1,y1,l)，(xr,yr,l)，则有
理论上，匹配点对若不满足式(1-10)则剔除。
6.根据权利要求1所述的一种奶牛体重预测系统，其特征在于，由于多目视觉测量和双目视觉在研究理论和方法上是相同的，所以通过以双目测量为特定的测量单元，进行各摄像头之间的两两匹配、坐标转换、数据相关，再将建立的各个坐标转换到同一世界坐标系下，通过各数据的相关性，实现奶牛体尺数据的测量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910699579.8A CN110415282A (zh) | 2019-07-31 | 2019-07-31 | 一种奶牛体重预测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910699579.8A CN110415282A (zh) | 2019-07-31 | 2019-07-31 | 一种奶牛体重预测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110415282A true CN110415282A (zh) | 2019-11-05 |
Family
ID=68364666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910699579.8A Pending CN110415282A (zh) | 2019-07-31 | 2019-07-31 | 一种奶牛体重预测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110415282A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111121932A (zh) * | 2019-12-24 | 2020-05-08 | 秒针信息技术有限公司 | 测量牲畜体重的方法和装置 |
| CN112465950A (zh) * | 2020-11-26 | 2021-03-09 | 江苏国和智能科技有限公司 | 深海网箱渔网水下距离测量装置、方法、电子设备及介质 |
| CN112825791A (zh) * | 2020-12-25 | 2021-05-25 | 河南科技大学 | 一种基于深度学习与点云凸包化特征的奶牛体况评分方法 |
| CN113313833A (zh) * | 2021-06-29 | 2021-08-27 | 西藏新好科技有限公司 | 一种基于3d视觉技术的猪体重预估方法 |
| CN113706512A (zh) * | 2021-08-31 | 2021-11-26 | 内蒙古大学 | 一种基于深度学习和深度相机的生猪体重测量方法 |
| CN113989775A (zh) * | 2021-10-28 | 2022-01-28 | 江苏濠汉信息技术有限公司 | 一种视觉引导的辅助驾驶系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103040471A (zh) * | 2012-12-10 | 2013-04-17 | 中国农业大学 | 一种奶牛体型线性鉴定指标获取系统及方法 |
| CN109784200A (zh) * | 2018-12-24 | 2019-05-21 | 中国科学院合肥物质科学研究院 | 基于双目视觉的奶牛行为图像获取与体况智能监测系统 |
-
2019
- 2019-07-31 CN CN201910699579.8A patent/CN110415282A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103040471A (zh) * | 2012-12-10 | 2013-04-17 | 中国农业大学 | 一种奶牛体型线性鉴定指标获取系统及方法 |
| CN109784200A (zh) * | 2018-12-24 | 2019-05-21 | 中国科学院合肥物质科学研究院 | 基于双目视觉的奶牛行为图像获取与体况智能监测系统 |
Non-Patent Citations (1)
| Title |
|---|
| 胡晓彤等: "基于三维测量的奶牛体型性状指标的数据采集", 《天津科技大学学报》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111121932A (zh) * | 2019-12-24 | 2020-05-08 | 秒针信息技术有限公司 | 测量牲畜体重的方法和装置 |
| CN112465950A (zh) * | 2020-11-26 | 2021-03-09 | 江苏国和智能科技有限公司 | 深海网箱渔网水下距离测量装置、方法、电子设备及介质 |
| CN112825791A (zh) * | 2020-12-25 | 2021-05-25 | 河南科技大学 | 一种基于深度学习与点云凸包化特征的奶牛体况评分方法 |
| CN112825791B (zh) * | 2020-12-25 | 2023-02-10 | 河南科技大学 | 一种基于深度学习与点云凸包化特征的奶牛体况评分方法 |
| CN113313833A (zh) * | 2021-06-29 | 2021-08-27 | 西藏新好科技有限公司 | 一种基于3d视觉技术的猪体重预估方法 |
| CN113706512A (zh) * | 2021-08-31 | 2021-11-26 | 内蒙古大学 | 一种基于深度学习和深度相机的生猪体重测量方法 |
| CN113706512B (zh) * | 2021-08-31 | 2023-08-11 | 内蒙古大学 | 一种基于深度学习和深度相机的生猪体重测量方法 |
| CN113989775A (zh) * | 2021-10-28 | 2022-01-28 | 江苏濠汉信息技术有限公司 | 一种视觉引导的辅助驾驶系统 |
| CN113989775B (zh) * | 2021-10-28 | 2022-08-05 | 江苏濠汉信息技术有限公司 | 一种视觉引导的辅助驾驶系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110415282A (zh) | 一种奶牛体重预测系统 | |
| CN105784083B (zh) | 基于立体视觉技术的奶牛体型测量方法和系统 | |
| Wang et al. | A portable and automatic Xtion-based measurement system for pig body size | |
| CN104713885B (zh) | 一种用于pcb板在线检测的结构光辅助双目测量方法 | |
| Wu et al. | Extracting the three-dimensional shape of live pigs using stereo photogrammetry | |
| US8351656B2 (en) | Remote contactless stereoscopic mass estimation system | |
| CN112215116B (zh) | 一种移动式面向2d图像的3d河蟹实时检测方法 | |
| CN112258651B (zh) | 一种遮挡情况下奶牛体表点云三维重建方法 | |
| CN109598215A (zh) | 一种基于无人机定位拍摄的果园建模分析系统和方法 | |
| CN113902812A (zh) | 一种基于多标定板的激光雷达与相机外参自动标定方法 | |
| CN112131921B (zh) | 基于立体视觉的生物自动量测系统及其量测方法 | |
| CN113470106A (zh) | 一种无接触式奶牛体尺信息采集方法 | |
| CN116071424A (zh) | 基于单目视觉的果实空间坐标定位方法 | |
| Peng et al. | Binocular-vision-based structure from motion for 3-D reconstruction of plants | |
| Yang et al. | Automated measurement of dairy cows body size via 3D point cloud data analysis | |
| CN110136192A (zh) | 一种基于深度学习和特征部位检测的牛体尺算法 | |
| CN109636856A (zh) | 基于hog特征融合算子的物体六维度位姿信息联合测量方法 | |
| CN112508890A (zh) | 一种基于二级评测模型的奶牛体脂率检测方法 | |
| CN116883480A (zh) | 基于双目影像与地基雷达融合点云的玉米株高检测方法 | |
| Falque et al. | Semantic keypoint extraction for scanned animals using multi-depth-camera systems | |
| CN109238264A (zh) | 一种家畜位置姿势归一化方法及装置 | |
| CN109918988A (zh) | 一种结合成像仿真技术的可移植的无人机检测系统 | |
| CN109644263A (zh) | 第一智能设备及其连接方法以及具有存储功能的装置 | |
| Rahman et al. | 3-D image reconstruction techniques for plant and animal morphological analysis-a review | |
| Du et al. | Automatic heart girth measurement for cattle based on deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191105 |
|
| RJ01 | Rejection of invention patent application after publication |