CN109784200A - 基于双目视觉的奶牛行为图像获取与体况智能监测系统 - Google Patents
基于双目视觉的奶牛行为图像获取与体况智能监测系统 Download PDFInfo
- Publication number
- CN109784200A CN109784200A CN201811579615.9A CN201811579615A CN109784200A CN 109784200 A CN109784200 A CN 109784200A CN 201811579615 A CN201811579615 A CN 201811579615A CN 109784200 A CN109784200 A CN 109784200A
- Authority
- CN
- China
- Prior art keywords
- milk cow
- camera
- body condition
- processing module
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明特别涉及一种基于双目视觉的奶牛行为图像获取与体况智能监测系统，包括安装在奶牛行走通道上的数据采集模块和数据处理模块，所述的数据采集模块由两个同型号的摄像头构成，两个摄像头采集牛尾图像并输出至数据处理模块，数据处理模块通过视差处理得到牛尾到摄像头的距离并利用人工智能处理算法进行处理得到奶牛的评分数据。本系统采用人工智能技术，将体况评分转化为分类问题，利用深度学习算法，具有精度高、可靠性高、实时性强等特点；同时，本系统完全自动化，不需要人工辅助，不需要奶牛的配合，自动捕获关键部位并进行评分；另外，由于这里不需要昂贵的深度相机，只需使用普通的相机，成本大幅降低，非常适合推广使用。
Description
技术领域
本发明涉及智能监测设备技术领域，特别涉及一种基于双目视觉的奶牛行为图像获取与体况智能监测系统。
背景技术
奶牛体况评分，英文：Dairy Cow Body Condition Score，简称BCS，是国际畜牧业近30年来总结的最优评价体系，它可以客观、合理地评估奶牛个体的能量储备，并比较科学地反应动物饮食状况，繁殖能力等。BCS的评分体制有多种形式，除了早期澳大利亚Earle等提出的8分(1～8)制BCS系统，英国学者Mulvaney等提出的6分(1～6)制外，还有新西兰Macdonald等提出的10分(1～10)制BCS系统。当然目前普遍采用的是美国Wildman提出的5分(1～5)制BCS系统，它通过视觉评估和触觉判断的方法，对奶牛的几个关键部位进行评分得到一个综合结果，通过观察牛背部的脊椎是否突出、肋骨是否清晰可见、臀部两侧是否凹陷等一系列的特征，来判断奶牛个体是否胖瘦。在计算机信息技术未普及之前，牛的体况评分基本采用触摸评估和肉眼观察二者相结合的方法；该方法有一定的主观性，但却是目前被广泛使用的评估奶牛体能储备是否平衡的一种实用方法。这种方法的缺点是，效率低下，容易对奶牛造成应激反应，在评分过程中人员可能会遭到攻击而受伤。
随着计算机技术的普及，越来越多的人开始使用图像处理技术来进行奶牛评分，现有的方案都有不足之处。方案一，张海亮和何东键等利用图像处理技术，对肉牛图像进行分析和检测，间接对体长、胸宽、胸深的功能指标进行测量，然后利用测量值进行体况评分，但由于间接测量误差较大，导致体况评分精度较低；方案二，吴复争等对集中研究奶牛尾部图像，收集大量奶牛尾部图像建立图像库，提出了给予Kernel-PCA的奶牛体况评分方法，但该方案误差区间太大，达到±0.5；方案三，Fischer等使用3D相机获取奶牛后背深度图，并手动标注四个关键点，结合主成分分析方法，利用多元现行回归模型进行建模，进行体况评分，但该系统不能全自动体况评分，而且3D相机成本较高；方案四，Spoliansky等用三维Kinect相机实现体况自动评分，但该模型需要附加信息，比如奶牛体重、年龄等，而且精度仅能达到0.75，与人工分数相差甚远；方案五，Fischer等利用3D相机的方法和Spoliansky等利用的Kinect相机内部虽然都有双目结构，但这些相机相对脆弱，不能应用在牧场这种复杂光照、风吹日晒的极端环境。
发明内容
本发明的目的在于提供一种基于双目视觉的奶牛行为图像获取与体况智能监测系统，
为实现以上目的，本发明采用的技术方案为：一种基于双目视觉的奶牛行为图像获取与体况智能监测系统，包括安装在奶牛行走通道上的数据采集模块和数据处理模块，所述的数据采集模块由两个同型号的摄像头构成，两个摄像头采集牛尾图像并输出至数据处理模块，数据处理模块通过视差处理得到牛尾到摄像头的距离并利用人工智能处理算法进行处理得到奶牛的评分数据。
与现有技术相比，本发明存在以下技术效果：本系统采用人工智能技术，将体况评分转化为分类问题，利用深度学习算法，具有精度高、可靠性高、实时性强等特点；同时，本系统完全自动化，不需要人工辅助，不需要奶牛的配合，自动捕获关键部位并进行评分；另外，由于这里不需要昂贵的深度相机，只需使用普通的相机，成本大幅降低，非常适合推广使用。
附图说明
图1是两个摄像头的位置示意图。
具体实施方式
下面结合图1，对本发明做进一步详细叙述。
一种基于双目视觉的奶牛行为图像获取与体况智能监测系统，包括安装在奶牛行走通道上的数据采集模块和数据处理模块，所述的数据采集模块由两个同型号的摄像头构成，两个摄像头采集牛尾图像并输出至数据处理模块，数据处理模块通过视差处理得到牛尾到摄像头的距离并利用人工智能处理算法进行处理得到奶牛的评分数据。本系统采用人工智能技术，将体况评分转化为分类问题，利用深度学习算法，具有精度高、可靠性高、实时性强等特点；同时，本系统完全自动化，不需要人工辅助，不需要奶牛的配合，自动捕获关键部位并进行评分；另外，由于这里不需要昂贵的深度相机，只需使用普通的相机，成本大幅降低，非常适合推广使用。
参阅图1，为了简化数据处理模块的处理难度，本发明中优选地，所述的两个摄像头轴距固定、光轴彼此平行，两个摄像头光心连线与光轴相垂直，图1中T就是两个摄像头的轴距，左摄像头的光轴为Olcx left，左摄像头的光轴为Orcx right，两个摄像头光心连线即cx leftcx right，数据处理模块输出控制信号至两个摄像头控制两个摄像头同步拍照；这样设置以后，拍摄出来的两幅图像类似于人的左右眼看到的图像，就可以很方便的进行后续的视差处理。
视差算法和人工智能算法有很多，本实施例中优选地，所述的数据处理模块按如下步骤进行处理：(A)利用Fast YOLO图像定位算法实时对两个摄像头同一时刻采集的图像进行牛尾部定位，YOLO是现有技术中一种成熟的目标检测方法，该算法的特点是实现快速检测的同时还达到较高的准确率，该算法采用单个神经网络直接预测物品边界和类别概率，实现端到端(end to end)的物品检测；同时，该方法检测速非常快，基础版可以达到45帧/s的实时检测；Fast YOLO可以达到155帧/s，非常适合在这里实现牛尾部定位。(B)当牛尾部在图像的边缘或显示不完全时，此时处理得到的牛尾部距离也是不准确的，所以这里根据两幅图像中标定框的大小来判断牛是否运动到适合评分的位置，若奶牛运动到合适的评分位置，则执行下一步；若奶牛未运动到合适的评分位置，则返回步骤A重新拍摄图像；(C)利用视差法对两幅图像进行处理，拟合牛尾部到摄像头的距离，获得深度维度的图像矩阵；(D)将图像矩阵除以255归一化到0～1之间得到归一化的距离矩阵；(E)将距离矩阵输入到卷积神经网络中进行运算，提取特征；(F)将特征输入到softmax分类器中进行分类，并利用线性回归对分类结果进行校准得到奶牛体况评分。以上所有步骤都是自动完成的，无需人工介入，只需要将奶牛赶到行走通道上，当奶牛一个个的通过行走通道时，数据采集模块和数据处理模块会自动拍摄牛尾部照片并进行处理得到该奶牛对应的评分数据，使用起来非常的方便、快捷，并且该方法不依赖人眼观看，评分结果误差小、精度高。
为了保证能够可靠的对奶牛进行评分，本发明中优选地，所述的步骤B中，若两幅图像标定框的长度均大于图像总长度的三分之一且标定框的高度均大于图像总宽度的四分之一，则视为奶牛运动到合适的评分位置；否则视为奶牛未运动到合适的评分位置。这里的三分之一和四分之一只是实际过程中选用的一个优选参数，以供参考。该参数的选择还与摄像头的布置位置相关，在实际使用时，选择合适的大小，保证每次能够完整的拍摄牛尾部图像即可。
Claims (4)
1.一种基于双目视觉的奶牛行为图像获取与体况智能监测系统，其特征在于：包括安装在奶牛行走通道上的数据采集模块和数据处理模块，所述的数据采集模块由两个同型号的摄像头构成，两个摄像头采集牛尾图像并输出至数据处理模块，数据处理模块通过视差处理得到牛尾到摄像头的距离并利用人工智能处理算法进行处理得到奶牛的评分数据。
2.如权利要求1所述的基于双目视觉的奶牛行为图像获取与体况智能监测系统，其特征在于：所述的两个摄像头轴距固定、光轴彼此平行，两个摄像头光心连线与光轴相垂直，数据处理模块输出控制信号至两个摄像头控制两个摄像头同步拍照。
3.如权利要求2所述的基于双目视觉的奶牛行为图像获取与体况智能监测系统，其特征在于：所述的数据处理模块按如下步骤进行处理：
(A)利用Fast YOLO图像定位算法实时对两个摄像头同一时刻采集的图像进行牛尾部定位；
(B)根据两幅图像中标定框的大小来判断牛是否运动到适合评分的位置，若奶牛运动到合适的评分位置，则执行下一步；若奶牛未运动到合适的评分位置，则返回步骤A重新拍摄图像；
(C)利用视差法对两幅图像进行处理，拟合牛尾部到摄像头的距离，获得深度维度的图像矩阵；
(D)将图像矩阵归一化到0～1之间得到归一化的距离矩阵；
(E)将距离矩阵输入到卷积神经网络中进行运算，提取特征；
(F)将特征输入到softmax分类器中进行分类，并利用线性回归对分类结果进行校准得到奶牛体况评分。
4.如权利要求3所述的基于双目视觉的奶牛行为图像获取与体况智能监测系统，其特征在于：所述的步骤B中，若两幅图像标定框的长度均大于图像总长度的三分之一且标定框的高度均大于图像总宽度的四分之一，则视为奶牛运动到合适的评分位置；否则视为奶牛未运动到合适的评分位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811579615.9A CN109784200B (zh) | 2018-12-24 | 2018-12-24 | 基于双目视觉的奶牛行为图像获取与体况智能监测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811579615.9A CN109784200B (zh) | 2018-12-24 | 2018-12-24 | 基于双目视觉的奶牛行为图像获取与体况智能监测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109784200A true CN109784200A (zh) | 2019-05-21 |
| CN109784200B CN109784200B (zh) | 2022-09-30 |
Family
ID=66497934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811579615.9A Active CN109784200B (zh) | 2018-12-24 | 2018-12-24 | 基于双目视觉的奶牛行为图像获取与体况智能监测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109784200B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110415282A (zh) * | 2019-07-31 | 2019-11-05 | 宁夏金宇智慧科技有限公司 | 一种奶牛体重预测系统 |
| CN110728208A (zh) * | 2019-09-24 | 2020-01-24 | 内蒙古大学 | 基于体况评分在牦牛放牧管理中的信息处理方法及系统 |
| CN111259978A (zh) * | 2020-02-03 | 2020-06-09 | 东北农业大学 | 一种融合多区域深度特征的奶牛个体身份识别方法 |
| CN111339850A (zh) * | 2020-02-14 | 2020-06-26 | 中国农业大学 | 一种基于支撑时相的奶牛跛行检测方法与系统 |
| CN112419414A (zh) * | 2020-12-07 | 2021-02-26 | 河南科技大学 | 一种获取奶畜乳房区域三维点云的装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105844534A (zh) * | 2016-04-08 | 2016-08-10 | 北京农业信息技术研究中心 | 奶牛体况自动评分方法及装置 |
-
2018
- 2018-12-24 CN CN201811579615.9A patent/CN109784200B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105844534A (zh) * | 2016-04-08 | 2016-08-10 | 北京农业信息技术研究中心 | 奶牛体况自动评分方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 孙雨坤等: "图像信息技术在奶牛生产中的应用", 《动物营养学报》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110415282A (zh) * | 2019-07-31 | 2019-11-05 | 宁夏金宇智慧科技有限公司 | 一种奶牛体重预测系统 |
| CN110728208A (zh) * | 2019-09-24 | 2020-01-24 | 内蒙古大学 | 基于体况评分在牦牛放牧管理中的信息处理方法及系统 |
| CN110728208B (zh) * | 2019-09-24 | 2022-05-27 | 内蒙古大学 | 基于体况评分在牦牛放牧管理中的信息处理方法及系统 |
| CN111259978A (zh) * | 2020-02-03 | 2020-06-09 | 东北农业大学 | 一种融合多区域深度特征的奶牛个体身份识别方法 |
| CN111339850A (zh) * | 2020-02-14 | 2020-06-26 | 中国农业大学 | 一种基于支撑时相的奶牛跛行检测方法与系统 |
| CN111339850B (zh) * | 2020-02-14 | 2024-03-15 | 中国农业大学 | 一种基于支撑时相的奶牛跛行检测方法与系统 |
| CN112419414A (zh) * | 2020-12-07 | 2021-02-26 | 河南科技大学 | 一种获取奶畜乳房区域三维点云的装置 |
| CN112419414B (zh) * | 2020-12-07 | 2023-03-07 | 河南科技大学 | 一种获取奶畜乳房区域三维点云的装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109784200B (zh) | 2022-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109784200A (zh) | 基于双目视觉的奶牛行为图像获取与体况智能监测系统 | |
| CN110473192B (zh) | 消化道内镜图像识别模型训练及识别方法、装置及系统 | |
| Wang et al. | A portable and automatic Xtion-based measurement system for pig body size | |
| CN109508907A (zh) | 基于深度学习与远程视频的奶牛体况智能评分系统 | |
| EP3261581B1 (en) | Improved method and relevant apparatus for the determination of the body condition score, body weight and state of fertility | |
| CN107077626B (zh) | 动物用非侵入式多模态生物特征辨识系统 | |
| CN110175993A (zh) | 一种基于FPN的Faster R-CNN肺结核征象检测系统及方法 | |
| Liu et al. | Automatic estimation of dairy cattle body condition score from depth image using ensemble model | |
| KR20180057785A (ko) | 영상분석을 통한 어류 개체수 측정 시스템 및 그 측정방법 | |
| CN105243386A (zh) | 人脸活体判断方法以及系统 | |
| CN114463701B (zh) | 一种基于多源大数据动物养殖数据挖掘的监测预警系统 | |
| CN111723729A (zh) | 基于知识图谱的监控视频犬类姿态和行为智能识别方法 | |
| CN102567734A (zh) | 基于比值的视网膜细小血管分割方法 | |
| Ruchay et al. | Accurate 3d shape recovery of live cattle with three depth cameras | |
| EP3769036B1 (en) | Method and system for extraction of statistical sample of moving fish | |
| CN112926473B (zh) | 基于图像识别的蜂螨识别方法及设备 | |
| Tonachella et al. | An affordable and easy-to-use tool for automatic fish length and weight estimation in mariculture | |
| CN112508890B (zh) | 一种基于二级评测模型的奶牛体脂率检测方法 | |
| Xie et al. | A deep learning-based detection method for pig body temperature using infrared thermography | |
| Chowdhury et al. | Deep learning based computer vision technique for automatic heat detection in cows | |
| Tsuruda et al. | 3D body parts tracking of mouse based on RGB-D video from under an open field | |
| CN109711306B (zh) | 一种基于深度卷积神经网络获取面部特征的方法及设备 | |
| CN115918571A (zh) | 一种栅栏过道式牛体健康数据提取装置及其智能提取方法 | |
| CN113627255B (zh) | 一种小鼠行为量化分析方法、装置、设备及可读存储介质 | |
| Li et al. | Automatic dairy cow body condition scoring using depth images and 3D surface fitting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |