CN108717523A - 基于机器视觉的母猪发情行为检测方法 - Google Patents
基于机器视觉的母猪发情行为检测方法 Download PDFInfo
- Publication number
- CN108717523A CN108717523A CN201810383668.7A CN201810383668A CN108717523A CN 108717523 A CN108717523 A CN 108717523A CN 201810383668 A CN201810383668 A CN 201810383668A CN 108717523 A CN108717523 A CN 108717523A
- Authority
- CN
- China
- Prior art keywords
- sow
- pig
- image
- oestrus
- boar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000012173 estrus Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000003542 behavioural effect Effects 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 70
- 238000006073 displacement reaction Methods 0.000 claims abstract description 21
- 230000006399 behavior Effects 0.000 claims description 50
- 238000013136 deep learning model Methods 0.000 claims description 30
- 238000012795 verification Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000002360 preparation method Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 230000003628 erosive effect Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims 2
- 238000013528 artificial neural network Methods 0.000 claims 1
- 238000003062 neural network model Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
- A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Environmental Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Animal Husbandry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器视觉的母猪发情行为检测方法，首先通过母猪生活视频训练出爬跨行为判断模型；通过母猪生活视频获取到多只发情母猪的位移运动量信息、在公猪诱情情况下与公猪之间的接近程度，由爬跨行为判断模型判断出一定数量发情母猪的爬跨行为和爬跨行为的频次；将上述获取到的各只发情母猪的信息作为各训练样本对神经网络模型进行训练，得到母猪发情预警模型；当要检测母猪发情行为时，通过母猪视频获取到母猪的位移运动量信息、母猪爬跨行为频次以及公猪诱情情况下与公猪之间的接近程度，将上述信息输入到母猪发情预警模型中，判断出母猪是否发情，本发明能够快速且准确的检测出母猪的发情行为，减轻劳动强度的同时增加猪场收益。
Description
技术领域
本发明涉及视频图像处理技术领域，特别涉及一种基于机器视觉的母猪发情行为检测方法。
背景技术
母猪发情行为的及时发现可以更为准确的给它进行受精，避免发现不及时而错过受精时间，对猪场的收益十分重要。目前国内采用熟练工人的人工观察的方式去检查母猪是否发生发情行为。这些方法不但消耗人工大量的时间和精力，对成熟工人的培养耗费很大，而且得到的观测数据主观性较强，无法准确地、客观地找出哪只母猪正在发情。随着高清视频网络监控技术和图像处理分析技术的快速应用发展，通过监控摄像机可以全天候观察母猪的生活情况，能够通过算法自动提取一些人工难以找到的特征，使得使用基于机器视觉的母猪发情监测预警成为可能。目前，关于母猪发情的论文研究大多在动物科学领域，而在计算机视觉方面，国内外学者少有研究。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种机器视觉的母猪发情行为检测方法，该方法能够快速且准确的检测出母猪的发情行为，减轻劳动强度的同时增加猪场收益。
本发明的目的通过下述技术方案实现：一种基于机器视觉的母猪发情行为检测方法，步骤如下：
步骤S1、通过摄像头拍摄到多张母猪在爬跨时的图像，并且将图像中的母猪爬跨位置标记出来，由母猪爬跨位置被标记好的各图像得到第一训练集，通过第一训练集对深度学习模型进行训练，得到爬跨行为判断模型；
通过摄像头拍摄到母猪在发情时的视频，从各只母猪在发情时的视频中对各只发情的母猪进行跟踪和识别，并且提取出各只发情母猪的位移运动量信息；针对上述拍摄到的各只母猪在发情时的视频，通过爬跨行为判断模型判断视频中各帧图像母猪是否有爬跨行为，并且统计出爬跨行为的频次；针对上述通过摄像头拍摄到的各只母猪在发情时的视频，获取到各只发情母猪与公猪之间的接近程度；
步骤S2、将步骤S1中获取到的每只发情母猪的位移运动量信息、爬跨行为的频次以及公猪进行诱情时与公猪之间接近程度作为每个训练样本，构成第二训练集；通过第二训练集对神经网络模型进行训练，得到母猪发情预警模型；
步骤S3、当需要对母猪的发情行为进行检测时，通过摄像头拍摄到母猪的视频，从上述视频中针对母猪进行跟踪和识别，并且提取出母猪的位移运动量数据；同时针对上述拍摄到的母猪视频，通过爬跨行为判断模型判断视频中各帧图像是否有母猪爬跨行为，并且统计出母猪爬跨行为的频次；另外针对上述通过摄像头拍摄到的母猪视频，获取到母猪与公猪之间接近程度；
步骤S4、将步骤S3获取到的母猪的位移运动量数据、母猪爬跨行为的频次以及公猪诱情时母猪与公猪之间的接近程度输入到母猪发情预警模型，通过母猪发情预警模型判定出母猪是否发情。
优选的，所述步骤S1中，训练得到爬跨行为判断模型的具体过程如下：
通过摄像头拍摄到多张母猪在爬跨时的图像，由各张母猪在爬跨时的图像形成图形数据集，将图像数据集分成第一训练集和验证集；首先通过第一训练集对深度学习模型进行训练，然后采用验证集针对上述训练后的深度学习模型进行验证，若准确率达到一定值，则将上述训练后的深度学习模型作为最终爬跨行为判断模型，否则继续增加训练次数，直到训练后的深度模型的准确率达到一定值。
优选的，所述步骤S1和步骤S3中提取出母猪位移运动量数据的过程如下：
步骤Sa、首先建立图像数据与实际数据的映射；
步骤Sb、针对摄像头拍摄到的母猪视频中每帧图像进行分割，识别出每帧图像中猪只目标；
步骤Sc、对各帧图像中识别出的猪只目标进行追踪，并且通过各帧图像中猪只的位置和角度获取到猪只在各时刻的运动状态量；其中本步骤在猪只目标进行追踪过程中，对潜在的跟丢失误进行重寻回与重派号的改进机制；
步骤Sd、根据猪只在各时刻的运动状态量以及图像数据与实际数据的映射关系计算出猪只在各个时间段的位移运动量。
更进一步的，所述步骤Sb中识别出每帧图像中猪只目标的具体过程如下：
步骤Sb1、首先将图像映射到RGB、YUV、YCbCr色彩空间中；然后根据前景与背景图像的类间方差最大为标准进行空间通道选择；
步骤Sb2、对步骤Sb1中所选择的空间通道应用大津法进行猪只目标与背景的分割，然后对大津法分割后的图像利用连通区域的消除、形态学腐蚀与膨胀方法将环境中相对于猪只个体来说面积小于一定值的目标去除；针对于存在粘连的猪只目标，采用基于颜色特征与轮廓特征结合的方法进行分割；
步骤Sb3、采用prewitty算子捕获边缘信息，得到图像中的猪只目标。
更进一步的，所述步骤Sb2中，在使用所选择的空间通道应用大津法进行猪只目标与背景的分割之前，通过手工设定将图像中固定环境噪音进行排除；其中固定环境包括猪栏食槽、水槽以及猪栏门。
更进一步的，所述步骤Sc中，猪只在各时刻的运动状态量为：
其中为猪只i在t时刻时在图像直接坐标系下的位置，为猪只i在t时刻时在图像直接坐标系下的角度，为猪只i在t时刻时的运动状态量。
优选的，所述步骤S1中，深度学习模型为用SSD和MobileNet合成的模型。
优选的，所述步骤S1中，第一训练集对深度学习模型进行训练时，还包括以下步骤：训练样本在输入深度学习模型之前进行预处理，具体为：针对第一训练集中的各图像首先通过中值滤波器进行压缩处理；训练样本图像数据增强后输入到深度学习模型；其中训练样本图像的数据增强过程包括数据翻转和随机获取图像信息的过程。
优选的，通过近邻域检测算法识别母猪和公猪的接近程度，由母猪和公猪之间的最小距离以及母猪和公猪保持该最小距离所持续的时间确定母猪和公猪的接近程度；
在公猪诱情时，通过视频获取到母猪与公猪之间的距离为：
其中(xi,yi)为母猪中猪只i猪头的位置坐标，(x,y)为公猪猪头的位置坐标，Si为母猪中猪只i与公猪之间的距离。
更进一步的，猪只猪头的确定过程如下：首先人工设定一阈值，当检测出图像中的猪只目标后，采用最小二乘法拟合成椭圆，然后获取到猪只的质心，计算猪只各位置与质心直接的距离，将距离超过阈值的位置标记为预备猪头，然后将预备猪头对应图像输入到SVM支持向量机中进行最终判断，若是猪头，则标记出来。
本发明相对于现有技术具有如下的优点及效果：
(1)本发明基于机器视觉的母猪发情行为检测方法，首先通过摄像头拍摄到多张母猪在爬跨时的图像，构成第一训练集，通过第一训练集训练出爬跨行为判断模型；然后通过摄像头拍摄到的视频获取多只发情母猪的位移运动量信息、多只发情母猪时在公猪诱情情况下与公猪之间的接近程度，同时通过爬跨行为判断模型判断出多只发情母猪的爬跨行为以及发生爬跨行为的频次；将上述获取到的各只发情母猪的位移运动量信息、爬跨行为的频次以及在公猪诱情情况下与公猪之间的接近程度作为一个训练样本，构成第二训练集，通过第二训练集对神经网络模型进行训练，得到母猪发情预警模型；当需要检测母猪发情行为时，首先通过摄像头拍摄到的母猪的视频，然后通过视频获取到母猪的位移运动量信息、母猪爬跨行为频次以及公猪诱情情况下与公猪之间的接近程度，然后将上述获取到的信息输入到母猪发情预警模型中，最终通过该模型判断出母猪是否发情，由上述可见，本发明为基于机器视觉的方式对母猪的发情行为进行检测，能够快速且准确的检测出母猪的发情行为，减轻劳动强度的同时增加猪场收益。
(2)本发明基于机器视觉的母猪发情行为检测方法中，通过布置于母猪生活场地的摄像头拍摄到多张母猪在爬跨时的图像，由上述各张图像形成图形数据集，将图像数据集分成第一训练集和验证集；当通过第一训练集训练深度学习模型后，再通过验证集对训练后的深度学习模型进行验证，若训练后的深度学习模型准确率达到一定值，则将上述训练后的深度学习模型作为最终爬跨行为判断模型，否则继续增加训练次数，直到训练后的深度模型的准确率达到一定值，本发明上述训练方式可以有效提高爬跨行为判断模型针对爬跨行为判断的准确性。
(3)本发明基于机器视觉的母猪发情行为检测方法中，第一训练集中的训练样本在输入深度学习模型之前进行中值滤波器进行压缩处理，并且训练样本图像数据增强后输入到深度学习模型，训练样本图像的数据增强过程包括数据翻转和随机获取图像信息的过程，上述操作可以提高第一训练集的泛化性，使得深度学习模型在训练时不容易出现过拟合的现象。
附图说明
图1是本发明母猪发情行为检测方法流程图。
图2是本发明母猪发情行为检测方法中获取母猪位移运动量数据的流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
本实施例公开了一种基于机器视觉的母猪发情行为检测方法，如图1所示，步骤如下：
步骤S1、通过布置于母猪生活场地的摄像头拍摄到多张母猪在爬跨时的图像，并且将图像中的母猪爬跨位置标记出来，由母猪爬跨位置被标记好的各图像得到第一训练集，通过第一训练集对深度学习模型进行训练，得到爬跨行为判断模型；其中，本步骤中，第一训练集对深度学习模型进行训练时，还包括以下步骤：训练样本在输入深度学习模型之前进行预处理，具体为：针对第一训练集中的各图像首先通过中值滤波器进行压缩处理；训练样本图像数据增强后输入到深度学习模型；其中训练样本图像的数据增强过程包括数据翻转和随机获取图像信息的过程。在本实施例中，训练得到爬跨行为判断模型的具体过程如下：通过布置于母猪生活场地的摄像头拍摄到多张母猪在爬跨时的图像，由各张母猪在爬跨时的图像形成图形数据集，将图像数据集分成第一训练集和验证集；首先通过第一训练集对深度学习模型进行训练，然后采用验证集针对上述训练后的深度学习模型进行验证，若准确率达到一定值，则将上述训练后的深度学习模型作为最终爬跨行为判断模型，否则继续增加训练次数，直到训练后的深度模型的准确率达到一定值。本实施例中，深度学习模型为经过150,000次训练后的模型，其中本实施例中训练后的深度学习模型mAP稳定在0.92，loss值稳定在0.05以下。在本实施例中，所使用的深度学习模型为SSD和MobileNet合成的模型。
通过布置于母猪生活场地的摄像头拍摄到母猪在发情时的视频，从各只母猪在发情时的视频中对各只发情的母猪进行跟踪和识别，并且提取出各只发情母猪的位移运动量信息；针对上述拍摄到的各只母猪在发情时的视频，通过爬跨行为判断模型判断视频中各帧图像是否有母猪爬跨行为，并且统计出爬跨行为的频次；针对上述通过摄像头拍摄到的各只母猪在发情时的视频，获取到各只发情母猪与公猪之间的接近程度；其中当安排公猪经过母猪栏时，公猪将对母猪进行诱情，这时摄像头将拍摄到发情的母猪在公猪进行诱情时的视频，通过该视频获取到发情母猪与公猪之间的接近程度；
在本实施例中，摄像头安装在母猪生活场地的正上方，方便比较全面的拍摄到母猪的视频。
步骤S2、将步骤S1中获取到的每只发情猪的位移运动量信息、爬跨行为的频次以及公猪进行诱情时与公猪之间的接近程度作为每个训练样本，构成第二训练集；通过第二训练集对神经网络模型进行训练，得到母猪发情预警模型；
步骤S3、当需要对母猪的发情行为进行检测时，通过布置于母猪生活场地的摄像头拍摄到各只母猪的视频，从上述视频中针对母猪进行跟踪和识别，并且提取出母猪的位移运动量数据；同时针对上述拍摄到的母猪视频，通过爬跨行为判断模型判断视频中各帧图像是否有爬跨行为，并且统计出母猪爬跨行为的频次；另外针对上述通过摄像头拍摄到的母猪视频，当有公猪经过就那些诱情时，能够获取到母猪与公猪之间接近程度；
步骤S4、将步骤S3获取到的母猪的位移运动量数据、母猪爬跨行为的频次以及公猪诱情时母猪与公猪之间接近程度输入到母猪发情预警模型，通过母猪发情预警模型判定出母猪是否发情。
在本实施例中，如图2所示，上述步骤S1和步骤S3中提取出母猪位移运动量数据的过程如下：
步骤Sa、首先建立图像数据与实际数据的映射；
步骤Sb、针对摄像头拍摄到的母猪视频中每帧图像进行分割，识别出每帧图像中猪只目标；本步骤中识别出每帧图像中猪只目标的具体过程如下：
步骤Sb1、首先将图像映射到RGB、YUV、YCbCr色彩空间中；然后根据前景与背景图像的类间方差最大为标准进行空间通道选择；
步骤Sb2、对步骤Sb1中所选择的空间通道应用大津法进行猪只目标与背景的分割，然后对大津法分割后的图像利用连通区域的消除、形态学腐蚀与膨胀方法将环境中相对于猪只个体来说面积小于一定值的目标去除，以将环境中相对于猪只个体来说面积小得多的错误目标进行删除；针对于存在粘连的猪只目标，采用基于颜色特征与轮廓特征结合的方法进行分割；其中本步骤中，在使用所选择的空间通道应用大津法进行猪只目标与背景的分割之前，通过手工设定将图像中固定环境噪音进行排除；其中固定环境包括猪栏食槽、水槽以及猪栏门。
步骤Sb3、采用prewitty算子捕获边缘信息，得到图像中的猪只目标，最后对正确分割后猪只目标采用最小二乘法拟合成椭圆。
步骤Sc、对各帧图像中识别出的猪只目标进行追踪，并且通过各帧图像中猪只的位置和角度获取到猪只在各时刻的运动状态量；猪只在各时刻的运动状态量为：
其中为猪只i在t时刻时在图像直接坐标系下的位置，为猪只i在t时刻时在图像直接坐标系下的角度，为猪只i在t时刻时的运动状态量。
步骤Sd、根据猪只在各时刻的运动状态量以及图像数据与实际数据的映射关系计算猪只在单位时间内的运动位移，将猪只在单位时间内的运动位移累加后即可得到猪只在各个时间段的位移运动量，从而得到猪只的位移运动量信息。其中在本实施例中所使用到的位移运动量信息为母猪每十分钟内的位移运动量。
本实施例上述步骤中，通过近邻域检测算法识别母猪和公猪的接近程度，由母猪和公猪之间的最小距离以及母猪和公猪保持该最小距离所持续的时间确定母猪和公猪的接近程度。当母猪和公猪之间最小距离越小时，表示它们之间接近程度越大，当母猪和公猪之间保持最小距离所持续的时间越长时，表示它们之间接近程度越大。
其中，在公猪诱情时，通过视频获取到母猪与公猪之间的距离为：
其中(xi,yi)为母猪中猪只i猪头的位置坐标，(x,y)为公猪猪头的位置坐标，Si为母猪中猪只i与公猪之间的距离。其中本实施例中，猪只猪头的确定过程如下：首先人工设定一阈值，该阈值由人工依据大量猪只猪头和质心之间的距离总结得出，当检测出图像中的猪只目标后，采用最小二乘法拟合成椭圆，然后获取到猪只的质心，计算猪只各位置与质心直接的距离，将距离超过阈值的位置标记为预备猪头，然后将预备猪头对应图像输入到SVM支持向量机中进行最终判断，若是猪头，则标记出来。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.一种基于机器视觉的母猪发情行为检测方法，其特征在于，步骤如下：
步骤S1、通过摄像头拍摄到多张母猪在爬跨时的图像，并且将图像中的母猪爬跨位置标记出来，由母猪爬跨位置被标记好的各图像得到第一训练集，通过第一训练集对深度学习模型进行训练，得到爬跨行为判断模型；
通过摄像头拍摄到母猪在发情时的视频，从各只母猪在发情时的视频中对各只发情的母猪进行跟踪和识别，并且提取出各只发情母猪的位移运动量信息；针对上述拍摄到的各只母猪在发情时的视频，通过爬跨行为判断模型判断视频中各帧图像母猪是否有爬跨行为，并且统计出爬跨行为的频次；针对上述通过摄像头拍摄到的各只母猪在发情时的视频，获取到各只发情母猪与公猪之间的接近程度；
步骤S2、将步骤S1中获取到的每只发情母猪的位移运动量信息、爬跨行为的频次以及与公猪之间接近程度作为每个训练样本，构成第二训练集；通过第二训练集对神经网络模型进行训练，得到母猪发情预警模型；
步骤S3、当需要对母猪的发情行为进行检测时，通过摄像头拍摄到母猪的视频，从上述视频中针对母猪进行跟踪和识别，并且提取出母猪的位移运动量数据；同时针对上述拍摄到的母猪视频，通过爬跨行为判断模型判断视频中各帧图像是否有母猪爬跨行为，并且统计出母猪爬跨行为的频次；另外针对上述通过摄像头拍摄到的母猪视频，获取到母猪与公猪之间接近程度；
步骤S4、将步骤S3获取到的母猪的位移运动量数据、母猪爬跨行为的频次以及母猪与公猪之间的接近程度输入到母猪发情预警模型，通过母猪发情预警模型判定出母猪是否发情。
2.根据权利要求1所述的基于机器视觉的母猪发情行为检测方法，其特征在于，所述步骤S1中，训练得到爬跨行为判断模型的具体过程如下：
通过摄像头拍摄到多张母猪在爬跨时的图像，由各张母猪在爬跨时的图像形成图形数据集，将图像数据集分成第一训练集和验证集；首先通过第一训练集对深度学习模型进行训练，然后采用验证集针对上述训练后的深度学习模型进行验证，若准确率达到一定值，则将上述训练后的深度学习模型作为最终爬跨行为判断模型，否则继续增加训练次数，直到训练后的深度模型的准确率达到一定值。
3.根据权利要求1所述的基于机器视觉的母猪发情行为检测方法，其特征在于，所述步骤S1和步骤S3中提取出母猪位移运动量数据的过程如下：
步骤Sa、首先建立图像数据与实际数据的映射；
步骤Sb、针对摄像头拍摄到的母猪视频中每帧图像进行分割，识别出每帧图像中猪只目标；
步骤Sc、对各帧图像中识别出的猪只目标进行追踪，并且通过各帧图像中猪只的位置和角度获取到猪只在各时刻的运动状态量；其中本步骤在猪只目标进行追踪过程中，对潜在的跟丢失误进行重寻回与重派号的改进机制；
步骤Sd、根据猪只在各时刻的运动状态量以及图像数据与实际数据的映射关系计算出猪只在各个时间段的位移运动量。
4.根据权利要求3所述的基于机器视觉的母猪发情行为检测方法，其特征在于，所述步骤Sb中识别出每帧图像中猪只目标的具体过程如下：
步骤Sb1、首先将图像映射到RGB、YUV、YCbCr色彩空间中；然后根据前景与背景图像的类间方差最大为标准进行空间通道选择；
步骤Sb2、对步骤Sb1中所选择的空间通道应用大津法进行猪只目标与背景的分割，然后对大津法分割后的图像利用连通区域的消除、形态学腐蚀与膨胀方法将环境中相对于猪只个体来说面积小于一定值的目标去除；针对于存在粘连的猪只目标，采用基于颜色特征与轮廓特征结合的方法进行分割；
步骤Sb3、采用prewitty算子捕获边缘信息，得到图像中的猪只目标。
5.根据权利要求4所述的基于机器视觉的母猪发情行为检测方法，其特征在于，所述步骤Sb2中，在使用所选择的空间通道应用大津法进行猪只目标与背景的分割之前，通过手工设定将图像中固定环境噪音进行排除；其中固定环境包括猪栏食槽、水槽以及猪栏门。
6.根据权利要求3所述的基于机器视觉的母猪发情行为检测方法，其特征在于，所述步骤Sc中，猪只在各时刻的运动状态量为：
其中为猪只i在t时刻时在图像直接坐标系下的位置，为猪只i在t时刻时在图像直接坐标系下的角度，为猪只i在t时刻时的运动状态量。
7.根据权利要求1所述的基于机器视觉的母猪发情行为检测方法，其特征在于，所述步骤S1中，深度学习模型为用SSD和MobileNet合成的模型。
8.根据权利要求1所述的基于机器视觉的母猪发情行为检测方法，其特征在于，所述步骤S1中，第一训练集对深度学习模型进行训练时，还包括以下步骤：训练样本在输入深度学习模型之前进行预处理，具体为：针对第一训练集中的各图像首先通过中值滤波器进行压缩处理；训练样本图像数据增强后输入到深度学习模型；其中训练样本图像的数据增强过程包括数据翻转和随机获取图像信息的过程。
9.根据权利要求1所述的基于机器视觉的母猪发情行为检测方法，其特征在于，通过近邻域检测算法识别母猪和公猪的接近程度，由母猪和公猪之间的最小距离以及母猪和公猪保持该最小距离所持续的时间确定母猪和公猪的接近程度；
在公猪诱情时，通过视频获取到母猪与公猪之间的距离为：
其中(xi,yi)为母猪中猪只i猪头的位置坐标，(x,y)为公猪猪头的位置坐标，Si为母猪中猪只i与公猪之间的距离。
10.根据权利要求9所述的基于机器视觉的母猪发情行为检测方法，其特征在于，猪只猪头的确定过程如下：首先人工设定一阈值，当检测出图像中的猪只目标后，采用最小二乘法拟合成椭圆，然后获取到猪只的质心，计算猪只各位置与质心直接的距离，将距离超过阈值的位置标记为预备猪头，然后将预备猪头对应图像输入到SVM支持向量机中进行最终判断，若是猪头，则标记出来。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810383668.7A CN108717523B (zh) | 2018-04-26 | 2018-04-26 | 基于机器视觉的母猪发情行为检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810383668.7A CN108717523B (zh) | 2018-04-26 | 2018-04-26 | 基于机器视觉的母猪发情行为检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108717523A true CN108717523A (zh) | 2018-10-30 |
| CN108717523B CN108717523B (zh) | 2020-07-31 |
Family
ID=63899195
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810383668.7A Active CN108717523B (zh) | 2018-04-26 | 2018-04-26 | 基于机器视觉的母猪发情行为检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108717523B (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109924147A (zh) * | 2019-01-17 | 2019-06-25 | 广西壮族自治区水产引育种中心 | 一种鲫鱼杂交制种中信息采集测定系统及测定方法 |
| CN109984054A (zh) * | 2019-04-19 | 2019-07-09 | 广州影子科技有限公司 | 发情检测方法、发情检测装置和发情检测系统 |
| CN110070051A (zh) * | 2019-04-24 | 2019-07-30 | 卿胜奎 | 基于计算机视觉技术的牛发情监测方法及系统 |
| CN110476879A (zh) * | 2019-08-26 | 2019-11-22 | 重庆邮电大学 | 基于多标签链式生态环境的奶牛行为分类判别方法及装置 |
| CN110532854A (zh) * | 2019-07-11 | 2019-12-03 | 中国农业大学 | 一种生猪爬跨行为检测方法及系统 |
| CN110532899A (zh) * | 2019-08-09 | 2019-12-03 | 中国农业大学 | 基于热成像的母猪产前行为分类方法及系统 |
| CN110595602A (zh) * | 2019-04-26 | 2019-12-20 | 深圳市豪视智能科技有限公司 | 振动检测方法及相关产品 |
| CN110839557A (zh) * | 2019-10-16 | 2020-02-28 | 北京海益同展信息科技有限公司 | 母猪发情监测方法、装置、系统、电子设备及存储介质 |
| CN110991222A (zh) * | 2019-10-16 | 2020-04-10 | 北京海益同展信息科技有限公司 | 一种物体状态监测、母猪发情监测方法、装置及系统 |
| CN111248103A (zh) * | 2020-01-09 | 2020-06-09 | 洛阳语音云创新研究院 | 牲畜发情检测方法、装置以及设备 |
| CN111685060A (zh) * | 2020-06-10 | 2020-09-22 | 彭东乔 | 一种基于人工智能对反刍动物发情行为识别的方法 |
| CN111914685A (zh) * | 2020-07-14 | 2020-11-10 | 北京小龙潜行科技有限公司 | 母猪发情检测方法、装置、电子设备及存储介质 |
| JP6833231B1 (ja) * | 2020-04-13 | 2021-02-24 | Ａｓｓｅｓｔ株式会社 | 家畜発情期判別プログラム |
| CN113662530A (zh) * | 2021-07-02 | 2021-11-19 | 华南农业大学 | 一种猪只生理生长状态监测预警方法 |
| CN113711944A (zh) * | 2021-08-27 | 2021-11-30 | 河南牧原智能科技有限公司 | 一种母猪发情鉴定方法、装置及系统 |
| CN114041426A (zh) * | 2020-12-31 | 2022-02-15 | 重庆市六九畜牧科技股份有限公司 | 后备母猪管理猪舍 |
| CN114544772A (zh) * | 2022-04-26 | 2022-05-27 | 华南农业大学 | 基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置及方法 |
| WO2022167328A1 (en) * | 2021-02-02 | 2022-08-11 | Signify Holding B.V. | System and method for analyzing mating behavior of an animal species |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AT524715A1 (de) * | 2021-02-12 | 2022-08-15 | Mechatronik Zehentner Eu | Verfahren und Vorrichtung zur Nachverfolgung von Tieren |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104008367A (zh) * | 2014-05-08 | 2014-08-27 | 中国农业大学 | 基于计算机视觉的育肥猪的自动行为分析系统及方法 |
| KR20160109020A (ko) * | 2015-03-09 | 2016-09-21 | 용훈 김 | 카메라를 이용한 소의 승가현상을 판별하는 시스템 |
| CN107027650A (zh) * | 2017-03-21 | 2017-08-11 | 中国农业大学 | 一种基于pso‑svm的种猪异常状态检测方法及装置 |
| CN107679463A (zh) * | 2017-09-15 | 2018-02-09 | 江苏大学 | 一种采用机器视觉技术识别群养猪攻击行为的分析方法 |
| CN107844797A (zh) * | 2017-09-27 | 2018-03-27 | 华南农业大学 | 一种基于深度图像的哺乳母猪姿态自动识别的方法 |
-
2018
- 2018-04-26 CN CN201810383668.7A patent/CN108717523B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104008367A (zh) * | 2014-05-08 | 2014-08-27 | 中国农业大学 | 基于计算机视觉的育肥猪的自动行为分析系统及方法 |
| KR20160109020A (ko) * | 2015-03-09 | 2016-09-21 | 용훈 김 | 카메라를 이용한 소의 승가현상을 판별하는 시스템 |
| CN107027650A (zh) * | 2017-03-21 | 2017-08-11 | 中国农业大学 | 一种基于pso‑svm的种猪异常状态检测方法及装置 |
| CN107679463A (zh) * | 2017-09-15 | 2018-02-09 | 江苏大学 | 一种采用机器视觉技术识别群养猪攻击行为的分析方法 |
| CN107844797A (zh) * | 2017-09-27 | 2018-03-27 | 华南农业大学 | 一种基于深度图像的哺乳母猪姿态自动识别的方法 |
Non-Patent Citations (3)
| Title |
|---|
| DU-MING TSAI , CHING-YING HUANG: ""A motion and image analysis method for automatic detection of estrus and mating behavior in cattle"", 《COMPUTERS AND ELECTRONICS IN AGRICULTURE》 * |
| MACIEJ OCZAK , STEFANO VIAZZI ,ET.AL.: ""Classification of aggressive behaviour in pigs by activity index and multilayer feed forward neural network"", 《BIOSYSTEMS ENGINEERING》 * |
| 汪开英，赵晓洋，何勇: ""畜禽行为及生理信息的无损监测技术研究进展"", 《农业工程学报》 * |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109924147A (zh) * | 2019-01-17 | 2019-06-25 | 广西壮族自治区水产引育种中心 | 一种鲫鱼杂交制种中信息采集测定系统及测定方法 |
| CN109984054B (zh) * | 2019-04-19 | 2021-07-20 | 广州影子科技有限公司 | 发情检测方法、发情检测装置和发情检测系统 |
| CN109984054A (zh) * | 2019-04-19 | 2019-07-09 | 广州影子科技有限公司 | 发情检测方法、发情检测装置和发情检测系统 |
| CN110070051A (zh) * | 2019-04-24 | 2019-07-30 | 卿胜奎 | 基于计算机视觉技术的牛发情监测方法及系统 |
| CN110595602A (zh) * | 2019-04-26 | 2019-12-20 | 深圳市豪视智能科技有限公司 | 振动检测方法及相关产品 |
| CN110595602B (zh) * | 2019-04-26 | 2021-10-15 | 深圳市豪视智能科技有限公司 | 振动检测方法及相关产品 |
| CN110532854A (zh) * | 2019-07-11 | 2019-12-03 | 中国农业大学 | 一种生猪爬跨行为检测方法及系统 |
| CN110532854B (zh) * | 2019-07-11 | 2021-11-26 | 中国农业大学 | 一种生猪爬跨行为检测方法及系统 |
| CN110532899A (zh) * | 2019-08-09 | 2019-12-03 | 中国农业大学 | 基于热成像的母猪产前行为分类方法及系统 |
| CN110532899B (zh) * | 2019-08-09 | 2022-04-05 | 中国农业大学 | 基于热成像的母猪产前行为分类方法及系统 |
| CN110476879A (zh) * | 2019-08-26 | 2019-11-22 | 重庆邮电大学 | 基于多标签链式生态环境的奶牛行为分类判别方法及装置 |
| CN110476879B (zh) * | 2019-08-26 | 2022-02-22 | 重庆邮电大学 | 基于多标签链式生态环境的奶牛行为分类判别方法及装置 |
| CN110991222A (zh) * | 2019-10-16 | 2020-04-10 | 北京海益同展信息科技有限公司 | 一种物体状态监测、母猪发情监测方法、装置及系统 |
| CN110839557B (zh) * | 2019-10-16 | 2022-06-07 | 京东科技信息技术有限公司 | 母猪发情监测方法、装置、系统、电子设备及存储介质 |
| CN110991222B (zh) * | 2019-10-16 | 2023-12-08 | 京东科技信息技术有限公司 | 一种物体状态监测、母猪发情监测方法、装置及系统 |
| CN110839557A (zh) * | 2019-10-16 | 2020-02-28 | 北京海益同展信息科技有限公司 | 母猪发情监测方法、装置、系统、电子设备及存储介质 |
| CN111248103A (zh) * | 2020-01-09 | 2020-06-09 | 洛阳语音云创新研究院 | 牲畜发情检测方法、装置以及设备 |
| WO2021210459A1 (ja) * | 2020-04-13 | 2021-10-21 | Ａｓｓｅｓｔ株式会社 | 家畜発情期判別プログラム |
| JP6833231B1 (ja) * | 2020-04-13 | 2021-02-24 | Ａｓｓｅｓｔ株式会社 | 家畜発情期判別プログラム |
| JP2021168060A (ja) * | 2020-04-13 | 2021-10-21 | Ａｓｓｅｓｔ株式会社 | 家畜発情期判別プログラム |
| CN111685060A (zh) * | 2020-06-10 | 2020-09-22 | 彭东乔 | 一种基于人工智能对反刍动物发情行为识别的方法 |
| CN111685060B (zh) * | 2020-06-10 | 2022-02-08 | 彭东乔 | 一种基于人工智能对反刍动物发情行为识别的方法 |
| CN111914685B (zh) * | 2020-07-14 | 2024-04-09 | 北京小龙潜行科技有限公司 | 母猪发情检测方法、装置、电子设备及存储介质 |
| CN111914685A (zh) * | 2020-07-14 | 2020-11-10 | 北京小龙潜行科技有限公司 | 母猪发情检测方法、装置、电子设备及存储介质 |
| CN114041426A (zh) * | 2020-12-31 | 2022-02-15 | 重庆市六九畜牧科技股份有限公司 | 后备母猪管理猪舍 |
| CN114097628A (zh) * | 2020-12-31 | 2022-03-01 | 重庆市六九畜牧科技股份有限公司 | 后备母猪发情监测管理方法 |
| WO2022167328A1 (en) * | 2021-02-02 | 2022-08-11 | Signify Holding B.V. | System and method for analyzing mating behavior of an animal species |
| CN113662530A (zh) * | 2021-07-02 | 2021-11-19 | 华南农业大学 | 一种猪只生理生长状态监测预警方法 |
| CN113662530B (zh) * | 2021-07-02 | 2023-02-07 | 华南农业大学 | 一种猪只生理生长状态监测预警方法 |
| CN113711944B (zh) * | 2021-08-27 | 2023-03-03 | 河南牧原智能科技有限公司 | 一种母猪发情鉴定方法、装置及系统 |
| CN113711944A (zh) * | 2021-08-27 | 2021-11-30 | 河南牧原智能科技有限公司 | 一种母猪发情鉴定方法、装置及系统 |
| CN114544772A (zh) * | 2022-04-26 | 2022-05-27 | 华南农业大学 | 基于卷积神经网络和声音频谱的鸭蛋裂纹检测装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108717523B (zh) | 2020-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108717523A (zh) | 基于机器视觉的母猪发情行为检测方法 | |
| Yukun et al. | Automatic monitoring system for individual dairy cows based on a deep learning framework that provides identification via body parts and estimation of body condition score | |
| Wang et al. | A portable and automatic Xtion-based measurement system for pig body size | |
| Nasirahmadi et al. | Automatic detection of mounting behaviours among pigs using image analysis | |
| Yang et al. | An automatic recognition framework for sow daily behaviours based on motion and image analyses | |
| CN104008367B (zh) | 基于计算机视觉的育肥猪的自动行为分析系统及方法 | |
| Jingqiu et al. | Cow behavior recognition based on image analysis and activities | |
| US10146993B2 (en) | Non-invasive multimodal biometrical identification system of animals | |
| WO2023060777A1 (zh) | 一种基于深度学习的猪只体尺体重估测方法 | |
| Liu et al. | Automatic estimation of dairy cattle body condition score from depth image using ensemble model | |
| Liu et al. | Extraction algorithms and applications of pig body size measurement points based on computer vision | |
| CN104298964B (zh) | 一种人体行为动作快速识别方法及装置 | |
| JP2021101668A (ja) | 発情診断システム、発情診断方法、及びプログラム、並びに個体識別システム | |
| Jia et al. | Segmentation of body parts of cows in RGB-depth images based on template matching | |
| CN104143184A (zh) | 一种肺部分割的方法 | |
| Zhang et al. | Development and validation of a visual image analysis for monitoring the body size of sheep | |
| CN108830293B (zh) | 动物体重的识别方法及装置 | |
| CN105023272A (zh) | 农作物叶子虫害检测方法和系统 | |
| Ruchay et al. | Accurate 3d shape recovery of live cattle with three depth cameras | |
| WO2023041904A1 (en) | Systems and methods for the automated monitoring of animal physiological conditions and for the prediction of animal phenotypes and health outcomes | |
| Hansen et al. | Non-intrusive automated measurement of dairy cow body condition using 3D video | |
| Hidayatullah et al. | A survey on multisperm tracking for sperm motility measurement | |
| CN106960199A (zh) | 一种真彩色眼象图白睛区域的完整提取方法 | |
| CN110070051A (zh) | 基于计算机视觉技术的牛发情监测方法及系统 | |
| CN111144236B (zh) | 一种蜚蠊交配行为分析的方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |