CN114743224B - 一种基于计算机视觉的畜牧业家畜体温监控方法与系统 - Google Patents

一种基于计算机视觉的畜牧业家畜体温监控方法与系统 Download PDF

Info

Publication number
CN114743224B
CN114743224B CN202210658909.0A CN202210658909A CN114743224B CN 114743224 B CN114743224 B CN 114743224B CN 202210658909 A CN202210658909 A CN 202210658909A CN 114743224 B CN114743224 B CN 114743224B
Authority
CN
China
Prior art keywords
livestock
image
model
eyes
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210658909.0A
Other languages
English (en)
Other versions
CN114743224A (zh
Inventor
胡小然
孙宏磊
任素兰
韩兴荣
李珂
曹维伟
巩新廷
孙晓宗
赵德浩
聂彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinxiang Kanghua Dairy Co ltd
Original Assignee
Jinxiang Kanghua Dairy Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinxiang Kanghua Dairy Co ltd filed Critical Jinxiang Kanghua Dairy Co ltd
Priority to CN202210658909.0A priority Critical patent/CN114743224B/zh
Publication of CN114743224A publication Critical patent/CN114743224A/zh
Application granted granted Critical
Publication of CN114743224B publication Critical patent/CN114743224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00—Other apparatus for animal husbandry
    • A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明涉及计算机视觉技术领域，具体涉及一种基于计算机视觉的畜牧业家畜体温监控方法与系统，该方法包括：分别获取可见光图像和热成像图像；根据所述可见光图像，构建家畜三维模型，并对家畜三维模型进行图像切割，得到家畜头部模型；根据所述家畜头部模型，获取包含家畜眼睛的模型面部图像；获取模型面部图像的纹理信息得到模型纹理图像；将模型面部图像和模型纹理图像进行融合得到面部特征图像；利用神经网络对面部特征图像进行处理得到家畜眼内角点高斯分布图，进而得到眼内角点坐标；根据所述眼内角点坐标以及所述热成像面部图像，确定眼内角点的温度为家畜的体温。本发明能够提高家畜体温检测的效率。

Description

一种基于计算机视觉的畜牧业家畜体温监控方法与系统
技术领域
本发明涉及视觉测量技术领域，具体涉及一种基于计算机视觉的畜牧业家畜体温监控方法与系统。
背景技术
在畜牧业规模化发展过程中，牲畜的健康尤其重要，直接关系到养殖场是否能够正常发展。牲畜的健康与其体温有着重要关系，所以，在电子技术日新月异的现代社会，跟踪检测牲畜的体温是监测牲畜健康状况的重要手段。
但是，在实际生产中，人工使用传统玻璃水银体温计、红外测温枪等工具对牲畜进行体温检测，由于畜牧数量多、活动能力强，难以进行大批、多次测量并统计其结果数据，以至于对牲畜的体温监控效率低下。此外，在使用红外测温热像仪测量牲畜的体温时，对于超过一定距离的牲畜，难以定位到特殊位置进行体温测量。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于计算机视觉的畜牧业家畜体温监控方法，所采用的技术方案具体如下：
分别获取可见光图像和热成像图像，并得到可见光面部图像和热成像面部图像；
根据所述可见光图像，构建家畜三维模型，挑选家畜眼睛处于睁开状态的家畜三维模型进行图像切割，得到家畜头部模型；
根据所述家畜头部模型，获取包含家畜眼睛的模型面部图像；获取模型面部图像的纹理信息得到模型纹理图像；
将可见光面部图像、热成像面部图像、模型面部图像以及模型纹理图像进行融合得到面部特征图像；
利用神经网络对面部特征图像进行处理得到家畜眼内角点高斯分布图，进而得到眼内角点坐标；根据所述眼内角点坐标以及所述热成像面部图像，确定眼内角点的温度为家畜的体温。
优选地，获取模型面部图像的纹理信息得到模型纹理图像具体为：采用灰度共生矩阵对所述模型面部图像进行纹理特征提取，得到纹理特征熵图像，记为模型纹理图像，该模型纹理图像与模型面部图像大小相同。
优选地，神经网络的训练过程具体为：根据可见光图像和热成像图像中的家畜眼内角点坐标进行标注，以标注点为中心生成大小为n×m的家畜眼内角点高斯分布图，得到标签数据；面部特征图像为训练时神经网络的输入，标签数据为训练时神经网络的输出，对网络进行训练，得到训练好的神经网络。
优选地，神经网络的损失函数为：
Figure 609799DEST_PATH_IMAGE001
其中，
Figure 713890DEST_PATH_IMAGE002
表示神经网络输出的家畜眼内角在位置
Figure 165731DEST_PATH_IMAGE003
处的概率，
Figure 747891DEST_PATH_IMAGE004
表示标签数据中家畜眼内角在位置
Figure 296684DEST_PATH_IMAGE003
处的概率，N表示家畜内眼角点的高斯分布图的像素数量，家畜内眼角点高斯分布图尺寸大小为n×m，
Figure 306097DEST_PATH_IMAGE005
、
Figure 245234DEST_PATH_IMAGE006
为超参数。
本发明还提供了一种基于计算机视觉的畜牧业家畜体温监控系统，该系统包括：
图像获取模块，用于分别获取可见光图像和热成像图像，并得到可见光面部图像和热成像面部图像；
模型获取模块，用于根据所述可见光图像，构建家畜三维模型，挑选家畜眼睛处于睁开状态的家畜三维模型进行图像切割，得到家畜头部模型；
模型分析模块，用于根据所述家畜头部模型，获取包含家畜眼睛的模型面部图像；获取模型面部图像的纹理信息得到模型纹理图像；将可见光面部图像、热成像面部图像、模型面部图像以及模型纹理图像进行融合得到面部特征图像；
体温检测模块，用于利用神经网络对面部特征图像进行处理得到家畜眼内角点高斯分布图，进而得到眼内角点坐标；根据所述眼内角点坐标以及所述热成像面部图像，确定眼内角点的温度为家畜的体温。
优选地，获取模型面部图像的纹理信息得到模型纹理图像具体为：采用灰度共生矩阵对所述模型面部图像进行纹理特征提取，得到纹理特征熵图像，记为模型纹理图像，该模型纹理图像与模型面部图像大小相同。
优选地，神经网络的训练过程具体为：根据可见光图像和热成像图像中的家畜眼内角点坐标进行标注，以标注点为中心生成大小为n×m的家畜眼内角点高斯分布图，得到标签数据；面部特征图像为训练时神经网络的输入，标签数据为训练时神经网络的输出，对神经网络进行训练，得到训练好的神经网络。
优选地，神经网络的损失函数为：
Figure 645733DEST_PATH_IMAGE001
其中，
Figure 49033DEST_PATH_IMAGE002
表示神经网络输出的家畜眼内角在位置
Figure 714501DEST_PATH_IMAGE003
处的概率，
Figure 452518DEST_PATH_IMAGE004
表示标签数据中家畜眼内角在位置
Figure 127213DEST_PATH_IMAGE003
处的概率，N表示家畜内眼角点的高斯分布图的像素数量，家畜内眼角点高斯分布图尺寸大小为n×m，
Figure 571970DEST_PATH_IMAGE005
、
Figure 736235DEST_PATH_IMAGE006
为超参数。
本发明实施例至少具有如下有益效果：
本发明利用热成像双光谱相机来实现畜牧业家畜体温的监控，可以同时观看现场画面和现场的温度，更加清晰、直观、高效。同时本发明结合了家畜三维模型，可以为后续关键点检测网络显著的提供一个眼部区域的位置信息，同时添加模型纹理信息，一方面避免网络学习过程中只对颜色的拟合，可以让网络对眼内角的定位更鲁棒，避免了部分家畜种类存在眼睛颜色与周边肤色相同，只通过原始可见光图像和热成像图像会存在误检的情况；一方面避免了当相机视角、位置固定时，对于超过一定距离的家畜更难以定位眼内角的情况出现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明的一种基于计算机视觉的畜牧业家畜体温监控方法的方法流程图。
图2为本发明的一种基于计算机视觉的畜牧业家畜体温监控系统的系统框图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于计算机视觉的畜牧业家畜体温监控方法与系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于计算机视觉的畜牧业家畜体温监控方法的具体方案。
实施例1：
请参阅图1，其示出了本发明一个实施例提供的一种基于计算机视觉的畜牧业家畜体温监控方法的步骤流程图，该方法包括以下步骤：
首先，获取家畜的可见光图像和热成像图像。
将热成像双光谱相机布置在畜牧养殖场中，具体的位置依实施者来定，本实施例以养殖牛为例。最终利用热成像双光谱相机得到RGB-T图像；RGB为RGB颜色空间图像记为可见光图像，T为红外热成像图像记为热成像图像。
红外热成像仪是最有效的非接触、成本效益合理准确的大规模筛查体温的方法，这种筛查通常是通过测试受试者脸上的皮肤温度进行的。本发明采用热成像双光谱摄像机，该相机同时具备红外热成像与可见光摄像功能，区别于普通的可见光监控与红外热成像仪，通过热成像双光谱摄像机，可以同时观看现场画面和现场的温度，更加清晰、直观、方便，且热红外信息对于坏境条件差产生的识别模糊非常有效，将热像仪生成的热红外图像作为重要的信息补充。
然后，根据可见光图像，构建家畜三维模型，挑选家畜眼睛处于睁开状态的家畜三维模型进行图像切割，得到家畜头部模型，根据家畜头部模型，获取包含家畜眼睛的模型面部图像。该步骤的目的是为了避免部分家畜种类存在眼睛颜色与周边肤色相同，只通过原始可见光图像会存在误检的情况，对眼内角的定位比较困难，同时相机视角、位置固定时，对于超过一定距离的家畜更难以定位眼内角。
具体地，对热成像双光谱相机获取的家畜可见光图像进行畜牧三维重建，得到家畜三维模型。畜牧三维重建采用SMALify，该技术从单目图像或视频执行3D动物（四足动物）重建的实现。调整SMAL可变形四足动物模型的姿势（肢体位置）和形状（动物类型/身高/体重）参数以及相机参数，直到投影的SMAL模型与从输入帧提取的2D关键点和轮廓分割对齐为止。需要说明的是，由于应用场景或动物模型问题，SMALify内的模型通常需要再次进行训练与优化，神经网络的训练及优化方法为本领域技术人员所周知的，这里不再赘述。
SMALify是一种三维重建的技术，用于从单眼图像或视频执行3D动物（四足动物）重建的实现。同时，SMALify是一种三维重建技术的组合，利用了蒙皮多动物线性模型(Skinned Multi-Animal Linear model，SMAL)的技术。本实施例中，利用SMALify根据家畜可见光图像进行畜牧三维重建，得到家畜三维模型。其中实施者也可选择其他更为合适的方法实现家畜三维模型的重建。
对每个家畜三维模型面部部分进行方向判断，当家畜三维模型中的面部与相机视角存在一定倾斜时，即眼内角明显显现出来时，认为该家畜处在较优视角范围内，可以更好的定位眼内角。同时还应基于分类网络的方法，对每个家畜三维模型进行分类，判断家畜眼睛是否为紧闭状态，若为紧闭状态，则不进行后续步骤的计算。
上述中对每个家畜三维模型进行分类具体方法为：
1）对家畜三维模型进行标记，当家畜三维模型的面部与相机视角存在一定倾斜角度时，即眼内角明显显现出来，同时家畜的眼睛为睁开状态时，则该家畜三维模型图像标记为1，若家畜眼睛为紧闭状态，则该家畜三维模型图像标记为0。
2）利用标记的家畜三维模型图像对分类网络进行训练，分类网络的输入为家畜三维模型图像，输出为家畜三维模型图像标记为1、0的概率。
3）最终判断每个家畜三维模型图像的标记，对于分类网络的输出，采用Argmax操作获取图像的标记，根据标记对家畜三维模型进行分类，若家畜三维模型图像标记为1，则进行后续计算。
在本实施例中，分类网络可采用Swin-Transformer等模型，损失函数采用交叉熵，优化方法可采用Adam、SGD等。
同时，对家畜三维模型图像标记为1的家畜三维模型，进行图像切割，得到每个家畜的家畜头部模型。根据家畜头部模型，获取包含家畜眼睛的模型面部图像。具体地，在本实施例中，对于图像切割，可在家畜三维模型中进行头部的标记，如人为标记家畜的两眼中心点，根据两眼中心点处坐标生成固定大小的框，经验大小为64*64，该框所包含的图像信息即作为模型面部图像。
接着，取模型面部图像的纹理信息得到模型纹理图像；将可见光面部图像、热成像面部图像、模型面部图像以及模型纹理图像进行融合得到面部特征图像；其中，获取模型面部图像的纹理信息得到模型纹理图像具体为：采用灰度共生矩阵对所述模型面部图像进行纹理特征提取，得到纹理特征熵图像，记为模型纹理图像，该模型纹理图像与模型面部图像大小相同。
上述步骤中的模型纹理图像的获取方法为：首先对于模型面部图像进行灰度化，然后对灰度化后的模型面部图像进行灰度共生矩阵的提取。然后选取灰度共生矩阵的特征表示，此处选取特征熵表示，最终经过滑窗得到灰度共生矩阵的熵表示图像，记为模型纹理图像，该图像与模型面部图像同等大小。
熵是图像所具有的信息量的度量，纹理信息也属于图像的信息，是一个随机性的度量，表示图像中纹理的非均匀程度或复杂程度，灰度共生矩阵中元素分散分布时，熵较大，熵越大，纹理越复杂。
该步骤的有益效果是：本发明结合家畜三维模型图像，可以为后续关键点检测网络显著的提供一个眼部区域的位置信息，同时结合模型纹理图像，添加模型纹理信息，避免网络学习过程中只对颜色的拟合，添入纹理可以让网络对眼内角的定位更鲁棒，通过上述方法避免了部分家畜种类存在眼睛颜色与周边肤色相同，只通过原始可见光和热成像图像会存在误检的情况，对当眼内角的定位比较困难，同时相机视角、位置固定时，对于超过一定距离的家畜更难以定位眼内角。
需要说明的是，本实施例中是根据模型头部图像在家畜三维模型图像中的位置关系，切割出家畜的可见光面部图像和热成像面部图像。然后将可见光面部图像、热成像面部图像、模型面部图像以及模型纹理图像进行融合，本实施例中，所述融合操作采用Concatenate操作，最终得到一个多通道特征图像，称为面部特征图像。
最后，利用神经网络对面部特征图像进行处理得到家畜眼内角点高斯分布图，进而得到眼内角点坐标；根据所述眼内角点坐标以及所述热成像面部图像，确定眼内角点的温度为家畜的体温。
上述中的神经网络的训练过程为：根据可见光图像和热成像图像中的家畜眼内角点进行标注，以标注点为中心生成大小为n×m的家畜眼内角点高斯分布，高斯分布采用高斯函数生成，高斯核函数为周知的，这里不再赘述细节，最终得到标注的家畜眼内角点高斯分布图，进而得到标签数据。
将面部特征图像经过标准化处理，以便模型更好地收敛，标准化处理属于常见的数据手段，实施者可以根据需要选取合适的方法。
然后，将标准化后的面部特征图像与标签数据中的家畜眼内角高斯分布图送入神经网络进行训练，面部特征图像为训练时神经网络的输入，标签数据为训练时神经网络的输出。同时，根据标签数据中的家畜眼内角点高斯分布图与神经网络的实际输出构建损失函数，最终得到训练好的神经网络。
其中，神经网络的损失函数为：
Figure 915544DEST_PATH_IMAGE001
其中，
Figure 112039DEST_PATH_IMAGE002
表示神经网络输出的家畜眼内角在位置
Figure 489930DEST_PATH_IMAGE007
处的概率，
Figure 14977DEST_PATH_IMAGE004
表示标签数据中家畜眼内角在位置
Figure 416003DEST_PATH_IMAGE007
处的概率，
Figure 229238DEST_PATH_IMAGE008
表示家畜内眼角点的高斯分布图的像素数量，家畜内眼角点高斯分布图尺寸大小为
Figure 648587DEST_PATH_IMAGE009
，
Figure 357917DEST_PATH_IMAGE005
、
Figure 292244DEST_PATH_IMAGE006
为超参数，需要人为设定，在本实施例中
Figure 846853DEST_PATH_IMAGE005
、
Figure 386287DEST_PATH_IMAGE006
取值分别为2和0.5。
上述神经网络包含一个编码器和一个解码器，编码器实现对标准化后的面部特征图像的特征提取，输出为特征图；解码器对所得特征图进行上采样与特征提取，得到家畜眼内角点高斯分布图，并且在本实施例中，家畜眼内角点高斯分布图的像素值值域为
Figure 63256DEST_PATH_IMAGE010
之间的浮点数。
至此，可以获得家畜眼内角点高斯分布图，然后获取眼内角坐标，在本实施例中可采用NMS算法进行后处理，然后根据热成像图像获取家畜眼内角点位置处的温度，确定家畜眼内角点的温度为家畜的体温，进而实现对家畜体温的监控。
实施例2：
本实施例提供的一种基于计算机视觉的畜牧业家畜体温监控系统，该系统包括：
图像获取模块，用于分别获取可见光图像和热成像图像，并得到可见光面部图像和热成像面部图像；
模型获取模块，用于根据所述可见光图像，构建家畜三维模型，挑选家畜眼睛处于睁开状态的家畜三维模型进行图像切割，得到家畜头部模型；
模型分析模块，用于根据所述家畜头部模型，获取包含家畜眼睛的模型面部图像；获取模型面部图像的纹理信息得到模型纹理图像；将可见光面部图像、热成像面部图像、模型面部图像以及模型纹理图像进行融合得到面部特征图像；
体温检测模块，用于利用神经网络对面部特征图像进行处理得到家畜眼内角点高斯分布图，进而得到眼内角点坐标；根据所述眼内角点坐标以及所述热成像面部图像，确定眼内角点的温度为家畜的体温。
本实施例所提供的一种基于计算机视觉的畜牧业家畜体温监控系统，其实现原理及产生的技术效果和前述实施例相同，为简要描述，本实施例部分未提及之处，可参考前述方法实施例中相应内容。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于计算机视觉的畜牧业家畜体温监控方法，其特征在于，该方法包括：
分别获取可见光图像和热成像图像，并得到可见光面部图像和热成像面部图像；
根据所述可见光图像，构建家畜三维模型，对每个家畜三维模型进行分类，获得家畜眼睛为睁开状态的家畜三维模型，并对家畜眼睛处于睁开状态的家畜三维模型进行图像切割，得到家畜头部模型；
其中，分类的过程具体为：1）对家畜三维模型进行标记，当家畜三维模型的面部与相机视角存在一定倾斜角度时，即眼内角明显显现出来，同时家畜的眼睛为睁开状态时，则该家畜三维模型图像标记为1，若家畜眼睛为紧闭状态，则该家畜三维模型图像标记为0；2）利用标记的家畜三维模型图像对分类网络进行训练，分类网络的输入为家畜三维模型图像，输出为家畜三维模型图像标记为1、0的概率；3）最终判断每个家畜三维模型图像的标记，对于分类网络的输出，采用Argmax操作获取图像的标记，根据标记对家畜三维模型进行分类，若家畜三维模型图像标记为1，则进行后续计算；即对家畜三维模型图像标记为1的家畜三维模型进行图像切割，得到每个家畜的家畜头部模型；
根据所述家畜头部模型，获取包含家畜眼睛的模型面部图像；获取模型面部图像的纹理信息得到模型纹理图像；
将可见光面部图像、热成像面部图像、模型面部图像以及模型纹理图像进行融合得到面部特征图像；
利用神经网络对面部特征图像进行处理得到家畜眼内角点高斯分布图，进而得到眼内角点坐标；根据所述眼内角点坐标以及所述热成像面部图像，确定眼内角点的温度为家畜的体温。
2.根据权利要求1所述的一种基于计算机视觉的畜牧业家畜体温监控方法，其特征在于，所述获取模型面部图像的纹理信息得到模型纹理图像具体为：
采用灰度共生矩阵对所述模型面部图像进行纹理特征提取，得到纹理特征熵图像，记为模型纹理图像，该模型纹理图像与模型面部图像大小相同。
3.根据权利要求1所述的一种基于计算机视觉的畜牧业家畜体温监控方法，其特征在于，所述神经网络的训练过程具体为：
根据可见光图像和热成像图像中的家畜眼内角点坐标进行标注，以标注点为中心生成大小为n×m的家畜眼内角点高斯分布图，得到标签数据；面部特征图像为训练时神经网络的输入，标签数据为训练时神经网络的输出，对神经网络进行训练，得到训练好的神经网络。
4.根据权利要求3所述的一种基于计算机视觉的畜牧业家畜体温监控方法，其特征在于，所述神经网络的损失函数为：
Figure 981787DEST_PATH_IMAGE001
其中，
Figure 411369DEST_PATH_IMAGE002
表示神经网络输出的家畜眼内角在位置
Figure 900120DEST_PATH_IMAGE003
处的概率，
Figure 574815DEST_PATH_IMAGE004
表示标签数据中家畜眼内角在位置
Figure 770304DEST_PATH_IMAGE003
处的概率，N表示家畜内眼角点的高斯分布图的像素数量，家畜内眼角点高斯分布图尺寸大小为n×m，
Figure 137831DEST_PATH_IMAGE005
、
Figure 818605DEST_PATH_IMAGE006
为超参数。
5.一种基于计算机视觉的畜牧业家畜体温监控系统，其特征在于，该系统包括：
图像获取模块，用于分别获取可见光图像和热成像图像，并得到可见光面部图像和热成像面部图像；
模型获取模块，用于根据所述可见光图像，构建家畜三维模型，利用分类网络对每个家畜三维模型进行分类，获得家畜眼睛为睁开状态的家畜三维模型，并对家畜眼睛处于睁开状态的家畜三维模型进行图像切割，得到家畜头部模型；其中，分类的过程具体为：1）对家畜三维模型进行标记，当家畜三维模型的面部与相机视角存在一定倾斜角度时，即眼内角明显显现出来，同时家畜的眼睛为睁开状态时，则该家畜三维模型图像标记为1，若家畜眼睛为紧闭状态，则该家畜三维模型图像标记为0；2）利用标记的家畜三维模型图像对分类网络进行训练，分类网络的输入为家畜三维模型图像，输出为家畜三维模型图像标记为1、0的概率；3）最终判断每个家畜三维模型图像的标记，对于分类网络的输出，采用Argmax操作获取图像的标记，根据标记对家畜三维模型进行分类，若家畜三维模型图像标记为1，则进行后续计算；即对家畜三维模型图像标记为1的家畜三维模型进行图像切割，得到每个家畜的家畜头部模型；
模型分析模块，用于根据所述家畜头部模型，获取包含家畜眼睛的模型面部图像；获取模型面部图像的纹理信息得到模型纹理图像；将可见光面部图像、热成像面部图像、模型面部图像以及模型纹理图像进行融合得到面部特征图像；
体温检测模块，用于利用神经网络对面部特征图像进行处理得到家畜眼内角点高斯分布图，进而得到眼内角点坐标；根据所述眼内角点坐标以及所述热成像面部图像，确定眼内角点的温度为家畜的体温。
6.根据权利要求5所述的一种基于计算机视觉的畜牧业家畜体温监控系统，其特征在于，所述获取模型面部图像的纹理信息得到模型纹理图像具体为：
采用灰度共生矩阵对所述模型面部图像进行纹理特征提取，得到纹理特征熵图像，记为模型纹理图像，该模型纹理图像与模型面部图像大小相同。
7.根据权利要求5所述的一种基于计算机视觉的畜牧业家畜体温监控系统，其特征在于，所述神经网络的训练过程具体为：
根据可见光图像和热成像图像中的家畜眼内角点坐标进行标注，以标注点为中心生成大小为n×m的家畜眼内角点高斯分布图，得到标签数据；面部特征图像为训练时神经网络的输入，标签数据为训练时神经网络的输出，对神经网络进行训练，得到训练好的神经网络。
8.根据权利要求7所述的一种基于计算机视觉的畜牧业家畜体温监控系统，其特征在于，所述神经网络的损失函数为：
Figure 828149DEST_PATH_IMAGE001
其中，
Figure 409303DEST_PATH_IMAGE002
表示神经网络输出的家畜眼内角在位置
Figure 416573DEST_PATH_IMAGE003
处的概率，
Figure 581713DEST_PATH_IMAGE004
表示标签数据中家畜眼内角在位置
Figure 394948DEST_PATH_IMAGE003
处的概率，N表示家畜内眼角点的高斯分布图的像素数量，家畜内眼角点高斯分布图尺寸大小为n×m，
Figure 565030DEST_PATH_IMAGE005
、
Figure 274360DEST_PATH_IMAGE006
为超参数。
CN202210658909.0A 2022-06-13 2022-06-13 一种基于计算机视觉的畜牧业家畜体温监控方法与系统 Active CN114743224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210658909.0A CN114743224B (zh) 2022-06-13 2022-06-13 一种基于计算机视觉的畜牧业家畜体温监控方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210658909.0A CN114743224B (zh) 2022-06-13 2022-06-13 一种基于计算机视觉的畜牧业家畜体温监控方法与系统

Publications (2)

Publication Number Publication Date
CN114743224A CN114743224A (zh) 2022-07-12
CN114743224B true CN114743224B (zh) 2022-09-09

Family

ID=82288034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210658909.0A Active CN114743224B (zh) 2022-06-13 2022-06-13 一种基于计算机视觉的畜牧业家畜体温监控方法与系统

Country Status (1)

Country Link
CN (1) CN114743224B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115474580A (zh) * 2022-10-17 2022-12-16 吉林农业大学 一种梅花鹿体温无接触测量的方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783691A (zh) * 2020-07-06 2020-10-16 郑州迈拓信息技术有限公司 基于畜类图像语义感知的养殖舍影像大数据采集分析方法
CN112734731A (zh) * 2021-01-11 2021-04-30 牧原食品股份有限公司 一种牲畜温度检测方法、装置、设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115769279A (zh) * 2020-04-06 2023-03-07 泰立戴恩菲力尔有限责任公司 热成像系统和方法中的非接触式温度测量
CN111626985A (zh) * 2020-04-20 2020-09-04 北京农业信息技术研究中心 基于图像融合的家禽体温检测方法及禽舍巡检系统
CN112985615A (zh) * 2021-04-02 2021-06-18 烟台艾睿光电科技有限公司 一种体温监测方法及装置
CN113091915B (zh) * 2021-04-09 2022-01-25 深圳市创达电子有限公司 基于人脸识别的自动体温信息采集系统
CN113223033A (zh) * 2021-05-10 2021-08-06 广州朗国电子科技有限公司 基于图像融合的家禽体温检测方法、设备以及介质
CN114187128B (zh) * 2021-12-23 2022-10-25 江苏华丽智能科技股份有限公司 一种家畜养殖行业的保温控制方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783691A (zh) * 2020-07-06 2020-10-16 郑州迈拓信息技术有限公司 基于畜类图像语义感知的养殖舍影像大数据采集分析方法
CN112734731A (zh) * 2021-01-11 2021-04-30 牧原食品股份有限公司 一种牲畜温度检测方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN114743224A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN110135231B (zh) 动物面部识别方法、装置、计算机设备和存储介质
CN108416324B (zh) 用于检测活体的方法和装置
US20220245792A1 (en) Systems and methods for image quality detection
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
US20230172457A1 (en) Systems and methods for temperature measurement
CN112862757A (zh) 一种基于计算机视觉技术的重量评估系统及实现方法
CN115170792B (zh) 红外图像处理方法、装置及设备、存储介质
GB2547760A (en) Method of image processing
CN113011450B (zh) 青光眼识别的训练方法、训练装置、识别方法及识别系统
CN114743224B (zh) 一种基于计算机视觉的畜牧业家畜体温监控方法与系统
Shihavuddin et al. Automated classification and thematic mapping of bacterial mats in the north sea
CN111461220B (zh) 图像分析方法、图像分析装置及图像分析系统
CN112580657A (zh) 一种自学习字符识别方法
CN115375991A (zh) 一种强/弱光照和雾环境自适应目标检测方法
US11605220B2 (en) Systems and methods for video surveillance
CN114581709A (zh) 识别医学图像中的目标的模型训练、方法、设备及介质
CN112507869B (zh) 基于机器视觉的水下目标物行为观测和水体环境监测方法
CN113052091A (zh) 一种基于卷积神经网络的动作识别方法
CN115690577A (zh) 一种用于动植物识别的无人机及其工作方法
CN115082652A (zh) 一种基于可控光源采集装置的面料成分识别系统
CN113673422A (zh) 一种宠物种类识别方法及识别系统
CN112507783A (zh) 基于注意力机制的口罩人脸检测识别与追踪测温方法
CN109934045B (zh) 行人检测方法和装置
CN111079617A (zh) 家禽识别方法、装置、可读存储介质及电子设备
CN111339904B (zh) 动物精子图像识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant