CN108428224A - 基于卷积神经网的动物体表温度检测方法及装置 - Google Patents

基于卷积神经网的动物体表温度检测方法及装置 Download PDF

Info

Publication number
CN108428224A
CN108428224A CN201810019889.6A CN201810019889A CN108428224A CN 108428224 A CN108428224 A CN 108428224A CN 201810019889 A CN201810019889 A CN 201810019889A CN 108428224 A CN108428224 A CN 108428224A
Authority
CN
China
Prior art keywords
image
characteristic pattern
pixel
animal
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810019889.6A
Other languages
English (en)
Other versions
CN108428224B (zh
Inventor
高万林
仲贞
王敏娟
于丽娜
陈治昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN201810019889.6A priority Critical patent/CN108428224B/zh
Publication of CN108428224A publication Critical patent/CN108428224A/zh
Application granted granted Critical
Publication of CN108428224B publication Critical patent/CN108428224B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于卷积神经网络的动物体表温度检测方法及装置。所述方法包括：利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图；将所述动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图；将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域；将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果。本发明能提高动物体表温度检测的准确性和实时性。

Description

基于卷积神经网的动物体表温度检测方法及装置
技术领域
本发明涉及图像检测技术领域，更具体地，涉及一种基于卷积神经网络的动物体表温度检测方法及装置。
背景技术
地球上的一些动物，在生命活动中的生理和病理过程中与人类有很多相似之处，并可互为参照，尤其是猪作为一种大型动物，与人类关系亲密且具有很多相似之处。因此，研究动物尤其是猪的健康状况对认识人类的生命规律具有重要价值。
近年来，以机器学习为主导的人工智能发展迅速，在众多研究领域中都取得了重大突破。图像检测技术在人工智能领域中是一个重要的研究热点和难点。体表温度作为动物的表型特征之一，可反映出模动物的健康状况，因此动物的体表温度检测是一个重要的研究方向。
由于动物的姿态各异，可见光图像容易受到光照和复杂的饲养环境的影响，以及动物互相遮挡等因素，动物体表温度检测一直是图像检测领域研究的难点，因此研究动物体表温度检测的鲁棒性算法是非常重要的。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的基于卷积神经网络的动物体表温度检测方法及装置。
根据本发明的一个方面，提供一种动物体表温度检测方法，包括：
利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图；
将动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图；
将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域；
将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果。
进一步，所述利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图，具体包括：
将所述原始图像转换成第一灰度图像，根据所述第一灰度图像提取最大稳定极值区域，获得不规则区域；
对所述不规则区域进行椭圆拟合，根据拟合的椭圆的中心二阶矩提取特征值，获得所述第一图像特征图。
进一步，所述对所述不规则区域进行椭圆拟合，根据拟合的椭圆的中心二阶矩提取特征值，获得所述第一图像特征图，具体包括：
基于所述不规则区域内的每个像素点，计算每个像素点几何0阶矩和几何1阶矩，获得椭圆的中心(xc,yc)如下：
其中，m00＝∑I(x,y),m01＝∑yI(x,y),m10＝∑xI(x,y)，其中，I(x,y)表示所述不规则区域内的像素点的灰度值，x为x轴方向的灰度值，y为y轴方向的灰度值，m00为几何0阶矩，m01和m10为几何1阶矩；
获取椭圆的每个像素点的中心二阶矩，如下：
其中，
u20＝∑(x-xc)2I(x,y),u02＝∑(y-yc)2I(x,y),u11＝∑(x-xc)(y-yc)I(x,y)；
根据所述中心二阶矩计算每个像素点的两个特征值λ1和λ2，如下：
根据所有像素点的特征值λ1和λ2获得所述第一图像特征图。
进一步，所述将动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图，具体包括：
将所述热红外图像转换成第二灰度图像；
通过仿射变换方式对所述第二灰度图像与所述第一图像特征图进行配准，得到所述热红外图像的图像特征图，其中仿射变换的公式为：
其中，x1为第一特征图像的x方向的值、y1为为第一特征图像的y方向的值，x2为第二特征图像的x方向的值、y2为为第二特征图像的y方向的值，tx为x方向的平移值、ty为为y方向的平移值，s为缩放尺度，θ为以(x，y)为轴心逆时针旋转角度。
进一步，所述将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域，具体包括：
将所述第一图像特征图中像素点灰度值压缩到与所述第二图像特征图一致的灰度值范围；
基于压缩后的所述第一图像特征图与所述第二图像特征图中对应的像素点，选取其中具有较大灰度值的像素点的灰度值作为融合图像对应位置像素点的灰度值；
根据所有的融合图像对应位置像素点的灰度值，获得特征融合图，从而获取获得候选目标区域。
进一步，所述将所述第一图像特征图中像素点灰度值压缩到与所述第二图像特征图一致的灰度值范围，还包括：若所述第一图像特征图压缩后的灰度值为非整数，则通过下式进行近似计算，获得近似后的灰度值Ia(x,y)：
其中，I(x,y)表示压缩前的所述第一图像特征图的像素点的灰度值，I'(x,y)表示所述第二图像特征图的像素点的灰度值。
进一步，所述卷积神经网络三个卷积层，三个池化层，三个全连接层；所述将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果，具体包括：
第一层卷积层使用96个卷积核大小为11×11，步长为4的卷积滤波器进行滤波；第二层卷积层使用256个卷积核大小为5×5，步长为1的卷积滤波器进行滤波；第三层卷积层使用384个卷积核大小为3×3，步长为1的卷积滤波器进行滤波；
将所述第一层卷积层、所述第二层卷积层以及所述第三层卷积层的滤波结果送入最大池化层，所述最大池化层设定池化窗口为3×3，步长为2；
将所述最大池化层的输出结果通过三个全连接层得到动物体表温度的检测结果。
根据本发明的另一个方面，还提供一种动物体表温度检测装置，包括：
第一图像特征图模块，用于利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图；
第二图像特征图模块，用于将所述动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图；
候选目标区域模块，用于将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域；以及
温度检测结果模块，用于将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果。
根据本发明的另一个方面，提供一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行本发明基于卷积神经网络的动物体表温度检测方法及其任一可选实施例的方法。
本发明提出一种基于卷积神经网络的动物体表温度检测方法，通过将动物的原始图像提取特征后，与所述动物的热红外图像进行配准，获得所述热红外图像的特征图后，再将两个特征图进行融合即可获得候选区域，然后将所获得的候选区域输入卷积神经网络的判别模型中，以使卷积网络判别模型输出动物体表温度检测结果，能提高动物体表温度检测的准确性和实时性。
附图说明
图1为本发明实施例一种基于卷积神经网络的动物体表温度检测方法流程示意图；
图2为本发明实施例基于卷积神经网络的动物体表温度检测装置示意图；
图3为本发明实施例一种电子设备的框架示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明实施例一种基于卷积神经网络的动物体表温度检测方法流程示意图，如图1所示的基于卷积神经网络的动物体表温度检测方法，包括：
S100，利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图；
本发明实施例是最大稳定极值区域(Maximally Stable Extremal RegionsMSERs)是一种图像结构，它可以在图像平移和旋转后，或者是经历相似仿射变换后，仍可被重复检测出来。所述第一图像特征图是所述原始图像的图像特征图。
S200，将所述动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图；
本发明实施例所述热红外图像是通过热红外遥感即通过热红外探测器收集、记录地物辐射出来的人眼看不到的热红外辐射信息的图像，可以利用这种热红外信息来识别动物参数(如温度、发射率、湿度、热惯量等)。
本发明实施例步骤S100和步骤S200中的原始图像和热红外图像，是来自同一动物的图像。所述第二图像特征图是动物的热红外图像与所述原始图像的图像特征图通过仿射变换进行配准，得到所述热红外图像的图像特征图。
S300，将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域；
S400，将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果。
本发明提出一种基于卷积神经网络的动物体表温度检测方法，通过将动物的原始图像提取特征后，与所述动物的热红外图像进行配准，获得所述热红外图像的特征图后，再将两个特征图进行融合即可获得候选区域，然后将所获得的候选区域输入卷积神经网络的判别模型中，以使卷积网络判别模型输出动物体表温度检测结果，能提高动物体表温度检测的准确性和实时性。
在一个可选的实施例中，步骤S100，所述利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图，具体包括：
S100.1，将所述原始图像转换成第一灰度图像，根据所述第一灰度图像提取最大稳定极值区域，获得不规则区域；
具体的，首先提取所述原始图像的最大稳定极值区域，即不规则区域：令Q1,Q2,...,Qi-1,Qi,...表示一组互相嵌套的极值区域，即若Qi的面积变化率，即
式中，在i处取得局部最小值，称Qi为最稳定极值区域。
S100.2，对所述不规则区域进行椭圆拟合，根据拟合的椭圆的中心二阶矩提取特征值，获得所述第一图像特征图。
在一个可选的实施例中，步骤S100.2，所述对所述不规则区域进行椭圆拟合，根据拟合的椭圆的中心二阶矩提取特征值，获得所述第一图像特征图，具体包括：
首先，基于所述不规则区域内的每个像素点，计算每个像素点几何0阶矩和几何1阶矩，获得椭圆的中心(xc,yc)如下：
其中，m00＝∑I(x,y),m01＝∑yI(x,y),m10＝∑xI(x,y) (3)
其中，I(x,y)表示所述不规则区域内的像素点的灰度值，x为x轴方向的灰度值，y为y轴方向的灰度值，m00为几何0阶矩，m01和m10为几何1阶矩；
然后，获取椭圆的每个像素点的中心二阶矩，如下：
其中，
u20＝∑(x-xc)2I(x,y),u02＝∑(y-yc)2I(x,y),u11＝∑(x-xc)(y-yc)I(x,y) (5)
然后，根据所述中心二阶矩计算每个像素点的两个特征值λ1和λ2，如下：
最后，根据所有像素点的特征值λ1和λ2获得所述第一图像特征图。
本实施例中，通过所述中心二阶矩可以计算椭圆的长半轴，短半轴和角度，所述角度为长半轴与x轴顺时针方向的夹角。具体如下：
式中，a表示长半轴，b表示短半轴，θ表示角度。
在一个可选的实施例中，步骤S200，所述将动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图，具体包括：
将所述热红外图像转换成第二灰度图像；
通过仿射变换方式对所述第二灰度图像与所述第一图像特征图进行配准，得到所述热红外图像的图像特征图，其中仿射变换的公式为：
其中，x1为第一特征图像的x方向的值、y1为为第一特征图像的y方向的值，x2为第二特征图像的x方向的值、y2为为第二特征图像的y方向的值，tx为x方向的平移值、ty为为y方向的平移值，s为缩放尺度，θ为以(x，y)为轴心逆时针旋转角度。
在一个可选的实施例中，步骤S300，所述将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域，具体包括：
将所述第一图像特征图中像素点灰度值压缩到与所述第二图像特征图一致的灰度值范围；
基于压缩后的所述第一图像特征图与所述第二图像特征图中对应的像素点，选取其中具有较大灰度值的像素点的灰度值作为融合图像对应位置像素点的灰度值；
根据所有的融合图像对应位置像素点的灰度值，获得特征融合图，从而获取获得候选目标区域。
本实施例将压缩后的所述第一图像特征图的像素点的灰度值与所述第二图像特征图中对应的像素点的灰度值进行比较，即二个对应的像素点进行比较，所述二个像素点包括第一图像特征图的一个像素点与第二图像特征图上对应的一个像素点；选取二个像素点中具有较大灰度值的像素点的灰度值，作为融合图像对应位置像素点的灰度值。对压缩后的所述第一图像特征图与所述第二图像特征图的所有像素点进行这样比较后，获得所有比较后的较大灰度值的像素点，从而构建融合图像，获得候选目标区域。
进一步，所述将所述第一图像特征图中像素点灰度值压缩到与所述第二图像特征图一致的灰度值范围，还包括：若所述第一图像特征图压缩后的灰度值为非整数，则通过下式进行近似计算，获得近似后的灰度值Ia(x,y)：
其中，I(x,y)表示压缩前的所述第一图像特征图的像素点的灰度值，I'(x,y)表示所述第二图像特征图的像素点的灰度值。
本实施例中，压缩后的第一图像特征图的灰度值很有可能不是整数，对于不是整数的灰度值，通过四舍五入的方法进行近似计算；近似计算后，可以保证压缩后的第一图像特征图的灰度值都是整数，这样便于后面的融合计算。
在一个可选的实施例中，所述卷积神经网络三个卷积层，三个池化层，三个全连接层；步骤S400所述将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果，具体包括：
第一层卷积层使用96个卷积核大小为11×11，步长为4的卷积滤波器进行滤波；第二层卷积层使用256个卷积核大小为5×5，步长为1的卷积滤波器进行滤波；第三层卷积层使用384个卷积核大小为3×3，步长为1的卷积滤波器进行滤波；
将所述第一层卷积层、所述第二层卷积层以及所述第三层卷积层的滤波结果送入最大池化层，所述最大池化层设定池化窗口为3×3，步长为2；
将所述最大池化层的输出结果通过三个全连接层得到动物体表温度的检测结果。
本发明实施例通过对原始图像进行处理得到原始图像的图像特征图；同时将热红外图像与原始图像的图像特征图进行配准，得到热红外图像的图像特征图；将原始图像的图像特征图与热红外图像的图像特征图叠加，获得多源图像特征融合图，得到候选目标区域；输入候选目标区域到卷积神经网络的判别模型中，以使卷积网络判别模型输出动物体表温度检测结果。本发明提高了动物体表温度检测的准确性和实时性。
图2为本发明实施例基于卷积神经网络的动物体表温度检测装置示意图，如图2所示的基于卷积神经网络的动物体表温度检测装置，包括：
第一图像特征图模块，用于利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图；
第二图像特征图模块，用于将所述动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图；
候选目标区域模块，用于将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域；以及
温度检测结果模块，用于将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果。
本发明实施例的装置，可用于执行图1所示的基于卷积神经网络的动物体表温度检测方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图3示出了本发明实施例电子设备的框架示意图。
参照图3，所述设备，包括：处理器(processor)601、存储器(memory)602和总线603；其中，所述处理器601和存储器602通过所述总线603完成相互间的通信；
所述处理器601用于调用所述存储器602中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图；将所述动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图；将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域；将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果。
本发明另一实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图；将所述动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图；将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域；将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果。
本发明另一实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图；将所述动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图；将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域；将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果。
本领域普通技术人员可以理解：实现上述设备实施例或方法实施例仅仅是示意性的，其中所述处理器和所述存储器可以是物理上分离的部件也可以不是物理上分离的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种动物体表温度检测方法，其特征在于，包括：
利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图；
将所述动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图；
将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域；
将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果。
2.根据权利要求1所述的方法，其特征在于，所述利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图，具体包括：
将所述原始图像转换成第一灰度图像，根据所述第一灰度图像提取最大稳定极值区域，获得不规则区域；
对所述不规则区域进行椭圆拟合，根据拟合的椭圆的中心二阶矩取特征值，获得所述第一图像特征图。
3.根据权利要求2所述的方法，其特征在于，所述对所述不规则区域进行椭圆拟合，根据拟合的椭圆的中心二阶矩提取特征值，获得所述第一图像特征图，具体包括：
基于所述不规则区域内的每个像素点，计算每个像素点几何0阶矩和几何1阶矩，获得椭圆的中心(xc,yc)如下：
其中，m00＝∑I(x,y),m01＝∑yI(x,y),m10＝∑xI(x,y)，其中，I(x,y)表示所述不规则区域内的像素点的灰度值，x为x轴方向的灰度值，y为y轴方向的灰度值，m00为几何0阶矩，m01和m10为几何1阶矩；
获取椭圆的每个像素点的中心二阶矩，如下：
其中，
u20＝∑(x-xc)2I(x,y),u02＝∑(y-yc)2I(x,y),u11＝∑(x-xc)(y-yc)I(x,y)；
根据所述中心二阶矩计算每个像素点的两个特征值λ1和λ2，如下：
根据所有像素点的特征值λ1和λ2获得所述第一图像特征图。
4.根据权利要求1所述的方法，其特征在于，所述将动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图，具体包括：
将所述热红外图像转换成第二灰度图像；
通过仿射变换方式对所述第二灰度图像与所述第一图像特征图进行配准，得到所述热红外图像的图像特征图，其中仿射变换的公式为：
其中，x1为第一特征图像的x方向的值、y1为为第一特征图像的y方向的值，x2为第二特征图像的x方向的值、y2为为第二特征图像的y方向的值，tx为x方向的平移值、ty为为y方向的平移值，s为缩放尺度，θ为以(x，y)为轴心逆时针旋转角度。
5.根据权利要求1所述的方法，其特征在于，所述将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域，具体包括：
将所述第一图像特征图中像素点灰度值压缩到与所述第二图像特征图一致的灰度值范围；
基于压缩后的所述第一图像特征图与所述第二图像特征图中对应的像素点，选取其中具有较大灰度值的像素点的灰度值作为融合图像对应位置像素点的灰度值；
根据所有的融合图像对应位置像素点的灰度值，获得特征融合图，从而获取获得候选目标区域。
6.根据权利要求5所述的方法，其特征在于，所述将所述第一图像特征图中像素点灰度值压缩到与所述第二图像特征图一致的灰度值范围，还包括：若所述第一图像特征图压缩后的灰度值为非整数，则通过下式进行近似计算，获得近似后的灰度值Ia(x,y)：
其中，I(x,y)表示压缩前的所述第一图像特征图的像素点的灰度值，I'(x,y)表示所述第二图像特征图的像素点的灰度值。
7.根据权利要求1所述的方法，其特征在于，所述卷积神经网络三个卷积层，三个池化层，三个全连接层；所述将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果，具体包括：
第一层卷积层使用96个卷积核大小为11×11，步长为4的卷积滤波器进行滤波；第二层卷积层使用256个卷积核大小为5×5，步长为1的卷积滤波器进行滤波；第三层卷积层使用384个卷积核大小为3×3，步长为1的卷积滤波器进行滤波；
将所述第一层卷积层、所述第二层卷积层以及所述第三层卷积层的滤波结果送入最大池化层，所述最大池化层设定池化窗口为3×3，步长为2；
将所述最大池化层的输出结果通过三个全连接层得到动物体表温度的检测结果。
8.一种动物体表温度检测装置，其特征在于，包括：
第一图像特征图模块，用于利用具有仿射不变性的最大稳定极值区域MSER特征描述子对动物的原始图像进行特征提取，获得第一图像特征图；
第二图像特征图模块，用于将所述动物的热红外图像与所述第一图像特征图进行配准，获得第二图像特征图；
候选目标区域模块，用于将所述第一图像特征图与所述第二图像特征图进行叠加，根据叠加后的特征融合图获得候选目标区域；以及
温度检测结果模块，用于将所述候选目标区域输入卷积神经网络，获得动物体表温度的检测结果。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
CN201810019889.6A 2018-01-09 2018-01-09 基于卷积神经网的动物体表温度检测方法及装置 Expired - Fee Related CN108428224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810019889.6A CN108428224B (zh) 2018-01-09 2018-01-09 基于卷积神经网的动物体表温度检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810019889.6A CN108428224B (zh) 2018-01-09 2018-01-09 基于卷积神经网的动物体表温度检测方法及装置

Publications (2)

Publication Number Publication Date
CN108428224A true CN108428224A (zh) 2018-08-21
CN108428224B CN108428224B (zh) 2020-05-22

Family

ID=63155834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810019889.6A Expired - Fee Related CN108428224B (zh) 2018-01-09 2018-01-09 基于卷积神经网的动物体表温度检测方法及装置

Country Status (1)

Country Link
CN (1) CN108428224B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109222963A (zh) * 2018-11-21 2019-01-18 燕山大学 一种基于卷积神经网络的心电异常识别分类方法
CN109798983A (zh) * 2019-03-12 2019-05-24 上海达显智能科技有限公司 烹饪设施中食材温度测量方法、系统及烹饪设施
CN111121239A (zh) * 2018-11-01 2020-05-08 珠海格力电器股份有限公司 一种智能家电智能控制方法、控制系统、智能家电
CN111626985A (zh) * 2020-04-20 2020-09-04 北京农业信息技术研究中心 基于图像融合的家禽体温检测方法及禽舍巡检系统
CN113405674A (zh) * 2020-03-17 2021-09-17 杭州海康威视数字技术股份有限公司 体温测量方法及摄像设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5396443A (en) * 1992-10-07 1995-03-07 Hitachi, Ltd. Information processing apparatus including arrangements for activation to and deactivation from a power-saving state
CN101140624A (zh) * 2007-10-18 2008-03-12 清华大学 图像匹配方法
CN102567983A (zh) * 2010-12-26 2012-07-11 浙江大立科技股份有限公司 即时红外热图中被监测目标位置的确定方法及应用
CN103884435A (zh) * 2014-04-03 2014-06-25 江苏物联网研究发展中心 一种电子设备红外监测系统
CN104616280A (zh) * 2014-11-26 2015-05-13 西安电子科技大学 基于最大稳定极值区域和相位一致性的图像配准方法
CN104809722A (zh) * 2015-04-13 2015-07-29 国家电网公司 一种基于红外热像的电气设备故障诊断方法
CN105352604A (zh) * 2015-11-02 2016-02-24 上海电力学院 基于可见光图像配准的红外测温系统云台位置校准方法
CN106600572A (zh) * 2016-12-12 2017-04-26 长春理工大学 一种自适应的低照度可见光图像和红外图像融合方法
CN106651880A (zh) * 2016-12-27 2017-05-10 首都师范大学 基于多特征融合的热红外遥感影像的海上动目标检测方法
CN107423709A (zh) * 2017-07-27 2017-12-01 苏州经贸职业技术学院 一种融合可见光与远红外线的目标检测方法
CN107578432A (zh) * 2017-08-16 2018-01-12 南京航空航天大学 融合可见光与红外两波段图像目标特征的目标识别方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5396443A (en) * 1992-10-07 1995-03-07 Hitachi, Ltd. Information processing apparatus including arrangements for activation to and deactivation from a power-saving state
CN101140624A (zh) * 2007-10-18 2008-03-12 清华大学 图像匹配方法
CN102567983A (zh) * 2010-12-26 2012-07-11 浙江大立科技股份有限公司 即时红外热图中被监测目标位置的确定方法及应用
CN103884435A (zh) * 2014-04-03 2014-06-25 江苏物联网研究发展中心 一种电子设备红外监测系统
CN104616280A (zh) * 2014-11-26 2015-05-13 西安电子科技大学 基于最大稳定极值区域和相位一致性的图像配准方法
CN104809722A (zh) * 2015-04-13 2015-07-29 国家电网公司 一种基于红外热像的电气设备故障诊断方法
CN105352604A (zh) * 2015-11-02 2016-02-24 上海电力学院 基于可见光图像配准的红外测温系统云台位置校准方法
CN106600572A (zh) * 2016-12-12 2017-04-26 长春理工大学 一种自适应的低照度可见光图像和红外图像融合方法
CN106651880A (zh) * 2016-12-27 2017-05-10 首都师范大学 基于多特征融合的热红外遥感影像的海上动目标检测方法
CN107423709A (zh) * 2017-07-27 2017-12-01 苏州经贸职业技术学院 一种融合可见光与远红外线的目标检测方法
CN107578432A (zh) * 2017-08-16 2018-01-12 南京航空航天大学 融合可见光与红外两波段图像目标特征的目标识别方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111121239A (zh) * 2018-11-01 2020-05-08 珠海格力电器股份有限公司 一种智能家电智能控制方法、控制系统、智能家电
CN109222963A (zh) * 2018-11-21 2019-01-18 燕山大学 一种基于卷积神经网络的心电异常识别分类方法
CN109798983A (zh) * 2019-03-12 2019-05-24 上海达显智能科技有限公司 烹饪设施中食材温度测量方法、系统及烹饪设施
CN109798983B (zh) * 2019-03-12 2020-10-27 上海达显智能科技有限公司 烹饪设施中食材温度测量方法、系统及烹饪设施
CN113405674A (zh) * 2020-03-17 2021-09-17 杭州海康威视数字技术股份有限公司 体温测量方法及摄像设备
CN111626985A (zh) * 2020-04-20 2020-09-04 北京农业信息技术研究中心 基于图像融合的家禽体温检测方法及禽舍巡检系统

Also Published As

Publication number Publication date
CN108428224B (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
CN108428224A (zh) 基于卷积神经网的动物体表温度检测方法及装置
Shao et al. Real-time and accurate UAV pedestrian detection for social distancing monitoring in COVID-19 pandemic
Gutiérrez et al. Comprehensive review of vision-based fall detection systems
Fisher et al. Dictionary of computer vision and image processing
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
Neal et al. Measuring shape
CN110070072A (zh) 一种生成物体检测模型的方法
Chaabouni et al. Deep learning for saliency prediction in natural video
CN109461186A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN109063776A (zh) 图像再识别网络训练方法、装置和图像再识别方法及装置
Balafas et al. Machine learning and deep learning for plant disease classification and detection
CN110516731A (zh) 一种基于深度学习的视觉里程计特征点检测方法及系统
Qing et al. Multi-Class on-Tree Peach Detection Using Improved YOLOv5s and Multi-Modal Images.
Sun et al. Beet seedling and weed recognition based on convolutional neural network and multi-modality images
CN108388830A (zh) 基于卷积神经网的动物体形检测方法及装置
Velte Semantic image segmentation combining visible and near-infrared channels with depth information
EP4374328A1 (en) Focused computer detection of objects in images
Ortiz et al. Image-based 3D model and hyperspectral data fusion for improved scene understanding
Yu et al. Automatic Detection of Peeled Shrimp Based on Image Enhancement and Convolutional Neural Networks
Valada et al. Robust semantic segmentation using deep fusion
Ellen Improving biological object classification in plankton images using convolutional neural networks, geometric features, and context metadata
Sakai et al. Performance evaluation of an accessory category recognition system using deep neural network
Duhan et al. An analysis to investigate plant disease identification based on machine learning techniques
Shihabudeen et al. Infrared and Visible Image Fusion with Nuclear Norm Activity Level Measurement
Sekeroglu Hierarchical Fusion Based Deep Learning Framework for Lung Nodule Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200522

Termination date: 20210109