CN111986168A - T形分支的双耳根检测与最佳耳根测温帧检测方法及系统 - Google Patents

T形分支的双耳根检测与最佳耳根测温帧检测方法及系统 Download PDF

Info

Publication number
CN111986168A
CN111986168A CN202010789664.6A CN202010789664A CN111986168A CN 111986168 A CN111986168 A CN 111986168A CN 202010789664 A CN202010789664 A CN 202010789664A CN 111986168 A CN111986168 A CN 111986168A
Authority
CN
China
Prior art keywords
branch
frame
optimal
points
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010789664.6A
Other languages
English (en)
Other versions
CN111986168B (zh
Inventor
刘刚
马丽
张旭东
邢子正
冯彦坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN202010789664.6A priority Critical patent/CN111986168B/zh
Publication of CN111986168A publication Critical patent/CN111986168A/zh
Application granted granted Critical
Publication of CN111986168B publication Critical patent/CN111986168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0003—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiant heat transfer of samples, e.g. emittance meter
    • G01J5/0011—Ear thermometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/40—Animals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Quality & Reliability (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiation Pyrometers (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明实施例公开了一种T形分支的双耳根检测与最佳耳根测温帧检测方法及系统，其中，方法包括：基于热红外视频中的每一帧热红外图像，提取运动目标的骨架图像；查找骨架图像中骨架的多个分支点；检测第一目标区域的多个分支点中的分支端点和分支交点，并在分支交点为多个时，从多个分支交点中选择一个作为最优分支交点；根据第二目标区域的分支点、最优分支交点以及多个分支端点之间的空间位置关系，确定当前一帧的热红外图像是否为有效测温帧；根据所有的有效测温帧，得到运动目标的体表温度。本发明的实施例，可以有效提升运动目标的体表温度的检测效率和检测精度，能够为日常的体温监测、疾病预警和健康评价提供依据。

Description

T形分支的双耳根检测与最佳耳根测温帧检测方法及系统
技术领域
本发明涉及温度检测技术领域，具体涉及一种T形分支的双耳根检测与最佳耳根测温帧检测方法及系统。
背景技术
热红外技术可以获取二维平面温度数据，，可以无应激的监测动物行为并获得感兴趣区域的温度。采用热红外技术进行生猪测温的第一步是选定生猪热红外图像中的双耳根所在的头部位置作为感兴趣区域。常见的做法是人机交互法。人机交互方法是首先采集生猪热红外图像或视频，然后将热红外数据导入到计算机，需要技术人员手动圈定感兴趣的耳部和身体区域，通过软件获取对应位置的温度。
传统的人机交互法可以获取生猪头部和身体区域，但是由于检测的感兴趣区域常常是运动的非刚体，目标的形状和姿态多变，给手工圈定带来困难，自动化水平较低，不利于长期监测。因此，影响温度的检测效率以及检测精度。
发明内容
基于现有技术中存在的问题，本发明实施例公开了一种T形分支的双耳根检测与最佳耳根测温帧检测方法及系统，该方法可以有效提升运动目标的体表温度的检测效率和检测精度，能够为日常的体温监测、疾病预警和健康评价提供依据。
第一方面，本发明实施例中提供了一种T形分支的双耳根检测与最佳耳根测温帧检测方法，包括：
基于热红外视频中的每一帧热红外图像，提取运动目标的骨架图像；
查找骨架图像中骨架的多个分支点，其中，所述多个分支点包括第一目标区域的多个分支点和第二目标区域的分支点；
检测所述第一目标区域的多个分支点中的分支端点和分支交点，并在所述分支交点为多个时，从多个分支交点中选择一个作为最优分支交点；
根据所述第二目标区域的分支点、所述最优分支交点以及所述多个分支端点之间的空间位置关系，确定当前一帧的热红外图像是否为有效测温帧；
根据所有的有效测温帧，得到所述运动目标的体表温度。
进一步地，所述查找骨架图像中骨架的多个分支点，包括：
根据预先生成的查找表，查找所述骨架图像中骨架的多个分支点，其中，生成所述查找表包括：
根据骨架的分支结构，设定查找权值模板矩阵；
根据骨架图像样本确定第一图像矩阵；
根据所述查找权值模板矩阵和所述第一图像矩阵确定查找元素，并根据所述查找元素生成查找表；
所述根据预先生成的查找表，查找所述骨架图像中骨架的多个分支点，包括：
根据所述骨架图像生成第二图像矩阵；
根据所述第二图像矩阵、所述查找权值模板矩阵确定所述多个分支点。
进一步地，所述从多个分支交点中选择一个作为最优分支交点，包括：
根据所述分支端点的空间位置确定辅助点；
计算所述多个分支交点与所述辅助点之间的距离，并将距离最近的分支交点作为所述最优分支交点。
进一步地，所述根据所述第二目标区域的分支点、所述最优分支交点以及所述多个分支端点之间的空间位置关系，确定当前一帧的热红外图像是否为有效测温帧，包括：
根据所述第二目标区域的分支点、所述最优分支交点以及所述多个分支端点之间的空间位置关系，得到所述运动目标的行进方向与垂直方向的偏移、行进方向与水平方向的偏移以及运动目标的旋转的偏移；
如果根据所述行进方向与垂直方向的偏移、行进方向与水平方向的偏移以及运动目标的旋转的偏移均位于预定偏移范围内，则确定当前一帧的热红外图像为有效测温帧；
所述根据所有的有效测温帧，得到所述运动目标的体表温度，包括：
获取所述第一目标区域中的目标位置；
根据预设的邻域范围，得到所述目标位置的邻域；
计算所述邻域中每个位置的温度的平均值，得到所述目标位置的温度。
进一步地，还包括：从所有的有效测温帧中选择最佳帧的步骤，具体包括：
通过预设的区域最佳测温模型，将所有的有效测温帧中每个测温帧的目标位置的温度距离所有的有效测温帧最近的一帧作为最佳帧；
根据所述最佳帧中的目标位置的温度，确定所述运动目标的体表温度。
第二方面，本发明的实施提供了一种T形分支的双耳根检测与最佳耳根测温帧检测系统，包括：
提取模块，用于基于热红外视频中的每一帧热红外图像，提取运动目标的骨架图像；
查找模块，用于查找骨架图像中骨架的多个分支点，其中，所述多个分支点包括第一目标区域的多个分支点和第二目标区域的分支点；
检测模块，用于检测所述第一目标区域的多个分支点中的分支端点和分支交点，并在所述分支交点为多个时，从多个分支交点中选择一个作为最优分支交点；
有效测温帧确定模块，用于根据所述第二目标区域的分支点、所述最优分支交点以及所述多个分支端点之间的空间位置关系，确定当前一帧的热红外图像是否为有效测温帧；
温度检测模块，用于根据所有的有效测温帧，得到所述运动目标的体表温度。
进一步地，所述查找模块，具体用于：
根据预先生成的查找表，查找所述骨架图像中骨架的多个分支点，其中，生成所述查找表包括：
根据骨架的分支结构，设定查找权值模板矩阵；
根据骨架图像样本确定第一图像矩阵；
根据所述查找权值模板矩阵和所述第一图像矩阵确定查找元素，并根据所述查找元素生成查找表；
其中，所述根据预先生成的查找表，查找所述骨架图像中骨架的多个分支点，包括：
根据所述骨架图像生成第二图像矩阵；
根据所述第二图像矩阵、所述查找权值模板矩阵确定所述多个分支点。
进一步地，所述检测模块，具体用于：
根据所述分支端点的空间位置确定辅助点；
计算所述多个分支交点与所述辅助点之间的距离，并将距离最近的分支交点作为所述最优分支交点。
进一步地，所述有效测温帧确定模块，具体用于：
根据所述第二目标区域的分支点、所述最优分支交点以及所述多个分支端点之间的空间位置关系，得到所述运动目标的行进方向与垂直方向的偏移、行进方向与水平方向的偏移以及运动目标的旋转的偏移；
如果根据所述行进方向与垂直方向的偏移、行进方向与水平方向的偏移以及运动目标的旋转的偏移均位于预定偏移范围内，则确定当前一帧的热红外图像为有效测温帧；
其中，所述根据所有的有效测温帧，得到所述运动目标的体表温度，包括：
获取所述第一目标区域中的目标位置；
根据预设的邻域范围，得到所述目标位置的邻域；
计算所述邻域中每个位置的温度的平均值，得到所述目标位置的温度。
进一步地，所述温度检测模块，还用于：
通过预设的区域最佳测温模型，将所有的有效测温帧中每个测温帧的目标位置的温度距离所有的有效测温帧最近的一帧作为最佳帧；
根据所述最佳帧中的目标位置的温度，确定所述运动目标的体表温度。
由上述技术方案可知，本发明实施例的T形分支的双耳根检测与最佳耳根测温帧检测方法及系统，能够针对热红外视频，自动检测运动目标(如生猪)姿态端正帧并，从姿态端正帧中提取目标位置(如生猪的耳根)的体表温度，与人工检测对比，检测准确率得到明显提升，可以无应激地自动获取准确的体表温度，可为日常体温监测、疾病预警和健康评价提供研究基础。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的T形分支的双耳根检测与最佳耳根测温帧检测方法的流程图；
图2是本发明一个实施例的T形分支的双耳根检测与最佳耳根测温帧检测方法法的热红外视频检测平台的示意图；
图3是本发明一个实施例的T形分支的双耳根检测与最佳耳根测温帧检测方法的检测通道的热红外图像的示意图；
图4是去除背景后的检测通道的热红外图像的示意图；
图5是生猪通过检测通道时检测通道的热红外图像的示意图；
图6是检测通道的区域划分示意图；
图7是生猪在检测通道内行走的四种状态示意图；
图8是提取精简后的骨架示意图；
图9是骨架中分支点的扫描示意图；
图10是骨架中检测到的分支点的示意图；
图11是头顶区域分支交叉点P检测示意图；
图12是T形姿态检测示意图；
图13是姿态端正帧检测流程图；
图14是本发明一个实施例的T形分支的双耳根检测与最佳耳根测温帧检测系统的结构框图。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
以下结合附图描述根据本发明实施例的T形分支的双耳根检测与最佳耳根测温帧检测方法及系统。
图1示出了本发明一个实施例的T形分支的双耳根检测与最佳耳根测温帧检测方法的流程图，如图1所示，根据本发明一个实施例的T形分支的双耳根检测与最佳耳根测温帧检测方法，具体包括如下内容：
S101：基于热红外视频中的每一帧热红外图像，提取运动目标的骨架图像。
可以理解的是，在进行该步骤之前，需要进行如下准备工作：
通过搭建的检测平台采集热红外视频。如图2所示，以采集生猪的热红外视频为例，热像仪垂直摆放在检测通道中线上方，使热像仪镜头垂直向下，当有生猪通过时，录制检测通道内生猪通过的俯视热红外视频。
在得到热红外视频后，针对每一帧热红外图像，首先对热红外图像进行预处理，如图3所示，去除检测通道左右两侧的背景图像，仅保留检测通道的图像，如图4所示，为去除背景的检测通道的热红外图像。如图5所示，为生猪进入检测通道时的热红外图像。
另外，生猪检测通道可以分为三个区域，分别为区域Ⅰ、区域Ⅱ和区域Ⅲ，如图6所示。生猪的行进可以分为头部进入通道、通道内行走、通道内站立和头部离开通道四个阶段。头部进入通道阶段对应于区域Ⅰ，通道内行走阶段对应于区域Ⅱ，通道内站立和头部离开通道阶段对应于区域Ⅲ，如图7所示。
通过观察可知，在生猪进入通道时需要转弯，其头部行进方向常偏离通道中线方向。而生猪在抵达通道终点后，在等待通道门打开期间，其头部姿态多变，对测温精度会有较大影响。而生猪在通道内行走阶段的头部姿态比另外三个部分稳定得多。因此将区域Ⅱ设定为有效检测区域。
将头部刚刚进入区域Ⅱ的第一帧作为初始帧，将头部完全离开区域Ⅱ的最后一帧作为抵达帧。在初试帧与终止帧之间，由检测出的姿态端正的帧所构成的帧组，称为姿态端正帧组。
提取生猪的身体骨架包括：读取热红外图像对应的RGB图像，之后，为了提高检测速度、避免背景对检测的影响，去除通道左右两侧的背景图像，仅保留生猪通道图像，如图4所示。
图5为生猪进入通道的图像，对图5进行腐蚀操作，使生猪身体边缘平滑，然后提取生猪区域的骨架。为了减少生猪不同姿态对后续跟踪的影响，需要进一步剔除骨架毛刺，得到精简的生猪整体骨架，如图8所示。
S102：查找骨架图像中骨架的多个分支点，其中，所述多个分支点包括第一目标区域的多个分支点和第二目标区域的分支点。
在本发明的一个实施例中，查找骨架图像中骨架的多个分支点，包括：根据预先生成的查找表，查找所述骨架图像中骨架的多个分支点，其中，生成所述查找表包括：根据骨架的分支结构，设定查找权值模板矩阵；根据骨架图像样本确定第一图像矩阵；根据所述查找权值模板矩阵和所述第一图像矩阵确定查找元素，并根据所述查找元素生成查找表；所述根据预先生成的查找表，查找所述骨架图像中骨架的多个分支点，包括：根据所述骨架图像生成第二图像矩阵；根据所述第二图像矩阵、所述查找权值模板矩阵确定所述多个分支点。
具体来说，基于查表法的骨架分支点和端点检测，
获取生猪整体骨架后，需要设计合理的查找策略，首先设定查找模板并生成查找表，然后对生猪二值骨架图像执行基于查找表的非线性邻域滤波操作。最后根据分支点的位置确定生猪骨架分支点的位置，检测步骤为：
设置查找表模板并生成查找表。根据图8可知，生猪的头部骨架存在许多树形分支点，查找到相应的树形分支点就可以定位生猪耳根位置，根据骨架分支点只有三个分支的结构设定大小为3×3的查找权值模板矩阵M1，如式1所示。设二值图中大小为3×3大小的图像矩阵M2，仅当M2中心为1，且边缘元素仅有三个1时，根据公式2，计算M1与M2的卷积和F1才为查找元素，以此为标准生成查找表，建立模板和查找表的映射关系。
Figure BDA0002623299750000081
F1＝M1*M2 (2)
根据查找表匹配检测骨架的分支点，分支点是指骨架中多条分支的交叉点和各分支的端点。要匹配分支点，首先在图9中所示的骨架图像上，按照图9中x和y所示方向从图像右下角第1行开始，从右向左、从下到上逐行扫描，将该点作为中心点，生成一个3×3大小的图像矩阵M3(不存在的位置补0)。根据公式3，计算M1与M3的卷积和F2，查询F2对应的查找表位置，根据位置判断当前中心点是否为分支点。若查询值F2在查找表内，则该点为分支点，该点的像素设置为1。若查询值F2不在查找表内，则该点不是分支点，该点的像素设置为0。匹配到的分支点如图10所示。
F2＝M1*M3 (3)
检测骨架分支端点B1、B2和B3。
图11为头顶区域分支交点及P点检测示意图。在图9中，查询生猪运动方向最前的猪鼻分支点B1，然后查询生猪头部两侧的耳根分支点B2，B3。根据图像坐标系查询B1、B2和B3的位置。将所有分支点加入线性表，查询线性表中位置分量y的最小值所在点，该分支点为B1；查询线性表中位置分量x的最大值为所在点，该分支点为B2；查询线性表中位置分量x的最小值所在点，该分支点为B3。B1、B2和B3构成了“T”形状。
S103：检测所述第一目标区域的多个分支点中的分支端点和分支交点，并在所述分支交点为多个时，从多个分支交点中选择一个作为最优分支交点。
其中，从多个分支交点中选择一个作为最优分支交点，包括：根据所述分支端点的空间位置确定辅助点；计算所述多个分支交点与所述辅助点之间的距离，并将距离最近的分支交点作为所述最优分支交点。
具体来说，图11显示了头顶区域的分支交点通常为多个。通过以下操作确定唯一的头顶分支交点P。图11为检测分支交点P的示意图。设辅助点B4，将B2和B3的y分量的平均值作为B4的y值，将B2和B3的x分量的平均值作为B4的x值，判断头顶所有分支交叉点中到B4距离最近的一点为唯一确定的头顶区域的分支交点P，即：最优分支交点。
S104：根据所述第二目标区域的分支点、所述最优分支交点以及所述多个分支端点之间的空间位置关系，确定当前一帧的热红外图像是否为有效测温帧。
在本发明的一个实施例中，根据所述第二目标区域的分支点、所述最优分支交点以及所述多个分支端点之间的空间位置关系，确定当前一帧的热红外图像是否为有效测温帧，包括：根据所述第二目标区域的分支点、所述最优分支交点以及所述多个分支端点之间的空间位置关系，得到所述运动目标的行进方向与垂直方向的偏移、行进方向与水平方向的偏移以及运动目标的旋转的偏移；如果根据所述行进方向与垂直方向的偏移、行进方向与水平方向的偏移以及运动目标的旋转的偏移均位于预定偏移范围内，则确定当前一帧的热红外图像为有效测温帧。
具体来说：
1.设置检测参数。最佳耳根测温帧就是姿态端正帧，其检测包括三个角度参数α、β和γ，如图12所示。α反映了头部行进方向与垂直方向的偏移，β反映了头部行进方向与水平方向的偏移，γ反映了头部旋转的偏移。
2.判断当前分支点是否组成“T”形状。
通过判断当前分支点是否组成“T”形状来检测姿态端正帧，检测的流程图如图10所示，检测步骤如下：
第一步，检测到分支点B1、B2、B3、P和身体分支点Q后，预设姿态端正帧的帧数N＝0，角度允许的误差d＝5°。当检测出姿态端正帧时，N自加1。
第二步，检测姿态端正帧。根据预设的角度允许的误差d，检测三个角度参数α、β和γ，姿态端正的帧的检测条件为α、β和γ同时在[-d,d]区间变化的帧。该条件可用图13显示了姿态端正帧的检测流程。如果当前分支点满足图13所示条件，则其组成“T”形状，此帧为姿态端正帧；如果当前分支点不满足图13所示条件，则其不构成组成“T”形状，此帧为姿态不正帧。由于后续进行温度提取时，要求姿态端正帧的帧数N至少为三帧，所以如果检测的N小于三帧，则扩大d的范围，使d按照步长为1°进行增加，直到检测到三帧为止。
第三步，保存姿态端正帧的帧号到数据库，所有的姿态端正帧构成姿态端正帧组，为后续温度提取做准备。
检测双侧耳根区域。获取B2、B3的位置为有效耳根，以B2、B3为圆心，r为半径绘制圆形的区域，提取圆形区域的平均温度为该帧的耳根温度，如图11所示。
保存该帧的耳根位置和温度数据至数据库。
检测当前帧是否是终止帧，如果是终止帧，结束目标跟踪。所有姿态端正帧测得的耳根平均温度即为该只生猪的耳根体表温度温度。保存温度结果至数据库，结束程序。
S105：根据所有的有效测温帧，得到所述运动目标的体表温度。
根据所有的有效测温帧，得到所述运动目标的体表温度，包括：获取所述第一目标区域中的目标位置；根据预设的邻域范围，得到所述目标位置的邻域；计算所述邻域中每个位置的温度的平均值，得到所述目标位置的温度。
此外，还包括：从所有的有效测温帧中选择最佳帧的步骤，具体包括：通过预设的区域最佳测温模型，将所有的有效测温帧中每个测温帧的目标位置的温度距离所有的有效测温帧最近的一帧作为最佳帧；根据所述最佳帧中的目标位置的温度，确定所述运动目标的体表温度。
具体地说，区域最佳测温模型的目的就是从姿态端正帧组中选取温度最佳的一帧，称为最佳帧。区域最佳测温模型描述如下：
测温对象为区域Ⅱ检测的姿态端正帧组。假设一段视频的姿态端正帧组有N帧，每帧用Xi表示，Xi＝(xi,1,xi,2)T,i＝1,2,...,N.每帧的温度参数为xi,k,(k＝1,2),1表示左侧耳根温度，2表示右侧耳根温度。
温度最佳一帧I，选出温度距离所有帧最近的一帧，即全局区域方差最小的一帧，满足公式4：
Figure BDA0002623299750000111
其中，d为帧号，K为温度参数编号，||·||2表示向量的2范数，即：长度，βk,(k＝1,2,…,6)分别表示第k个特征的权重，可以取为多元线性回归的系数。
模型优化的目标是从全局角度选出距离所有帧最近的一帧。返回值IGlobal是帧号。
其中，符号arg是自变量argument的英文缩写。arg min表示使后面这个式子达到最小值时的变量的取值。例如，对于函数F(x,y)，arg min F(x,y)就是指当F(x,y)取得最小值时，变量x,y的取值。
区域最佳测温模型测温步骤：
在选取完一段视频所有的姿态端正帧的基础上，以姿态端正帧为研究对象，获取每帧左耳根体表温度。
采用区域最佳测温模型，求出最佳一帧。
提取最佳一帧右耳根体表温度，获取左右耳根体表温度。
采用黑体法进行误差校正，获取准确的左右耳根体表温度。
根据本发明实施例的T形分支的双耳根检测与最佳耳根测温帧检测方法，能够针对热红外视频，自动检测运动目标(如生猪)姿态端正帧并，从姿态端正帧中提取目标位置(如生猪的耳根)的体表温度，与人工检测对比，检测准确率得到明显提升，可以无应激地自动获取准确的体表温度，可为日常体温监测、疾病预警和健康评价提供研究基础。
另外，在准确检测到局部区域生猪头部姿态端正帧组的基础上，提出了基于头部姿态端正的帧组的区域最佳测温模型，能够从姿态端正帧组中自动检测最佳姿态一帧。与人工标定法相比，误差小，精度高。可以无应激地自动获取准确的耳根表面温度，适用于相对稳定环境下的，猪、牛、羊等在通道内行进的动物的体温测量，可为日常体温监测、疾病预警和健康评价提供研究基础。
如图14所示，本发明的实施例公开了一种T形分支的双耳根检测与最佳耳根测温帧检测系统，包括：提取模块1410、查找模块1420、检测模块1430、有效测温帧确定模块1440和温度检测模块1450。其中：
提取模块1410，用于基于热红外视频中的每一帧热红外图像，提取运动目标的骨架图像；
查找模块1420，用于查找骨架图像中骨架的多个分支点，其中，所述多个分支点包括第一目标区域的多个分支点和第二目标区域的分支点；
检测模块1430，用于检测所述第一目标区域的多个分支点中的分支端点和分支交点，并在所述分支交点为多个时，从多个分支交点中选择一个作为最优分支交点；
有效测温帧确定模块1440，用于根据所述第二目标区域的分支点、所述最优分支交点以及所述多个分支端点之间的空间位置关系，确定当前一帧的热红外图像是否为有效测温帧；
温度检测模块1450，用于根据所有的有效测温帧，得到所述运动目标的体表温度。
在本发明的一个实施例中，所述查找模块，具体用于：
根据预先生成的查找表，查找所述骨架图像中骨架的多个分支点，其中，生成所述查找表包括：
根据骨架的分支结构，设定查找权值模板矩阵；
根据骨架图像样本确定第一图像矩阵；
根据所述查找权值模板矩阵和所述第一图像矩阵确定查找元素，并根据所述查找元素生成查找表；
其中，所述根据预先生成的查找表，查找所述骨架图像中骨架的多个分支点，包括：
根据所述骨架图像生成第二图像矩阵；
根据所述第二图像矩阵、所述查找权值模板矩阵确定所述多个分支点。
在本发明的一个实施例中，所述检测模块，具体用于：
根据所述分支端点的空间位置确定辅助点；
计算所述多个分支交点与所述辅助点之间的距离，并将距离最近的分支交点作为所述最优分支交点。
在本发明的一个实施例中，所述有效测温帧确定模块，具体用于：
根据所述第二目标区域的分支点、所述最优分支交点以及所述多个分支端点之间的空间位置关系，得到所述运动目标的行进方向与垂直方向的偏移、行进方向与水平方向的偏移以及运动目标的旋转的偏移；
如果根据所述行进方向与垂直方向的偏移、行进方向与水平方向的偏移以及运动目标的旋转的偏移均位于预定偏移范围内，则确定当前一帧的热红外图像为有效测温帧；
其中，所述根据所有的有效测温帧，得到所述运动目标的体表温度，包括：
获取所述第一目标区域中的目标位置；
根据预设的邻域范围，得到所述目标位置的邻域；
计算所述邻域中每个位置的温度的平均值，得到所述目标位置的温度。
在本发明的一个实施例中，所述温度检测模块，还用于：
通过预设的区域最佳测温模型，将所有的有效测温帧中每个测温帧的目标位置的温度距离所有的有效测温帧最近的一帧作为最佳帧；
根据所述最佳帧中的目标位置的温度，确定所述运动目标的体表温度。
根据本发明实施例的T形分支的双耳根检测与最佳耳根测温帧检测系统，能够针对热红外视频，自动检测运动目标(如生猪)姿态端正帧并，从姿态端正帧中提取目标位置(如生猪的耳根)的体表温度，与人工检测对比，检测准确率得到明显提升，可以无应激地自动获取准确的体表温度，可为日常体温监测、疾病预警和健康评价提供研究基础。
另外，在准确检测到局部区域生猪头部姿态端正帧组的基础上，提出了基于头部姿态端正的帧组的区域最佳测温模型，能够从姿态端正帧组中自动检测最佳姿态一帧。与人工标定法相比，误差小，精度高。可以无应激地自动获取准确的耳根表面温度，适用于相对稳定环境下的，猪、牛、羊等在通道内行进的动物的体温测量，可为日常体温监测、疾病预警和健康评价提供研究基础。
需要说明的是，本发明实施例的T形分支的双耳根检测与最佳耳根测温帧检测系统的具体实现方式与本发明实施例的T形分支的双耳根检测与最佳耳根测温帧检测方法的具体实现方式类似，具体请参见方法部分的描述，此处不做赘述。
以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例的方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种T形分支的双耳根检测与最佳耳根测温帧检测方法，其特征在于，包括：
基于热红外视频中的每一帧热红外图像，提取运动目标的骨架图像；
查找骨架图像中骨架的多个分支点，其中，所述多个分支点包括第一目标区域的多个分支点和第二目标区域的分支点；
检测所述第一目标区域的多个分支点中的分支端点和分支交点，并在所述分支交点为多个时，从多个分支交点中选择一个作为最优分支交点；
根据所述第二目标区域的分支点、所述最优分支交点以及所述多个分支端点之间的空间位置关系，确定当前一帧的热红外图像是否为有效测温帧；
根据所有的有效测温帧，得到所述运动目标的体表温度。
2.根据权利要求1所述的T形分支的双耳根检测与最佳耳根测温帧检测方法，其特征在于，所述查找骨架图像中骨架的多个分支点，包括：
根据预先生成的查找表，查找所述骨架图像中骨架的多个分支点，其中，生成所述查找表包括：
根据骨架的分支结构，设定查找权值模板矩阵；
根据骨架图像样本确定第一图像矩阵；
根据所述查找权值模板矩阵和所述第一图像矩阵确定查找元素，并根据所述查找元素生成查找表；
所述根据预先生成的查找表，查找所述骨架图像中骨架的多个分支点，包括：
根据所述骨架图像生成第二图像矩阵；
根据所述第二图像矩阵、所述查找权值模板矩阵确定所述多个分支点。
3.根据权利要求1所述的T形分支的双耳根检测与最佳耳根测温帧检测方法，其特征在于，所述从多个分支交点中选择一个作为最优分支交点，包括：
根据所述分支端点的空间位置确定辅助点；
计算所述多个分支交点与所述辅助点之间的距离，并将距离最近的分支交点作为所述最优分支交点。
4.根据权利要求1所述的T形分支的双耳根检测与最佳耳根测温帧检测方法，其特征在于，所述根据所述第二目标区域的分支点、所述最优分支交点以及所述多个分支端点之间的空间位置关系，确定当前一帧的热红外图像是否为有效测温帧，包括：
根据所述第二目标区域的分支点、所述最优分支交点以及所述多个分支端点之间的空间位置关系，得到所述运动目标的行进方向与垂直方向的偏移、行进方向与水平方向的偏移以及运动目标的旋转的偏移；
如果根据所述行进方向与垂直方向的偏移、行进方向与水平方向的偏移以及运动目标的旋转的偏移均位于预定偏移范围内，则确定当前一帧的热红外图像为有效测温帧；
所述根据所有的有效测温帧，得到所述运动目标的体表温度，包括：
获取所述第一目标区域中的目标位置；
根据预设的邻域范围，得到所述目标位置的邻域；
计算所述邻域中每个位置的温度的平均值，得到所述目标位置的温度。
5.根据权利要求1-4任一项所述的T形分支的双耳根检测与最佳耳根测温帧检测方法，其特征在于，还包括：从所有的有效测温帧中选择最佳帧的步骤，具体包括：
通过预设的区域最佳测温模型，将所有的有效测温帧中每个测温帧的目标位置的温度距离所有的有效测温帧最近的一帧作为最佳帧；
根据所述最佳帧中的目标位置的温度，确定所述运动目标的体表温度。
6.一种T形分支的双耳根检测与最佳耳根测温帧检测系统，其特征在于，包括：
提取模块，用于基于热红外视频中的每一帧热红外图像，提取运动目标的骨架图像；
查找模块，用于查找骨架图像中骨架的多个分支点，其中，所述多个分支点包括第一目标区域的多个分支点和第二目标区域的分支点；
检测模块，用于检测所述第一目标区域的多个分支点中的分支端点和分支交点，并在所述分支交点为多个时，从多个分支交点中选择一个作为最优分支交点；
有效测温帧确定模块，用于根据所述第二目标区域的分支点、所述最优分支交点以及所述多个分支端点之间的空间位置关系，确定当前一帧的热红外图像是否为有效测温帧；
温度检测模块，用于根据所有的有效测温帧，得到所述运动目标的体表温度。
7.根据权利要求6所述的T形分支的双耳根检测与最佳耳根测温帧检测系统，其特征在于，所述查找模块，具体用于：
根据预先生成的查找表，查找所述骨架图像中骨架的多个分支点，其中，生成所述查找表包括：
根据骨架的分支结构，设定查找权值模板矩阵；
根据骨架图像样本确定第一图像矩阵；
根据所述查找权值模板矩阵和所述第一图像矩阵确定查找元素，并根据所述查找元素生成查找表；
其中，所述根据预先生成的查找表，查找所述骨架图像中骨架的多个分支点，包括：
根据所述骨架图像生成第二图像矩阵；
根据所述第二图像矩阵、所述查找权值模板矩阵确定所述多个分支点。
8.根据权利要求6所述的T形分支的双耳根检测与最佳耳根测温帧检测系统，其特征在于，所述检测模块，具体用于：
根据所述分支端点的空间位置确定辅助点；
计算所述多个分支交点与所述辅助点之间的距离，并将距离最近的分支交点作为所述最优分支交点。
9.根据权利要求6所述的T形分支的双耳根检测与最佳耳根测温帧检测系统，其特征在于，所述有效测温帧确定模块，具体用于：
根据所述第二目标区域的分支点、所述最优分支交点以及所述多个分支端点之间的空间位置关系，得到所述运动目标的行进方向与垂直方向的偏移、行进方向与水平方向的偏移以及运动目标的旋转的偏移；
如果根据所述行进方向与垂直方向的偏移、行进方向与水平方向的偏移以及运动目标的旋转的偏移均位于预定偏移范围内，则确定当前一帧的热红外图像为有效测温帧；
其中，所述根据所有的有效测温帧，得到所述运动目标的体表温度，包括：
获取所述第一目标区域中的目标位置；
根据预设的邻域范围，得到所述目标位置的邻域；
计算所述邻域中每个位置的温度的平均值，得到所述目标位置的温度。
10.根据权利要求6-9任一项所述的T形分支的双耳根检测与最佳耳根测温帧检测系统，其特征在于，所述温度检测模块，还用于：
通过预设的区域最佳测温模型，将所有的有效测温帧中每个测温帧的目标位置的温度距离所有的有效测温帧最近的一帧作为最佳帧；
根据所述最佳帧中的目标位置的温度，确定所述运动目标的体表温度。
CN202010789664.6A 2020-08-07 2020-08-07 T形分支的双耳根检测与最佳耳根测温帧检测方法及系统 Active CN111986168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010789664.6A CN111986168B (zh) 2020-08-07 2020-08-07 T形分支的双耳根检测与最佳耳根测温帧检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010789664.6A CN111986168B (zh) 2020-08-07 2020-08-07 T形分支的双耳根检测与最佳耳根测温帧检测方法及系统

Publications (2)

Publication Number Publication Date
CN111986168A true CN111986168A (zh) 2020-11-24
CN111986168B CN111986168B (zh) 2024-03-15

Family

ID=73445650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010789664.6A Active CN111986168B (zh) 2020-08-07 2020-08-07 T形分支的双耳根检测与最佳耳根测温帧检测方法及系统

Country Status (1)

Country Link
CN (1) CN111986168B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100172567A1 (en) * 2007-04-17 2010-07-08 Prokoski Francine J System and method for using three dimensional infrared imaging to provide detailed anatomical structure maps
US20130004035A1 (en) * 2011-06-30 2013-01-03 National Taiwan University Longitudinal Image Registration Algorithm For Infrared Images For Chemotherapy Response Monitoring And Early Detection Of Breast Cancers
US20150325004A1 (en) * 2013-01-18 2015-11-12 Kabushiki Kaisha Toshiba Motion information processing apparatus and method
CN109242773A (zh) * 2018-08-29 2019-01-18 杭州体光医学科技有限公司 一种热红外图像的拼接方法及部位划分方法
EP3531373A1 (en) * 2018-02-26 2019-08-28 Expert Ymaging, SL A method and device for the characterization of living specimens from a distance
CN110261436A (zh) * 2019-06-13 2019-09-20 暨南大学 基于红外热成像和计算机视觉的轨道故障检测方法及系统
CN110398291A (zh) * 2019-07-25 2019-11-01 中国农业大学 一种运动目标最高温检测方法及系统
CN110547210A (zh) * 2019-09-04 2019-12-10 北京海益同展信息科技有限公司 饲料供给方法及系统、计算机系统、存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100172567A1 (en) * 2007-04-17 2010-07-08 Prokoski Francine J System and method for using three dimensional infrared imaging to provide detailed anatomical structure maps
US20130004035A1 (en) * 2011-06-30 2013-01-03 National Taiwan University Longitudinal Image Registration Algorithm For Infrared Images For Chemotherapy Response Monitoring And Early Detection Of Breast Cancers
US20150325004A1 (en) * 2013-01-18 2015-11-12 Kabushiki Kaisha Toshiba Motion information processing apparatus and method
EP3531373A1 (en) * 2018-02-26 2019-08-28 Expert Ymaging, SL A method and device for the characterization of living specimens from a distance
CN109242773A (zh) * 2018-08-29 2019-01-18 杭州体光医学科技有限公司 一种热红外图像的拼接方法及部位划分方法
CN110261436A (zh) * 2019-06-13 2019-09-20 暨南大学 基于红外热成像和计算机视觉的轨道故障检测方法及系统
CN110398291A (zh) * 2019-07-25 2019-11-01 中国农业大学 一种运动目标最高温检测方法及系统
CN110547210A (zh) * 2019-09-04 2019-12-10 北京海益同展信息科技有限公司 饲料供给方法及系统、计算机系统、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马丽，张旭东，邢子正，张馨月， 任晓惠，刘刚: "基于骨架扫描策略的生猪热红外视频目标跟踪方法", 《农业机械学报》, vol. 50, pages 256 - 260 *

Also Published As

Publication number Publication date
CN111986168B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN110826549A (zh) 基于计算机视觉的巡检机器人仪表图像识别方法及系统
Su et al. Global localization of a mobile robot using lidar and visual features
CN114425776A (zh) 基于计算机视觉的自动贴标定位与纠偏方法
CN115082815B (zh) 基于机器视觉的茶芽采摘点定位方法、装置及采摘系统
JP2012042396A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
CN111723863B (zh) 果树花朵的识别及位置获取方法、装置、计算机设备及存储介质
CN115731268A (zh) 基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法
CN110838145A (zh) 一种室内动态场景的视觉定位与建图方法
CN110211200B (zh) 一种基于神经网络技术的牙弓线生成方法及其系统
CN113313047B (zh) 一种基于车道结构先验的车道线检测方法及系统
CN110741964A (zh) 一种计算机辅助下的自动化羊只识别及羊体测定装置
CN114359546A (zh) 一种基于卷积神经网络的黄花菜成熟度识别方法
CN111986234A (zh) 基于人工智能的自适应分辨率畜牧视频信息处理方法
CN115294317A (zh) 一种用于工业生产厂区的指针式仪表读数智能检测方法
CN114155216A (zh) 猪只温度检测方法及装置
CN113932712B (zh) 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法
JP2015111128A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
Patel et al. Deep Learning-Based Plant Organ Segmentation and Phenotyping of Sorghum Plants Using LiDAR Point Cloud
CN112508885B (zh) 一种弯管的三维中轴线检测方法及系统
CN111982296B (zh) 基于热红外视频的运动目标体表温度快速检测方法及系统
CN117523575A (zh) 基于巡检机器人的仪表智能读数方法及系统
CN111986168A (zh) T形分支的双耳根检测与最佳耳根测温帧检测方法及系统
CN116071517A (zh) 多维度信息感知的奶牛体尺参数测量方法及系统
CN113688819B (zh) 一种基于标记点的目标物期望点跟踪匹配方法
CN113865506A (zh) 一种无标志点拼接的自动化三维测量方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant