CN116721134B - 一种无特征目标的跟踪系统及其方法 - Google Patents

一种无特征目标的跟踪系统及其方法 Download PDF

Info

Publication number
CN116721134B
CN116721134B CN202311001700.8A CN202311001700A CN116721134B CN 116721134 B CN116721134 B CN 116721134B CN 202311001700 A CN202311001700 A CN 202311001700A CN 116721134 B CN116721134 B CN 116721134B
Authority
CN
China
Prior art keywords
temperature
target
tracking
distribution
heating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311001700.8A
Other languages
English (en)
Other versions
CN116721134A (zh
Inventor
常兴
王强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Cpctech Co ltd
Wuhan Nengna Intelligent Equipment Technology Co ltd Chengdu Branch Sichuan Province
Original Assignee
Wuhan Cpctech Co ltd
Wuhan Nengna Intelligent Equipment Technology Co ltd Chengdu Branch Sichuan Province
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Cpctech Co ltd, Wuhan Nengna Intelligent Equipment Technology Co ltd Chengdu Branch Sichuan Province filed Critical Wuhan Cpctech Co ltd
Priority to CN202311001700.8A priority Critical patent/CN116721134B/zh
Publication of CN116721134A publication Critical patent/CN116721134A/zh
Application granted granted Critical
Publication of CN116721134B publication Critical patent/CN116721134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48Thermography; Techniques using wholly visual means
    • G01J5/485Temperature profile
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/23Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/08Thermal analysis or thermal optimisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明涉及目标跟踪技术领域,公开了一种无特征目标的跟踪系统及其方法,本发明通过对无特征目标的表面进行非接触式加热,赋予特定温度分布;通过特定温度分布对其进行跟踪识别,该方法无需接触,因此不存在物质之间的交换/反应;此外,由于无特征目标表面的特定温度分布会随时间消散,因此无需进行特征擦除,只需在跟踪结束以后对其进行静置便能实现无特征化复原。整个过程无任何其他物质引入、且能实现远程标记的效果,适用于特种装备制造时无法实施接触式标记的场景;具备很好地实用和推广价值。

Description

一种无特征目标的跟踪系统及其方法
技术领域
本发明涉及目标跟踪技术领域,具体涉及一种无特征目标的跟踪系统及其方法。
背景技术
随着科技的进步和时代的发展,特种装备制造技术在向着更加高效、智能的方向进发;越来越多的特种设备或材料摆脱了传统加工的限制,迈向了自动化生产;在特种装备的制造过程中,会涉及到一些特种材料的生产、加工与制造;如:特种玻璃、特种钢材、特种聚合物等材料,这些材料表面往往喷涂有经过特殊处理的涂层,改变了材料特性,使其具备了耐高温、抗腐蚀、透光性好等特点,是国防军事、科学研究、高精尖设备制造过程中至关重要的部分。
然而,在实现这些高透光性特种材料的自动化生产过程中我们发现:自动化生产过程需要对目标进行识别跟踪,传统的跟踪方法是对待跟踪目标进行特征提取或特征建模,以得到目标的特异性描述,然后在连续帧序列中通过对目标进行特征匹配等方式获取目标的当前位置,以实现目标跟踪;但一些特种材料难获取其表面的特征信息,如:特种玻璃;一些特种材料之间无差异特征,如:特种玻璃、特种钢材;因此无法进行跟踪。
为此,申请号为:CN202211004501.8的发明申请提供了一种对无特征目标的跟踪方法,该方法通过绘制圆环标记符进而确定无特征目标的跟踪点并对跟踪点进行实时检测以提高跟踪的精确度和跟踪点的稳定性,能对一些无特征目标进行有效跟踪。
但是,该方法在绘制圆环标记符时,需要在待跟踪目标表面进行涂抹并留下涂料残余,对于特种钢材来讲,若是去除涂料残余则会破坏特殊处理的涂层,对于高透光性特种材料来讲,若是不去除涂料残余则会影响其高透光性;该跟踪方法无法满足高透光性特种材料的需求;在涂抹的过程中也容易对操作人员造成潜在危险。
因此,本发明提出一种无特征目标的跟踪系统及其方法来解决上述技术问题。
发明内容
本发明的目的在于克服现有技术的不足,提供一种无特征目标的跟踪方法,在进行跟踪前:通过对无特征目标的表面进行非接触式加热,赋予特定温度分布,完成对无特征目标的特征化;在进行跟踪时:通过对特定温度分布进行识别,发现待跟踪目标;通过对特定温度分布进行分析,完成待跟踪目标的跟踪识别;在结束跟踪时:无特征目标表面的特定温度分布随时间消散,完成无特征化复原;具体的跟踪环节包括:温度分布编译环节、非接触式加热环节、温度分布采集环节、目标识别跟踪环节和无特征化复原环节;其中,
温度分布编译环节,通过加热锚点分布对特定温度分布进行映射编译;其中,根据待跟踪目标的热传递特性和跟踪识别的需求,设置对应的温度分布编译模式;
非接触式加热环节:调节加热源对无特征目标表面的加热锚点进行非接触式加热,得到温度锚点;按照加热锚点分布进行非接触式加热,得到温度锚点分布;
温度分布采集环节:采集跟踪区域内的红外图像,并进行图像处理得到温度图像;通过对温度图像进行处理,获取图像中存在的各温度锚点并标注像素位置;
目标识别跟踪环节:获取各温度锚点和对应的像素位置,并通过温度锚点分布匹配进行目标识别,若匹配成功则识别到待跟踪目标并进行目标跟踪;其中,目标跟踪包括:目标位置跟踪和目标状态跟踪。
作为更进一步的解决方案,温度分布编译模式包括:点阵式、三点式和混合式;
当温度分布编译模式为点阵式时:无特征目标的表面设置M*M个加热锚点组成锚点点阵;各加热锚点之间呈均匀分布,并保持边界间隔;边界间隔为各加热锚点之间的等温边界;其中,M为大于1的整数;
当温度分布编译模式为三点式时:在无特征目标的表面建立平面坐标,并通过各加热锚点之间的相对距离和相对大小对平面坐标进行表示;其中,各加热锚点之间保持边界间隔,边界间隔最小值为各加热锚点之间的绝热边界;
当温度分布编译模式为混合式时:在无特征目标的表面同时存在锚点点阵和平面坐标。
作为更进一步的解决方案,各加热锚点通过如下步骤确定边界间隔:热传导方程建立、锚点热分布求解和边界值对应求解;
热传导方程建立:通过有限差分法计算待跟踪目标的热量分布情况,在待跟踪目标的表面划定二维标定区域L x L y 并等量分割为N x ×N y 个单元;令T i,j 表示第i行第j列单元的温度,则热传导方程表示为:
(T i,j - T i-1,j )/Δy + (T i,j - T i,j-1 )/Δx + (T i+1,j - T i,j )/Δy + (T i,j+1 - T i,j )/Δ x = k(∂T i,j /∂t)/(ρC)
其中,ΔxΔy分别表示单元的长度和宽度;ρ待跟踪目标的材料密度;C待跟踪目标的比热容,k为待跟踪目标材料的热传导系数;T i-1,j 表示第i-1行第j列单元的温度,同理T i,j-1,n 、T i+1,j,n 、T i,j+1,n 表示对应行列单元的温度;t表示加热时间;
通过热传导方程变换,得到温度传递关系T i,j,n+1
T i,j,n+1 =T i,j,n +Δt/(ρC ) * k * [(T i-1,j,n + T i,j-1,n + T i+1,j,n + T i,j+1,n - 4T i,j,n )/ (Δx 2 +Δy 2 )]
其中,n表示上一时间步数,n+1表示当前时间步数;Δt表示时间步长,T i,j,n+1 表示当前时刻第i行第j列单元的温度,同理T i,j,n 、T i-1,j,n 、T i,j-1,n 、T i+1,j,n 、T i,j+1,n 表示上一时刻对应行列单元的温度。
作为更进一步的解决方案,锚点热分布求解:输入加热锚点的热源温度、热源半径和求解边界,并带入温度传递关系,得到锚点热分布;其中,热源半径内的单元温度为热源温度,通过有限差分法计算热源半径到求解边界之间的热量分布情况;求解边界为:
D m =3[kt1/(ρC)] 1/2
其中,k为待跟踪目标材料的热传导系数;t1为等效加热时间;ρ待跟踪目标的材料密度;C待跟踪目标的比热容。
作为更进一步的解决方案,边界值对应求解:根据温度分布编译模式,求解对应的等温边界或绝热边界;
等温边界:确定环境温度T h ,求取T i,j =T h 成立的行列(i 0, j 0 ),得到等温边界点;对求解边界内各单元温度进行遍历,得到等温边界;
绝热边界:求取各温度行增量ΔT i+1,j 和温度列增量ΔT i,j+1 ;并分别与绝热增量阈值进行判断;若不超过绝热增量阈值,则输出当前行列(i 1, j 1 ),得到绝热边界点;对求解边界内各单元温度进行遍历,得到绝热边界;
ΔT i+1,j =T i+1,j -T i,j
ΔT i,j+1 =T i,j+1 -T i,j
其中,ΔT i+1,j 为温度行增量;ΔT i,j+1 温度列增量;T i+1,j T i,j+1 T i,j 求解分别为当前行列对应的单元温度。
作为更进一步的解决方案,非接触式加热环节包括:热源温度设置、热源半径设置、加热设备执行、加热功率反馈和加热停止分析;其中,
热源温度设置:根据材料耐热温度进行设置,并在热源半径内呈均匀分布;
热源半径设置:随场景变化的动态调整量,热源半径满足能被区分识别;
加热设备执行:根据温度分布编译模式,选择对应的加热设备并执行加热任务;
加热功率反馈:通过上一帧的温度图像对当前帧加热设备进行反馈调节;
加热停止分析:温度传递关系T i,j,n+1 达到稳态时停止。
作为更进一步的解决方案,温度分布采集环节包括:红外图像采集、温度图像转换和温度锚点识别;
红外图像采集:选定图像采集区域,并对区域内进行红外图像采集,得到红外图像;持续进行红外图像采集,得到红外图像帧集;
温度图像转换:对红外图像进行灰度帧级校准,得到灰度均匀图像;并通过黑体校准数据,将灰度均匀图像中的每个像素的灰度级转换为相应的温度值,得到温度图像;完成对红外图像帧集中各图形的转换,得到温度图像帧集;
温度锚点识别:对温度图像帧集进行图像预处理,并通过对温度图像进行边缘检测并获取所有轮廓;遍历所有轮廓获取各温度锚点并标注像素位置。
作为更进一步的解决方案,目标识别跟踪环节:
温度锚点关联、温度分布识别、目标识别验证、目标位置跟踪和目标状态跟踪;
温度锚点关联:通过匹配算子对温度锚点进行关联匹配,并输出匹配概率最大的温度锚点关联组;
温度分布识别:获取温度锚点关联组,通过摄角、像素位置确定温度锚点位置,得到温度锚点分布;对温度图像帧集中各温度图像进行温度分布识别,得到温度锚点分布帧集;
目标识别验证:获取温度锚点分布帧集,并判断温度锚点分布在各帧中是否为线性连续;若是,则目标识别验证通过,并建立跟踪目标;
目标位置跟踪:通过目标位置跟踪算子,完成对跟踪目标的坐标位置识别,并记录得到各帧中跟踪目标的位置;
目标状态跟踪:通过温度锚点分布和标准分布进行对比,完成对跟踪目标的状态识别,并记录各帧中跟踪目标的状态。
作为更进一步的解决方案,在进行目标状态跟踪时:
若温度分布编译模式为点阵式,则通过锚点点阵提取跟踪目标表面网格分布,并与标准网格分布进行对比,确定跟踪目标表面的形变状态;
若温度分布编译模式为三点式,则通过各加热锚点之间的相对距离和相对大小提取跟踪目标表面平面坐标,并与标准平面坐标进行对比,确定跟踪目标表面的姿态状态;
若温度分布编译模式为混合式,则分别通过锚点点阵确定形变状态,通过平面坐标确定姿态状态。
一种无特征目标的跟踪系统,包括若干跟踪节点;各跟踪节点包括:光束发射机、红外摄像机和中央处理器;其中,
光束发射机:加热源,用于对待跟踪目标进行非接触式加热;
红外摄像机:图像源,用于采集图像采集区域内的红外图像;
中央处理器:控制源,执行如上任一项所述的一种无特征目标的跟踪方法。
本发明通过对无特征目标的表面进行非接触式加热,赋予特定温度分布;通过特定温度分布对其进行跟踪识别,该方法无需接触,因此不存在物质之间的交换/反应;此外,由于无特征目标表面的特定温度分布会随时间消散,因此无需进行特征擦除,只需在跟踪结束以后对其进行静置便能实现无特征化复原。整个过程无任何其他物质引入、且能实现远程标记的效果,适用于特种装备制造时无法实施接触式标记的场景;具备很好地实用和推广价值。
附图说明
图1为一种无特征目标的跟踪方法的流程图;
图2为温度分布对比图;其中,左为温度分布图,右为温度仿真分布图;
图3为不同温度分布编译模式下的示意图;其中,左为点阵式;右为三点式;
图4为一种无特征目标的跟踪系统的示意图;
图5为点阵式下的网格分布图,其中,左为原始图像,右为网格分布图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。
如图1所示,一种无特征目标的跟踪方法,在进行跟踪前:通过对无特征目标的表面进行非接触式加热,赋予特定温度分布,完成对无特征目标的特征化;在进行跟踪时:通过对特定温度分布进行识别,发现待跟踪目标;通过对特定温度分布进行分析,完成待跟踪目标的跟踪识别;在结束跟踪时:无特征目标表面的特定温度分布随时间消散,完成无特征化复原;具体的跟踪环节包括:温度分布编译环节、非接触式加热环节、温度分布采集环节、目标识别跟踪环节和无特征化复原环节;其中,
温度分布编译环节,通过加热锚点分布对特定温度分布进行映射编译;其中,根据待跟踪目标的热传递特性和跟踪识别的需求,设置对应的温度分布编译模式;
非接触式加热环节:调节加热源对无特征目标表面的加热锚点进行非接触式加热,得到温度锚点;按照加热锚点分布进行非接触式加热,得到温度锚点分布;
温度分布采集环节:采集跟踪区域内的红外图像,并进行图像处理得到温度图像;通过对温度图像进行处理,获取图像中存在的各温度锚点并标注像素位置;
目标识别跟踪环节:获取各温度锚点和对应的像素位置,并通过温度锚点分布匹配进行目标识别,若匹配成功则识别到待跟踪目标并进行目标跟踪;其中,目标跟踪包括:目标位置跟踪和目标状态跟踪。
需要说明的是:现有针对无特征目标的跟踪方法常常需要对待跟踪目标进行接触式标记,通过标记点/标记图案进行目标跟踪,在跟踪完成后再擦除恢复无特征化;该方法具备标记时间长、识别算法简单的优点。在特种装备制造领域,待跟踪目标往往因其材料特性/表面涂层等,使其具备高强度/高耐热性/高透光性;但是,通过接触式标记则会出现材料毒性接触、材料特性破坏等情况,并且在擦除恢复时还会出现破坏涂层的情况,无法使用接触式标记方法进行跟踪。
为了解决接触式标记的不足之处,本实施例提出通过对无特征目标的表面进行非接触式加热,赋予特定温度分布;通过特定温度分布对其进行跟踪识别,该方法无需接触,因此不存在物质之间的交换/反应;此外,由于无特征目标表面的特定温度分布会随时间消散,因此无需进行特征擦除,只需在跟踪结束以后对其进行静置便能实现无特征化复原。整个过程无任何其他物质引入、且能实现远程标记的效果,适用于特种装备制造时无法实施接触式标记的场景。
作为更进一步的解决方案,温度分布编译模式包括:点阵式、三点式和混合式;
当温度分布编译模式为点阵式时:无特征目标的表面设置M*M个加热锚点组成锚点点阵;各加热锚点之间呈均匀分布,并保持边界间隔;边界间隔为各加热锚点之间的等温边界;其中,M为大于1的整数。
需要说明的是:锚点点阵如图3左所示,锚点点阵可以在无特征目标的表面形成网格分布,通过网格分布便能确定跟踪目标表面的形变状态,网格分布如图5所示,因此,在一些需要跟踪形变状态的场景,如:特种膜材料,便能使用点阵式进行温度分布编译。
当温度分布编译模式为三点式时:在无特征目标的表面建立平面坐标,并通过各加热锚点之间的相对距离和相对大小对平面坐标进行表示;其中,各加热锚点之间保持边界间隔,边界间隔最小值为各加热锚点之间的绝热边界。
需要说明的是:三点式主要是通过平面坐标对目标的姿态状态进行表示,在一个具体的实施例中:如图3右所示,设置两个普通加热锚点和一个最大加热锚点,最大加热锚点与距离最近的普通加热锚点之间的连线为X坐标轴,被连线的普通加热锚点为坐标原点,原点与最大加热锚点的方向为X坐标轴正方向;另一普通加热锚点与原点之间的连线为Y坐标轴,原点与另一普通加热锚点的方向为Y坐标轴正方向;最大为加热锚点所占面积最大;各加热锚点的大小根据待跟踪目标的实际尺寸进行设置。
当温度分布编译模式为混合式时:在无特征目标的表面同时存在锚点点阵和平面坐标。
作为更进一步的解决方案,加热锚点之间的边界间隔需要随热源温度、热源半径和温度分布编译模式进行调整,各加热锚点通过如下步骤确定边界间隔:热传导方程建立、锚点热分布求解和边界值对应求解;
热传导方程建立:通过有限差分法计算待跟踪目标的热量分布情况,在待跟踪目标的表面划定二维标定区域L x L y 并等量分割为N x ×N y 个单元;令T i,j 表示第i行第j列单元的温度,则热传导方程表示为:
(T i,j - T i-1,j )/Δy + (T i,j - T i,j-1 )/Δx + (T i+1,j - T i,j )/Δy + (T i,j+1 - T i,j )/Δ x = k(∂T i,j /∂t)/(ρC)
其中,ΔxΔy分别表示单元的长度和宽度;ρ待跟踪目标的材料密度;C待跟踪目标的比热容,k为待跟踪目标材料的热传导系数;T i-1,j 表示第i-1行第j列单元的温度,同理T i,j-1,n 、T i+1,j,n 、T i,j+1,n 表示对应行列单元的温度;t表示加热时间;
通过热传导方程变换,得到温度传递关系T i,j,n+1
T i,j,n+1 =T i,j,n +Δt/(ρC ) * k * [(T i-1,j,n + T i,j-1,n + T i+1,j,n + T i,j+1,n - 4T i,j,n )/ (Δx 2 +Δy 2 )]
其中,n表示上一时间步数,n+1表示当前时间步数;Δt表示时间步长,T i,j,n+1 表示当前时刻第i行第j列单元的温度,同理T i,j,n 、T i-1,j,n 、T i,j-1,n 、T i+1,j,n 、T i,j+1,n 表示上一时刻对应行列单元的温度。
需要说明的是:前时间步每个单元的温度通过相邻单元的温度和热传导系数计算,根据热传导方程,热量的变化率与温度的变化率成正比,比例系数为k/ρC(∂T i,j /∂t)表示第i行第j列单元温度随时间的变化率,即T i,j 对时间的偏导数。因此,k/ρC * (∂T i,j /∂t)表示该单元的热量变化率,即单位时间内该单元吸收或释放的热量。在数值模拟中,根据该式子可以通过上一时刻的温度和相邻单元的温度计算出当前时刻每个单元的温度变化情况;中心点则可通过加热源进行确定。
作为更进一步的解决方案,锚点热分布求解:输入加热锚点的热源温度、热源半径和求解边界,并带入温度传递关系,得到锚点热分布;其中,热源半径内的单元温度为热源温度,通过有限差分法计算热源半径到求解边界之间的热量分布情况;求解边界为:
D m =3[kt1/(ρC)] 1/2
其中,k为待跟踪目标材料的热传导系数;t1为等效加热时间;ρ待跟踪目标的材料密度;C待跟踪目标的比热容。
需要说明的是:根据中国激光Appraximation and the Thermal DiffusionVelocity in Laser Heat Treatment表明,在热源存在时间内定义热扩散长度为D m ,才能准确的描述热传导的物理过程;该数值可以用来减少温度传递关系的求解范围。
作为更进一步的解决方案,边界值对应求解:根据温度分布编译模式,求解对应的等温边界或绝热边界;
等温边界:确定环境温度T h ,求取T i,j =T h 成立的行列(i 0, j 0 ),得到等温边界点;对求解边界内各单元温度进行遍历,得到等温边界。
需要说明的是:等温边界,即单元温度和环境温度T h 相等时的边界,该边界可以视为锚点点阵之间还存在换热,但边界与外界温度趋近,因此可以维系锚点点阵中各锚点温度均匀且整体持续时间趋近,因此,当温度分布编译模式为点阵式时,边界间隔为各加热锚点之间的等温边界。
绝热边界:求取各温度行增量ΔT i+1,j 和温度列增量ΔT i,j+1 ;并分别与绝热增量阈值进行判断;若不超过绝热增量阈值,则输出当前行列(i 1, j 1 ),得到绝热边界点;对求解边界内各单元温度进行遍历,得到绝热边界;
ΔT i+1,j =T i+1,j -T i,j
ΔT i,j+1 =T i,j+1 -T i,j
其中,ΔT i+1,j 为温度行增量;ΔT i,j+1 温度列增量;T i+1,j T i,j+1 T i,j 求解分别为当前行列对应的单元温度。
需要说明的是:绝热边界,即各锚点之间不存在换热,可以视为相互独立的锚点,锚点温度的高低、锚点半径的大小不会对其他锚点产生影响,当温度分布编译模式为三点式时,由于需要各加热锚点之间的相对距离和相对大小对平面坐标进行表示,因此,边界间隔最小值为各加热锚点之间的绝热边界,以保证各锚点之间保持其特性,互不干扰。
作为更进一步的解决方案,非接触式加热环节包括:热源温度设置、热源半径设置、加热设备执行、加热功率反馈和加热停止分析;其中,
热源温度设置:根据材料耐热温度进行设置,并在热源半径内呈均匀分布;
热源半径设置:随场景变化的动态调整量,热源半径满足能被区分识别;
加热设备执行:根据温度分布编译模式,选择对应的加热设备并执行加热任务;
加热功率反馈:通过上一帧的温度图像对当前帧加热设备进行反馈调节;
加热停止分析:温度传递关系T i,j,n+1 达到稳态时停止。
需要说明的是:如图2右所示,通过温度传递关系进行仿真得到的温度仿真分布图;如图2左所示,则是真实采集得到的温度分布图,可以看到两者在除在形状方面存在差异(镜头抖动、加热不均等原因),在分布梯图上则呈现相似的规律;加热设备则可以选用激光发生器或者光照加热器进行设置。
作为更进一步的解决方案,温度分布采集环节包括:红外图像采集、温度图像转换和温度锚点识别;
红外图像采集:选定图像采集区域,并对区域内进行红外图像采集,得到红外图像;持续进行红外图像采集,得到红外图像帧集;
温度图像转换:对红外图像进行灰度帧级校准,得到灰度均匀图像;并通过黑体校准数据,将灰度均匀图像中的每个像素的灰度级转换为相应的温度值,得到温度图像;完成对红外图像帧集中各图形的转换,得到温度图像帧集;
温度锚点识别:对温度图像帧集进行图像预处理,并通过对温度图像进行边缘检测并获取所有轮廓;遍历所有轮廓获取各温度锚点并标注像素位置。
需要说明的是:将红外图像转化为温度图像的过程通常被称为热成像处理,其步骤如下:
收集红外图像数据:红外图像通常由红外热像仪收集,这些仪器测量并记录场景中不同点的红外辐射强度;
校准热成像相机:在进行温度测量之前,需要校准热成像相机以确保准确地测量温度。这涉及使用已知温度的标准物体进行校准,以确定红外图像中每个像素的响应与温度之间的关系;
进行热成像处理:将收集到的红外图像转化为温度图像,通常使用以下公式:
T = (V * R + B) / F;
其中,T是该像素的温度(单位:摄氏度),V是该像素的电压,R是放大器的增益,B是黑体的补偿,F是预设的红外辐射强度系数;该公式是基于斯特藩-玻尔兹曼定律进行的,该定律描述了黑体辐射的强度与其温度之间的关系。
作为更进一步的解决方案,目标识别跟踪环节:温度锚点关联、温度分布识别、目标识别验证、目标位置跟踪和目标状态跟踪;
温度锚点关联:通过匹配算子对温度锚点进行关联匹配,并输出匹配概率最大的温度锚点关联组;
温度分布识别:获取温度锚点关联组,通过摄角、像素位置确定温度锚点位置,得到温度锚点分布;对温度图像帧集中各温度图像进行温度分布识别,得到温度锚点分布帧集;
目标识别验证:获取温度锚点分布帧集,并判断温度锚点分布在各帧中是否为线性连续;若是,则目标识别验证通过,并建立跟踪目标;
目标位置跟踪:通过目标位置跟踪算子,完成对跟踪目标的坐标位置识别,并记录得到各帧中跟踪目标的位置;
目标状态跟踪:通过温度锚点分布和标准分布进行对比,完成对跟踪目标的状态识别,并记录各帧中跟踪目标的状态。
作为更进一步的解决方案,在进行目标状态跟踪时:
若温度分布编译模式为点阵式,则通过锚点点阵提取跟踪目标表面网格分布,并与标准网格分布进行对比,确定跟踪目标表面的形变状态;
若温度分布编译模式为三点式,则通过各加热锚点之间的相对距离和相对大小提取跟踪目标表面平面坐标,并与标准平面坐标进行对比,确定跟踪目标表面的姿态状态;
若温度分布编译模式为混合式,则分别通过锚点点阵确定形变状态,通过平面坐标确定姿态状态。
一种无特征目标的跟踪系统,包括若干跟踪节点;各跟踪节点包括:光束发射机、红外摄像机和中央处理器;其中,
光束发射机:加热源,用于对待跟踪目标进行非接触式加热;
红外摄像机:图像源,用于采集图像采集区域内的红外图像;
中央处理器:控制源,执行如上任一项所述的一种无特征目标的跟踪方法。
需要说明的是:如图4所示,在一个具体的实施例中,该系统通过规则统一的温度分布编译,在跟踪方和标记方处于信息隔离的状态下,依旧能根据温度锚点分别识别目标并获取姿态状态,具备很好的实用价值。
该系统适用于需要进行短时跟踪的场景,如:不良品的标记剔除、目标的短程转运、产品的产线切换、正反向性的标记等;在需要进行长时跟踪的场景,如:目标的长程转运,则需要在热量流失超过阈值时重新执行非接触式加热环节,以便延长热量维持时间满足长时跟踪场景的需求;在此进行非接触式加热时只需延续上一次的加热锚点进行加热即可,亦或者加热源在整个跟踪过程中一直伴随待跟踪目标进行持续加热,维持温度锚点的分布。
以上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种无特征目标的跟踪方法,其特征在于,在进行跟踪前:通过对无特征目标的表面进行非接触式加热,赋予特定温度分布,完成对无特征目标的特征化;在进行跟踪时:通过对特定温度分布进行识别,发现待跟踪目标;通过对特定温度分布进行分析,完成待跟踪目标的跟踪识别;在结束跟踪时:无特征目标表面的特定温度分布随时间消散,完成无特征化复原;具体的跟踪环节包括:温度分布编译环节、非接触式加热环节、温度分布采集环节、目标识别跟踪环节和无特征化复原环节;其中,
温度分布编译环节,通过加热锚点分布对特定温度分布进行映射编译;其中,根据待跟踪目标的热传递特性和跟踪识别的需求,设置对应的温度分布编译模式;
非接触式加热环节:调节加热源对无特征目标表面的加热锚点进行非接触式加热,得到温度锚点;按照加热锚点分布进行非接触式加热,得到温度锚点分布;
温度分布采集环节:采集跟踪区域内的红外图像,并进行图像处理得到温度图像;通过对温度图像进行处理,获取图像中存在的各温度锚点并标注像素位置;
目标识别跟踪环节:获取各温度锚点和对应的像素位置,并通过温度锚点分布匹配进行目标识别,若匹配成功则识别到待跟踪目标并进行目标跟踪;其中,目标跟踪包括:目标位置跟踪和目标状态跟踪。
2.根据权利要求1所述的一种无特征目标的跟踪方法,其特征在于,温度分布编译模式包括:点阵式、三点式和混合式;
当温度分布编译模式为点阵式时:无特征目标的表面设置M*M个加热锚点组成锚点点阵;各加热锚点之间呈均匀分布,并保持边界间隔;边界间隔为各加热锚点之间的等温边界;其中,M为大于1的整数;
当温度分布编译模式为三点式时:在无特征目标的表面建立平面坐标,并通过各加热锚点之间的相对距离和相对大小对平面坐标进行表示;其中,各加热锚点之间保持边界间隔,边界间隔最小值为各加热锚点之间的绝热边界;
当温度分布编译模式为混合式时:在无特征目标的表面同时存在锚点点阵和平面坐标。
3.根据权利要求2所述的一种无特征目标的跟踪方法,其特征在于,各加热锚点通过如下步骤确定边界间隔:热传导方程建立、锚点热分布求解和边界值对应求解;
热传导方程建立:通过有限差分法计算待跟踪目标的热量分布情况,在待跟踪目标的表面划定二维标定区域L x L y 并等量分割为N x ×N y 个单元;令T i,j 表示第i行第j列单元的温度,则热传导方程表示为:
(T i,j - T i-1,j )/Δy + (T i,j - T i,j-1 )/Δx + (T i+1,j - T i,j )/Δy + (T i,j+1 - T i,j )/Δx = k(∂T i,j /∂t)/(ρC)
其中,ΔxΔy分别表示单元的长度和宽度;ρ待跟踪目标的材料密度;C待跟踪目标的比热容,k为待跟踪目标材料的热传导系数;T i-1,j 表示第i-1行第j列单元的温度,同理T i,j-1,n 、T i+1,j,n 、T i,j+1,n 表示对应行列单元的温度;t表示加热时间;
通过热传导方程变换,得到温度传递关系T i,j,n+1
T i,j,n+1 =T i,j,n + Δt/(ρC ) * k * [(T i-1,j,n + T i,j-1,n + T i+1,j,n + T i,j+1,n - 4T i,j,n )/ (Δx 2 + Δy 2 )]
其中,n表示上一时间步数,n+1表示当前时间步数;Δt表示时间步长,T i,j,n+1 表示当前时刻第i行第j列单元的温度,同理T i,j,n 、T i-1,j,n 、T i,j-1,n 、T i+1,j,n 、T i,j+1,n 表示上一时刻对应行列单元的温度。
4.根据权利要求3所述的一种无特征目标的跟踪方法,其特征在于,锚点热分布求解:输入加热锚点的热源温度、热源半径和求解边界,并带入温度传递关系,得到锚点热分布;其中,热源半径内的单元温度为热源温度,通过有限差分法计算热源半径到求解边界之间的热量分布情况;求解边界为:
D m =3[kt1/(ρC)] 1/2
其中,k为待跟踪目标材料的热传导系数;t1为等效加热时间;ρ待跟踪目标的材料密度;C待跟踪目标的比热容。
5.根据权利要求3所述的一种无特征目标的跟踪方法,其特征在于,边界值对应求解:根据温度分布编译模式,求解对应的等温边界或绝热边界;
等温边界:确定环境温度T h ,求取T i,j =T h 成立的行列(i 0, j 0 ),得到等温边界点;对求解边界内各单元温度进行遍历,得到等温边界;
绝热边界:求取各温度行增量ΔT i+1,j 和温度列增量ΔT i,j+1 ;并分别与绝热增量阈值进行判断;若不超过绝热增量阈值,则输出当前行列(i 1, j 1 ),得到绝热边界点;对求解边界内各单元温度进行遍历,得到绝热边界;
ΔT i+1,j =T i+1,j -T i,j
ΔT i,j+1 =T i,j+1 -T i,j
其中,ΔT i+1,j 为温度行增量;ΔT i,j+1 温度列增量;T i+1,j T i,j+1 T i,j 求解分别为当前行列对应的单元温度。
6.权利要求3所述的一种无特征目标的跟踪方法,其特征在于,非接触式加热环节包括:热源温度设置、热源半径设置、加热设备执行、加热功率反馈和加热停止分析;其中,
热源温度设置:根据材料耐热温度进行设置,并在热源半径内呈均匀分布;
热源半径设置:随场景变化的动态调整量,热源半径满足能被区分识别;
加热设备执行:根据温度分布编译模式,选择对应的加热设备并执行加热任务;
加热功率反馈:通过上一帧的温度图像对当前帧加热设备进行反馈调节;
加热停止分析:温度传递关系T i,j,n+1 达到稳态时停止。
7.根据权利要求1所述的一种无特征目标的跟踪方法,其特征在于,温度分布采集环节包括:红外图像采集、温度图像转换和温度锚点识别;
红外图像采集:选定图像采集区域,并对区域内进行红外图像采集,得到红外图像;持续进行红外图像采集,得到红外图像帧集;
温度图像转换:对红外图像进行灰度帧级校准,得到灰度均匀图像;并通过黑体校准数据,将灰度均匀图像中的每个像素的灰度级转换为相应的温度值,得到温度图像;完成对红外图像帧集中各图形的转换,得到温度图像帧集;
温度锚点识别:对温度图像帧集进行图像预处理,并通过对温度图像进行边缘检测并获取所有轮廓;遍历所有轮廓获取各温度锚点并标注像素位置。
8.根据权利要求7所述的一种无特征目标的跟踪方法,其特征在于,目标识别跟踪环节:
温度锚点关联、温度分布识别、目标识别验证、目标位置跟踪和目标状态跟踪;
温度锚点关联:通过匹配算子对温度锚点进行关联匹配,并输出匹配概率最大的温度锚点关联组;
温度分布识别:获取温度锚点关联组,通过摄角、像素位置确定温度锚点位置,得到温度锚点分布;对温度图像帧集中各温度图像进行温度分布识别,得到温度锚点分布帧集;
目标识别验证:获取温度锚点分布帧集,并判断温度锚点分布在各帧中是否为线性连续;若是,则目标识别验证通过,并建立跟踪目标;
目标位置跟踪:通过目标位置跟踪算子,完成对跟踪目标的坐标位置识别,并记录得到各帧中跟踪目标的位置;
目标状态跟踪:通过温度锚点分布和标准分布进行对比,完成对跟踪目标的状态识别,并记录各帧中跟踪目标的状态。
9.根据权利要求8所述的一种无特征目标的跟踪方法,其特征在于,在进行目标状态跟踪时:
若温度分布编译模式为点阵式,则通过锚点点阵提取跟踪目标表面网格分布,并与标准网格分布进行对比,确定跟踪目标表面的形变状态;
若温度分布编译模式为三点式,则通过各加热锚点之间的相对距离和相对大小提取跟踪目标表面平面坐标,并与标准平面坐标进行对比,确定跟踪目标表面的姿态状态;
若温度分布编译模式为混合式,则分别通过锚点点阵确定形变状态,通过平面坐标确定姿态状态。
10.一种无特征目标的跟踪系统,其特征在于,包括若干跟踪节点;各跟踪节点包括:光束发射机、红外摄像机和中央处理器;其中,
光束发射机:加热源,用于对待跟踪目标进行非接触式加热;
红外摄像机:图像源,用于采集图像采集区域内的红外图像;
中央处理器:控制源,执行如权利要求1至权利要求9任一项所述的一种无特征目标的跟踪方法。
CN202311001700.8A 2023-08-10 2023-08-10 一种无特征目标的跟踪系统及其方法 Active CN116721134B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311001700.8A CN116721134B (zh) 2023-08-10 2023-08-10 一种无特征目标的跟踪系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311001700.8A CN116721134B (zh) 2023-08-10 2023-08-10 一种无特征目标的跟踪系统及其方法

Publications (2)

Publication Number Publication Date
CN116721134A CN116721134A (zh) 2023-09-08
CN116721134B true CN116721134B (zh) 2023-10-10

Family

ID=87872026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311001700.8A Active CN116721134B (zh) 2023-08-10 2023-08-10 一种无特征目标的跟踪系统及其方法

Country Status (1)

Country Link
CN (1) CN116721134B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5691921A (en) * 1996-01-05 1997-11-25 Xerox Corporation Thermal sensors arrays useful for motion tracking by thermal gradient detection
US6018163A (en) * 1998-04-03 2000-01-25 Raytheon Co Lab devices to simulate infrared scenes with hot point targets against given temperature backgrounds
CN108836342A (zh) * 2018-04-19 2018-11-20 北京理工大学 一种基于惯性传感器的无特征人体运动识别方法
WO2019163212A1 (ja) * 2018-02-22 2019-08-29 コニカミノルタ株式会社 監視システムおよび監視システムの制御方法
US10659751B1 (en) * 2018-12-14 2020-05-19 Lyft Inc. Multichannel, multi-polarization imaging for improved perception
CN111896521A (zh) * 2020-08-06 2020-11-06 中国电子科技集团公司第四十六研究所 一种过渡金属硫化物大面积连续薄膜覆盖率的检测方法
CN112965382A (zh) * 2021-02-08 2021-06-15 南京工业大学 一种基于神经网络观测器非线性全局滑模无模型控制方法
CN113723189A (zh) * 2021-07-28 2021-11-30 广西大学 一种基于单阶红外图像目标检测的电力设备故障智能诊断方法
CN113902663A (zh) * 2021-10-11 2022-01-07 西北工业大学 一种自动适应天气的空中小目标动态红外仿真方法及装置
CN114817968A (zh) * 2022-06-29 2022-07-29 深圳红途科技有限公司 无特征数据的路径追溯方法、装置、设备及存储介质
CN115082509A (zh) * 2022-08-22 2022-09-20 成都大公博创信息技术有限公司 一种对无特征目标的追踪方法
CN115690577A (zh) * 2022-10-19 2023-02-03 南通大学 一种用于动植物识别的无人机及其工作方法
CN116109668A (zh) * 2021-11-11 2023-05-12 中国科学院微电子研究所 一种点云目标跟踪识别方法及激光雷达
CN116400292A (zh) * 2023-06-07 2023-07-07 武汉能钠智能装备技术股份有限公司四川省成都市分公司 一种机动平台及目标测向方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5612774B2 (ja) * 2011-09-30 2014-10-22 富士フイルム株式会社 追尾枠の初期位置設定装置およびその動作制御方法
EP3218736B1 (en) * 2014-11-10 2023-06-07 Valve Corporation Positional tracking systems and methods
US9996772B2 (en) * 2016-04-28 2018-06-12 International Business Machines Corporation Detection of objects in images using region-based convolutional neural networks

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5691921A (en) * 1996-01-05 1997-11-25 Xerox Corporation Thermal sensors arrays useful for motion tracking by thermal gradient detection
US6018163A (en) * 1998-04-03 2000-01-25 Raytheon Co Lab devices to simulate infrared scenes with hot point targets against given temperature backgrounds
WO2019163212A1 (ja) * 2018-02-22 2019-08-29 コニカミノルタ株式会社 監視システムおよび監視システムの制御方法
CN108836342A (zh) * 2018-04-19 2018-11-20 北京理工大学 一种基于惯性传感器的无特征人体运动识别方法
US10659751B1 (en) * 2018-12-14 2020-05-19 Lyft Inc. Multichannel, multi-polarization imaging for improved perception
CN111896521A (zh) * 2020-08-06 2020-11-06 中国电子科技集团公司第四十六研究所 一种过渡金属硫化物大面积连续薄膜覆盖率的检测方法
CN112965382A (zh) * 2021-02-08 2021-06-15 南京工业大学 一种基于神经网络观测器非线性全局滑模无模型控制方法
CN113723189A (zh) * 2021-07-28 2021-11-30 广西大学 一种基于单阶红外图像目标检测的电力设备故障智能诊断方法
CN113902663A (zh) * 2021-10-11 2022-01-07 西北工业大学 一种自动适应天气的空中小目标动态红外仿真方法及装置
CN116109668A (zh) * 2021-11-11 2023-05-12 中国科学院微电子研究所 一种点云目标跟踪识别方法及激光雷达
CN114817968A (zh) * 2022-06-29 2022-07-29 深圳红途科技有限公司 无特征数据的路径追溯方法、装置、设备及存储介质
CN115082509A (zh) * 2022-08-22 2022-09-20 成都大公博创信息技术有限公司 一种对无特征目标的追踪方法
CN115690577A (zh) * 2022-10-19 2023-02-03 南通大学 一种用于动植物识别的无人机及其工作方法
CN116400292A (zh) * 2023-06-07 2023-07-07 武汉能钠智能装备技术股份有限公司四川省成都市分公司 一种机动平台及目标测向方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Fang Wang等.Sequentially Coupled Simulation of Multiphysical Fields During Twin-Electrode Electroslag Remelting Process.Metallurgical and Materials Transactions B .2020,2285-2297. *
Mohammad Zohaib等.A featureless approach for object detection and tracking in dynamic environments.PLOS ONE.2023,第18卷(第1期),1-20. *
Te Li等.Temperature distribution characteristics and heat defect judgment method based on temperature gradient of suspended composite insulator in operation.IET Generation, Transmission & Distribution.2021,第15卷(第18期), 2554-2566. *
Wang G 等.UAV-YOLOv8: A Small-Object-Detection Model Based on Improved YOLOv8 for UAV Aerial Photography Scenarios.Sensors.2023,第23卷(第16期),1-9. *
陶霖密 等.无表观特征小目标检测与跟踪.中国图象图形学报.2012,第17卷(第03期),357-364. *
魏元.针对空中小目标的红外与毫米波复合检测技术研究.中国博士学位论文全文数据库 (工程科技Ⅱ辑).2022,(第(2022)01期),C032-46. *

Also Published As

Publication number Publication date
CN116721134A (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
KR102578769B1 (ko) 단열재 하부부식(cui)을 식별하기 위해 신경망을 이용한 서모그래피 이미지 처리
Deng et al. A novel camera calibration technique based on differential evolution particle swarm optimization algorithm
Tanaka et al. Investigation of far infrared radiation heating as an alternative technique for surface decontamination of strawberry
Song et al. High temperature strain measurement method by combining digital image correlation of laser speckle and improved RANSAC smoothing algorithm
CN109724703A (zh) 基于模式识别的复杂场景下的温度矫正方法
JPH10253322A (ja) 空間内で物体を位置指定する方法および装置
CN106165079B (zh) 处理系统及校准、验证工件工艺及在高温处理工件的方法
CN106441808A (zh) 一种热红外高光谱成像仪盲元检测装置和方法
de França et al. Revisiting Zhang's 1D calibration algorithm
CN111242912A (zh) 一种烟幕干扰效能获取方法
CN117516721A (zh) 不规则细长物体的瞄准跟踪红外温度测量方法及装置
CN116721134B (zh) 一种无特征目标的跟踪系统及其方法
CN109932059B (zh) 一种基于贝叶斯推断的红外热成像温度高精度标定方法
CN114104655B (zh) 链条线跟随方法及装置
WO2020228224A1 (zh) 一种人脸部位测距方法、装置及车载终端
Jia et al. 3D temperature distribution model based on thermal infrared image
Gao et al. Height-variable monocular vision ranging technology for smart agriculture
Hong et al. Line‐laser‐based visual measurement for pavement 3D rut depth in driving state
CN102620655B (zh) 一种测量光斑大小的方法
Roshan et al. A geometric calibration method for thermal cameras using a ChArUco board
CN116878669A (zh) 基于短波红外测温的温度补偿方法、火情监测方法及系统
CN116297492A (zh) 一种装备红外特性评估中涂层缺陷定位及等效方法和系统
CN110111277B (zh) 一种平面热像图修补方法及装置
CN108733913A (zh) 一种基于dwpso算法的眼科oct设备横向分辨率检测方法
WO2024060285A1 (zh) 一种基于红外测温的高炉软十字测温方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant