CN117830301A - 基于红外可见光融合特征的捞渣区域检测方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及基于红外可见光融合特征的捞渣区域检测方法，包括：采集捞渣灰度图像以及捞渣红外图像；根据捞渣红外图像与捞渣灰度图像构建红外捞渣关键点树以及捞渣关键点树，进而得到路径节点序列对；根据路径节点序列对得到关联度；根据路径节点序列对以及关联度，得到匹配度；根据捞渣红外图像与不同捞渣池化灰度图像之间不同关键点的匹配度，对多张捞渣池化灰度图像进行匹配筛选，得到每张捞渣红外图像的匹配池化灰度图像；根据捞渣红外图像与匹配池化灰度图像进行匹配检测得到捞渣区域。本发明提高了位置匹配的准确性，提高了捞渣区域的检测效率。

Description

基于红外可见光融合特征的捞渣区域检测方法

技术领域

本发明涉及图像处理技术领域，具体涉及基于红外可见光融合特征的捞渣区域检测方法。

背景技术

现有技术通常结合红外可见光技术对捞渣区域进行检测，以实现较高的检测效率。现有方法通常会使用SIFT（Scale Invariant Feature Transform）算法对采集的可见光图像与采集的红外图像进行位置匹配，以确定捞渣区域；但由于捞渣区域的温度较高，会对其他区域的红外线特征表示产生较大干扰影响，使采集的红外图像中的红外线特征存在较大误差，导致传统的SIFT算法对采集的可见光图像与采集的红外图像进行位置匹配的准确性较低，降低了捞渣区域的检测效率。

发明内容

本发明提供基于红外可见光融合特征的捞渣区域检测方法，以解决现有的问题：捞渣区域的温度较高，会对其他区域的红外线特征表示产生较大干扰影响，使采集的红外图像中的红外线特征存在较大误差，导致传统的SIFT算法对采集的可见光图像与采集的红外图像进行位置匹配的准确性较低，降低了捞渣区域的检测效率。

本发明的基于红外可见光融合特征的捞渣区域检测方法采用如下技术方案：

包括以下步骤：

采集若干捞渣的捞渣灰度图像以及捞渣红外图像；

对捞渣灰度图像进行池化处理得到若干捞渣池化灰度图像；对捞渣红外图像与捞渣池化灰度图像进行SIFT匹配得到若干关键点以及每个关键点的描述子；根据捞渣红外图像中关键点之间分布方向的差异情况，构建每张捞渣红外图像的红外捞渣关键点树，所述红外捞渣关键点树包含多个节点，每个节点包含一个关键点；根据捞渣池化灰度图像中关键点之间分布距离的差异情况，构建每张捞渣池化灰度图像的捞渣关键点树，所述捞渣关键点树包含多个节点，每个节点包含一个关键点；

根据红外捞渣关键点树与捞渣关键点树中不同节点之间所经路径的差异情况，得到若干路径节点序列对；根据路径节点序列对中所含不同关键点之间描述子的相似情况以及整体序列之间的相似情况，得到每个路径节点序列对的关联度；根据路径节点序列对中所含不同关键点之间描述子的相似情况以及关联度，得到每张捞渣红外图像中每个关键点与每张捞渣池化灰度图像中每个关键点的匹配度；根据捞渣红外图像与不同捞渣池化灰度图像之间不同关键点的匹配度，对多张捞渣池化灰度图像进行匹配筛选，得到每张捞渣红外图像的匹配池化灰度图像；

根据捞渣红外图像与匹配池化灰度图像进行匹配检测得到捞渣区域。

优选的，所述对捞渣灰度图像进行池化处理得到若干捞渣池化灰度图像，包括的具体方法为：

将任意一张捞渣灰度图像记为目标捞渣灰度图像，预设一个窗口边长以及一个累加次数/>，将/>作为起点，步长为1，依次累加窗口边长，共累加/>次，获取每次累加的窗口边长；

将任意一次累加的窗口边长记为累计窗口边长，将/>作为池化窗口大小，根据池化窗口大小对目标捞渣灰度图像进行均值池化处理，得到处理后的目标捞渣灰度图像，并将处理后的目标捞渣灰度图像记为捞渣池化灰度图像。

优选的，所述根据捞渣红外图像中关键点之间分布方向的差异情况，构建每张捞渣红外图像的红外捞渣关键点树，包括的具体方法为：

对于任意一张捞渣灰度图像对应的捞渣红外图像的任意一张捞渣池化灰度图像；

在捞渣红外图像内所有关键点中，将与捞渣红外图像内中心点之间欧式距离最小的关键点记为红外核心关键点；将除红外核心关键点以外的关键点记为红外关键点，将每个红外关键点与红外核心关键点所构线段的斜率记为红外捞渣中心斜率，将所有红外关键点按照红外捞渣中心斜率从小到大的顺序进行排列，将排列后的序列记为红外关键点中心斜率序列；将红外关键点中心斜率序列中每个红外关键点视为灰度值，将每个红外关键点的红外捞渣中心斜率视为每个灰度值的出现频率，根据灰度值以及灰度值的出现频率通过多阈值OTSU算法得到若干阈值，并将每个阈值记为红外斜率阈值；

对于任意两个相邻的红外斜率阈值，将红外捞渣中心斜率在这两个红外斜率阈值构成区间内的所有红外关键点构成的数据段记为红外关键点段；在红外关键点段中，将第一个红外关键点的红外捞渣中心斜率与最后一个红外关键点的红外捞渣中心斜率的均值记为分割线斜率；以红外核心关键点为射线起点，作斜率为分割线斜率的射线，并将射线记为分割线，获取所有分割线；对捞渣红外图像按照所有分割线进行分割，得到捞渣红外图像的若干分割区域；

将红外核心关键点作为树结构的根节点，将第一个红外关键点段中每个关键点均作为深度为2的一个节点；将深度为2的任意一个节点记为目标节点，将第二个红外关键点段中与该目标节点属于同一个分割区域的每个关键点均作为目标节点的子节点，获取深度为2的每个节点的若干子节点；将深度为3的任意一个节点记为第一目标节点，将第三个红外关键点段中与第一目标节点属于同一个分割区域的每个关键点均作为第一目标节点的子节点，获取深度为3的每个节点的若干子节点；以此类推，直至将所有红外关键点段中的关键点放入树结构为止，将最终获取的树结构记为捞渣红外图像的红外捞渣关键点树。

优选的，所述根据捞渣池化灰度图像中关键点之间分布距离的差异情况，构建每张捞渣池化灰度图像的捞渣关键点树，包括的具体方法为：

在任意一张捞渣池化图像内所有关键点中，将每个关键点与捞渣池化灰度图像内中心点之间的欧式距离记为捞渣中心相距值；将所有关键点按照捞渣中心相距值从小到大的顺序进行排列，将排列后的序列记为关键点距离序列；将关键点中心距离序列中第一个关键点记为捞渣池化灰度图像的核心关键点，将除核心关键点以外所有关键点构成的序列记为关键点中心距离序列；将关键点中心距离序列中每个关键点视为灰度值，将每个关键点的捞渣中心相距值视为每个灰度值的出现频率，根据灰度值以及灰度值的出现频率通过多阈值OTSU算法得到若干阈值；对于任意两个相邻的阈值，将捞渣中心相距值在这两个阈值构成区间内的所有关键点构成的数据段记为捞渣关键点段；

对捞渣池化灰度图像按照所有分割线进行分割，得到捞渣池化灰度图像的若干分割区域；参考捞渣红外图像的红外捞渣关键点树的获取方法，将捞渣红外图像替换为捞渣池化灰度图像，将红外关键点段替换为捞渣关键点段，根据捞渣池化灰度图像的若干分割区域，得到捞渣池化灰度图像的红外捞渣关键点树，并将红外捞渣关键点树记为捞渣池化灰度图像的捞渣关键点树。

优选的，所述根据红外捞渣关键点树与捞渣关键点树中不同节点之间所经路径的差异情况，得到若干路径节点序列对，包括的具体方法为：

对于任意一张捞渣红外图像的红外捞渣关键点树中任意一个叶节点，将红外捞渣关键点树中的根节点到叶节点经过的所有节点构成的序列记为红外捞渣关键点树的一个红外路径节点序列，获取红外捞渣关键点树的所有红外路径节点序列；

对于捞渣红外图像对应的任意一张捞渣池化灰度图像的捞渣关键点树中任意一个叶节点，将捞渣关键点树中的根节点到叶节点经过的所有节点构成的序列记为捞渣关键点树的一个捞渣路径节点序列，获取捞渣关键点树的所有捞渣路径节点序列；

对于红外捞渣关键点树的任意一个红外路径节点序列以及捞渣关键点树的任意一个捞渣路径节点序列，将红外路径节点序列与捞渣路径节点序列均记为一个路径节点序列，将这两个路径节点序列整体记为路径节点序列对。

优选的，所述根据路径节点序列对中所含不同关键点之间描述子的相似情况以及整体序列之间的相似情况，得到每个路径节点序列对的关联度，包括的具体方法为：

根据路径节点序列对中所含不同关键点之间描述子的相似情况，得到每个路径节点序列对的局部描述子相似性；

对于任意一个路径节点序列对中任意一个路径节点序列，将路径节点序列内所有节点中关键点的描述子的模进行线性归一化，将归一化后的每个模记为捞渣关键点编码值，将所有捞渣关键点编码值构成的序列记为关键编码值序列；获取路径节点序列对中每个关键编码值序列；获取这两个关键编码值序列之间的DTW距离，并将DTW距离记为路径节点序列对的整体序列相似性；

将路径节点序列对的整体序列相似性的反比例归一化值与路径节点序列对的局部描述子相似性的乘积，记为路径节点序列对的关联度。

优选的，所述根据路径节点序列对中所含不同关键点之间描述子的相似情况，得到每个路径节点序列对的局部描述子相似性，包括的具体方法为：

对于任意一个路径节点序列对，在路径节点序列对中，若路径节点序列对中的两个路径节点序列包含的节点数量不一致，将包含节点数量最多的路径节点序列记为待抽取节点序列，将包含节点数量最少的路径节点序列记为对比节点序列；将对比节点序列中包含的节点数量记为待取样节点数量，将待抽取节点序列中随机选取/>个节点，将这/>个节点构成的序列记为随机取样节点序列，依次类推，直至将待抽取节点序列中所有节点至少随机选取一次后，停止随机选取，获取若干随机取样节点序列；

对于任意一个随机取样节点序列，将随机取样节点序列中所有节点内关键点的描述子构成的向量作为随机取样节点序列的取样向量；将对比节点序列中所有节点内关键点的描述子构成的向量作为对比节点序列的对比向量，将对比向量与取样向量的余弦相似度记为对比节点序列与随机取样节点序列的取样相似性，获取对比节点序列与每个随机取样节点序列的取样相似性，将对比节点序列与所有随机取样节点序列的取样相似性的最大值记为路径节点序列对的局部描述子相似性；

若路径节点序列对包含的节点数量一致，将每个路径节点序列内所有节点中关键点的描述子构成的向量记为每个路径节点序列的对照向量，将路径节点序列对的对照向量的余弦相似度记为路径节点序列对的局部描述子相似性。

优选的，所述根据路径节点序列对中所含不同关键点之间描述子的相似情况以及关联度，得到每张捞渣红外图像中每个关键点与每张捞渣池化灰度图像中每个关键点的匹配度，包括的具体方法为：

将任意一个路径节点序列对中的红外路径节点序列上任意一个节点内的关键点记为红外目标关键点，将路径节点序列对中的捞渣路径节点序列上任意一个节点内的关键点记为捞渣目标关键点，获取红外目标关键点的描述子与捞渣目标关键点的描述子之间的余弦相似度；

将红外目标关键点与捞渣目标关键点所属路径节点序列对的关联度与红外目标关键点的描述子与捞渣目标关键点的描述子之间的余弦相似度，得到红外目标关键点与捞渣目标关键点的匹配度。

优选的，所述根据捞渣红外图像与不同捞渣池化灰度图像之间不同关键点的匹配度，对多张捞渣池化灰度图像进行匹配筛选，得到每张捞渣红外图像的匹配池化灰度图像，包括的具体方法为：

将任意一张捞渣红外图像中每个关键点记为红外参考关键点，将捞渣红外图像的任意一张捞渣池化灰度图像中每个关键点记为捞渣参考关键点，将所有红外参考关键点构成的集合记为红外参考点集合，将所有捞渣参考关键点构成的集合记为捞渣参考点集合；将红外参考点集合与捞渣参考点集合构建二分图，将每个红外参考关键点与每个捞渣参考关键点的匹配度作为每个红外参考关键点与每个捞渣参考关键点的边；根据二分图以及每个红外参考关键点与每个捞渣参考关键点的边，通过KM算法得到最大权匹配；将最大权匹配中所有边的权重和记为捞渣红外图像与捞渣池化灰度图像的图像匹配度；获取捞渣红外图像与所有捞渣池化灰度图像的图像匹配度，将与捞渣红外图像的图像匹配度最大的捞渣池化灰度图像记为捞渣红外图像的匹配池化灰度图像。

优选的，所述根据捞渣红外图像与匹配池化灰度图像进行匹配检测得到捞渣区域，包括的具体方法为：

预设一个边数量，对于任意一张捞渣红外图像，将捞渣红外图像的匹配池化灰度图像与捞渣红外图像的最大权匹配中，所有边按照匹配度从大到小的顺序进行排序，将排序后的前/>个边记为最终保留匹配边；对于任意一个最终保留匹配边，将最终保留匹配边对应的红外参考关键点与捞渣参考关键点构成的数据点对记为匹配关键点对，获取所有关键点对；将所有关键点对输入仿射变换模型，将匹配池化灰度图像中的关键点映射到捞渣红外图像中，将映射后所形成的闭合区域记为捞渣区域。

本发明的技术方案的有益效果是：本发明通过对捞渣灰度图像与捞渣红外图像之间关键点分布规律的相似情况进行关联配对，对关键点进行匹配检测获取捞渣区域，提高了位置匹配的准确性，提高了捞渣区域的检测效率；其中通过捞渣红外图像中关键点之间分布方向的差异情况构建红外捞渣关键点树，用于反映捞渣红外图像中关键点的扩散方向情况；通过捞渣池化灰度图像中关键点之间分布距离的差异情况构建捞渣关键点树，用于反映捞渣池化灰度图像中关键点的分布规律情况；通过根据红外捞渣关键点树与捞渣关键点树中不同节点之间所经路径的差异情况得到路径节点序列对的关联度，用于反映路径节点序列对中节点能配到合适的关键点的程度；根据路径节点序列对中所含不同关键点之间描述子的相似情况以及关联度，得到路径节点序列对的匹配度，用于反映红外目标关键点与捞渣目标关键点属于同一个区域的可能性；根据捞渣红外图像与不同捞渣池化灰度图像之间不同关键点的匹配度，进而匹配检测得到捞渣区域，从而降低基于红外可见光融合特征对捞渣区域检测的误差，使获取的捞渣区域更加精准。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于红外可见光融合特征的捞渣区域检测方法的步骤流程图；

图2为本发明的分割区域示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于红外可见光融合特征的捞渣区域检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的基于红外可见光融合特征的捞渣区域检测方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的基于红外可见光融合特征的捞渣区域检测方法的步骤流程图，该方法包括以下步骤：

步骤S001：采集若干捞渣的捞渣灰度图像以及捞渣红外图像。

需要说明的是，现有方法通常会使用SIFT（Scale Invariant FeatureTransform）算法对采集的可见光图像与采集的红外图像进行位置匹配，以确定捞渣区域；但由于捞渣区域的温度较高，会对其他区域的红外线特征表示产生较大干扰影响，使采集的红外图像中的红外线特征存在较大误差，导致传统的SIFT算法对采集的可见光图像与采集的红外图像进行位置匹配的准确性较低，降低了捞渣区域的检测效率。

具体的，首先需要采集捞渣灰度图像以及捞渣红外图像，具体过程为：使用工业相机与红外相机分别拍摄50张捞渣图像以及捞渣红外图像，将每张捞渣图像进行灰度化处理得到若干张捞渣灰度图像。其中每张捞渣灰度图像对应一张捞渣红外图像；灰度化处理是公知技术，本实施例不再赘述。需要说明的是，本实施例不对捞渣图像以及捞渣红外图像的数量进行限定，其中捞渣图像以及捞渣红外图像的数量可根据具体实施情况而定。

至此，通过上述方法得到所有捞渣灰度图像以及所有捞渣红外图像。

步骤S002：对捞渣灰度图像进行池化处理得到若干捞渣池化灰度图像；对捞渣红外图像与捞渣池化灰度图像进行SIFT匹配得到若干关键点以及每个关键点的描述子；根据捞渣红外图像中关键点之间分布方向的差异情况，构建每张捞渣红外图像的红外捞渣关键点树；根据捞渣池化灰度图像中关键点之间分布距离的差异情况，构建每张捞渣池化灰度图像的捞渣关键点树。

需要说明的是，在实际的场景中，捞渣通常在高温环境下生成，并且通常以液态或者半流动状态存在，由于捞渣存在状态对应的比热容较大，所以捞渣的温度变化缓慢，使捞渣通常情况下都保持有较高的温度。在采集的捞渣红外图像中，由于捞渣部分的温度较高，所以捞渣部分会向外部区域散发大量红外线，会一定程度地掩盖其他区域产生的红外线，使捞渣红外图像中真实的捞渣区域存在一定的误差表示。

进一步需要说明的是，捞渣灰度图像是工业相机通过捕捉可见光生成转化而来，捞渣红外图像是红外相机通过捕捉红外线生产转化而来；在实际环境中，可见光通常反映物体在综合环境条件下整体的图像信息，红外线通常反映物体在相对单一特定环境条件下的图像信息，所以捞渣灰度图像中所包含的细节信息比捞渣红外图像所含的细节信息相对丰富。使用传统的SIFT算法对两张图像进行关键点匹配时，会使捞渣红外图像中单个关键点可能会在捞渣灰度图像中对应有多个关键点的情况，导致关键点匹配存在较大误差。而这种较大误差通常是由不同图像中关键点的尺度以及噪声问题所造成；由于基于可见光采集的图像与基于红外线采集的图像二者的采集环境、时刻相似，所以两张图像中的捞渣区域之间的关键点分布也较为相似。为了提高关键点匹配的准确性，本实施例通过对捞渣灰度图像进行池化处理得到捞渣池化灰度图像，以降低关键点尺度的较大差异；然后分别分析捞渣池化灰度图像以及捞渣红外图像中对应关键点在各自所属图像中关键点之间的关系，构建红外捞渣关键点树以及捞渣关键点树，以便后续分析处理。

具体的，将任意一张捞渣灰度图像记为目标捞渣灰度图像，预设一个窗口边长以及一个累加次数/>，其中本实施例以/>为例进行叙述，本实施例不进行具体限定，其中/>可根据具体实施情况而定；将/>作为起点，步长为1，依次累加窗口边长，共累加/>次，获取每次累加的窗口边长。将任意一次累加的窗口边长记为累计窗口边长，将/>作为池化窗口大小，根据该池化窗口大小对该目标捞渣灰度图像进行均值池化处理，得到处理后的目标捞渣灰度图像，并将该处理后的目标捞渣灰度图像记为捞渣池化灰度图像；获取该目标捞渣灰度图像的所有捞渣池化灰度图像。其中每张捞渣灰度图像对应多张捞渣池化灰度图像；均值池化处理是公知技术，本实施例不再赘述。

进一步的，将该目标捞渣灰度图像对应的捞渣红外图像记为目标捞渣红外图像。以该目标捞渣灰度图像的任意一张捞渣池化灰度图像为例；根据该捞渣池化灰度图像与该目标捞渣红外图像，得到该捞渣池化灰度图像中的若干关键点以及该目标捞渣红外图像中的若干关键点。其中根据两张图像获取关键点的过程是SIFT（Scale Invariant FeatureTransform）算法的公知内容，本实施例不再赘述。

进一步的，在该目标捞渣红外图像内所有关键点中，将与该目标捞渣红外图像内中心点之间欧式距离最小的关键点记为该目标捞渣红外图像的红外核心关键点；将除该红外核心关键点以外的关键点记为红外关键点，将每个红外关键点与该红外核心关键点所构线段的斜率记为每个红外关键点的红外捞渣中心斜率，将所有红外关键点按照红外捞渣中心斜率从小到大的顺序进行排列，将排列后的序列记为红外关键点中心斜率序列；将该红外关键点中心斜率序列中每个红外关键点视为灰度值，将每个红外关键点的红外捞渣中心斜率视为每个灰度值的出现频率，根据灰度值以及灰度值的出现频率通过多阈值OTSU算法得到若干阈值，并将每个阈值记为红外斜率阈值；以任意两个相邻的红外斜率阈值为例，将红外捞渣中心斜率在这两个红外斜率阈值构成区间内的所有红外关键点构成的数据段记为红外关键点段，获取所有红外关键点段。其中根据灰度值以及灰度值的出现频率获取多个阈值的过程是多阈值OTSU算法的公知内容，本实施例不再赘述。需要说明的是，本实施例将第一个红外关键点的红外捞渣中心斜率与第一个红外斜率阈值构成的区间记为第一参考区间，将红外捞渣中心斜率在第一参考区间内的所有红外关键点构成的数据段记为第一个红外关键点段；将最后一个红外关键点的红外捞渣中心斜率与最后一个红外斜率阈值构成的区间记为第二参考区间，将红外捞渣中心斜率在第二参考区间内的所有红外关键点构成的数据段记为最后一个红外关键点段。

进一步的，以任意一个红外关键点为段为例，在该红外关键点段中，将第一个红外关键点的红外捞渣中心斜率与最后一个红外关键点的红外捞渣中心斜率的均值记为分割线斜率。以该红外核心关键点为射线起点，作斜率为该分割线斜率的射线，并将该射线记为分割线，获取所有分割线。对该目标捞渣红外图像按照所有分割线进行分割，得到该目标捞渣红外图像的若干分割区域。

进一步的，根据目标捞渣红外图像的若干分割区域，获取该目标捞渣红外图像的红外捞渣关键点树，具体获取方法如下：

将该红外核心关键点作为树结构的根节点，将第一个红外关键点段中每个关键点均作为深度为2的一个节点。将深度为2的任意一个节点记为目标节点，将第二个红外关键点段中与该目标节点属于同一个分割区域的每个关键点均作为该目标节点的子节点，获取深度为2的每个节点的若干子节点；将深度为3的任意一个节点记为第一目标节点，将第三个红外关键点段中与该第一目标节点属于同一个分割区域的每个关键点均作为该第一目标节点的子节点，获取深度为3的每个节点的若干子节点；将深度为4的任意一个节点记为第二目标节点，将第四个红外关键点段中与该第二目标节点属于同一个分割区域的每个关键点均作为该第二目标节点的子节点，获取深度为3的每个节点的若干子节点；以此类推，直至将所有红外关键点段中的关键点放入树结构为止，将最终获取的树结构记为该目标捞渣红外图像的红外捞渣关键点树。其中每个节点包含一个关键点，并且每个节点中包含的关键点并不重复。

至此，获取该目标捞渣红外图像的红外捞渣关键点树。

进一步的，在该捞渣池化图像内所有关键点中，将每个关键点与该捞渣池化灰度图像内中心点之间的欧式距离记为每个关键点的捞渣中心相距值；将所有关键点按照捞渣中心相距值从小到大的顺序进行排列，将排列后的序列记为关键点距离序列；将该关键点中心距离序列中第一个关键点记为该捞渣池化灰度图像的核心关键点，将除该核心关键点以外所有关键点构成的序列记为关键点中心距离序列；将该关键点中心距离序列中每个关键点视为灰度值，将每个关键点的捞渣中心相距值视为每个灰度值的出现频率，根据灰度值以及灰度值的出现频率通过多阈值OTSU算法得到若干阈值；以任意两个相邻的阈值为例，将捞渣中心相距值在这两个阈值构成区间内的所有关键点构成的数据段记为捞渣关键点段，获取所有捞渣关键点段。其中每张捞渣池化灰度图像对应一个关键点中心距离序列，每个核心关键点对应一个红外核心关键点。需要说明的是，本实施例将该核心关键点的捞渣中心相距值与第一个阈值构成的区间记为第一区间，将捞渣中心相距值在第一区间内的所有关键点构成的数据段记为第一个捞渣关键点段；将最后一个关键点的捞渣中心相距值与最后一个阈值构成的区间记为第二区间，将捞渣中心相距值在第二区间内的所有关键点构成的数据段记为最后一个捞渣关键点段。

进一步的，对该捞渣池化灰度图像按照所有分割线进行分割，得到该捞渣池化灰度图像的若干分割区域。参考该目标捞渣红外图像的红外捞渣关键点树的获取方法，将该目标捞渣红外图像替换为该捞渣池化灰度图像，将红外关键点段替换为捞渣关键点段，根据该捞渣池化灰度图像的若干分割区域，得到该捞渣池化灰度图像的红外捞渣关键点树，并将该红外捞渣关键点树记为该捞渣池化灰度图像的捞渣关键点树。获取每张捞渣池化灰度图像的捞渣关键点树以及每张捞渣红外图像的红外捞渣关键点树。需要说明的是，请参阅图2，图2中左图表示了捞渣池化灰度图像的分割区域的示意图，A点表示捞渣池化灰度图像中的核心关键点；图2中右图表示了捞渣红外图像的分割区域的示意图，B点表示捞渣红外图像的红外核心关键点；虚线表示分割线。

至此，通过上述方法得到每张捞渣红外图像的红外捞渣关键点树以及每张捞渣池化灰度图像的捞渣关键点树。

步骤S003：根据红外捞渣关键点树与捞渣关键点树中不同节点之间所经路径的差异情况，得到若干路径节点序列对；根据路径节点序列对中所含不同关键点之间描述子的相似情况以及整体序列之间的相似情况，得到每个路径节点序列对的关联度；根据路径节点序列对中所含不同关键点之间描述子的相似情况以及关联度，得到每张捞渣红外图像中每个关键点与每张捞渣池化灰度图像中每个关键点的匹配度；根据捞渣红外图像与不同捞渣池化灰度图像之间不同关键点的匹配度，对多张捞渣池化灰度图像进行匹配筛选，得到每张捞渣红外图像的匹配池化灰度图像。

需要说明的是，构建红外捞渣关键点树以及捞渣关键点树后，其中根节点到不同叶节点的不同路径反映了关键点在所属图像中其他关键点之间的不同关联情况；同一个节点中的关键点在根节点到不同叶节点的不同路径中，与其他关键点之间对应的相似性不同，所以在红外捞渣关键点树中的关键点与捞渣关键树中的关键点之间会因各自路径的不同，存在不同的差异情况。为了提高关键点匹配的准确性，本实施例通过分析红外捞渣关键点树中的关键点与捞渣关键树中的关键点在不同路径下的向量相似情况，得到红外捞渣关键点树中的每个关键点与捞渣关键树中的每个关键点的匹配度，根据匹配度在不同树结构中关键点上，进行一对一关系的确定，从而获取与捞渣红外图像最匹配的捞渣池化灰度图像，以便后续进行捞渣区域检测。

具体的，以任意一张捞渣红外图像为例，以该捞渣红外图像的红外捞渣关键点树中任意一个叶节点为例，将该红外捞渣关键点树中的根节点到该叶节点经过的所有节点构成的序列记为该红外捞渣关键点树的一个红外路径节点序列，获取该红外捞渣关键点树的所有红外路径节点序列。以该捞渣红外图像对应的任意一张捞渣池化灰度图像的捞渣关键点树中任意一个叶节点为例，将该捞渣关键点树中的根节点到该叶节点经过的所有节点构成的序列记为该捞渣关键点树的一个捞渣路径节点序列，获取该捞渣关键点树的所有捞渣路径节点序列。以该红外捞渣关键点树的任意一个红外路径节点序列以及该捞渣关键点树的任意一个捞渣路径节点序列为例，将该红外路径节点序列与该捞渣路径节点序列均记为一个路径节点序列，将这两个路径节点序列整体记为路径节点序列对，利用SIFT算法获取该路径节点序列对内每个节点中关键点的描述子。

进一步的，在该路径节点序列对中，若该路径节点序列对中两个路径节点序列包含的节点数量不一致，那么将包含节点数量最多的路径节点序列记为待抽取节点序列，将包含节点数量最少的路径节点序列记为对比节点序列。将该对比节点序列中包含的节点数量记为待取样节点数量，将该待抽取节点序列中随机选取/>个节点，将这/>个节点构成的序列记为随机取样节点序列，依次类推，直至将该待抽取节点序列中所有节点至少随机选取一次后，停止随机选取，获取若干随机取样节点序列。以任意一个随机取样节点序列为例，将该随机取样节点序列中所有节点内关键点的描述子构成的向量作为该随机取样节点序列的取样向量；将该对比节点序列中所有节点内关键点的描述子构成的向量作为该对比节点序列的对比向量，将该对比向量与该取样向量的余弦相似度记为该对比节点序列与该随机取样节点序列的取样相似性，获取该对比节点序列与每个随机取样节点序列的取样相似性，将该对比节点序列与所有随机取样节点序列的取样相似性的最大值记为该路径节点序列对的局部描述子相似性。其中描述子是一个128维的向量，关键点的描述子的获取过程是SIFT算法的公知内容，余弦相似度的获取是公知技术，本实施例不再赘述。

进一步的，若该路径节点序列对中两个路径节点序列包含的节点数量一致，那么将每个路径节点序列内所有节点中关键点的描述子构成的向量记为每个路径节点序列的对照向量，将该路径节点序列对的对照向量的余弦相似度记为该路径节点序列对的局部描述子相似性。

至此，通过上述方法得到该路径节点序列对的局部描述子相似性。

进一步的，以该路径节点序列对中任意一个路径节点序列为例，将该路径节点序列内所有节点中关键点的描述子的模进行线性归一化，将归一化后的每个模记为捞渣关键点编码值，将所有捞渣关键点编码值构成的序列记为关键编码值序列；获取该路径节点序列对每个关键编码值序列。获取这两个关键编码值序列之间的DTW距离，并将该DTW距离记为该路径节点序列对的整体序列相似性。其中每个路径节点序列对应一个关键编码值序列；DTW距离的获取过程是DTW（Dynamic Time Warping）动态时间规整算法的公知内容，本实施例不再赘述。

进一步的，根据该路径节点序列对的局部描述子相似性以及整体序列相似性，得到该路径节点序列对的关联度。作为一种示例，可通过如下公式计算该路径节点序列对的关联度：

式中，表示该路径节点序列对的关联度；/>表示该路径节点序列对的局部描述子相似性；/>表示该路径节点序列对的整体序列相似性；/>表示以自然常数为底的指数函数，实施例采用/>模型来呈现反比例关系及归一化处理，/>为模型的输入，实施者可根据实际情况选择反比例函数及归一化函数。其中若该路径节点序列对的关联度越大，说明该路径节点序列对越有可能存在匹配的节点，越有可能存在匹配的关键点，反映该路径节点序列对在对应图像中越能匹配到合适的关键点。

进一步的，将该路径节点序列对中的红外路径节点序列上任意一个节点内的关键点记为红外目标关键点，将该路径节点序列对中的捞渣路径节点序列上任意一个节点内的关键点记为捞渣目标关键点，获取该红外目标关键点的描述子与该捞渣目标关键点的描述子之间的余弦相似度，根据该红外目标关键点的描述子与该捞渣目标关键点的描述子之间的余弦相似度以及所属路径节点序列对的关联度，得到该红外目标关键点与该捞渣目标关键点的匹配度。作为一种示例，本实施例可通过如下公式计算该红外目标关键点与该捞渣目标关键点的匹配度：

式中，表示该红外目标关键点与该捞渣目标关键点的匹配度；/>表示该红外目标关键点与该捞渣目标关键点所属路径节点序列对的关联度；/>表示该红外目标关键点的描述子与该捞渣目标关键点的描述子之间的余弦相似度。其中若该红外目标关键点与该捞渣目标关键点的匹配度越大，说明该红外目标关键点与该捞渣目标关键点越匹配，反映该红外目标关键点与该捞渣目标关键点越属于同一个区域。获取该捞渣红外图像中每个关键点与该捞渣池化灰度图像中每个关键点的匹配度。

进一步的，将该捞渣红外图像中每个关键点记为红外参考关键点，将该捞渣池化灰度图像中每个关键点记为捞渣参考关键点，将所有红外参考关键点构成的集合记为红外参考点集合，将所有捞渣参考关键点构成的集合记为捞渣参考点集合；将该红外参考点集合与该捞渣参考点集合构建二分图，将每个红外参考关键点与每个捞渣参考关键点的匹配度作为每个红外参考关键点与每个捞渣参考关键点的边；根据该二分图以及每个红外参考关键点与每个捞渣参考关键点的边，通过KM算法得到最大权匹配；将该最大权匹配中所有边的权重和记为该捞渣红外图像与该捞渣池化灰度图像的图像匹配度；获取该捞渣红外图像与所有捞渣池化灰度图像的图像匹配度，将与该捞渣红外图像的图像匹配度最大的捞渣池化灰度图像记为该捞渣红外图像的匹配池化灰度图像，获取所有捞渣红外图像的匹配池化灰度图像。其中最大权匹配包含多条边，每条边对应一个权重、一个红外参考关键点以及一个捞渣参考关键点，且每条边对应的红外参考关键点与捞渣参考关键点并不会重复出现；每张捞渣红外图像对应一张匹配池化灰度图像，每张捞渣红外图像与每张匹配池化灰度图像之间一个最大权匹配。需要说明的是，根据二分图与边获取最大权匹配的过程是KM（Kuhn-Munkres）算法的公知内容，本实施例不再赘述。

至此，通过上述方法得到所有捞渣红外图像的匹配池化灰度图像。

步骤S004：根据捞渣红外图像与匹配池化灰度图像进行匹配检测得到捞渣区域。

具体的，预设一个边数量，其中本实施例以/>为例进行叙述，本实施例不进行具体限定，其中/>可根据具体实施情况而定。以任意一张捞渣红外图像为例，将该捞渣红外图像的匹配池化灰度图像与该捞渣红外图像的最大权匹配中，所有边按照匹配度从大到小的顺序进行排序，将排序后的前/>个边记为最终保留匹配边。以任意一个最终保留匹配边为例，将该最终保留匹配边对应的红外参考关键点与捞渣参考关键点构成的数据点对记为匹配关键点对，获取所有关键点对。将所有关键点对输入仿射变换模型，将该匹配池化灰度图像中的关键点映射到该捞渣红外图像中，将映射后所形成的闭合区域记为捞渣区域。其中根据关键点对利用仿射变换模型获取捞渣区域的过程是图像配准法的公知内容，本实施例不再赘述。

至此，本实施例完成。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于红外可见光融合特征的捞渣区域检测方法，其特征在于，该方法包括以下步骤：

采集若干捞渣的捞渣灰度图像以及捞渣红外图像；

对捞渣灰度图像进行池化处理得到若干捞渣池化灰度图像；对捞渣红外图像与捞渣池化灰度图像进行SIFT匹配得到若干关键点以及每个关键点的描述子；根据捞渣红外图像中关键点之间分布方向的差异情况，构建每张捞渣红外图像的红外捞渣关键点树，所述红外捞渣关键点树包含多个节点，每个节点包含一个关键点；根据捞渣池化灰度图像中关键点之间分布距离的差异情况，构建每张捞渣池化灰度图像的捞渣关键点树，所述捞渣关键点树包含多个节点，每个节点包含一个关键点；

根据红外捞渣关键点树与捞渣关键点树中不同节点之间所经路径的差异情况，得到若干路径节点序列对；根据路径节点序列对中所含不同关键点之间描述子的相似情况以及整体序列之间的相似情况，得到每个路径节点序列对的关联度；根据路径节点序列对中所含不同关键点之间描述子的相似情况以及关联度，得到每张捞渣红外图像中每个关键点与每张捞渣池化灰度图像中每个关键点的匹配度；根据捞渣红外图像与不同捞渣池化灰度图像之间不同关键点的匹配度，对多张捞渣池化灰度图像进行匹配筛选，得到每张捞渣红外图像的匹配池化灰度图像；

根据捞渣红外图像与匹配池化灰度图像进行匹配检测得到捞渣区域。

2.根据权利要求1所述基于红外可见光融合特征的捞渣区域检测方法，其特征在于，所述对捞渣灰度图像进行池化处理得到若干捞渣池化灰度图像，包括的具体方法为：

将任意一张捞渣灰度图像记为目标捞渣灰度图像，预设一个窗口边长以及一个累加次数/>，将/>作为起点，步长为1，依次累加窗口边长，共累加/>次，获取每次累加的窗口边长；

将任意一次累加的窗口边长记为累计窗口边长，将/>作为池化窗口大小，根据池化窗口大小对目标捞渣灰度图像进行均值池化处理，得到处理后的目标捞渣灰度图像，并将处理后的目标捞渣灰度图像记为捞渣池化灰度图像。

3.根据权利要求1所述基于红外可见光融合特征的捞渣区域检测方法，其特征在于，所述根据捞渣红外图像中关键点之间分布方向的差异情况，构建每张捞渣红外图像的红外捞渣关键点树，包括的具体方法为：

对于任意一张捞渣灰度图像对应的捞渣红外图像的任意一张捞渣池化灰度图像；

在捞渣红外图像内所有关键点中，将与捞渣红外图像内中心点之间欧式距离最小的关键点记为红外核心关键点；将除红外核心关键点以外的关键点记为红外关键点，将每个红外关键点与红外核心关键点所构线段的斜率记为红外捞渣中心斜率，将所有红外关键点按照红外捞渣中心斜率从小到大的顺序进行排列，将排列后的序列记为红外关键点中心斜率序列；将红外关键点中心斜率序列中每个红外关键点视为灰度值，将每个红外关键点的红外捞渣中心斜率视为每个灰度值的出现频率，根据灰度值以及灰度值的出现频率通过多阈值OTSU算法得到若干阈值，并将每个阈值记为红外斜率阈值；

对于任意两个相邻的红外斜率阈值，将红外捞渣中心斜率在这两个红外斜率阈值构成区间内的所有红外关键点构成的数据段记为红外关键点段；在红外关键点段中，将第一个红外关键点的红外捞渣中心斜率与最后一个红外关键点的红外捞渣中心斜率的均值记为分割线斜率；以红外核心关键点为射线起点，作斜率为分割线斜率的射线，并将射线记为分割线，获取所有分割线；对捞渣红外图像按照所有分割线进行分割，得到捞渣红外图像的若干分割区域；

将红外核心关键点作为树结构的根节点，将第一个红外关键点段中每个关键点均作为深度为2的一个节点；将深度为2的任意一个节点记为目标节点，将第二个红外关键点段中与该目标节点属于同一个分割区域的每个关键点均作为目标节点的子节点，获取深度为2的每个节点的若干子节点；将深度为3的任意一个节点记为第一目标节点，将第三个红外关键点段中与第一目标节点属于同一个分割区域的每个关键点均作为第一目标节点的子节点，获取深度为3的每个节点的若干子节点；以此类推，直至将所有红外关键点段中的关键点放入树结构为止，将最终获取的树结构记为捞渣红外图像的红外捞渣关键点树。

4.根据权利要求3所述基于红外可见光融合特征的捞渣区域检测方法，其特征在于，所述根据捞渣池化灰度图像中关键点之间分布距离的差异情况，构建每张捞渣池化灰度图像的捞渣关键点树，包括的具体方法为：

在任意一张捞渣池化图像内所有关键点中，将每个关键点与捞渣池化灰度图像内中心点之间的欧式距离记为捞渣中心相距值；将所有关键点按照捞渣中心相距值从小到大的顺序进行排列，将排列后的序列记为关键点距离序列；将关键点中心距离序列中第一个关键点记为捞渣池化灰度图像的核心关键点，将除核心关键点以外所有关键点构成的序列记为关键点中心距离序列；将关键点中心距离序列中每个关键点视为灰度值，将每个关键点的捞渣中心相距值视为每个灰度值的出现频率，根据灰度值以及灰度值的出现频率通过多阈值OTSU算法得到若干阈值；对于任意两个相邻的阈值，将捞渣中心相距值在这两个阈值构成区间内的所有关键点构成的数据段记为捞渣关键点段；

对捞渣池化灰度图像按照所有分割线进行分割，得到捞渣池化灰度图像的若干分割区域；参考捞渣红外图像的红外捞渣关键点树的获取方法，将捞渣红外图像替换为捞渣池化灰度图像，将红外关键点段替换为捞渣关键点段，根据捞渣池化灰度图像的若干分割区域，得到捞渣池化灰度图像的红外捞渣关键点树，并将红外捞渣关键点树记为捞渣池化灰度图像的捞渣关键点树。

5.根据权利要求1所述基于红外可见光融合特征的捞渣区域检测方法，其特征在于，所述根据红外捞渣关键点树与捞渣关键点树中不同节点之间所经路径的差异情况，得到若干路径节点序列对，包括的具体方法为：

对于任意一张捞渣红外图像的红外捞渣关键点树中任意一个叶节点，将红外捞渣关键点树中的根节点到叶节点经过的所有节点构成的序列记为红外捞渣关键点树的一个红外路径节点序列，获取红外捞渣关键点树的所有红外路径节点序列；

对于捞渣红外图像对应的任意一张捞渣池化灰度图像的捞渣关键点树中任意一个叶节点，将捞渣关键点树中的根节点到叶节点经过的所有节点构成的序列记为捞渣关键点树的一个捞渣路径节点序列，获取捞渣关键点树的所有捞渣路径节点序列；

对于红外捞渣关键点树的任意一个红外路径节点序列以及捞渣关键点树的任意一个捞渣路径节点序列，将红外路径节点序列与捞渣路径节点序列均记为一个路径节点序列，将这两个路径节点序列整体记为路径节点序列对。

6.根据权利要求5所述基于红外可见光融合特征的捞渣区域检测方法，其特征在于，所述根据路径节点序列对中所含不同关键点之间描述子的相似情况以及整体序列之间的相似情况，得到每个路径节点序列对的关联度，包括的具体方法为：

根据路径节点序列对中所含不同关键点之间描述子的相似情况，得到每个路径节点序列对的局部描述子相似性；

对于任意一个路径节点序列对中任意一个路径节点序列，将路径节点序列内所有节点中关键点的描述子的模进行线性归一化，将归一化后的每个模记为捞渣关键点编码值，将所有捞渣关键点编码值构成的序列记为关键编码值序列；获取路径节点序列对中每个关键编码值序列；获取这两个关键编码值序列之间的DTW距离，并将DTW距离记为路径节点序列对的整体序列相似性；

将路径节点序列对的整体序列相似性的反比例归一化值与路径节点序列对的局部描述子相似性的乘积，记为路径节点序列对的关联度。

7.根据权利要求6所述基于红外可见光融合特征的捞渣区域检测方法，其特征在于，所述根据路径节点序列对中所含不同关键点之间描述子的相似情况，得到每个路径节点序列对的局部描述子相似性，包括的具体方法为：

对于任意一个路径节点序列对，在路径节点序列对中，若路径节点序列对中的两个路径节点序列包含的节点数量不一致，将包含节点数量最多的路径节点序列记为待抽取节点序列，将包含节点数量最少的路径节点序列记为对比节点序列；将对比节点序列中包含的节点数量记为待取样节点数量，将待抽取节点序列中随机选取/>个节点，将这/>个节点构成的序列记为随机取样节点序列，依次类推，直至将待抽取节点序列中所有节点至少随机选取一次后，停止随机选取，获取若干随机取样节点序列；

对于任意一个随机取样节点序列，将随机取样节点序列中所有节点内关键点的描述子构成的向量作为随机取样节点序列的取样向量；将对比节点序列中所有节点内关键点的描述子构成的向量作为对比节点序列的对比向量，将对比向量与取样向量的余弦相似度记为对比节点序列与随机取样节点序列的取样相似性，获取对比节点序列与每个随机取样节点序列的取样相似性，将对比节点序列与所有随机取样节点序列的取样相似性的最大值记为路径节点序列对的局部描述子相似性；

若路径节点序列对包含的节点数量一致，将每个路径节点序列内所有节点中关键点的描述子构成的向量记为每个路径节点序列的对照向量，将路径节点序列对的对照向量的余弦相似度记为路径节点序列对的局部描述子相似性。

8.根据权利要求5所述基于红外可见光融合特征的捞渣区域检测方法，其特征在于，所述根据路径节点序列对中所含不同关键点之间描述子的相似情况以及关联度，得到每张捞渣红外图像中每个关键点与每张捞渣池化灰度图像中每个关键点的匹配度，包括的具体方法为：

将任意一个路径节点序列对中的红外路径节点序列上任意一个节点内的关键点记为红外目标关键点，将路径节点序列对中的捞渣路径节点序列上任意一个节点内的关键点记为捞渣目标关键点，获取红外目标关键点的描述子与捞渣目标关键点的描述子之间的余弦相似度；

将红外目标关键点与捞渣目标关键点所属路径节点序列对的关联度与红外目标关键点的描述子与捞渣目标关键点的描述子之间的余弦相似度，得到红外目标关键点与捞渣目标关键点的匹配度。

9.根据权利要求1所述基于红外可见光融合特征的捞渣区域检测方法，其特征在于，所述根据捞渣红外图像与不同捞渣池化灰度图像之间不同关键点的匹配度，对多张捞渣池化灰度图像进行匹配筛选，得到每张捞渣红外图像的匹配池化灰度图像，包括的具体方法为：

将任意一张捞渣红外图像中每个关键点记为红外参考关键点，将捞渣红外图像的任意一张捞渣池化灰度图像中每个关键点记为捞渣参考关键点，将所有红外参考关键点构成的集合记为红外参考点集合，将所有捞渣参考关键点构成的集合记为捞渣参考点集合；将红外参考点集合与捞渣参考点集合构建二分图，将每个红外参考关键点与每个捞渣参考关键点的匹配度作为每个红外参考关键点与每个捞渣参考关键点的边；根据二分图以及每个红外参考关键点与每个捞渣参考关键点的边，通过KM算法得到最大权匹配；将最大权匹配中所有边的权重和记为捞渣红外图像与捞渣池化灰度图像的图像匹配度；获取捞渣红外图像与所有捞渣池化灰度图像的图像匹配度，将与捞渣红外图像的图像匹配度最大的捞渣池化灰度图像记为捞渣红外图像的匹配池化灰度图像。

10.根据权利要求9所述基于红外可见光融合特征的捞渣区域检测方法，其特征在于，所述根据捞渣红外图像与匹配池化灰度图像进行匹配检测得到捞渣区域，包括的具体方法为：

预设一个边数量，对于任意一张捞渣红外图像，将捞渣红外图像的匹配池化灰度图像与捞渣红外图像的最大权匹配中，所有边按照匹配度从大到小的顺序进行排序，将排序后的前/>个边记为最终保留匹配边；对于任意一个最终保留匹配边，将最终保留匹配边对应的红外参考关键点与捞渣参考关键点构成的数据点对记为匹配关键点对，获取所有关键点对；将所有关键点对输入仿射变换模型，将匹配池化灰度图像中的关键点映射到捞渣红外图像中，将映射后所形成的闭合区域记为捞渣区域。