CN114842308A - 一种基于全特征融合建立目标预判优化模型的方法 - Google Patents

Abstract

本发明公开了一种基于全特征融合建立目标预判优化模型的方法，包括：一：采集若干待识别图像，并确定出各待识别图像的不规则显著像素簇；二：对待识别图像进行去噪增强处理，得到去噪增强图像；三：引入品质函数，将去噪增强图像转换成空间序列，并基于空间序列得到时序信息、空序信息以及初始预判模型；四：将时序信息与空序信息融合至初始预判模型，并在保留时序信息的情况下，将所有待识别图像的图像帧融合至初始预判模型中，得到基于全特征融合的目标预判模型；五：对目标预判模型进行智能优化，得到目标预判优化模型。该方法赋予模型自学习和自适应能力，使模型能够随着时间推移不断提升识别效率，最终实现熟悉目标的快速检测和高效识别。

Description

一种基于全特征融合建立目标预判优化模型的方法

技术领域

本发明属于目标识别技术领域，具体涉及一种基于全特征融合建立目标预判优化模型的方法，根据该方法建立的目标预判优化模型通常应用于熟悉场景中熟悉目标的高效识别。

背景技术

在图像识别领域，熟悉场景经常会出现，提升熟悉场景检测效率与识别精度能够增加算法适应性并缩短计算时间。一方面，熟悉场景检测中显著性区域检测至关重要，快速、准确检测出显著性区域将节省算力、缩短时间。另一方面，提高低分辨率图像识别精度对于保障整个系统识别精度具有重要意义。根据是否是基于学习的建模方法可以把显著性检测算法分为三个大类，包括基于非学习模型的显著性检测、基于传统机器学习模型的显著性检测、基于深度学习模型的显著性检测。基于非学习模型的显著性检测还可以分为基于局部对比度的显著性检测算法和基于全局对比度的显著性检测算法，但当图像中显著性对象区域过大时，会导致非显著性目标区域的显著值更大，进而将背景标注为显著性区域。然而，传统机器学习显著性检测算法往往只能提取出低级特征，而仅仅依靠低级特征无法取得理想的效果。针对此问题，研究人员转向使用深度卷积神经网络来提取高级特征，事实证明将深度学习网络应用于复杂环境可以取得良好的效果，因而在显著性检测领域得到了极为广泛的应用。但上述的基于深度学习的显著性检测模型大多仅仅围绕高级特征，而没有充分利用有效性同样高的先验信息，这导致了显著性对象边界模糊，检测出的显著性区域难以贴近实际目标边界。目前虽然已有一些图像显著性区域检测方法的研究，但大都集中在规则区域，研究不够完善，难以对复杂结构目标物体进行显著性区域检测。同时，在显著性区域检测中没有引入先验信息，导致对象边界模糊、检测准确度不足。

摄像头在日常生活中应用广泛，由于遮挡、距离过远等原因，会导致部分采集的图像存在质量不佳、分辨率较低等问题。因此，在图像识别过程中，如何对低分辨图像进行识别，是目前迫切需要解决的难题。

当前，低分辨率图像识别方法主要分为间接法和直接法两大类，其中，

间接法主要利用超分辨算法，以此来间接处理低分辨率图像识别的问题。间接法核心在于将低分辩图像提高为高分辨图像，从而提高图像的效果，但其并未将工作重心放在提高图像识别精度方面。

直接法主要通过提取低分辩图像中的显著信息，在不改变图像分辨率以及尺寸的情况下进行识别，根据提取信息的不同类别，具体分为基于结构和基于特征这两种类型。虽然直接法能够完成识别的工作，但是模型缺少实时优化机制，识别的准确率不高。

总而言之，针对远距离或不同的光照、遮挡等恶劣条件而导致图像分辨率过低的问题，目前虽然有一些研究成果，但仍没有得到很好的解决。其原因在于，针对具有不同分辨率的低分辨率图像，缺少模型实时优化机制，因而有必要对现有技术进行改进。

发明内容

本发明的目的在于克服现有技术中存在的上述技术问题，提供了一种基于全特征融合建立目标预判优化模型的方法，该方法利用启发式学习思维，赋予模型自学习和自适应能力，使模型能够随着时间推移不断提升识别效率，最终实现熟悉目标的快速检测和高效识别。

为实现上述目的，本发明采用的技术方案如下：

一种基于全特征融合建立目标预判优化模型的方法，其特征在于包括如下步骤：

步骤一：使用摄像头采集若干待识别图像，对待识别图像进行处理，确定出各待识别图像的不规则显著像素簇；

步骤二：根据不规则显著像素簇对待识别图像进行去噪增强处理，处理完成后得到去噪增强图像；

步骤三：在去噪增强图像引入品质函数度量观测到的特征之间的相互关系程度，再根据度量观测到的特征之间的相互关系程度获取特征的关联测度，然后基于关联测度将去噪增强图像转换成空间序列，并基于空间序列得到时序信息、空序信息以及初始预判模型；

步骤四：采用广义高阶循环网络，将时序信息与空序信息融合至初始预判模型，并在保留时序信息的情况下，将所有待识别图像的图像帧融合至初始预判模型中，融合完成后得到基于全特征融合的目标预判模型；

步骤五：对目标预判模型进行智能优化，优化完成后得到目标预判优化模型。

步骤一中，待识别图像的不规则显著像素簇采用基于Transformer的深度学习网络结构处理得出。

步骤二中，所述去噪增强处理的方法为：

S11：将所有待识别图像的不规则显著像素簇以像素点为单位转换成序列数据，转换完成后得到多组序列数据；

S12：采用基于Transformer的深度学习网络结构分别对各组序列数据进行处理，得到多组处理数据；

S13：采用BM3D算法对多组处理数据进行处理，将空域去噪和变换域去噪相结合，得到低噪图像；

S14：根据NL-Means算法在低噪图像中通过相似图像块之间的距离搜索相似图像块，使用相似图像块的块邻域实现维纳滤波，滤波完成后，再经加权聚合和比对即得到去噪增强图像。

步骤S14中，所述去噪增强图像的得出方法为：

Stepl：计算相似图像块之间的距离，计算公式如下：

式中，Z_x为低噪图像中的参考图像块，Z_xR为低噪图像中的待匹配区域图像块，

表示对所有的参考图像块和待匹配区域图像块进行2D变换，Υ表示对所有低噪图像的数值进行硬阈值操作，d(Z_xR，Z_x)为相似图像块的距离；

Step2：将相似图像块之间的距离进行分组，分组后通过设置阈值进行协同滤波，协同滤波后再通过逆变换恢复所有低噪图像的数值到空域，得到空域下相似图像块的距离，其中，空域下相似图像块的距离的计算方法为：

式中，

表示对所有的参考图像块和待匹配区域图像块进行3D逆变换，

表示低噪图像中匹配后的区域图像块，Y表示协同滤波，

表示空域下相似图像块的距离；

Step3：对空域下相似图像块的距离进行加权聚合操作，得到最终恢复的相似图像块的块邻域，块邻域的计算方法为：

式中，

表示块邻域；

Step4：先对所有的低噪图像进行维纳滤波，得到去噪图像，再对所有的去噪图像进行加权聚合，并使用权重公式对所有的去噪图像设置权重，然后将设置了权重的去噪图像与块邻域进行比对，比对结果满足阈值条件的去噪图像则为去噪增强图像；其中，所述的权重公式为：

式中，

表示维纳滤波系数，

表示经过维纳滤波后的去噪增强图像权重值，σ表示权重设置系数。

步骤Step2中，所述的阈值为0.5，分组后以0.5为阈值进行协同滤波，

步骤Step4中，所述的阈值条件为0.8，比对结果满足阈值条件是指满足大于0.8的去噪图像则为去噪增强图像。

步骤三中，引入的品质函数为：

式中：

为η特征观测的品质函数；

关联测度的获取方法为：

式中：μ为关联测度；q为特征观测类型的总数；

为第i种特征观测的品质函数，其自变量依特征观测数据类型而定；δ_i为有效因子，δ_i＝1意义为第i种特征观测有效，δ_i＝0意义为第i种特征观测无效；ω_i为赋予第i种特征观测的权值，且

步骤五中，所述智能优化方法为：

S21：基于目标预判模型对所有待识别图像构建初始相似度排序列表，筛选排序列表中易混淆的难例样本图像；

S22：将难例样本图像的全局度量矩阵和局部的判别信息相结合，构造三个k-近邻集合来帮助判断是否将局部的判别信息引入相似性评分；若是，则引入相似性评分；若否，则不引入则引入相似性评分；

S23：通过引入的相似性评分构建可度量相似度的计算方法，根据计算方法对排序列表中所有的待识别图像进行重新排序；

S24：通过样本距离分布找出排序列表中易于混淆的难例样本图像对，利用局部的判别信息重新计算难例样本图像的相似度并针对所有待识别图像排序；

S25：重复步骤S21、S22、S23、S24直至目标预判模型的判别准确，同时提出灰狼优化算法对判别准确的目标预判模型权重进行提高，完成后得到目标预判优化模型。

采用上述技术方案，本发明的有益技术效果是：

1.本发明采用了基于全特征融合的目标预判建模及启发式优化技术，基于该技术的启发式学习思维，赋予了模型自学习和自适应能力，使模型能够随着时间推移不断提升识别效率，最终实现熟悉目标的快速检测和高效识别。

具体的，本发明中各步骤的优点如下：

步骤一对待识别图像进行处理并确定出各待识别图像的不规则显著像素簇，基于该处理方式有利于提高图像的识别精度。

步骤二根据不规则显著像素簇对待识别图像进行去噪增强处理，通过噪增强处理能够优化图像的细节，提高对熟悉目标图像的识别率。

步骤三通过引入品质函数并建立初始预判模型，其能够进一步提高图像的识别速率。

步骤四基于全特征融合并建立目标预判模型，其能够在保证原来识别精度的情况下，进一步提升识别精度。

步骤五通过对目标预判模型进行智能优化，有利于提高模型的自适应学习能力，进而提升图像识别的准确率。

2.本发明针对具有不同分辨率的低分辨率图像，并结合模型实时优化机制，能够很好的解决针对远距离或不同的光照、遮挡等恶劣条件而导致图像分辨率过低的问题。

3.本发明步骤二中采用特定流程实现待识别图像的去噪增强处理，优化了图像的细节，有利于提升图像识别的精度。

4.本发明步骤S14中采用特定流程实现了去噪增强图像的得出，有利于提高对熟悉目标图像的识别率。

5.本发明步骤五中采用特定流程实现目标预判模型的智能优化，有利于提高模型的自适应学习能力。

附图说明

图1为本发明的流程图。

图2为本发明中获取去噪增强图像的流程图。

图3为本发明智能优化目标预判模型的流程图。

具体实施方式

实施例1

本实施例公开了一种基于全特征融合建立目标预判优化模型的方法，如图1所示，其包括如下步骤：

步骤一：使用摄像头采集若干待识别图像，优选的，待识别图像的数量至少为10000张，采集完成后，采用基于Transformer的深度学习网络结构对待识别图像进行处理，确定出各待识别图像的不规则显著像素簇。

步骤二：根据不规则显著像素簇对待识别图像进行去噪增强处理，处理完成后得到去噪增强图像。

本步骤中，所述去噪增强处理的方法为：

S11：将所有待识别图像的不规则显著像素簇以像素点为单位转换成序列数据，转换完成后得到多组序列数据。

S12：采用基于Transformer的深度学习网络结构分别对各组序列数据进行处理，得到多组处理数据。

S13：采用BM3D算法对多组处理数据进行处理，将空域去噪和变换域去噪相结合，得到低噪图像。

S14：根据NL-Means算法在低噪图像中通过相似图像块之间的距离搜索相似图像块，使用相似图像块的块邻域实现维纳滤波，滤波完成后，再经加权聚合和比对即得到去噪增强图像。

进一步的，如图2所示，所述去噪增强图像的得出方法为：

Step1：计算相似图像块之间的距离，计算公式如下：

式中，Z_x为低噪图像中的参考图像块，Z_xR为低噪图像中的待匹配区域图像块，

表示对所有的参考图像块和待匹配区域图像块进行2D变换，Υ表示对所有低噪图像的数值进行硬阈值操作，d(Z_xR，Z_x)为相似图像块的距离。

Step2：将相似图像块之间的距离进行分组，分组后通过设置阈值进行协同滤波，该阈值通常设为0.5，分组后以0.5为阈值进行协同滤波，协同滤波后再通过逆变换恢复所有低噪图像的数值到空域，得到空域下相似图像块的距离。其中，空域下相似图像块的距离的计算方法为：

式中，

表示对所有的参考图像块和待匹配区域图像块进行3D逆变换，

表示低噪图像中匹配后的区域图像块，Y表示协同滤波，

表示空域下相似图像块的距离。

Step3：对空域下相似图像块的距离进行加权聚合操作，得到最终恢复的相似图像块的块邻域，块邻域的计算方法为：

式中，

表示块邻域。

Step4：先对所有的低噪图像进行维纳滤波，得到去噪图像，再对所有的去噪图像进行加权聚合，并使用权重公式对所有的去噪图像设置权重，然后将设置了权重的去噪图像与块邻域进行比对，比对结果满足阈值条件的去噪图像则为去噪增强图像。其中，所述的阈值条件为0.8，比对结果满足阈值条件是指大于0.8的去噪图像则为去噪增强图像。

进一步的，所述的权重公式为：

式中，

表示维纳滤波系数，

表示经过维纳滤波后的去噪增强图像权重值，σ表示权重设置系数。

步骤三：在去噪增强图像引入品质函数度量观测到的特征之间的相互关系程度，再根据度量观测到的特征之间的相互关系程度获取特征的关联测度，然后基于关联测度将去噪增强图像转换成空间序列，并基于空间序列得到时序信息、空序信息以及初始预判模型。其中，

引入的品质函数为：

式中：

为η特征观测的品质函数；

关联测度的获取方法为：

式中：μ为关联测度；q为特征观测类型的总数；

为第i种特征观测的品质函数，其自变量依特征观测数据类型而定；δ_i为有效因子，δ_i＝1意义为第i种特征观测有效，δ_i＝0意义为第i种特征观测无效；ω_i为赋予第i种特征观测的权值，且

得到关联测度后，再基于关联测度即能够将去噪增强图像转换成空间序列。

步骤四：采用广义高阶循环网络，将时序信息与空序信息融合至初始预判模型，并在保留时序信息的情况下，将所有待识别图像的图像帧融合至初始预判模型中，融合完成后得到基于全特征融合的目标预判模型。其中，本步骤的融合过程采用图像处理领域的常规技术即可实现，在此不再赘述。

步骤五：对目标预判模型进行智能优化，优化完成后得到目标预判优化模型。其中，如图3所示，所述智能优化方法为：

S21：基于目标预判模型对所有待识别图像构建初始相似度排序列表，筛选排序列表中易混淆的难例样本图像。

S22：将难例样本图像的全局度量矩阵和局部的判别信息相结合，构造三个k-近邻集合来帮助判断是否将局部的判别信息引入相似性评分；若是，则引入相似性评分；若否，则不引入则引入相似性评分。

S23：通过引入的相似性评分构建可度量相似度的计算方法，根据计算方法对排序列表中所有的待识别图像进行重新排序。

S24：通过样本距离分布找出排序列表中易于混淆的难例样本图像对，利用局部的判别信息重新计算难例样本图像的相似度并针对所有待识别图像排序。

S25：重复步骤S21、S22、S23、S24直至目标预判模型的判别准确，同时提出灰狼优化算法对判别准确的目标预判模型权重进行提高，完成后得到目标预判优化模型。其中，灰狼优化(GWO)算法为现有常规算法，利用灰狼优化(GWO)算法对模型权重进行提高同样为现有常规技术，在此不再赘述。

综合而言，本发明采用上述特定技术方案后，能够方法利用启发式学习思维，赋予模型自学习和自适应能力，并使模型能够随着时间推移不断提升识别效率，最终实现熟悉目标的快速检测和高效识别。

实施例2

本实施例对实施例1所述方法进行了验证，如下：

本实施例采用单目摄像头对实验室场景下进行图像采集，得到10000张针对同一桌面摆放不同物品的图像样本，例如：花盆、笔筒、手机，通过实施例1中所述方法建立的目标预判优化模型进行识别，得到的目标识别率分别为，花盆：96.6％、笔筒：95.2％、手机：96.8％。

另外，本实施例还通过剔除进行识别作为对比，分别如下：

对比1：剔除步骤四后，直接采用初始预判模型进行识别，但由于初始预判模型缺乏空间及其它先验信息，得到的目标识别率为花盆：75.2％、笔筒：76.6％、手机：77.1％。

对比2：剔除步骤五后，直接采用未优化的目标预判模型进行识别，由于目标预判模型缺乏自适应学习能力，得到的目标识别率为花盆：80.2％、笔筒：81.5％、手机：82.1％。

对比而言，本发明因采用了基于全特征融合的目标预判建模及启发式优化技术，因而能够赋予模型自学习和自适应能力，使模型能够随着时间推移不断提升识别效率，最终实现熟悉目标的快速检测和高效识别。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (8)

1.一种基于全特征融合建立目标预判优化模型的方法，其特征在于包括如下步骤：

步骤一：使用摄像头采集若干待识别图像，对待识别图像进行处理，确定出各待识别图像的不规则显著像素簇；

步骤二：根据不规则显著像素簇对待识别图像进行去噪增强处理，处理完成后得到去噪增强图像；

步骤三：在去噪增强图像引入品质函数度量观测到的特征之间的相互关系程度，再根据度量观测到的特征之间的相互关系程度获取特征的关联测度，然后基于关联测度将去噪增强图像转换成空间序列，并基于空间序列得到时序信息、空序信息以及初始预判模型；

步骤四：采用广义高阶循环网络，将时序信息与空序信息融合至初始预判模型，并在保留时序信息的情况下，将所有待识别图像的图像帧融合至初始预判模型中，融合完成后得到基于全特征融合的目标预判模型；

步骤五：对目标预判模型进行智能优化，优化完成后得到目标预判优化模型。

2.根据权利要求1所述的一种基于全特征融合建立目标预判优化模型的方法，其特征在于：步骤一中，待识别图像的不规则显著像素簇采用基于Transformer的深度学习网络结构处理得出。

3.根据权利要求1所述的一种基于全特征融合建立目标预判优化模型的方法，其特征在于：步骤二中，所述去噪增强处理的方法为：

S11：将所有待识别图像的不规则显著像素簇以像素点为单位转换成序列数据，转换完成后得到多组序列数据；

S12：采用基于Transformer的深度学习网络结构分别对各组序列数据进行处理，得到多组处理数据；

S13：采用BM3D算法对多组处理数据进行处理，将空域去噪和变换域去噪相结合，得到低噪图像；

S14：根据NL-Means算法在低噪图像中通过相似图像块之间的距离搜索相似图像块，使用相似图像块的块邻域实现维纳滤波，滤波完成后，再经加权聚合和比对即得到去噪增强图像。

4.根据权利要求3所述的一种基于全特征融合建立目标预判优化模型的方法，其特征在于：步骤S14中，所述去噪增强图像的得出方法为：

Step1：计算相似图像块之间的距离，计算公式如下：

式中，Z_x为低噪图像中的参考图像块，Z_xR为低噪图像中的待匹配区域图像块，

表示对所有的参考图像块和待匹配区域图像块进行2D变换，Υ′表示对所有低噪图像的数值进行硬阈值操作，d(Z_xR,Z_x)为相似图像块的距离；

Step2：将相似图像块之间的距离进行分组，分组后通过设置阈值进行协同滤波，协同滤波后再通过逆变换恢复所有低噪图像的数值到空域，得到空域下相似图像块的距离，其中，空域下相似图像块的距离的计算方法为：

式中，

表示对所有的参考图像块和待匹配区域图像块进行3D逆变换，

表示低噪图像中匹配后的区域图像块，Y表示协同滤波，

表示空域下相似图像块的距离；

Step3：对空域下相似图像块的距离进行加权聚合操作，得到最终恢复的相似图像块的块邻域，块邻域的计算方法为：

式中，

表示块邻域；

Step4：先对所有的低噪图像进行维纳滤波，得到去噪图像，再对所有的去噪图像进行加权聚合，并使用权重公式对所有的去噪图像设置权重，然后将设置了权重的去噪图像与块邻域进行比对，比对结果满足阈值条件的去噪图像则为去噪增强图像；其中，所述的权重公式为：

式中，

表示维纳滤波系数，

表示经过维纳滤波后的去噪增强图像权重值，σ表示权重设置系数。

5.根据权利要求4所述的一种基于全特征融合建立目标预判优化模型的方法，其特征在于：步骤Step2中，所述的阈值为0.5，分组后以0.5为阈值进行协同滤波。

6.根据权利要求4所述的一种基于全特征融合建立目标预判优化模型的方法，其特征在于：步骤Step4中，所述的阈值条件为0.8，比对结果满足阈值条件是指满足大于0.8的去噪图像则为去噪增强图像。

7.根据权利要求1所述的一种基于全特征融合建立目标预判优化模型的方法，其特征在于：步骤三中，引入的品质函数为：

式中：

为η特征观测的品质函数；

关联测度的获取方法为：

式中：μ为关联测度；q为特征观测类型的总数；

为第i种特征观测的品质函数，其自变量依特征观测数据类型而定；δ_i为有效因子，δ_i＝1意义为第i种特征观测有效，δ_i＝0意义为第i种特征观测无效；ω_i为赋予第i种特征观测的权值，且

8.根据权利要求1-7中任一项所述的一种基于全特征融合建立目标预判优化模型的方法，其特征在于：步骤五中，所述智能优化方法为：

S21：基于目标预判模型对所有待识别图像构建初始相似度排序列表，筛选排序列表中易混淆的难例样本图像；

S22：将难例样本图像的全局度量矩阵和局部的判别信息相结合，构造三个k-近邻集合来帮助判断是否将局部的判别信息引入相似性评分；若是，则引入相似性评分；若否，则不引入则引入相似性评分；

S23：通过引入的相似性评分构建可度量相似度的计算方法，根据计算方法对排序列表中所有的待识别图像进行重新排序；

S24：通过样本距离分布找出排序列表中易于混淆的难例样本图像对，利用局部的判别信息重新计算难例样本图像的相似度并针对所有待识别图像排序；

S25：重复步骤S21、S22、S23、S24直至目标预判模型的判别准确，同时提出灰狼优化算法对判别准确的目标预判模型权重进行提高，完成后得到目标预判优化模型。

Images