CN116150422A - 海量图形图像智能识别检索系统 - Google Patents

Abstract

本发明公开了海量图形图像智能识别检索系统，涉及智能识别领域，包括：用户模块，用于实现用户与系统之间的交互；查询图像处理模块，用于对图像提取特征描述符、数据生成、特征量化三部分；图像存储模块，用于实现针对大规模小文件的简易存储系统，降低磁盘IO次数，提高图像存取效率；该海量图形图像智能识别检索系统，通过图像检索模块中设置的特征分割模块可以分割待检索图像的特征信息，避免由于图像信息复杂导致系统工作量较大，同时也可以根据分割出的特征对图像进行存储，便于查找和调用，同时通过特征对比质量评价模块可以通过质量评价的数据确定是否需要对检索系统进行检索培训，便于增加系统的检索准确度。

Description

海量图形图像智能识别检索系统

技术领域

本发明涉及智能识别技术，具体涉及海量图形图像智能识别检索系统。

背景技术

目前在对社会安全日益关注的环境中，图像监视系统在各种场合被大量的使用，这些视图像视系统在所设定的区域不分昼夜进行监视并将监视记录存储在可读介质上，当某个用户需要查询特定的对象在某时间段是否出现在该所设定的区域时，需要调集所有该时间段、该所设定的区域所有存储在可读介质上的监视记录，并通过人工方法仔细观看这些监视记录的每一帧图像信息，而从中分析某个特定的对象情况。

现有的图像检索系统在进行使用时，由于由于图像信息复杂导致系统工作量较大，同时较为复杂的图像在存储时不便于分类管理，以及现有的检索系统在进行同向检索时检索误差较大，精准度不良。

发明内容

本发明的目的是提供海量图形图像智能识别检索系统，以解决现有技术中的上述不足之处。

为了实现上述目的，本发明提供如下技术方案：海量图形图像智能识别检索系统，包括：

用户模块，用于实现用户与系统之间的交互；

查询图像处理模块，用于对图像提取特征描述符、数据生成、特征量化三部分；

图像存储模块，用于实现针对大规模小文件的简易存储系统，降低磁盘IO次数，提高图像存取效率，且用于存储图像处理模块处理后的图像信息；

图像检索模块，用于分析查询图像，计算数据库中相似度较高的图像并返回；

检索训练模块，用于训练图像检索模块，保证图像检索模块对查询图像的；

图库图像处理模块，用于处理图像存储模块中存储的历史图像。

进一步地，所述查询图像处理模块包括：

图像信息采集模块，用于采集需要进行检索的图像信息；

图像信息预处理单元，对检索的图像信息进行预处理，所述预处理包括像图像素亮度变换、图像几何变换、图像局部邻域预处理以及图像异常图像复原；

图像信息特征提取单元，用于提取预处理完成的图像信息中的重点特征；

图像信息特征数据化单元，用于将图像信息特征提取单元提取的重点特征进行数据化处理；

图像信息特征量化单元，对图像信息特征提取单元中的特征进行分类，以图像信息特征数据化单元得出的数据为中心，对每个特征使用KNN算法对其进行量化并制定关键字。

进一步地，所述图像存储模块包括：

索引单元，所述每张检索图像对应一个索引单元，每个所述索引单元包含多个数据项，所述数据项包括图像编号、偏移量以及图像大小，所述图像偏移量表示图像在数据区文件中的偏移位置；

数据单元，每个所述索引单元在数据区都对应一个数据单元，每个所述数据单元包含多个数据项，多个所述数据项包括图像编号、图像大小、图像数据以及补齐数据。

进一步地，所述图像检索模块包括：

特征分割模块，用于分割待检索图像的特征信息；

特征对比单元，用于将特征分割模块中分割的特征信息与图像存储模块中存储的图像相特征信息进行特征对比；

特征对比质量评价模块，用于对特征对比单元的特征对比结果进行质量评比。

进一步地，所述图像检索模块进行图像检索的具体方法为：

S1，用户通过查询模块输入需要查询的图像；

S2，通过特征分割模块将待查询图像的特征信息进行分割；

S3，通过特征对比单元将特征分割模块中分割的特征信息与图像存储模块中存储的图像相特征信息进行特征对比；

S4，通过特征对比质量评价模块将对特征对比单元的特征对比结果进行质量评比；

S5，若步骤S4中质量评比通过则进行后续操作

S6，若步骤S4中质量评比未通过则返回S3选取其他存储的图像进行后续操作。

进一步地，所述特征分割模块的具体工作方法为：

为了得到图像不同空间维度的细节特征以提高特征识别的准确率，将特征图沿纵向和横向两个维度进行分割，将骨干网络输出的两个独立特征图分别命名为F_H和F_W，即纵向分支和横向分支，然后在纵向和横向上将它们分割为几个子区域，具体表示如下式所示：

其中其中，N表示数据集中的样本数；f_h(i，p₂)，fp分别表示第i张图像在纵向和横向上的分块特征图；p1和p2分别表示在纵向和横向上分割的数目；

设特征的设为C，采用多粒度分割方式，具体表达式如下式所示：

F_C＝{f_c(i，1)，f_c(i，2)，...，f_c(i，p₃)}i＝1，2...N，

其中，N表示特征数据集中的样本数，F_C表示整体特征，f_c(i，p₃)表示第i张图像的特征。

进一步地，所述特征对比质量评价模块的具体方法为：

首先计算每张图像的平均检索精度AP，然后对所有AP求和再取平均,其中精确率的计算如下式所示：

其中，TP表示是把正确预测为正确的数量；FP表示是把错误预测为正确的数量，因此，精确率代表网络模型预测为正确的样本中有多少是真正的正确样本；

在计算mAP之前，首先需要计算每一张查询集图像q的平均检索精度(AP)，如下式所示：

其中，k表示检索结果列表中的第k张图像，n表示图库集图像总数，N表示检索正确的图像总数，P(k)表示在检索结果列表中前k张图像的准确率，δ(k)表示第k张图像是否与查询图像属于同一目标车辆，若判断结果为是则δ(k)＝1，若判断结果为否则δ(k)＝0；

得到某一张查询图像的平均检索精度后，要衡量一个模型对所有查询集图像的泛化能力，那么就需对所有查询集图像的平均检索精度求均值，即mAP，如式下所示：

其中Q表示询查集图像的总数。

与现有技术相比，本发明提供的海量图形图像智能识别检索系统，通过图像检索模块中设置的特征分割模块可以分割待检索图像的特征信息，避免由于图像信息复杂导致系统工作量较大，同时也可以根据分割出的特征对图像进行存储，便于查找和调用，同时通过特征对比质量评价模块可以通过质量评价的数据确定是否需要对检索系统进行检索培训，便于增加系统的检索准确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的整体流程结构示意图。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图对本发明作进一步的详细介绍。

请参阅图1，海量图形图像智能识别检索系统，包括：

用户模块，用于实现用户与系统之间的交互；

查询图像处理模块，用于对图像提取特征描述符、数据生成、特征量化三部分；

图像存储模块，用于实现针对大规模小文件的简易存储系统，降低磁盘IO次数，提高图像存取效率，且用于存储图像处理模块处理后的图像信息；

图像检索模块，用于分析查询图像，计算数据库中相似度较高的图像并返回；

检索训练模块，用于训练图像检索模块，保证图像检索模块对查询图像的；

图库图像处理模块，用于处理图像存储模块中存储的历史图像。

图像智能识别检索系统的具体工作方法为：用户通过用户模块登录识别检索系统并将待检索图像传输至识别检索系统中，查询图像处理模块对图像进行信息采集、图像信息预处理、图像信息特征提取、图像信息特征数据化，通过图像检索模块对处理后的待检索图像进行图像检索，若图像存储模块没有对应的图像，则将待检测图像传输至图像存储模块进行存储，若图像匹配成功则将匹配则进行下一步，根据图像检索模块工作准确度确定是否需要检索培训模块的介入，若不需要检索培训模块的介入，通过图库图像处理模块将对应的历史图像进行调出，若需要检索培训模块的介入，则检索培训模块对系统进行培训后重新进行图像检索。

查询图像处理模块包括：

图像信息采集模块，用于采集需要进行检索的图像信息；

图像信息预处理单元，对检索的图像信息进行预处理，预处理包括像图像素亮度变换、图像几何变换、图像局部邻域预处理以及图像异常图像复原；

图像信息特征提取单元，用于提取预处理完成的图像信息中的重点特征；

图像信息特征数据化单元，用于将图像信息特征提取单元提取的重点特征进行数据化处理；

图像信息特征量化单元，对图像信息特征提取单元中的特征进行分类，以图像信息特征数据化单元得出的数据为中心，对每个特征使用KNN算法对其进行量化并制定关键字。

查询图像处理模块进行图像处理的具体方法为，通过图像信息采集模块采集需要进行检索的图像信息，通过图像信息预处理单元对检索的图像信息进行包括原像图像素亮度变换、图像几何变换、图像局部邻域预处理以及图像异常图像复的预处理，通过图像信息特征提取单元提取预处理完成的图像信息中的重点特征，通过图像信息特征数据化单元将图像信息特征提取单元提取的重点特征进行数据化处理，通过图像信息特征量化单元图像信息特征提取单元中的特征进行分类，以图像信息特征数据化单元得出的数据为中心，对每个特征使用KNN算法对其进行量化并制定关键字，这样设置便于对识别的照片根据特征关键字进行存储以及调用。

图像存储模块包括：

索引单元，每张检索图像对应一个索引单元，每个索引单元包含多个数据项，数据项包括图像编号、偏移量以及图像大小，图像偏移量表示图像在数据区文件中的偏移位置，通过索引单元的设置便于对存储的图像信息进行调取；

数据单元，每个索引单元在数据区都对应一个数据单元，每个数据单元包含多个数据项，多个数据项包括图像编号、图像大小、图像数据以及补齐数据，通过数据单元的设置可以便于存储。

通过图像存储模块的设置不仅可以存储你是图像信息，同时可以对未检索到的图像进行存储，增加图像存储模块的图像存储量，便于增加检索系统学习能力。

图像检索模块包括：

特征分割模块，用于分割待检索图像的特征信息；

特征对比单元，用于将特征分割模块中分割的特征信息与图像存储模块中存储的图像相特征信息进行特征对比；

特征对比质量评价模块，用于对特征对比单元的特征对比结果进行质量评比。

图像检索模块进行图像检索的具体方法为：

S1，用户通过查询模块输入需要查询的图像；

S2，通过特征分割模块将待查询图像的特征信息进行分割；

S3，通过特征对比单元将特征分割模块中分割的特征信息与图像存储模块中存储的图像相特征信息进行特征对比；

S4，通过特征对比质量评价模块将对特征对比单元的特征对比结果进行质量评比；

S5，若步骤S4中质量评比通过则进行后续操作

S6，若步骤S4中质量评比未通过则返回S3选取其他存储的图像进行后续操作。

图像检索模块进行图像检索的具体方法为，用户通过查询模块输入需要查询的图像，通过特征分割模块将待查询图像的特征信息进行分割，通过特征对比单元将特征分割模块中分割的特征信息与图像存储模块中存储的图像相特征信息进行特征对比，通过特征对比质量评价模块将对特征对比单元的特征对比结果进行质量评比，若步骤S4中质量评比通过则进行后续操作，若步骤S4中质量评比未通过则返回S3选取其他存储的图像进行后续操作，这样设置不仅可以增加图像检索的正确率，同时根据特征对比质量评价模块的设置可以通过质量评价数据的展示确定是否需要对检索系统进行检索培训。

特征分割模块的具体工作方法为：

为了得到图像不同空间维度的细节特征以提高特征识别的准确率，将特征图沿纵向和横向两个维度进行分割，将骨干网络输出的两个独立特征图分别命名为F_H和F_W，即纵向分支和横向分支，然后在纵向和横向上将它们分割为几个子区域，具体表示如下式所示：

其中其中，N表示数据集中的样本数；f_h(i，p₂)，fp分别表示第i张图像在纵向和横向上的分块特征图；p1和p2分别表示在纵向和横向上分割的数目；

设特征的设为C，采用多粒度分割方式，具体表达式如下式所示：

F_C＝{f_c(i，1)，f_c(i，2)，...，f_c(i，p₃)}i＝1，2...N，

其中，N表示特征数据集中的样本数，F_C表示整体特征，f_c(i，p₃)表示第i张图像的特征。

特征对比质量评价模块的具体方法为：

首先计算每张图像的平均检索精度AP，然后对所有AP求和再取平均,其中精确率的计算如下式所示：

其中，TP表示是把正确预测为正确的数量；FP表示是把错误预测为正确的数量，因此，精确率代表网络模型预测为正确的样本中有多少是真正的正确样本；

在计算mAP之前，首先需要计算每一张查询集图像q的平均检索精度(AP)，如下式所示：

其中，k表示检索结果列表中的第k张图像，n表示图库集图像总数，N表示检索正确的图像总数，P(k)表示在检索结果列表中前k张图像的准确率，δ(k)表示第k张图像是否与查询图像属于同一目标车辆，若判断结果为是则δ(k)＝1，若判断结果为否则δ(k)＝0；

得到某一张查询图像的平均检索精度后，要衡量一个模型对所有查询集图像的泛化能力，那么就需对所有查询集图像的平均检索精度求均值，即mAP，如式下所示：

其中Q表示询查集图像的总数，这样设置可以检索系统的工作准确度，从而根据检索系统的工作准确度确定是否需要检索培训模块的介入。

工作原理：使用时，通过用户模块登录识别检索系统并将待检索图像传输至识别检索系统中，查询图像处理模块对图像进行信息采集、图像信息预处理、图像信息特征提取、图像信息特征数据化，通过图像检索模块对处理后的待检索图像进行图像检索，若图像存储模块没有对应的图像，则将待检测图像传输至图像存储模块进行存储，若图像匹配成功则将匹配则进行下一步，根据图像检索模块工作准确度确定是否需要检索培训模块的介入，若不需要检索培训模块的介入，通过图库图像处理模块将对应的历史图像进行调出，若需要检索培训模块的介入，则检索培训模块对系统进行培训后重新进行图像检索。

以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。

Claims (7)

1.海量图形图像智能识别检索系统，其特征在于，包括：

用户模块，用于实现用户与系统之间的交互；

查询图像处理模块，用于对图像提取特征描述符、数据生成、特征量化三部分；

图像存储模块，用于实现针对大规模小文件的简易存储系统，降低磁盘IO次数，提高图像存取效率，且用于存储图像处理模块处理后的图像信息；

图像检索模块，用于分析查询图像，计算数据库中相似度较高的图像并返回；

检索训练模块，用于训练图像检索模块，保证图像检索模块对查询图像的；

图库图像处理模块，用于处理图像存储模块中存储的历史图像。

2.根据权利要求1所述的海量图形图像智能识别检索系统，其特征在于，所述查询图像处理模块包括：

图像信息采集模块，用于采集需要进行检索的图像信息；

图像信息预处理单元，对检索的图像信息进行预处理，所述预处理包括像图像素亮度变换、图像几何变换、图像局部邻域预处理以及图像异常图像复原；

图像信息特征提取单元，用于提取预处理完成的图像信息中的重点特征；

图像信息特征数据化单元，用于将图像信息特征提取单元提取的重点特征进行数据化处理；

图像信息特征量化单元，对图像信息特征提取单元中的特征进行分类，以图像信息特征数据化单元得出的数据为中心，对每个特征使用KNN算法对其进行量化并制定关键字。

3.根据权利要求2所述的海量图形图像智能识别检索系统，其特征在于，所述图像存储模块包括：

索引单元，所述每张检索图像对应一个索引单元，每个所述索引单元包含多个数据项，所述数据项包括图像编号、偏移量以及图像大小，所述图像偏移量表示图像在数据区文件中的偏移位置；

数据单元，每个所述索引单元在数据区都对应一个数据单元，每个所述数据单元包含多个数据项，多个所述数据项包括图像编号、图像大小、图像数据以及补齐数据。

4.根据权利要求3所述的海量图形图像智能识别检索系统，其特征在于，所述图像检索模块包括：

特征分割模块，用于分割待检索图像的特征信息；

特征对比单元，用于将特征分割模块中分割的特征信息与图像存储模块中存储的图像相特征信息进行特征对比；

特征对比质量评价模块，用于对特征对比单元的特征对比结果进行质量评比。

5.根据权利要求4所述的海量图形图像智能识别检索系统，其特征在于，所述图像检索模块进行图像检索的具体方法为：

S1，用户通过查询模块输入需要查询的图像；

S2，通过特征分割模块将待查询图像的特征信息进行分割；

S3，通过特征对比单元将特征分割模块中分割的特征信息与图像存储模块中存储的图像相特征信息进行特征对比；

S4，通过特征对比质量评价模块将对特征对比单元的特征对比结果进行质量评比；

S5，若步骤S4中质量评比通过则进行后续操作

S6，若步骤S4中质量评比未通过则返回S3选取其他存储的图像进行后续操作。

6.根据权利要求5所述的海量图形图像智能识别检索系统，其特征在于，所述特征分割模块的具体工作方法为：

为了得到图像不同空间维度的细节特征以提高特征识别的准确率，将特征图沿纵向和横向两个维度进行分割，将骨干网络输出的两个独立特征图分别命名为F_H和F_W，即纵向分支和横向分支，然后在纵向和横向上将它们分割为几个子区域，具体表示如下式所示：

其中其中，N表示数据集中的样本数；f_h(i，p₂)，fp分别表示第i张图像在纵向和横向上的分块特征图；p1和p2分别表示在纵向和横向上分割的数目；

设特征的设为C，采用多粒度分割方式，具体表达式如下式所示：

F_C＝{f_c(i，1)，f_c(i，2)，...，f_c(i，p₃)}i＝1，2...N，

其中，N表示特征数据集中的样本数，F_C表示整体特征，f_c(i，p₃)表示第i张图像的特征。

7.根据权利要求6所述的海量图形图像智能识别检索系统，其特征在于，所述特征对比质量评价模块的具体方法为：

首先计算每张图像的平均检索精度AP，然后对所有AP求和再取平均,其中精确率的计算如下式所示：

其中，TP表示是把正确预测为正确的数量；FP表示是把错误预测为正确的数量，因此，精确率代表网络模型预测为正确的样本中有多少是真正的正确样本；

在计算mAP之前，首先需要计算每一张查询集图像q的平均检索精度(AP)，如下式所示：

其中，k表示检索结果列表中的第k张图像，n表示图库集图像总数，N表示检索正确的图像总数，P(k)表示在检索结果列表中前k张图像的准确率，δ(k)表示第k张图像是否与查询图像属于同一目标车辆，若判断结果为是则δ(k)＝1，若判断结果为否则δ(k)＝0；

得到某一张查询图像的平均检索精度后，要衡量一个模型对所有查询集图像的泛化能力，那么就需对所有查询集图像的平均检索精度求均值，即mAP，如式下所示：

其中Q表示询查集图像的总数。

Images