CN118364130B - 基于超级字典的图像检索方法及系统 - Google Patents
基于超级字典的图像检索方法及系统 Download PDFInfo
- Publication number
- CN118364130B CN118364130B CN202410782028.9A CN202410782028A CN118364130B CN 118364130 B CN118364130 B CN 118364130B CN 202410782028 A CN202410782028 A CN 202410782028A CN 118364130 B CN118364130 B CN 118364130B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- super dictionary
- dictionary
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000009826 distribution Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 14
- 230000001788 irregular Effects 0.000 claims description 13
- 238000005286 illumination Methods 0.000 claims description 12
- 230000008439 repair process Effects 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 239000003086 colorant Substances 0.000 claims 1
- 238000012360 testing method Methods 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 241000238631 Hexapoda Species 0.000 description 5
- 241000607479 Yersinia pestis Species 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 241001124076 Aphididae Species 0.000 description 3
- 241000346285 Ostrinia furnacalis Species 0.000 description 3
- 241000256251 Spodoptera frugiperda Species 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000000575 pesticide Substances 0.000 description 3
- 239000010865 sewage Substances 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004720 fertilization Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000006424 Flood reaction Methods 0.000 description 1
- 241000592366 Megacyllene robiniae Species 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009418 renovation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- -1 rtifacts Species 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出基于超级字典的图像检索方法及系统；属于图像检索技术领域。所述方法从探测引擎中获取针对不同场景的多个初始图像；对所述多个初始图像进行预处理；对预处理操作后部分不符合设定格式要求的图像进行修复，得到修复后的图像集合；基于修复后得到的图像集合，根据不同场景图像的分布，针对小样本数据集进行图像增强、扩充处理；分别利用ORB算法与AlexNet算法获取图像的局部特征与全局特征；局部特征与全局特征结合为超级字典，测试集完成局部与全局的特征提取后，利用广义OMP算法在超级字典中匹配获得检索到的图像。利用本发明的检索方式能够提高以图搜图效率及准确度，充分得到图像检索结果。
Description
技术领域
本发明涉及图像检索技术领域，特别是应用于相似图像搜索领域中，更具体地是涉及基于超级字典的图像检索方法及系统。
背景技术
随着医疗影像检索、人脸检索、智慧城市、图像追踪、引擎识图的迅速发展，以图搜图，即相似图像搜索技术应用逐渐增多。其主要原理是相似图像检索，在一些搜索引擎或者工具中输入一张图片，会得到许多相似的图像。
以图搜图技术的发展主要经历两个阶段，第一阶段是传统的基于文本关键字检索，第二阶段是基于深度学习算法的图像检索技术。而现有的以图搜图方式中，对于图像的处理较为复杂，导致算法耗时长，对数据集的质量要求也较高。此外，现有技术中解析技术是利用预先设定的数学变换方法进行字典构造，字典中的所有原子都可以利用数学函数或者一些参数进行表达，例如离散余弦变换、轮廓波变换、参数化字典、小波变换、双树复数小波波变换等，利用这些数学变换进行字典构造，其主要优点是计算复杂度低、模型构造简单；但主要缺点是原始图像在变换分解的过程中会损失大量信息，这些信息中可能包含重要的图像内容（轮廓、边缘、纹理、形态等信息），字典中的原子构造不够饱和，对于内容较为复杂的图像不适用。
现有的农业领域中，针对农作物破坏未知原因的判定中，基于现有的图像，利用以图搜图方式来进行相似图片的确定，并不能满足当前获得的复杂图像的处理，并且现有的搜索方式其处理速度及结果精度都无法满足需要。如何基于农业领域图片的特点，准确得到相关图像以用于农业领域研究应用，是现今亟需解决的技术问题。
发明内容
为解决上述问题，本发明提供一种基于超级字典的图像检索方法及系统，具体应用于农作物破坏以图搜图中，针对农作物破坏在特定环境下无法进行原因判定的时候，如自然灾害、农业虫害、人为因素等造成的农作物被破坏的情况，利用多种技术融合对大量农作物破坏的图像进行特征提取、学习，构造超级字典，未能判别农作物被破坏原因的图片在超级字典中能够检索到相似的图片，通过对相似图像进行农作物被破坏原因分析，进而实现对农作物被破坏未知原因的判定。
本发明第一方面公开了一种基于超级字典的图像检索方法，所述方法包括：
步骤S1：从探测引擎中获取针对不同场景的多个初始图像；
步骤S2：对所述多个初始图像进行预处理；
步骤S3：对预处理操作后部分不符合设定格式要求的图像进行修复，得到修复后的图像集合；
步骤S4：基于修复后得到的图像集合，根据不同场景图像的分布，针对小样本数据集进行图像增强、扩充处理；
步骤S5：利用ORB算法获取经步骤S4处理得到的图像的局部特征，利用AlexNet神经网络算法获取经步骤S4处理得到的图像的全局特征，将所述局部特征与所述全局特征整合为超级字典；
步骤S6：向所述超级字典输入需要检索的图像集合，在所述超级字典中利用ORB算法与AlexNet算法分别提取所述需要检索的图像集合中各个图像的局部特征与全局特征，将提取到的局部特征与全局特征利用广义OMP算法在所述超级字典中进行匹配检索，输出检索到的图像。
根据本发明第一方面所述的基于超级字典的图像检索方法，所述部分不符合设定格式要求的图像包括：内容有遮挡、拍摄角度不规整、以及有光照强度影响的图像。
根据本发明第一方面所述的基于超级字典的图像检索方法，在步骤S3中，对内容有遮挡的图像进行修复；具体包括：
利用边缘检测的方式对内容有遮挡的图像进行分割，基于遮挡部分与背景部分将内容有遮挡的图像划分为多个区域；
利用SIFT算子对分割后得到的区域图像进行特征提取，获取所述区域图像的颜色、纹理和背景信息；
基于所述区域图像的颜色、纹理和背景信息，利用拉格朗日插值法对所述区域图像进行插值修复，选择邻域信息填充遮挡部分；
对将经插值修复得到的图像执行基于图像纹理、颜色的融合，完成对被遮挡的内容的修复。
根据本发明第一方面所述的基于超级字典的图像检索方法，在步骤S3中，对拍摄角度不规整的图像进行修复；具体包括：
利用canny算子检测拍摄角度不规整的图像的边缘轮廓；
基于所述边缘轮廓，利用霍夫曼变化检测出其中包括的所有直线；
从获取到的所有直线中选取出水平方向的直线，计算非水平方向的直线与水平线之间的偏移角度，根据所述偏移角度对拍摄角度不规整的图像进行旋转矫正，输出经旋转矫正后的图像。
根据本发明第一方面所述的基于超级字典的图像检索方法，在步骤S3中，对有光照强度影响的图像进行修复；具体包括：
利用非线性传递函数对有光照强度影响的图像进行亮度提升；
利用高斯卷积核获取亮度提升后的图像的像素的亮度信息；
基于所述亮度信息，使用不同尺度的卷积核进行对比度增强，得到修复后的图像。
根据本发明第一方面所述的基于超级字典的图像检索方法，在步骤S5中：
利用ORB算法提取所述局部特征具体包括：通过FAST角点检测和BRIEF描述器计算来提取所述局部特征；
利用AlexNet神经网络算法提取所述全局特征具体包括：基于经步骤S4处理得到的图像，在神经网络的全连接层选择施密特正交进行图像特征正则化；对正则化后的图像进行局部响应归一化处理和重叠池化操作，从而得到全局特征；
其中，在所述神经网络中，选择核函数作为激活函数。
根据本发明第一方面所述的基于超级字典的图像检索方法，步骤S4还包括：针对修复后得到的图像集合所包含的图像，获取其在不同场景下的分布数量，将分布数量低于阈值的图像作为小样本图像，对小样本图像进行增强和扩充，选择裁剪、缩放、加黑框、角度旋转四种方式进行小样本增强处理。
本发明第二方面公开了一种基于超级字典的图像检索系统，所述系统包括处理单元，所述处理单元被配置为：执行用于实现第一方面所述的基于超级字典的图像检索方法的步骤。
本发明第三方面公开了一种电子设备，包括存储器及处理器，存储器中存储有计算机程序，所述处理器用于执行存储器中的程序以实现第一方面所述的基于超级字典的图像检索方法。
本发明第四方面公开了一种计算机可读存储介质，所述存储介质存储实现第一方面所述的基于超级字典的图像检索方法。
综上，本发明提出的方案具备如下技术效果：本发明提供了一种基于超级字典的图像检索方法及系统，基于获取的图像的特点选择合适算法进行修正，保证了图像处理的准确度；针对小样本数据，选取合适的方法进行样本增强、扩充，使得数据充足保证了超级字典的完整性及精确度；通过整合局部与全局特征，充分挖掘图像特征，保证检索结果的有效性。另外，基于本申请提出的相关处理方法步骤，保证得到图像检索的速度，降低了系统的整体开销。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的基于超级字典的图像检索方法的流程图；
图2(a)为低温灾害导致农作物被破坏的场景示意图；
图2(b)为风灾导致农作物被破坏的场景示意图；
图2(c)为水灾导致农作物被破坏的场景示意图；
图2(d)为旱灾农作物被破坏的场景示意图；
图2(e)为蚜虫农作物被破坏的场景示意图；
图2(f)为草地贪夜蛾农作物被破坏的场景示意图；
图2(g)为蝗虫农作物被破坏的场景示意图；
图2(h)为玉米螟农作物被破坏的场景示意图；
图2(i)为过度浇灌农作物被破坏的场景示意图；
图2(j)为污水排放致农作物被破坏的场景示意图；
图2(k)为过度施肥农作物被破坏的场景示意图；
图2(l)为过度使用杀虫剂农作物被破坏的场景示意图；
图3是根据本发明实施例的基于超级字典的图像检索方法的另一流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据本发明实施例的基于超级字典的图像检索方法的流程图，如图1所示，实现步骤如下：
步骤S1：从探测引擎中获取针对不同场景的多个初始图像。具体而言，例如在农业领域，可以从探测引擎中基于自然灾害、农业虫害、人为因素三个方面分别获取农作物破坏的初始图像；其中对于图像的类型，是可以根据需要设置的，在这里，基于农业领域现有图片处理的需要，对其中自然灾害、农业虫害、人为因素类型的图像选择进行处理。
步骤S2：将步骤S1中获取的所述多个初始图像进行去重、清洗、统一编码格式、去噪的预处理操作；
步骤S3：基于步骤S2中得到的图像，对其中有内容遮挡、拍摄角度不规整、光照强度影响的图像进行修复。
经过预处理后的图像，还有一些内容遮挡、拍摄角度不规整、光照强度影响等问题，为了能针对图像有效进行修复，在提升修复速度的基础上进一步保证图像修复处理效果，针对以上问题，本发明选取以下算法基于图像的缺陷类型分别进行图像修复：
（1）内容遮挡修复
首先利用边缘检测方法对图像进行分割，将遮挡部分与图像背景进行分割，分成不同的区域；利用SIFT算子对分割后的图像进行特征提取，获取图像的颜色、纹理、背景等信息；利用拉格朗日插值法对图像进行插值修复，选择邻域信息补充遮挡部分；最后基于像素继续纹理、颜色的融合，完成内容遮挡的修复。利用该方法，使得内容有遮挡的图像能够全面得到修复，并且修复后的图像满足了后续检索需求。
（2）拍摄角度不规整修复
针对拍摄倾斜、拍照距离过远或过近造成图片内容不容易判别等因素，对图像进行修复。首先利用canny算子检测图像的边缘轮廓；利用霍夫曼变化检测出图像中的所有直线；从中挑选出近似水平方向的直线，求取与水平线之间的偏移角度大小；对倾斜角度进行旋转矫正，输出修复之后的图像。利用该方法，基于拍摄本身的特点对图像进行修复，修复后的图像也能够很好满足后续检索的需求。
（3）光照强度影响因素
光照过强或者过弱都会对图像产生影响，利用图像增强算法对受光照影响的图像进行修复，主要过程为首先利用非线性传递函数来对图像进行亮度提升，传递函数的数值可随时调整；利用高斯卷积核获取像素的亮度信息，亮度相似或相同的根据周围亮度不同的像素输出不同结果，最后使用把不同尺度的卷积核进行图像的对比度增强。
步骤S4：将步骤S3中修复后得到的图像，根据不同场景图像的分布，针对小样本数据集进行图像增强、扩充。针对修复后得到的图像集合所包含的图像，获取其在不同场景下的分布数量，将分布数量低于阈值的图像作为小样本图像。针对于样本量较少的情况，为了保证最后的训练识别效果，对样本的有效补充是必要的。本发明充分考虑了这种情况，在此设置增强对样本的管理，提高了算法结果精度。
步骤S5：利用ORB算法获取步骤S4得到的图像的局部特征，利用AlexNet算法获取步骤S4得到的图像的全局特征，将所述局部特征与全局特征整合为超级字典。
本发明选择利用ORB算法提取图像的局部特征，该算法对图像局本部特征提取的主要步骤包括FAST角点检测及BRIEF描述器计算。FAST角点检测通过对比某个像素周围的12个像素点亮度来判断该点是否为角点，在检测时，需要综合考虑各个方向的像素点，在每个角点选择一个主方向作为特征点的旋转不变性；BRIEF描述器用来表示局部图像的向量，在每个特征点周围选择一些符合要求的像素对，集权亮度距离，得到一组二进制编码，便于后期匹配与检索。
本发明中，利用AlexNet神经网络实现图像检索。其中包括图像卷积、全连接，在LeNet基础上进行改进，在图像检索、分类、聚类方面取得了非常显著的效果。该技术进行图像检索的核心技术点包括首先在全连接层选择Dropout进行正则化，目的在于减少参数量；选择ReLU函数作为激活函数，目的在于降低传统tanh函数、sigmod函数在网络层数加深产生梯度消失的问题，同时也可以制约梯度爆炸的问题；利用局部响应归一化技术，加快算力；最后利用重叠池化的操作，减低特定区域过拟合的现象。该算法具有极高的鲁棒性，同时计算难度相对较低，适用于图像检索具有很好的效果。
图像的全局特征提取选择AlexNet神经网络，具体步骤包括首先在全连接层选择施密特正交进行正则化；选择核函数作为激活函数降低传梯度消失的问题；利用局部响应归一化技术，加快算力；最后利用重叠池化的操作，减低特定区域过拟合的现象。
步骤S6：向所述超级字典输入需要检索的图像集合，在所述超级字典中利用ORB算法与AlexNet算法分别提取所述需要检索的图像集合中各个图像的局部特征与全局特征，将提取到的局部特征与全局特征利用广义OMP算法在所述超级字典中进行匹配检索，输出检索到的图像。
广义OMP算法是OMP算法的改进版版本，基本工作原理为首先从字典中选取与样本数据最接近的列向量来构建观测矩阵，求取观测矩阵每列向量与样本数据列向量的残差，之后从字典中选取与残差向量最接近的原子构建观测矩阵，重复迭代，最终能够得到样本数据等于原子向量与残差向量相加的值，则迭代停止，其中每次在字典中挑选原子向量都需要经过施密特正交化操作。
本发明从开源的探测引擎中获取农作物破坏的图片作为原始数据集，对数据集进行预处理后得到样本集；针对数据集具有的内容遮挡、拍摄角度远近不同、光照强度不同造成数据失真的问题，分别利用不同算法对数据进行修复；修复完成后观察数据分布情况，针对小样本数据，选取合适的方法进行样本增强、扩充，进而得到质量较高的数据集，将数据集按照8：2的比例分为训练集和测试集；训练集特征提取阶段，选择两种算法分别提取数据的局部特征和全局特征，确保特征的完备性，将局部特征与全局特征相结合构造为超级字典。
在本发明的检索阶段，对测试集先进性局部特征与全局特征的提取，利用广义OMP算法对提取后的特征在字典中正交匹配，选择最相似的结果作为输出的检索结果。该技术能够在一定从程度上实现对未知农作物破坏原因的判定，如自然灾害（洪涝、旱灾、风灾、低温灾害等）、农业虫害（蚜虫、草地贪夜蛾、蝗虫、玉米螟）、人为因素（过度浇灌、污水排放、过度施肥、过度使用除虫剂）等。如图2(a)-2(l)所示，图2(a)-2(l)的场景分别为：低温灾害导致的农作物破坏、风灾导致的农作物破坏、水灾导致的农作物破坏、旱灾导致的农作物破坏、蚜虫导致的农作物破坏、草地贪夜蛾导致的农作物破坏、蝗虫导致的农作物破坏、玉米螟导致的农作物破坏、过度浇灌导致的农作物破坏、污水排放导致的农作物破坏、过度施肥导致的农作物破坏、过度使用杀虫剂导致的农作物破坏。
图3是根据本发明实施例的基于超级字典的图像检索方法的另一流程图，如图3所示，其包括的步骤具体如下：
在开源探测引擎中，从自然灾害、农业虫害、人为因素三个层面出发，获取农作物破坏的实验样本数据集。
对实验样本数据进行预处理，包括数据清洗、去重、编码格式统一，背景去噪声等处理，其中去噪算法选择自组织映射算法。
经过预处理的数据，可能存在图像不很清晰，图像部分内容有遮挡、图像由于拍摄角度不规整造成尺度偏移、光照强度的强弱导致图像质量不高的情况等，即在实际检索处理中，经常存在待检索图像本身质量存在问题的情况，导致对于图像数据的处理基础就出现偏差。基于此，对经过探测引擎获取的图像质量不高的农作物破坏图像进行修复，有利于后续的分析。具体而言，图像缺陷通常包括内容遮挡、拍摄角度不规整、光照强度的影响等，本发明分别利用多种不同算法对各类图像进行修复。而基于图像缺失的不同所针对性修复，不仅修复得到的图像质量好，图像修复速度也得到的满足。
对经过修复的样本集进行分析，统计每种场景下图像的分布情况，针对分布数量较少类别的数据进行增强、扩充，这里我们选择裁剪、缩放、加黑框、角度旋转四种方式进行小样本增强处理，使得各个场景下的样本尽可能均匀分布；将样本集按照8:2的比例分为训练集与测试集。
经过扩充后得到的高质量训练集，分别利用ORB算法与AlexNet算法获取图像的局部特征与全局特征；根据实验证明，采用ORB算法与AlexNet算法能够满足图像处理需求。
选择基于ORB算法对图像进行局部特征提取，基于Alex Net算法对图像进行全局特征提取，将提取得到的局部特征与全局特征相结合构造为样本超级字典。
测试集先利用ORB算法与Alex Net算法进行局部特征与全局特征的提取，提取后的特征利用广义OMP算法在从超级字典中进行匹配，匹配到最合适的原子进行组合输出。
根据匹配的原子线性组合，在全连接层输出最终的检索图像。
本发明还提供了一种基于超级字典的图像检索系统，用以实现前述基于超级字典的图像检索方法。
本发明还提供了一种电子设备，包括存储器及处理器，存储器中存储有计算机程序，所述处理器用于执行存储器中的程序以实现前述基于超级字典的图像检索方法。
本发明还提供了一种计算机可读存储介质，所述存储介质存储实现前述基于超级字典的图像检索方法的计算机程序。
综上，本发明提出基于超级字典的图像检索方法及系统，通过实际图像检索证实具有如下效果：首先，针对图像本身的特点选择设置不同的修复手段进行图像的针对性有效修复，不仅保证了训练数据的完整，也提高了训练数据的有效性，为之后的数据分析提供基础；其次，针对小样本数据集进行样本数据增强，保证了后续处理效果；最后，通过提取局部与全局特征融合的方式，通过构建超级字典保证了图像检索结果的全面及精准。将本发明应用于农作物破坏原因的判定中，对于农业实施计划的制定提供有效基础。
请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种基于超级字典的图像检索方法，其特征在于，所述方法包括：
步骤S1：从探测引擎中获取针对不同场景的多个初始图像；
步骤S2：对所述多个初始图像进行预处理；
步骤S3：对预处理操作后部分不符合设定格式要求的图像进行修复，得到修复后的图像集合；
其中，对图像进行修复，具体包括：
利用边缘检测的方式对内容有遮挡的图像进行分割，基于遮挡部分与背景部分将内容有遮挡的图像划分为多个区域；
利用SIFT算子对分割后得到的区域图像进行特征提取，获取所述区域图像的颜色、纹理和背景信息；
基于所述区域图像的颜色、纹理和背景信息，利用拉格朗日插值法对所述区域图像进行插值修复，选择邻域信息填充遮挡部分；
对经插值修复得到的图像执行基于图像纹理、颜色的融合，完成对被遮挡的内容的修复；
步骤S4：基于修复后得到的图像集合，根据不同场景图像的分布，针对小样本数据集进行图像增强、扩充处理；
步骤S5：利用ORB算法获取经步骤S4处理得到的图像的局部特征，利用AlexNet神经网络算法获取经步骤S4处理得到的图像的全局特征，将所述局部特征与所述全局特征整合为超级字典；
步骤S6：向所述超级字典输入需要检索的图像集合，在所述超级字典中利用ORB算法与AlexNet算法分别提取所述需要检索的图像集合中各个图像的局部特征与全局特征，将提取到的局部特征与全局特征利用广义OMP算法在所述超级字典中进行匹配检索，输出检索到的图像。
2.根据权利要求1所述的基于超级字典的图像检索方法，其特征在于，所述部分不符合设定格式要求的图像包括：内容有遮挡、拍摄角度不规整、以及有光照强度影响的图像。
3.根据权利要求2所述的基于超级字典的图像检索方法，其特征在于，在步骤S3中，对拍摄角度不规整的图像进行修复；具体包括：
利用canny算子检测拍摄角度不规整的图像的边缘轮廓；
基于所述边缘轮廓，利用霍夫曼变化检测出其中包括的所有直线；
从获取到的所有直线中选取出水平方向的直线，计算非水平方向的直线与水平线之间的偏移角度，根据所述偏移角度对拍摄角度不规整的图像进行旋转矫正，输出经旋转矫正后的图像。
4.根据权利要求2所述的基于超级字典的图像检索方法，其特征在于，在步骤S3中，对有光照强度影响的图像进行修复；具体包括：
利用非线性传递函数对有光照强度影响的图像进行亮度提升；
利用高斯卷积核获取亮度提升后的图像的像素的亮度信息；
基于所述亮度信息，使用不同尺度的卷积核进行对比度增强，得到修复后的图像。
5.根据权利要求1所述的基于超级字典的图像检索方法，其特征在于，在步骤S5中：
利用ORB算法提取所述局部特征具体包括：通过FAST角点检测和BRIEF描述器计算来提取所述局部特征；
利用AlexNet神经网络算法提取所述全局特征具体包括：基于经步骤S4处理得到的图像，在神经网络的全连接层选择施密特正交进行图像特征正则化；对正则化后的图像进行局部响应归一化处理和重叠池化操作，从而得到全局特征；
其中，在所述神经网络中，选择核函数作为激活函数。
6.根据权利要求1所述的基于超级字典的图像检索方法，其特征在于，步骤S4还包括：针对修复后得到的图像集合所包含的图像，获取其在不同场景下的分布数量，将分布数量低于阈值的图像作为小样本图像，对小样本图像进行增强和扩充，选择裁剪、缩放、加黑框、角度旋转四种方式进行小样本增强处理。
7.一种基于超级字典的图像检索系统，其特征在于，所述系统包括处理单元，所述处理单元被配置为：执行用于实现权利要求1-6中任一项所述的基于超级字典的图像检索方法的步骤。
8.一种电子设备，其特征在于：包括存储器及处理器，存储器中存储有计算机程序，所述处理器用于执行存储器中的程序以实现权利要求1-6中任一项所述的基于超级字典的图像检索方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储实现权利要求1-6中任一项所述的基于超级字典的图像检索方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410782028.9A CN118364130B (zh) | 2024-06-18 | 2024-06-18 | 基于超级字典的图像检索方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410782028.9A CN118364130B (zh) | 2024-06-18 | 2024-06-18 | 基于超级字典的图像检索方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118364130A CN118364130A (zh) | 2024-07-19 |
| CN118364130B true CN118364130B (zh) | 2024-09-06 |
Family
ID=91885909
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410782028.9A Active CN118364130B (zh) | 2024-06-18 | 2024-06-18 | 基于超级字典的图像检索方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118364130B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104142978A (zh) * | 2014-07-14 | 2014-11-12 | 重庆邮电大学 | 一种基于多特征和稀疏表示的图像检索系统及方法 |
| CN114139000A (zh) * | 2021-11-29 | 2022-03-04 | 北京比特易湃信息技术有限公司 | 基于图像全局和局部特征重排序的图像检索系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107423294A (zh) * | 2016-02-25 | 2017-12-01 | 北京联合大学 | 一种社群图像检索方法及系统 |
| US20180300937A1 (en) * | 2017-04-13 | 2018-10-18 | National Taiwan University | System and a method of restoring an occluded background region |
| CN111522986B (zh) * | 2020-04-23 | 2023-10-10 | 北京百度网讯科技有限公司 | 图像检索方法、装置、设备和介质 |
| CN115131236A (zh) * | 2022-06-23 | 2022-09-30 | 上海应用技术大学 | 一种自适应弧光区域修复与增强方法 |
| CN115457551A (zh) * | 2022-07-31 | 2022-12-09 | 哈尔滨工业大学（威海） | 适用于小样本条件的叶片损伤识别方法 |
-
2024
- 2024-06-18 CN CN202410782028.9A patent/CN118364130B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104142978A (zh) * | 2014-07-14 | 2014-11-12 | 重庆邮电大学 | 一种基于多特征和稀疏表示的图像检索系统及方法 |
| CN114139000A (zh) * | 2021-11-29 | 2022-03-04 | 北京比特易湃信息技术有限公司 | 基于图像全局和局部特征重排序的图像检索系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118364130A (zh) | 2024-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111723860B (zh) | 一种目标检测方法及装置 | |
| CN109800736B (zh) | 一种基于遥感影像和深度学习的道路提取方法 | |
| CN115331087B (zh) | 融合区域语义与像素特征的遥感影像变化检测方法及系统 | |
| Han et al. | Remote sensing image building detection method based on Mask R-CNN | |
| Tang et al. | A multi-stage framework with context information fusion structure for skin lesion segmentation | |
| CN111612008A (zh) | 基于卷积网络的图像分割方法 | |
| CN112862824A (zh) | 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质 | |
| CN113468996B (zh) | 一种基于边缘细化的伪装物体检测方法 | |
| CN112001399B (zh) | 基于局部特征显著化的图像场景分类方法和装置 | |
| Chen et al. | A new process for the segmentation of high resolution remote sensing imagery | |
| CN113808251B (zh) | 一种基于语义分割的稠密重建的方法、系统、装置和介质 | |
| CN115527036A (zh) | 电网场景点云语义分割方法、装置、计算机设备和介质 | |
| CN114419406A (zh) | 图像变化检测方法、训练方法、装置和计算机设备 | |
| CN114898359B (zh) | 一种基于改进EfficientDet的荔枝病虫害检测方法 | |
| CN114612802A (zh) | 基于mbcnn的舰船目标细粒度分类系统及方法 | |
| Ps et al. | Building footprint extraction from very high-resolution satellite images using deep learning | |
| Buyssens et al. | Eikonal-based vertices growing and iterative seeding for efficient graph-based segmentation | |
| CN109299295B (zh) | 蓝印花布图像数据库搜索方法 | |
| Ružić et al. | Texture and color descriptors as a tool for context-aware patch-based image inpainting | |
| Yu et al. | MagConv: Mask-guided convolution for image inpainting | |
| CN117557774A (zh) | 一种基于改进YOLOv8的无人机图像小目标检测方法 | |
| CN118364130B (zh) | 基于超级字典的图像检索方法及系统 | |
| CN116524352A (zh) | 一种遥感图像水体提取方法及装置 | |
| CN116386803A (zh) | 一种基于图的细胞病理报告生成方法 | |
| CN110826394A (zh) | 基于卷积神经网络算法的水库识别方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |