CN116049476A - 一种基于多层次似然扩展的遥感图像语义定位方法 - Google Patents
一种基于多层次似然扩展的遥感图像语义定位方法 Download PDFInfo
- Publication number
- CN116049476A CN116049476A CN202310200249.6A CN202310200249A CN116049476A CN 116049476 A CN116049476 A CN 116049476A CN 202310200249 A CN202310200249 A CN 202310200249A CN 116049476 A CN116049476 A CN 116049476A
- Authority
- CN
- China
- Prior art keywords
- feature vector
- similarity
- semantic
- remote sensing
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 239000013598 vector Substances 0.000 claims abstract description 53
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 238000012935 Averaging Methods 0.000 claims abstract description 5
- 230000004807 localization Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/19007—Matching; Proximity measures
- G06V30/19093—Proximity measures, i.e. similarity or distance measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像语义检索领域，尤其涉及一种基于多层次似然扩展的遥感图像语义定位方法。所述方法，包括以下步骤：选择提取图像和文本特征向量的网络模型；选择目标图像，对图片进行切片，得到图片切片特征向量；选择目标文本，提取文本信息，得到文本特征向量；计算图片切片特征向量与文本特征向量的相似度，选择相似度排序在前10~18%的切片；在选择出的切片中进行扩展，计算扩展后的特征向量与文本的相似度；求第一次相似度与第二次相似度的平均值；对概率图进行滤波操作，得到语义定位结果图。本发明可以提高当前遥感图像语义定位的速度，提高定位的准确率，尤其是对于超大尺寸的遥感图像，可是帮助用户快速定位到目标物体。
Description
技术领域
本发明涉及图像语义检索领域，尤其涉及一种基于多层次似然扩展的遥感图像语义定位方法。
背景技术
卫星遥感具有获取地物信息速度快、效果好的特点，并且不受地域限制，因此它已经在导航、资源调查、测绘和军事侦察等领域获得了广泛的引用。高分辨率遥感影像可以真实的反应各种地物信息，它的空间分辨率一般可达到米级，它所反应的地物的空间，几何特征，形状及纹理信息都非常清晰和丰富。目前世界上主流的高分辨遥感卫星有很多，比如国内的资源卫星、高分卫星、天绘一号卫星、北京卫星等，国外的有Landsat、RapidEye、PlanetScope、SkySat、WorldView、Sentinel-2等，他们的空间分辨率均可达到米级。在小空间尺度上观察地表的变化细节、进行大比例尺遥感制图，这都得益于这些高分辨率卫星遥感影响的出现。由于遥感高分辨率影像具有数据量大，数据复杂以及尺寸大的特点，使得高分辨率的遥感影像的数据处理以及影像信息提取具有一定的难度，面临一些急需解决的问题。
跨模态检索便是以一种类型的数据作为查询条件去检索另一种类型的数据，存在“异构鸿沟”。以图像和文本两种模态为例，异构鸿沟是指由于图像和文本的表示形式不一致，两者数据处于不同的分布空间，无法直接度量相似性。两种模态的数据处于不同的表示空间，要想在这样的分布中来准确度量两个模态之间的语义相关性，具有难度。遥感跨模式文字图像检索方法可以进一步分为基于标题的方法和基于嵌入的方法。基于标题的方法自动为每个遥感图像生成标题，然后再检索期间对查询和标题之间的文本相似性进行排序；基于嵌入式的方法是将遥感图像和文本行摄到同意高维空间，通过适当的距离侧跨模态相似性。
基于标题的遥感跨模式文字图像检索方法相对成熟，但生成的句子的细粒度不能覆盖整个图像，这会导致情态转换过程中不可避免的信息丢失。与基于标题的检索方法相比，基于嵌入的检索方法在单个阶段计算多模态之间的相似性，从而大大减少了信息损失。
语义定位是指利用文本等语义信息获取最大规模遥感图像中最相关位置的任务，是一种新兴的基于跨模态检索的任务。与像素级别的定向的对象检测和分割任务不同，语义定位旨在从语义级别检索相关区域。本发明提出的基于多层次似然扩展的遥感图像语义定位方法是嵌入式的跨模态检索。
发明内容
本发明要解决的技术问题是：提供一种基于多层次似然扩展的遥感图像语义定位方法，可以提高当前遥感图像语义定位的速度，提高定位的准确率，尤其是对于超大尺寸的遥感图像，可是帮助用户快速定位到目标物体。
本发明提供了一种基于多层次似然扩展的遥感图像语义定位方法，包括以下步骤：
步骤一：选择提取图像特征向量的网络模型以及提取文本特征向量的网络模型；
步骤二：选择目标图像，对图片进行切片，得到图片切片特征向量；选择目标文本，利用提取文本特征向量的网络模型提取文本信息，得到文本特征向量；
步骤三：计算图片切片特征向量与文本特征向量的相似度，选择相似度排序在前10~18%的切片；
步骤四：在选择出的切片中选择不同的点进行扩展，得到二次切片，计算二次切片的特征向量与文本特征向量的相似度；
步骤五：取步骤三中第一次相似度计算的值与第二次相似度计算的值，对应到像素中求平均值，由所述平均值形成概率图；
步骤六：对所述概率图进行滤波操作，得到语义定位结果图。
优选地，所述提取图像特征向量的网络模型为AMFMN模型。
优选地，所述步骤二中，对图片进行切片时，采用512×512比例进行切片。
优选地，所述步骤三中，选择相似度排序在前15%的切片。
优选地，所述步骤三中，利用余弦值计算图片切片特征向量与文本特征向量的相似度。
优选地，所述步骤四中，在选择出的切片中，选择其中的四个角上的点以及中心点进行扩展。
优选地，所述步骤四中，进行扩展时，采用64×64和128×128两种比例的扩展。
优选地，所述步骤六中，对所述概率图进行高斯滤波。
优选地，所述步骤六中，所述滤波时，选用的滤波盒中心像素值等于255。
优选地，所述步骤四中，利用余弦值计算二次切片的特征向量与文本特征向量的相似度。
与现有技术相比，本发明的基于多层次似然扩展的遥感图像语义定位方法，通过对图像切片和文本特征向量的提取，使用适当的距离计算切片和文本之间的相似度并进行排序，实现在遥感图像中显示与文本语义最相关的部分，使得用户可以在一张超大分辨率的图片中快速定位到检索目标，较方便地对目标及进行后续操作。适用于遥感图像样本标注方面，辅助用户实现超大尺寸的遥感图像样本的快速标注。实现了遥感图像语义级别的检索工作，大大提高了遥感图像样本标注的速度，避免了因重大人因失误问题的发生导致标注的错误。因为该方法的使用，极大的提高了样本标注的效率和标注结果的准确率；因此具有很广泛的应用前景及应用价值。
附图说明
图1表示本发明实施例的基于多层次似然扩展的遥感图像语义定位方法流程图；
图2表示数据的处理和特征向量提取流程图。
实施方式
为了进一步理解本发明，下面结合实施例对本发明的实施方案进行描述，但是应当理解，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明的限制。
本发明的实施例公开了一种基于多层次似然扩展的遥感图像语义定位方法，包括以下步骤：
步骤一：选择提取图像特征向量的网络模型以及提取文本特征向量的网络模型；
步骤二：选择目标图像，对图片进行切片，得到图片切片特征向量；选择目标文本，利用提取文本特征向量的网络模型提取文本信息，得到文本特征向量；
步骤三：计算图片切片特征向量与文本特征向量的相似度，选择相似度排序在前10~18%的切片；
步骤四：在选择出的切片中选择不同的点进行扩展，得到二次切片，计算二次切片的特征向量与文本特征向量的相似度；
步骤五：取步骤三中第一次相似度计算的值与第二次相似度计算的值，对应到像素中求平均值，由所述平均值形成概率图；
步骤六：对所述概率图进行滤波操作，得到语义定位结果图。
为了进一步理解本发明，下面结合实施例对本发明提供的基于多层次似然扩展的遥感图像语义定位方法进行详细说明，本发明的保护范围不受以下实施例的限制。
实施例1
如图1和图2所示，
采集遥感图像数据集，选择图像和文本网络模型，选用了AMFMN模型。
对图片进行切片时，采用512×512比例进行切片；
选择目标图像，对图片进行切片，得到图片切片特征向量；选择目标文本，利用提取文本特征向量的网络模型提取文本信息，得到文本特征向量；
利用余弦值计算计算图片切片特征向量与文本特征向量的相似度，并进行排序，选择相似度排序在前15%的切片；
将选择出的切片使用64×64和128×128两种比例向外扩展，得到二次切片，所得切片提取特征向量，利用余弦值计算计算二次切片的特征向量与文本特征向量的相似度；
取第一次相似度计算的值与第二次相似度计算的值，对应到像素中求平均值，由所述平均值形成概率图；
对所述概率图进行高斯滤波操作，选用的滤波盒中心像素值等于255，得到语义定位结果图。
以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于多层次似然扩展的遥感图像语义定位方法，其特征在于，包括以下步骤：
步骤一：选择提取图像特征向量的网络模型以及提取文本特征向量的网络模型；
步骤二：选择目标图像，对图片进行切片，得到图片切片特征向量；选择目标文本，利用提取文本特征向量的网络模型提取文本信息，得到文本特征向量；
步骤三：计算图片切片特征向量与文本特征向量的相似度，选择相似度排序在前10~18%的切片；
步骤四：在选择出的切片中选择不同的点进行扩展，得到二次切片，计算二次切片的特征向量与文本特征向量的相似度；
步骤五：取步骤三中第一次相似度计算的值与第二次相似度计算的值，对应到像素中求平均值，由所述平均值形成概率图；
步骤六：对所述概率图进行滤波操作，得到语义定位结果图。
2.根据权利要求1所述的基于多层次似然扩展的遥感图像语义定位方法，其特征在于，所述提取图像特征向量的网络模型为AMFMN模型。
3.根据权利要求1所述的基于多层次似然扩展的遥感图像语义定位方法，其特征在于，所述步骤二中，对图片进行切片时，采用512×512比例进行切片。
4.根据权利要求1所述的基于多层次似然扩展的遥感图像语义定位方法，其特征在于，所述步骤三中，选择相似度排序在前15%的切片。
5.根据权利要求1所述的基于多层次似然扩展的遥感图像语义定位方法，其特征在于，所述步骤三中，利用余弦值计算图片切片特征向量与文本特征向量的相似度。
6.根据权利要求3所述的基于多层次似然扩展的遥感图像语义定位方法，其特征在于，所述步骤四中，在选择出的切片中，选择其中的四个角上的点以及中心点进行扩展。
7.根据权利要求6所述的基于多层次似然扩展的遥感图像语义定位方法，其特征在于，所述步骤四中，进行扩展时，采用64×64和128×128两种比例的扩展。
8.根据权利要求1所述的基于多层次似然扩展的遥感图像语义定位方法，其特征在于，所述步骤六中，对所述概率图进行高斯滤波。
9.根据权利要求8所述的基于多层次似然扩展的遥感图像语义定位方法，其特征在于，所述步骤六中，所述滤波时，选用的滤波盒中心像素值等于255。
10.根据权利要求5所述的基于多层次似然扩展的遥感图像语义定位方法，其特征在于，所述步骤四中，利用余弦值计算二次切片的特征向量与文本特征向量的相似度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310200249.6A CN116049476A (zh) | 2023-03-06 | 2023-03-06 | 一种基于多层次似然扩展的遥感图像语义定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310200249.6A CN116049476A (zh) | 2023-03-06 | 2023-03-06 | 一种基于多层次似然扩展的遥感图像语义定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116049476A true CN116049476A (zh) | 2023-05-02 |
Family
ID=86129689
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310200249.6A Pending CN116049476A (zh) | 2023-03-06 | 2023-03-06 | 一种基于多层次似然扩展的遥感图像语义定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116049476A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110516092A (zh) * | 2019-09-02 | 2019-11-29 | 中国矿业大学(北京) | 一种基于k近邻和随机游走算法的图像自动标注方法 |
| WO2019237646A1 (zh) * | 2018-06-14 | 2019-12-19 | 清华大学深圳研究生院 | 一种基于深度学习和语义分割的图像检索方法 |
| CN114860978A (zh) * | 2022-05-07 | 2022-08-05 | 苏州大学 | 基于文本的行人搜索任务语义对齐方法及系统 |
| CN115309927A (zh) * | 2022-10-09 | 2022-11-08 | 中国海洋大学 | 多标签引导和多视图度量的海洋遥感图像检索方法及系统 |
-
2023
- 2023-03-06 CN CN202310200249.6A patent/CN116049476A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019237646A1 (zh) * | 2018-06-14 | 2019-12-19 | 清华大学深圳研究生院 | 一种基于深度学习和语义分割的图像检索方法 |
| CN110516092A (zh) * | 2019-09-02 | 2019-11-29 | 中国矿业大学(北京) | 一种基于k近邻和随机游走算法的图像自动标注方法 |
| CN114860978A (zh) * | 2022-05-07 | 2022-08-05 | 苏州大学 | 基于文本的行人搜索任务语义对齐方法及系统 |
| CN115309927A (zh) * | 2022-10-09 | 2022-11-08 | 中国海洋大学 | 多标签引导和多视图度量的海洋遥感图像检索方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111652217B (zh) | 文本检测方法、装置、电子设备及计算机存储介质 | |
| KR101856120B1 (ko) | 이미지로부터 상가 발견 | |
| CN111222474A (zh) | 一种任意尺度的高分辨率图像小目标检测方法 | |
| CN102388392A (zh) | 模式识别设备 | |
| JP2002319024A (ja) | 色と質感との組み合わせに基づく映像検索方法 | |
| CN113223042B (zh) | 一种遥感影像深度学习样本智能采集方法及设备 | |
| CN109272440B (zh) | 一种联合文本和图像内容的缩略图生成方法及系统 | |
| CN105320764A (zh) | 一种基于增量慢特征的3d模型检索方法及其检索装置 | |
| CN105976376A (zh) | 一种基于部件模型的高分辨sar图像目标检测方法 | |
| CN114067118B (zh) | 一种航空摄影测量数据的处理方法 | |
| CN103514276B (zh) | 基于中心估计的图形目标检索定位方法 | |
| Wangming et al. | Application of Image SIFT Features to the Context of CBIR | |
| Bin et al. | Parcel-based change detection in land-use maps by adopting the holistic feature | |
| JP5356289B2 (ja) | 画像検索システム | |
| CN111325184A (zh) | 一种遥感影像智能解译与变化信息检测方法 | |
| CN109284409B (zh) | 基于大规模街景数据的图片组地理定位方法 | |
| CN104965928B (zh) | 一种基于形状匹配的汉字图像检索方法 | |
| CN114140700A (zh) | 基于级联网络的分步异源图像模板匹配方法 | |
| CN116049476A (zh) | 一种基于多层次似然扩展的遥感图像语义定位方法 | |
| CN116721246A (zh) | 连续帧点云快速标注方法及系统 | |
| CN113822900B (zh) | 基于矢量约束面向对象的新影像样本自动选择方法及系统 | |
| CN106547825B (zh) | 基于全局特征与子块特征的三维模型检索方法 | |
| CN109583484A (zh) | 一种三类海域地标点自动选取方法 | |
| CN115937492A (zh) | 一种基于特征识别的变电设备红外图像识别方法 | |
| CN114092423A (zh) | 一种遥感影像信息标签智能化提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230502 |
|
| RJ01 | Rejection of invention patent application after publication |