CN111125414B - 一种无人机遥感图像特定目标自动搜索方法 - Google Patents
一种无人机遥感图像特定目标自动搜索方法 Download PDFInfo
- Publication number
- CN111125414B CN111125414B CN201911367482.3A CN201911367482A CN111125414B CN 111125414 B CN111125414 B CN 111125414B CN 201911367482 A CN201911367482 A CN 201911367482A CN 111125414 B CN111125414 B CN 111125414B
- Authority
- CN
- China
- Prior art keywords
- scale
- image
- target
- feature
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000001914 filtration Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 3
- 230000009466 transformation Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种无人机遥感图像特定目标自动搜索方法，首先分别对目标图像和场景图像进行尺度空间编码，形成图像的多尺度表征；然后基于目标图像和场景图像的尺度空间编码，计算目标图像与场景图像的尺度配准比例，实现尺度配准；最后基于目标图像与场景图像的尺度配准和尺度空间编码，计算目标相似度，并最终确定目标，减少了目标搜索的计算量，提高了效率和准确率，解决了在无人机遥感图像特定目标自动搜索过程中，由于大尺度和角度的变化带来的目标丢失和效率低下的问题。
Description
技术领域
本发明属于遥感图像处理领域，具体涉及一种无人机遥感图像特定目标自动搜索方法。
背景技术
随着无人机技术的普及，越来越多的任务采用无人机采集信息，图像信息也是无人机采集的最多的信息之一。然而，在图像的采集过程中，无人机不同于其他飞行器，其飞行高度、速度、角度没有固定的任务标准。造成采集的图像中的目标可能会有较大的尺度和角度变化。这种情况为目标的自动搜索带来了巨大的挑战，因此，采用无人机遥感图像执行特定目标的自动搜索任务是目前亟待解决的问题。
特定目标的搜索是指以固定目标的图像为样本，在无人机采集的遥感图像中自动检测和识别到需要的特定目标。目前，在无人机目标搜索过程中，有两个主要的因素制约目前的产业化应用：第一是效率，第二是准确率，部分成果研究在机载平台上实现目标的实时检测，如专利号CN 201610294924.6，但是其对目标的大尺度和角度变化的考虑有所欠缺。部分成果研究采用深度神经网络实现对地特定目标识别，如CN 201711422364.9，但是其难以在机载平台上实时使用。根据理论和市场调研结果，目前还没有可以直接应用于无人机机载平台上且能够达到工业级应用效果的自动搜索方法。
发明内容
本发明的目的是提供一种无人机遥感图像特定目标自动搜索方法，以解决在无人机遥感图像特定目标自动搜索过程中，由于大尺度和角度的变化带来的目标丢失和效率低下的问题。
为了达到上述目的，本发明所采用的技术方案是：一种无人机遥感图像特定目标自动搜索方法，包括以下步骤：
S1、分别对目标图像和场景图像进行尺度空间编码，形成图像的多尺度表征；
S2、基于目标图像和场景图像的尺度空间编码，计算目标图像与场景图像的尺度配准比例，实现尺度配准；
S3、基于目标图像与场景图像的尺度配准和尺度空间编码，计算目标相似度，并最终确定目标。
进一步的，所述的步骤S1具体包括以下步骤：
S11、分别对目标图像和场景图像划分若干个尺度，然后对每个尺度分别提取SIFT特征；
S12、定义目标图像的特征集合为：其中，/>表示对应尺度x下的SIFT特征集合，H代表特征点个数，128是特征的维数，D表示目标图像特征在N1个尺度下的特征集合；
定义场景图像的特征集合为：其中/>表示对应尺度x下的SIFT特征集合，K代表特征点个数，128是特征的维数，C表示目标图像的特征在N2个尺度下的特征集合；
S13、采用特征包框架对特征进行直方图编码，定义码书总计包含M个码字，则该码书可以表示为目标图像和场景图像的每个特征hu均对应有一个其最接近的码字bm，定义单位向量/>则有B·eu＝bm；
S14、将指定尺度下的所有的特征离散化为直方图：
其中，P代表在当前尺度下特征点的个数，/>表示在当前尺度下把hu映射到对应的码字，W代表码字的权重；
则目标图像的尺度空间编码为
场景图像的尺度空间编码为
进一步的，所述的步骤S2具体包括：
构造尺度配准的能量函数，并根据所构造的能量函数计算目标图像和场景图像的尺度配准比例，所构造的能量函数如下：
其中，表示尺度配准比例，/>表征目标图像和场景图像不同尺度之间的匹配程度，具体为：
其中，Hx表示目标图像在尺度x下的空间编码，/>表示场景图像在尺度/>下的空间编码。
进一步的，所述的步骤S3具体包括以下步骤：
S31、基于尺度配准比例选择目标图像的SIFT特征集和场景图像中对应尺度下的SITF特征集进行特征匹配；
S32、采用广义的欧式距离计算向量相似度可以表示为：
S33、对步骤S32得到的相似度进行排序，即可完成目标图像和场景图像特征点之间的匹配并获得多个匹配的点；
S34、过滤掉步骤S33所获得的多个匹配的点中错误的点，即可得到最终的目标。
进一步的，所述的步骤S34中在过滤错误的点的过程中，采用RANSAC算法。
与现有技术相比，本发明的有益效果是：本发明在对数据进行处理前，首先对目标图像和场景图像进行尺度空间编码和尺度配准，最后基于目标图像与场景图像的尺度配准和尺度空间编码，计算目标相似度，并最终确定目标，减少了目标搜索的计算量，提高了效率和准确率，解决了在无人机遥感图像特定目标自动搜索过程中，由于大尺度和角度的变化带来的目标丢失和效率低下的问题。
附图说明
图1是本发明一种无人机遥感图像特定目标自动搜索方法的流程示意图；
图2是本发明在分别对目标图像和场景图像进行尺度空间编码的流程示意图；
图3是本发明基于尺度配准和尺度空间编码计算目标相似度、并最终确定目标的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种无人机遥感图像特定目标自动搜索方法，包括以下步骤：
S1、分别对目标图像和场景图像进行尺度空间编码，形成图像的多尺度表征；
本发明在目标具有大尺度变换的情况下，大量的噪声和模糊特征队被引入。现有的基于尺度不变性的特征(如SIFT、SURF特征等)在后续的匹配过程变得非常容易失配。因此，在考虑大尺度变换的基础上，提取稳定的特征是尺度空间编码的预处理过程，如图2所示，尺度空间编码具体包括以下步骤：
S11、分别对目标图像和场景图像划分若干个尺度，然后对每个尺度分别提取SIFT特征；
S12、定义目标图像的特征集合为：其中，/>表示对应尺度x下的SIFT特征集合，H代表特征点个数，128是特征的维数，D表示目标图像特征在N1个尺度下的特征集合；
定义场景图像的特征集合为：其中/>表示对应尺度x下的SIFT特征集合，K代表特征点个数，128是特征的维数，C表示目标图像的特征在N2个尺度下的特征集合；
S13、采用特征包框架对特征进行直方图编码，定义码书总计包含M个码字，则该码书可以表示为目标图像和场景图像的每个特征hu均对应有一个其最接近的码字bm，定义单位向量/>则有B·eu＝bm；
S14、将指定尺度下的所有的特征离散化为直方图：
其中，P代表在当前尺度下特征点的个数，/>表示在当前尺度下把hu映射到对应的码字，W代表码字的权重；
则目标图像的尺度空间编码为
场景图像的尺度空间编码为
S2、基于目标图像和场景图像的尺度空间编码，计算目标图像与场景图像的尺度配准比例，实现尺度配准；
基于上一步对图像在多尺度空间编码，本过程通过尺度配准确定两个图像之间的尺度水平关系，所构造尺度配准的能量函数如下：
其中，表示尺度配准比例，/>表征目标图像和场景图像不同尺度之间的匹配程度，具体为：
其中，Hx表示目标图像在尺度x下的空间编码，/>表示场景图像在尺度/>下的空间编码。通过以上过程，可以获取两个图像的尺度配准比例/>
S3、基于目标图像与场景图像的尺度配准和尺度空间编码，计算目标相似度，并最终确定目标，如图3所示，步骤S3具体包括以下步骤：
S31、基于尺度配准比例选择目标图像的SIFT特征集和场景图像中对应尺度下的SITF特征集进行特征匹配；本过程为了提高效率，首先对尺度进行筛选操作。通过量化目标图像不同尺度和场景图像不同尺度的模糊程度，选定较清晰的尺度对进行特征的匹配。具体的量化方法是：第一步对原图进行均值模糊处理得到模糊图像；第二步用对模糊比较敏感的Reborts算子分别对原图和模糊图像取边缘；第三步边缘图像差分操作。差异越小，说明模糊程度越高。
S32、考虑到SIFT特征各向量之间的相关性，采用广义的欧式距离计算向量相似度可以表示为：
S33、对步骤S32得到的相似度进行排序，即可完成目标图像和场景图像特征点之间的匹配并获得多个匹配的点；
S34、过滤掉步骤S33所获得的多个匹配的点中错误的点，即可得到最终的目标，此处在过滤错误的点的过程中，可以采用RANSAC(随机采样一致性)算法。
本发明对算法的具体操作过程做了简单的改进，大大提高了执行的效率。首先，在通过相似度最高的3个点，计算透视变换矩阵。基于此矩阵对其他所有的点做变换，如果大部分点的转换点与实际匹配点在允许的误差之内(欧氏距离值)。则误差大的匹配点为错误匹配。此矩阵可以作为目标外接框的变换矩阵。
如果大部分点的转换点与实际匹配点在允许的误差之外，则说明选取的3个点中存在错误匹配。基于相似度排序，继续选取下面3对匹配作为参考，以此类推。具体的变换矩阵求解公式如下：
其中，u、v是原图像中的坐标，对应变换后的坐标为基于选取的3个点对坐标计算转换矩阵。
基于原图像中目标的外接框的点坐标，通过转换矩阵得到新坐标，即为场景图像中目标外接框的关键点坐标。由此得到目标的精确位置。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (3)
1.一种无人机遥感图像特定目标自动搜索方法，其特征在于，包括以下步骤：
S1、分别对目标图像和场景图像进行尺度空间编码，形成图像的多尺度表征；
S2、基于目标图像和场景图像的尺度空间编码，计算目标图像与场景图像的尺度配准比例，实现尺度配准；
S3、基于目标图像与场景图像的尺度配准和尺度空间编码，计算目标相似度，并最终确定目标；
所述的步骤S1具体包括以下步骤：
S11、分别对目标图像和场景图像划分若干个尺度，然后对每个尺度分别提取SIFT特征；
S12、定义目标图像的特征集合为：其中，/>表示对应尺度x下的SIFT特征集合，H代表特征点个数，128是特征的维数，D表示目标图像特征在N1个尺度下的特征集合；
定义场景图像的特征集合为：其中/>表示对应尺度x下的SIFT特征集合，K代表特征点个数，128是特征的维数，C表示目标图像的特征在N2个尺度下的特征集合；
S13、采用特征包框架对特征进行直方图编码，定义码书总计包含M个码字，则该码书可以表示为目标图像和场景图像的每个特征hu均对应有一个其最接近的码字bm，定义单位向量/>则有B·eu＝bm；
S14、将指定尺度下的所有的特征离散化为直方图：
其中，P代表在当前尺度下特征点的个数，/>表示在当前尺度下把hu映射到对应的码字，W代表码字的权重；
则目标图像的尺度空间编码为
场景图像的尺度空间编码为
所述的步骤S2具体包括：
构造尺度配准的能量函数，并根据所构造的能量函数计算目标图像和场景图像的尺度配准比例，所构造的能量函数如下：
其中，表示尺度配准比例，/>表征目标图像和场景图像不同尺度之间的匹配程度，具体为：
其中，Hx表示目标图像在尺度x下的空间编码，/>表示场景图像在尺度/>下的空间编码。
2.根据权利要求1所述的一种无人机遥感图像特定目标自动搜索方法，其特征在于，所述的步骤S3具体包括以下步骤：
S31、基于尺度配准比例选择目标图像的SIFT特征集和场景图像中对应尺度下的SITF特征集进行特征匹配；
S32、采用广义的欧式距离计算向量相似度可以表示为：
S33、对步骤S32得到的相似度进行排序，即可完成目标图像和场景图像特征点之间的匹配并获得多个匹配的点；
S34、过滤掉步骤S33所获得的多个匹配的点中错误的点，即可得到最终的目标。
3.根据权利要求2所述的一种无人机遥感图像特定目标自动搜索方法，其特征在于，所述的步骤S34中在过滤错误的点的过程中，采用RANSAC算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911367482.3A CN111125414B (zh) | 2019-12-26 | 2019-12-26 | 一种无人机遥感图像特定目标自动搜索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911367482.3A CN111125414B (zh) | 2019-12-26 | 2019-12-26 | 一种无人机遥感图像特定目标自动搜索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111125414A CN111125414A (zh) | 2020-05-08 |
| CN111125414B true CN111125414B (zh) | 2023-08-18 |
Family
ID=70503088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911367482.3A Active CN111125414B (zh) | 2019-12-26 | 2019-12-26 | 一种无人机遥感图像特定目标自动搜索方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111125414B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112307957A (zh) * | 2020-10-30 | 2021-02-02 | 泰州芯源半导体科技有限公司 | 基于云存储的远洋船只定位平台 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103177444A (zh) * | 2013-03-08 | 2013-06-26 | 中国电子科技集团公司第十四研究所 | 一种sar图像自动配准方法 |
| CN105427298A (zh) * | 2015-11-12 | 2016-03-23 | 西安电子科技大学 | 基于各向异性梯度尺度空间的遥感图像配准方法 |
| US20170092015A1 (en) * | 2015-09-30 | 2017-03-30 | Umap AV Corp. | Generating Scene Reconstructions from Images |
-
2019
- 2019-12-26 CN CN201911367482.3A patent/CN111125414B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103177444A (zh) * | 2013-03-08 | 2013-06-26 | 中国电子科技集团公司第十四研究所 | 一种sar图像自动配准方法 |
| US20170092015A1 (en) * | 2015-09-30 | 2017-03-30 | Umap AV Corp. | Generating Scene Reconstructions from Images |
| CN105427298A (zh) * | 2015-11-12 | 2016-03-23 | 西安电子科技大学 | 基于各向异性梯度尺度空间的遥感图像配准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111125414A (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111738124B (zh) | 基于Gabor变换和注意力的遥感图像云检测方法 | |
| CN108388896B (zh) | 一种基于动态时序卷积神经网络的车牌识别方法 | |
| CN108960211B (zh) | 一种多目标人体姿态检测方法以及系统 | |
| CN105427298B (zh) | 基于各向异性梯度尺度空间的遥感图像配准方法 | |
| CN107563433B (zh) | 一种基于卷积神经网络的红外小目标检测方法 | |
| CN111898547A (zh) | 人脸识别模型的训练方法、装置、设备及存储介质 | |
| EP2534612B1 (en) | Efficient scale-space extraction and description of interest points | |
| CN106909941A (zh) | 基于机器视觉的多表字符识别系统及方法 | |
| CN104809731B (zh) | 一种基于梯度二值化的旋转尺度不变场景匹配方法 | |
| CN106709500B (zh) | 一种图像特征匹配的方法 | |
| CN110766708B (zh) | 基于轮廓相似度的图像比较方法 | |
| CN112417931B (zh) | 一种基于视觉显著性的水面物体检测和分类的方法 | |
| CN106650580A (zh) | 基于图像处理的货架快速清点方法 | |
| CN109064402B (zh) | 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法 | |
| CN110276788B (zh) | 用于红外成像式导引头目标跟踪的方法和装置 | |
| CN109767442B (zh) | 一种基于旋转不变特征的遥感图像飞机目标检测方法 | |
| CN111125414B (zh) | 一种无人机遥感图像特定目标自动搜索方法 | |
| CN114549861A (zh) | 一种基于特征点及卷积优化计算的目标匹配的方法、存储介质 | |
| CN114037650A (zh) | 变化检测及目标检测的地面目标可见光毁伤图像处理方法 | |
| CN116129280B (zh) | 一种遥感影像雪检测的方法 | |
| CN109829511B (zh) | 基于纹理分类的下视红外图像中云层区域检测方法 | |
| CN110969128A (zh) | 一种基于多特征融合的海面背景下红外船舰的检测方法 | |
| CN115861352A (zh) | 单目视觉、imu和激光雷达的数据融合和边缘提取方法 | |
| CN113920391B (zh) | 一种基于生成尺度自适应真值图的目标计数方法 | |
| CN116206139A (zh) | 一种基于局部自卷积的无人机图像升尺度匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230720 Address after: 450015 Middle Road, 27 District University, Zhengzhou, Henan Province, No. 2 Applicant after: ZHENGZHOU INSTITUTE OF AERONAUTICAL INDUSTRY MANAGEMENT Address before: 224000 North 22nd floor, Kechuang building, landscape Avenue, Xindu street, Chengnan New District, Yancheng City, Jiangsu Province (CND) Applicant before: YANCHENG CHANTU INTELLIGENT TECHNOLOGY CO.,LTD. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |