CN111967365A - 影像连接点的提取方法和装置 - Google Patents

影像连接点的提取方法和装置 Download PDF

Info

Publication number
CN111967365A
CN111967365A CN202010803228.XA CN202010803228A CN111967365A CN 111967365 A CN111967365 A CN 111967365A CN 202010803228 A CN202010803228 A CN 202010803228A CN 111967365 A CN111967365 A CN 111967365A
Authority
CN
China
Prior art keywords
point
matching
pair
image
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010803228.XA
Other languages
English (en)
Other versions
CN111967365B (zh
Inventor
伍洋
李强
王博
魏巍
王晓双
许子熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202010803228.XA priority Critical patent/CN111967365B/zh
Publication of CN111967365A publication Critical patent/CN111967365A/zh
Application granted granted Critical
Publication of CN111967365B publication Critical patent/CN111967365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供了一种影像连接点的提取方法和装置，其中，方法包括：对待匹配的立体像对进行区域检测，得到多个特征区域；针对每个所述特征区域，以其包含的重心点作为特征点，生成重心点特征图像；对待匹配的特征点，将其所对应的重心点特征图像，基于预先训练的深度卷积神经网络进行相似度匹配，得到初次匹配的匹配点对；从所述初次匹配的匹配点对中剔除误匹配点对，并将剩余的匹配点对作为所述待匹配的立体像对的连接点，以解决现有技术中，基于角点特征提取的连接点可靠性差和精度低的问题。

Description

影像连接点的提取方法和装置
技术领域
本文件涉及航空航天技术领域，尤其涉及一种影像连接点的提取方法和装置。
背景技术
连接点提取是空中三角测量的核心环节，其结果的可靠性直接影响地理信息产品的精度。目前，基于手工设计描述符的特征点匹配方法仍然是卫星影像连接点提取的主流方法，此类方法具有结构化的处理流程，通常的思路是：首先采用高斯拉普拉斯(Laplaceof Gaussian，LOG)检测算法、Harris检测算法或SIFT检测算法等进行影像特征点检测；然后采用具有固定维数的手工设计描述符进行特征点描述，如SIFT特征描述符及其衍生算法、BRIEF特征描述符及其衍生算法等；再采用欧式距离等相似性度量进行描述符间的相似性匹配，得到含有粗差的连接点；最后采用随机抽样一致性(RANSAC)等粗差剔除算法进行误匹配点剔除，得到精化后的连接点。
在上述处理过程中，通常是以图像的角度特征作为影像特征进行连接点的提取，但是角点特征的存在情况十分复杂，且稳定性较差，因此现有技术中基于角点特征提取的连接点很难达到令人满意的可靠性和精度。
发明内容
本说明书提供了一种影像连接点的提取方法和装置，用于解决现有技术中，基于角点特征提取的连接点可靠性差和精度低的问题。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，本说明书实施例提供了一种影像连接点的提取方法。该方法包括：
对待匹配的立体像对进行区域检测，得到多个特征区域；
针对每个所述特征区域，以其包含的重心点作为特征点，生成重心点特征图像；
对待匹配的特征点，将其所对应的重心点特征图像，基于预先训练的深度卷积神经网络进行相似度匹配，得到初次匹配的匹配点对；
从所述初次匹配的匹配点对中剔除误匹配点对，并将剩余的匹配点对作为所述待匹配的立体像对的连接点。
第二方面，本说明书实施例提供了一种影像连接点的提取装置。该装置包括：
区域检测模块，对待匹配的立体像对进行区域检测，得到多个特征区域；
图像生成模块，针对每个所述特征区域，以其包含的重心点作为特征点，生成重心点特征图像；
特征点匹配模块，对待匹配的特征点，将其所对应的重心点特征图像，基于预先训练的深度卷积神经网络进行相似度匹配，得到初次匹配的匹配点对；
匹配点剔除模块，从所述初次匹配的匹配点对中剔除误匹配点对，并将剩余的匹配点对作为所述待匹配的立体像对的连接点。
本说明书实施例提供的影像连接点的提取方法和装置，通过对待匹配的立体像对进行区域检测，得到多个特征区域；针对每个特征区域，以其包含的重心点作为特征点，生成重心点特征图像；对待匹配的特征点，将其所对应的重心点特征图像，基于预先训练的深度卷积神经网络进行相似度匹配，得到初次匹配的匹配点对；从初次匹配的匹配点对中剔除误匹配点对，并将剩余的匹配点对作为待匹配的立体像对的连接点。由于本方案中采用特征区域的重心点作为特征点，而重心点特征作为连接点相较于角点特征更可靠，因此，在多源影像复杂、差异大的卫星影像场景中，采用本申请方案可以有效提高所提取连接点的可靠性和精度。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例提供的影像连接点的提取方法的流程示意图；
图2为本说明书实施例提供的生成重心点特征图像的方法的流程示意图；
图3为本说明书实施例提供的中间特征图像的示意图；
图4为本说明书实施例提供的训练深度卷积神经网络的方法的流程示意图；
图5为本说明书实施例提供的神经网络模型结构示意图；
图6为本说明书实施例提供的剔除误匹配点的方法的流程示意图；
图7为本说明书实施例提供的影像连接点的提取装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书实施例中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
在航天摄影测量领域，由不同卫星传感器获取的立体像对，它们的成像模式、拍摄视角、灰度属性、分辨率尺度以及形变等均存在很大差异。尤其是由光学和SAR(成孔径雷达)影像构成的重叠数据，由于成像机理完全不同以及SAR图像斑点噪声的影响，使得影像中角点特征的存在情况十分复杂，而当前基于手工设计描述符的连接点提取方法主要基于角点特征进行，如道路交叉口、地物拐点等。由于多源影像复杂、差异大的特点，使得现有基于角点特征提取的连接点很难达到令人满意的可靠性和精度。
本说明书实施例引用待匹配立体像对中特征区域的重心点作为特征点，通过对重心点特征图像进行相似匹配，从而从待匹配的特征点中提取出待匹配立体像对中的连接点。而由于重心点存在情况稳定，不易随拍摄环境的改变而变化，因此可以有效解决现有技术中，基于角点特征提取的连接点可靠性差和精度低的问题。
下面通过多个实施例来进一步说明本说明书的技术方案。
实施例一
图1为本说明书实施例提供的影像连接点的提取方法的流程示意图一，如图1所示，该方法包括以下步骤S102-S108：
S102，对待匹配的立体像对进行区域检测，得到多个特征区域。
其中，待匹配的立体像对可以包括航空影像、卫星影像等任一种遥感影像，或者是通过其他拍摄方式获取的待提取连接点的立体像对。
在进行区域检测时可采用以下任一种或两种以上的区域特征检测方法：最大稳定极值区域(Maximally Stable Extremal Regions,MSERs)算法、Harris-Affine、Hessian-Affine、EBR(Edge-Based Region)、IBR(Intensity-Based Region)和Salient Region。此外，区域特征检测还可包括利用计算机技术中的树理论进行提取的方法TBMR(Tree-BasedMorse regions)，也可稳定提取区域特征。
通过对待匹配的立体像对进行区域检测，可以得到多个特征区域。这些特征区域通常是不规则区域。
S104，针对每个特征区域，以其包含的重心点作为特征点，生成重心点特征图像。
在通过上一步骤得到特征区域后，针对每个特征区域，计算其包含的重心点坐标，并以该重心点坐标作为该特征区域的特征点，从而形成重心点特征图像。在生成重心点特征图像时，还可以根据实际需要对特征区域图像进行拟合，以使最终得到的重心点特征图像为规则的特征图像。
本实施例中，本步骤可通过图2中所示的方法步骤实现：
S104-2，采用图像距的方法计算每个特征区域的重心点坐标。
首先，可采用图像矩的方法计算特征区域的重心点坐标，即对于坐标点为(x,y)、灰度值为I(x,y)的图像中区域ξ，它的重心点坐标(xc,yc)为：
Figure BDA0002628150810000041
其中，m00＝∑ξI(x,y)，m01＝∑ξyI(x,y)、m10＝∑ξxI(x,y)。
S104-4，对每个特征区域进行区域拟合得到相应的中间特征图像。
通常，经区域特征检测算法如MSERs特征检测算法提取的特征区域对于图像的杂斑、仿射变换以及拍摄视点的变换具有非常良好的不变性，但通常都是形状不规则的区域，需要对特征区域进行拟合处理。对每个特征区域进行区域拟合可以得到边界规则的中间特征图像。
例如，可以特征区域中的最大横坐标、最小横坐标、最大纵坐标及最小纵坐标作为矩形的边界生成边界为矩形的中间特征图像。该中间特征图像如图3所示。
经区域拟合生成的中间特征图像具有与特征区域相同的重心点，且中间特征图像并不是固定大小的尺寸，每个中间特征图像的大小由围绕这个特征区域的真实纹理结构所决定，能够最大程度保留数据的深层特征。
S104-6，基于每个中间特征图像，以其包含的重心点坐标作为特征点，生成相应的重心点特征图像。
S106，对待匹配的特征点，将其所对应的重心点特征图像，基于预先训练的深度卷积神经网络进行相似度匹配，得到初次匹配的匹配点对。
具体地，可从待匹配的立体像对所包含的所有特征点中确定出待匹配的特征点，即从待匹配的立体像对所包含的所有重心点特征图像的重心点中确定出待匹配的重心点。然后，将待匹配的特征点(重心点)所对应的重心点特征图像，采用预先训练的深度卷积神经网络进行相似度匹配，得到匹配的重心点特征图像对，而这些匹配的重心点特征图像对所包含的特征点即为所述初次匹配的匹配点对。
其中，本实施例对训练深度卷积神经网络的训练方法以及所采用的具体模型算法不做限定。
如图4所示，本实施例示出了一种训练所述深度卷积神经网络的方法，包括如下步骤：
S106-2，基于获取的重心点特征图像样本，生成用于训练深度卷积神经网络的正、负重心点特征图像样本对训练集。
本步骤可通过如下步骤实现：
步骤一，对获取的重心点特征图像样本进行图像变换，得到一次扩充后的正、负重心点特征图像样本对；所述图像变换包括以下至少一种变换方式：尺度缩放、图像边框平移、光照、模糊和旋转。其中：
尺度缩放：改变图像的尺寸大小；
图像边框平移；在包含重心点特征图像的原始图像中，整体平移该重心点特征图像边框的位置(保证重心点仍在边框中)，以改变重心点特征图像包含的图像内容；
光照；对重心点特征图像进行光照处理，以调节图像中像素的灰度；
模糊；对重心点特征图像中的全部或者部分图像内容采用模糊算法进行图像处理；
旋转；旋转重心点特征图像的角度。
通过对重心点特征图像样本采用以上变换方式进行处理，可以产生大量的正、负重心点特征图像样本对。
步骤二，对一次扩充后的正、负重心点特征图像样本对，采用生成对抗网络进行样本扩充计算，并将得到的二次扩充后的正、负重心点特征图像样本对作为正、负重心点特征图像样本对训练集。
将通过以上变换方式形成的正、负重心点特征图像样本对作为原始数据输入生成对抗网络，可以生成大量与原重心点特征图像特性一致的样本对。生成对抗网络能够通过对抗学习生成与输入数据风格一致的新数据，本实施例通过将图像变换产生的正、负重心点特征图像样本对，通过生成对抗网络可以在图像变换基础上产生更多的训练样本。
本实施例中采用的对抗网络可以为相对平均条件生成对抗网络，使用有监督的相对平均条件生成对抗网络模型训练生成器和相对平均鉴别器，并在生成器结构中使用多层残差密集块来保证提取信息的充分性，选用最小二乘损失函数来优化生成器和鉴别器，通过对抗学习训练合成模型，在图像变换的基础上生成更多的正、负样本对。
S106-4，利用基于深度卷积神经网络的网络模型对正、负重心点特征图像样本对训练集进行训练，得到相应的网络参数。
利用基于深度卷积神经网络的网络模型对上一步骤中创建好的正、负重心点特征图像样本对训练集进行训练，最终得到相应的网络参数，该神经网络可用于计算两个重心点特征图像的重心点是连接点(匹配点对)的概率。
如图5所示，采用的神经网络模型由三部分构成：用于提取深度特征描述符的特征提取网络、将高维向量归一化处理的空间金字塔池化层、以及判断图块对匹配概率的匹配网络。
特征网络由2条卷积深度置信网络(CDBN)构成，每条通道采用2个Max-Pooling-CRBMs循环，通道之间权值参数不共享，这种结构可以有效地保证从各自输入样本中学习到纯净的特征描述。此外，由于生成的重心点特征图像块尺寸不一致，在特征提取网络之后还需加入空间金字塔池化层，它能对任意尺寸的特征图进行归一化处理后生成固定维度的向量，确保不同尺寸大小的样本也能具有相同维度的特征描述。特征提取网络训练收敛后，将两条支路得到的特征通过级联的方式融合成一个特征向量，作为后续匹配网络的输入。在匹配网络中，使用4层全连接层来模拟特征之间的相似性，最终输出两个输入图块匹配的概率和不匹配概率，匹配网络使用交叉熵误差作为最终损失函数，通过随机梯度下降方法更新网络参数并使其收敛。
基于以上方法生成的深度卷积神经网络，对待匹配的重心点特征图像进行相似度匹配后，可以得到两个重心点特征图像的重心点是连接点(匹配点对)的概率，也是两个重心点特征图像的相似概率。
在一具体实施例中，在确定所述初次匹配的匹配点对时，可针对待匹配的立体像对中一个图像中所包含的任一重心点特征图像，依次与该待匹配的立体像对中另一个图像中所包含的重心点特征图像，采用上述深度卷积神经网络进行相似度匹配，并确定出其中相似概率最高且大于预设相似概率阈值的重心点特征图像对，并以该重心点特征图像对中包含的特征点对作为初次匹配的一个匹配点对。
例如，待匹配的立体像对可包含图像A和图像B，将图像A包含的重心点特征图像a1～an与图像B包含的重心点特征图像b1～bn中b1进行相似度匹配，并选择与b1相似概率最高且大于预设相似概率阈值的重心点特征图像如a2，然后将a1包含的重心点与b1包含的重心点作为一个初次匹配的匹配点对；然后将图像A包含的重心点特征图像a1、a3～an(当前未匹配成功的重心点特征图像)与图像B包含的重心点特征图像b1～bn中b2进行相似度匹配，并选择与b2相似概率最高且大于预设相似概率阈值的重心点特征图像如a5，然后将a5包含的重心点与b2包含的重心点作为另一个初次匹配的匹配点对。以此类推，直到完成所有待匹配的重心点特征图像的匹配流程。
进一步地，为了降低相似度匹配的工作量，可以在进行相似度匹配之前，对待匹配的立体像对中包含的重心点特征图像，采用预设的匹配约束流程进行约束区域划分，并将划分到相同约束区域内的重心点特征图像所包含的特征点作为所述待匹配的特征点。
其中，所述匹配约束流程可以根据实际匹配区域的划分需求而设定，比如可利用卫星影像辅助数据计算待匹配区域的概略范围，从而在约束区域内组成待匹配的重心点特征图像对。
S108，从初次匹配的匹配点对中剔除误匹配点对，并将剩余的匹配点对作为待匹配的立体像对的连接点。
基于训练好的深度卷积神经网络对约束范围内的重心点特征图像对进行相似性匹配后，最终提取得到的作为连接点的匹配点对中很可能包含误匹配点对，因此，在得到初次匹配的匹配点对后，还需要从中剔除误匹配点对，并将剩余的匹配点对作为待匹配的立体像对的连接点。
本实施例中剔除误匹配点的方法，可以采用常规的RANSAC等粗差剔除算法进行误匹配点剔除，得到精化后的连接点。但是RANSAC算法在剔除误匹配点时，必须预先设置一个数学转换模型，并通过随机抽取的样本点进行模型估算，对于几何关系复杂未知的数据，模型的正确性难以保证，随机抽取的样本点也不能够反映较多实验点的特征信息，剔除误匹配点的同时，也剔除了不少正确匹配点，而且模型参数的解算过程存在计算量大、效率低等问题。
基于此，本实施例提供了一种新的误匹配点剔除的解决思路，即将误匹配点的剔除仍然可以视为一个正、误匹配点对的二值分类问题，采用基于随机森林的分类方法进行处理。从初次匹配的匹配点对包含的匹配点按其所属的待匹配图像而划分的匹配点集出发，构建合理的匹配点对分布描述是该方法的关键。与影像匹配阶段利用特征点邻域内的原始图像信息不同，误匹配点剔除需要利用匹配点集内的邻域信息。
通常，对于正确匹配点对，其对应的两个特征点的邻域内匹配点对的分布应该相似；与此相反，对于误匹配点对，其对应的两个特征点的邻域内匹配点对的分布将大不相同。依据这一原理，本方案从邻域元素以及邻域拓扑关系的角度对初次匹配的匹配点对的邻域内匹配点的特征进行描述，通过构建匹配点对所对应的邻域内所包含的匹配点的特征信息的高维描述符，以对该匹配点对是否为误匹配点对进行分类，从而剔除误匹配点对。
具体地，如图6所示，本实施例示意性给出了从初次匹配的匹配点对中剔除误匹配点对的实现方法，包括如下步骤：
S108-2，针对初次匹配的任一匹配点对，构建该匹配点对的邻域信息描述符，邻域信息描述符用于表征该任一匹配点对对应的至少一种邻域信息在至少两个邻域窗口的分布情况；其中，匹配点对的邻域窗口为：该匹配点对所包含的匹配点在其所在立体像对的图像中，距离该匹配点最近的匹配点数量。
具体地，构造匹配点对的邻域信息描述符可包括如下步骤：
步骤一，确定该匹配点对对应的至少两个邻域窗口中每个邻域窗口包含的匹配点对。
假设在步骤S106中提取的初次匹配的匹配点对记为{Fa,Fb}，其中Fa为待匹配的立体像对中，在a图像上得到的匹配点集，Fb为在b图像上得到的匹配点集,分别记为Fa＝{fa1,fa2,....,faN}和Fb＝{fb1,fb2,...,fbN}。
对于第i组匹配点对{fai,fbi}，定义一系列不同大小的邻域窗口
Figure BDA0002628150810000091
Figure BDA0002628150810000092
分别表示点fai和fbi的邻域窗口，由Fa和Fb中分别与fai和fbi欧式距离最近的Kj个元素(匹配点)组成，每个元素也可称之为fai和fbi的邻域元素。
确定邻域窗口中经上述初次匹配后所包含的匹配点对。
步骤二，基于每个邻域窗口包含的匹配点对，生成所述该匹配点对在相应邻域窗口中的至少一种邻域元素信息，并构建该邻域元素信息对应的邻域元素描述符。
根据邻域窗口中所包含邻域元素的相关信息，如这些邻域元素中能够形成的匹配点对的数量，可以生成所述该匹配点对在相应邻域窗口中的至少一种邻域元素信息，并构建该邻域元素信息对应的邻域元素描述符。
例如，所述该匹配点对在邻域窗口中的邻域元素信息可以是邻域窗口中包含的匹配点对的数量与该邻域窗口大小的关系。
具体地，对于邻域窗口中的邻域元素，按以下相似性度量公式计算：
Figure BDA0002628150810000093
式中，
Figure BDA0002628150810000094
表示Kj邻域窗口内匹配点对的数量，
Figure BDA0002628150810000095
表示相应邻域窗口内匹配点对的占比。
按照该相似性度量，对于第i组匹配点对{fai,fbi}，它的一个邻域元素描述符为：
Figure BDA0002628150810000096
又例如，所述该匹配点对在邻域窗口中的邻域元素信息可以是该匹配点对对应的向量长度与该邻域窗口中包含的匹配点对对应的平均向量长度的关系和/或该匹配点对对应的向量方向与该邻域窗口中包含的匹配点对对应的平均向量方向的关系。
具体地，可将匹配点对{fai,fbi}用向量wi进行表示，向量的头部和尾部分别对应于a图像、b图像中对应特征点的位置，计算公式如下：
wi＝fbi-fai…………………………(3)
根据邻域窗口内所有匹配点对的向量信息，计算邻域窗口内匹配点对的平均向量
Figure BDA0002628150810000101
通过比较wi和
Figure BDA0002628150810000102
之间的相似性来构造邻域拓扑关系的数学表示。向量由长度和方向两部分构成，选用高斯函数进行处理，可以将wi和
Figure BDA0002628150810000103
之间长度的相似性表示为：
Figure BDA0002628150810000104
式中，
Figure BDA0002628150810000105
表示wi和
Figure BDA0002628150810000106
的长度比，σ1为经验值。
方向相似性可以表示为：
Figure BDA0002628150810000107
式中，
Figure BDA0002628150810000108
为wi和
Figure BDA0002628150810000109
之间的夹角，σ2为经验值。
按照上述相似性度量，对于第i组匹配点对{fai,fbi}，它的两个邻域元素描述符可分别为(6)、(7)：
Figure BDA00026281508100001010
Figure BDA00026281508100001011
步骤三，将所述该匹配点对对应的所有邻域元素描述符进行拼接，形成所述该匹配点对对应的邻域信息描述符。
根据公式(2)、公式(6)以及公式(7)，可以得到，对于任一匹配点对，它的邻域信息描述符可以表示为：
Figure BDA00026281508100001012
在实际应用场景中，匹配点对在邻域窗口中的邻域元素信息包括以下信息中的至少一种：
邻域窗口中包含的匹配点对的数量与该邻域窗口大小的关系、该匹配点对对应的向量长度与该邻域窗口中包含的匹配点对对应的平均向量长度的关系、该匹配点对对应的向量方向与该邻域窗口中包含的匹配点对对应的平均向量方向的关系。
S108-4，对任一匹配点对对应的邻域信息描述符，采用预先训练的监督分类器进行分类，以确定该任一匹配点对是否为误匹配点对。
其中，所述的监督分类器可以是依据预先构造的匹配点对的邻域信息描述符，针对一定数量的已知标注样本进行分类器训练而得到，本实施中对训练监督分类器采用的原始分类器不做限定，可以包括贝叶斯分类器、支持向量机以及随机森林等。
使用预先训练的监督分类器对初次匹配的匹配点对进行分类，自动识别出其中的误匹配点对。
S108-6，将经监督分类器分类后得到的误匹配点对从初次匹配的匹配点对中剔除，并将剩余的匹配点对作为待匹配的立体像对的连接点。
本说明书实施例提供的影像连接点的提取方法，通过对待匹配的立体像对进行区域检测，得到多个特征区域；针对每个特征区域，以其包含的重心点作为特征点，生成重心点特征图像；对待匹配的特征点，将其所对应的重心点特征图像，基于预先训练的深度卷积神经网络进行相似度匹配，得到初次匹配的匹配点对；从初次匹配的匹配点对中剔除误匹配点对，并将剩余的匹配点对作为待匹配的立体像对的连接点。由于本方案中采用特征区域的重心点作为特征点，而重心点特征作为连接点相较于角点特征更可靠，因此，在多源影像复杂、差异大的卫星影像场景中，采用本申请方案可以有效提高所提取连接点的可靠性和精度。
实施例二
对应上述图1至图6描述的影像连接点的提取方法，基于相同的技术构思，本说明书实施例还提供一种影像连接点的提取装置。图7为本说明书实施例提供的影像连接点的提取装置的模块组成示意图，该装置用于执行图1至图6描述的影像连接点的提取方法，如图7所示，该装置包括：
区域检测模块201，对待匹配的立体像对进行区域检测，得到多个特征区域；
图像生成模块202，针对每个特征区域，以其包含的重心点作为特征点，生成重心点特征图像；
特征点匹配模块203，对待匹配的特征点，将其所对应的重心点特征图像，基于预先训练的深度卷积神经网络进行相似度匹配，得到初次匹配的匹配点对；
匹配点剔除模块204，从初次匹配的匹配点对中剔除误匹配点对，并将剩余的匹配点对作为待匹配的立体像对的连接点。
可选地，图像生成模块202，采用图像距的方法计算每个特征区域的重心点坐标；对每个特征区域进行区域拟合得到相应的中间特征图像；基于每个中间特征图像，以其包含的所述重心点坐标作为特征点，生成相应的重心点特征图像。
可选地，上述装置中还可包括：
网络训练模块，基于获取的重心点特征图像样本，生成用于训练深度卷积神经网络的正、负重心点特征图像样本对训练集；利用基于深度卷积神经网络的网络模型对正、负重心点特征图像样本对训练集进行训练，得到相应的网络参数。
可选地，上述网络训练模块，对获取的重心点特征图像样本进行图像变换，得到一次扩充后的正、负重心点特征图像样本对；所述图像变换包括以下至少一种变换方式：尺度缩放、图像边框平移、光照、模糊和旋转；对一次扩充后的正、负重心点特征图像样本对，采用生成对抗网络进行样本扩充计算，并将得到的二次扩充后的正、负重心点特征图像样本对作为所述正、负重心点特征图像样本对训练集。
可选地，上述装置中还可包括：
特征点选取模块，对待匹配的立体像对中包含的重心点特征图像，采用预设的匹配约束流程进行约束区域划分，并将划分到相同约束区域内的重心点特征图像所包含的特征点作为待匹配的特征点。
可选地，特征点匹配模块203，针对待匹配的立体像对中一个图像中所包含的任一重心点特征图像，依次与该待匹配的立体像对中另一个图像中所包含的重心点特征图像，采用深度卷积神经网络进行相似度匹配，并确定出其中相似概率最高且大于预设相似概率阈值的重心点特征图像对，并以该重心点特征图像对中包含的特征点对作为初次匹配的一个匹配点对。
可选地，匹配点剔除模块204，针对初次匹配的任一匹配点对，构建该匹配点对的邻域信息描述符，所述邻域信息描述符用于表征该任一匹配点对对应的至少一种邻域信息在至少两个邻域窗口的分布情况；其中，所述匹配点对的邻域窗口为：该匹配点对所包含的匹配点在其所在立体像对的图像中，距离该匹配点最近的匹配点数量；对所述任一匹配点对对应的邻域信息描述符，采用预先训练的监督分类器进行分类，以确定该任一匹配点对是否为误匹配点对；将经监督分类器分类后得到的误匹配点对从初次匹配的匹配点对中剔除，并将剩余的匹配点对作为待匹配的立体像对的连接点。
可选地，匹配点剔除模块204，确定该匹配点对对应的至少两个邻域窗口中每个邻域窗口包含的匹配点对；基于每个邻域窗口包含的匹配点对，生成所述该匹配点对在相应邻域窗口中的至少一种邻域元素信息，并构建该邻域元素信息对应的邻域元素描述符；将所述该匹配点对对应的所有邻域元素描述符进行拼接，形成所述该匹配点对对应的邻域信息描述符。
可选地，匹配点对在邻域窗口中的邻域元素信息包括以下信息中的至少一种：
邻域窗口中包含的匹配点对的数量与该邻域窗口大小的关系、该匹配点对对应的向量长度与该邻域窗口中包含的匹配点对对应的平均向量长度的关系、该匹配点对对应的向量方向与该邻域窗口中包含的匹配点对对应的平均向量方向的关系。
本说明书实施例提供的影像连接点的提取装置，通过对待匹配的立体像对进行区域检测，得到多个特征区域；针对每个特征区域，以其包含的重心点作为特征点，生成重心点特征图像；对待匹配的特征点，将其所对应的重心点特征图像，基于预先训练的深度卷积神经网络进行相似度匹配，得到初次匹配的匹配点对；从初次匹配的匹配点对中剔除误匹配点对，并将剩余的匹配点对作为待匹配的立体像对的连接点。由于本方案中采用特征区域的重心点作为特征点，而重心点特征作为连接点相较于角点特征更可靠，因此，在多源影像复杂、差异大的卫星影像场景中，采用本申请方案可以有效提高所提取连接点的可靠性和精度。
需要说明的是，本说明书中关于影像连接点的提取装置的实施例与本说明书中关于影像连接点的提取方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的影像连接点的提取方法的实施，重复之处不再赘述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪30年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书的一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本文件的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。

Claims (18)

1.一种影像连接点的提取方法，包括：
对待匹配的立体像对进行区域检测，得到多个特征区域；
针对每个所述特征区域，以其包含的重心点作为特征点，生成重心点特征图像；
对待匹配的特征点，将其所对应的重心点特征图像，基于预先训练的深度卷积神经网络进行相似度匹配，得到初次匹配的匹配点对；
从所述初次匹配的匹配点对中剔除误匹配点对，并将剩余的匹配点对作为所述待匹配的立体像对的连接点。
2.根据权利要求1所述的方法，其中，所述针对每个所述特征区域，以其包含的重心点作为特征点，生成重心点特征图像，包括：
采用图像距的方法计算每个所述特征区域的重心点坐标；
对每个所述特征区域进行区域拟合得到相应的中间特征图像；
基于每个所述中间特征图像，以其包含的所述重心点坐标作为特征点，生成相应的重心点特征图像。
3.根据权利要求1所述的方法，其中，训练所述深度卷积神经网络的处理包括：
基于获取的重心点特征图像样本，生成用于训练所述深度卷积神经网络的正、负重心点特征图像样本对训练集；
利用基于深度卷积神经网络的网络模型对所述正、负重心点特征图像样本对训练集进行训练，得到相应的网络参数。
4.根据权利要求3所述的方法，其中，所述基于获取的重心点特征图像样本，生成用于训练所述深度卷积神经网络的正、负重心点特征图像样本对训练集，包括：
对所述获取的重心点特征图像样本进行图像变换，得到一次扩充后的正、负重心点特征图像样本对；所述图像变换包括以下至少一种变换方式：尺度缩放、图像边框平移、光照、模糊和旋转；
对所述一次扩充后的正、负重心点特征图像样本对，采用生成对抗网络进行样本扩充计算，并将得到的二次扩充后的正、负重心点特征图像样本对作为所述正、负重心点特征图像样本对训练集。
5.根据权利要求1所述的方法，其中，所述方法还包括：
对所述待匹配的立体像对中包含的重心点特征图像，采用预设的匹配约束流程进行约束区域划分，并将划分到相同约束区域内的重心点特征图像所包含的特征点作为所述待匹配的特征点。
6.根据权利要求1所述的方法，其中，所述对待匹配的特征点，将其所对应的重心点特征图像，基于预先训练的深度卷积神经网络进行相似度匹配，得到初次匹配的匹配点对，包括：
针对待匹配的立体像对中一个图像中所包含的任一重心点特征图像，依次与该待匹配的立体像对中另一个图像中所包含的重心点特征图像，采用所述深度卷积神经网络进行相似度匹配，并确定出其中相似概率最高且大于预设相似概率阈值的重心点特征图像对，并以该重心点特征图像对中包含的特征点对作为初次匹配的一个匹配点对。
7.根据权利要求1所述的方法，其中，所述从所述初次匹配的匹配点对中剔除误匹配点对，并将剩余的匹配点对作为所述待匹配的立体像对的连接点，包括：
针对初次匹配的任一匹配点对，构建该匹配点对的邻域信息描述符，所述邻域信息描述符用于表征该任一匹配点对对应的至少一种邻域信息在至少两个邻域窗口的分布情况；其中，所述匹配点对的邻域窗口为：该匹配点对所包含的匹配点在其所在立体像对的图像中，距离该匹配点最近的匹配点数量；
对所述任一匹配点对对应的邻域信息描述符，采用预先训练的监督分类器进行分类，以确定该任一匹配点对是否为误匹配点对；
将经所述监督分类器分类后得到的误匹配点对从所述初次匹配的匹配点对中剔除，并将剩余的匹配点对作为所述待匹配的立体像对的连接点。
8.根据权利要求7所述的方法，其中，所述针对初次匹配的任一匹配点对，构建该匹配点对的邻域信息描述符，包括：
确定该匹配点对对应的至少两个邻域窗口中每个邻域窗口包含的匹配点对；
基于每个邻域窗口包含的匹配点对，生成所述该匹配点对在相应邻域窗口中的至少一种邻域元素信息，并构建该邻域元素信息对应的邻域元素描述符；
将所述该匹配点对对应的所有邻域元素描述符进行拼接，形成所述该匹配点对对应的邻域信息描述符。
9.根据权利要求8所述的方法，其中，匹配点对在邻域窗口中的邻域元素信息包括以下信息中的至少一种：
邻域窗口中包含的匹配点对的数量与该邻域窗口大小的关系、该匹配点对对应的向量长度与该邻域窗口中包含的匹配点对对应的平均向量长度的关系、该匹配点对对应的向量方向与该邻域窗口中包含的匹配点对对应的平均向量方向的关系。
10.一种影像连接点的提取装置，包括：
区域检测模块，对待匹配的立体像对进行区域检测，得到多个特征区域；
图像生成模块，针对每个所述特征区域，以其包含的重心点作为特征点，生成重心点特征图像；
特征点匹配模块，对待匹配的特征点，将其所对应的重心点特征图像，基于预先训练的深度卷积神经网络进行相似度匹配，得到初次匹配的匹配点对；
匹配点剔除模块，从所述初次匹配的匹配点对中剔除误匹配点对，并将剩余的匹配点对作为所述待匹配的立体像对的连接点。
11.根据权利要求10所述的装置，其中，所述图像生成模块，采用图像距的方法计算每个所述特征区域的重心点坐标；
对每个所述特征区域进行区域拟合得到相应的中间特征图像；
基于每个所述中间特征图像，以其包含的所述重心点坐标作为特征点，生成相应的重心点特征图像。
12.根据权利要求10所述的装置，其中，所述装置还包括：
网络训练模块，基于获取的重心点特征图像样本，生成用于训练所述深度卷积神经网络的正、负重心点特征图像样本对训练集；
利用基于深度卷积神经网络的网络模型对所述正、负重心点特征图像样本对训练集进行训练，得到相应的网络参数。
13.根据权利要求12所述的装置，其中，所述网络训练模块，对所述获取的重心点特征图像样本进行图像变换，得到一次扩充后的正、负重心点特征图像样本对；所述图像变换包括以下至少一种变换方式：尺度缩放、图像边框平移、光照、模糊和旋转；
对所述一次扩充后的正、负重心点特征图像样本对，采用生成对抗网络进行样本扩充计算，并将得到的二次扩充后的正、负重心点特征图像样本对作为所述正、负重心点特征图像样本对训练集。
14.根据权利要求10所述的装置，其中，所述装置还包括：
特征点选取模块，对所述待匹配的立体像对中包含的重心点特征图像，采用预设的匹配约束流程进行约束区域划分，并将划分到相同约束区域内的重心点特征图像所包含的特征点作为所述待匹配的特征点。
15.根据权利要求10所述的装置，其中，所述特征点匹配模块，针对待匹配的立体像对中一个图像中所包含的任一重心点特征图像，依次与该待匹配的立体像对中另一个图像中所包含的重心点特征图像，采用所述深度卷积神经网络进行相似度匹配，并确定出其中相似概率最高且大于预设相似概率阈值的重心点特征图像对，并以该重心点特征图像对中包含的特征点对作为初次匹配的一个匹配点对。
16.根据权利要求10所述的装置，其中，所述匹配点剔除模块，针对初次匹配的任一匹配点对，构建该匹配点对的邻域信息描述符，所述邻域信息描述符用于表征该任一匹配点对对应的至少一种邻域信息在至少两个邻域窗口的分布情况；其中，所述匹配点对的邻域窗口为：该匹配点对所包含的匹配点在其所在立体像对的图像中，距离该匹配点最近的匹配点数量；
对所述任一匹配点对对应的邻域信息描述符，采用预先训练的监督分类器进行分类，以确定该任一匹配点对是否为误匹配点对；
将经所述监督分类器分类后得到的误匹配点对从所述初次匹配的匹配点对中剔除，并将剩余的匹配点对作为所述待匹配的立体像对的连接点。
17.根据权利要求16所述的装置，其中，所述匹配点剔除模块，确定该匹配点对对应的至少两个邻域窗口中每个邻域窗口包含的匹配点对；
基于每个邻域窗口包含的匹配点对，生成所述该匹配点对在相应邻域窗口中的至少一种邻域元素信息，并构建该邻域元素信息对应的邻域元素描述符；
将所述该匹配点对对应的所有邻域元素描述符进行拼接，形成所述该匹配点对对应的邻域信息描述符。
18.根据权利要求17所述的装置，其中，匹配点对在邻域窗口中的邻域元素信息包括以下信息中的至少一种：
邻域窗口中包含的匹配点对的数量与该邻域窗口大小的关系、该匹配点对对应的向量长度与该邻域窗口中包含的匹配点对对应的平均向量长度的关系、该匹配点对对应的向量方向与该邻域窗口中包含的匹配点对对应的平均向量方向的关系。
CN202010803228.XA 2020-08-11 2020-08-11 影像连接点的提取方法和装置 Active CN111967365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010803228.XA CN111967365B (zh) 2020-08-11 2020-08-11 影像连接点的提取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010803228.XA CN111967365B (zh) 2020-08-11 2020-08-11 影像连接点的提取方法和装置

Publications (2)

Publication Number Publication Date
CN111967365A true CN111967365A (zh) 2020-11-20
CN111967365B CN111967365B (zh) 2023-09-15

Family

ID=73364294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010803228.XA Active CN111967365B (zh) 2020-08-11 2020-08-11 影像连接点的提取方法和装置

Country Status (1)

Country Link
CN (1) CN111967365B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022016947A1 (zh) * 2020-07-22 2022-01-27 中建科技集团有限公司深圳分公司 一种绑扎点识别方法、装置、终端和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100303340A1 (en) * 2007-10-23 2010-12-02 Elta Systems Ltd. Stereo-image registration and change detection system and method
CN108830889A (zh) * 2018-05-24 2018-11-16 中国科学院遥感与数字地球研究所 基于全局几何约束的遥感影像与基准影像的匹配方法
CN109523585A (zh) * 2018-11-19 2019-03-26 武汉大学 一种基于方向相位一致性的多源遥感影像特征匹配方法
CN109711486A (zh) * 2019-01-21 2019-05-03 湖北省国土资源研究院 基于相位相关的高重叠度遥感影像满度连接点匹配方法
CN109784223A (zh) * 2018-12-28 2019-05-21 珠海大横琴科技发展有限公司 一种基于卷积神经网络的多时相遥感影像匹配方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100303340A1 (en) * 2007-10-23 2010-12-02 Elta Systems Ltd. Stereo-image registration and change detection system and method
CN108830889A (zh) * 2018-05-24 2018-11-16 中国科学院遥感与数字地球研究所 基于全局几何约束的遥感影像与基准影像的匹配方法
CN109523585A (zh) * 2018-11-19 2019-03-26 武汉大学 一种基于方向相位一致性的多源遥感影像特征匹配方法
CN109784223A (zh) * 2018-12-28 2019-05-21 珠海大横琴科技发展有限公司 一种基于卷积神经网络的多时相遥感影像匹配方法及系统
CN109711486A (zh) * 2019-01-21 2019-05-03 湖北省国土资源研究院 基于相位相关的高重叠度遥感影像满度连接点匹配方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022016947A1 (zh) * 2020-07-22 2022-01-27 中建科技集团有限公司深圳分公司 一种绑扎点识别方法、装置、终端和介质

Also Published As

Publication number Publication date
CN111967365B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
Xie et al. Point clouds learning with attention-based graph convolution networks
CN112541904B (zh) 一种无监督遥感图像变化检测方法、存储介质及计算设备
CN110084299B (zh) 基于多头融合注意力的目标检测方法和装置
Xu et al. Effective face detector based on yolov5 and superresolution reconstruction
Xia et al. Loop closure detection for visual SLAM using PCANet features
Wang et al. CenterNet3D: An anchor free object detector for point cloud
Moon et al. View-point invariant 3d classification for mobile robots using a convolutional neural network
Vaquero et al. Dual-branch CNNs for vehicle detection and tracking on LiDAR data
Xing et al. DE‐SLAM: SLAM for highly dynamic environment
US20210272295A1 (en) Analysing Objects in a Set of Frames
Ward et al. RGB-D image-based object detection: from traditional methods to deep learning techniques
CN111310821A (zh) 多视图特征融合方法、系统、计算机设备及存储介质
CN111797711A (zh) 一种模型训练的方法及装置
ES2658963T3 (es) Procedimiento de reconocimiento de un contexto visual de una imagen y dispositivo correspondiente
CN114694005A (zh) 目标检测模型训练方法和装置、目标检测方法和装置
Shi et al. Remote sensing image object detection based on angle classification
CN110992404A (zh) 目标跟踪方法、装置和系统及存储介质
Lee et al. Reinforced adaboost learning for object detection with local pattern representations
CN111967365B (zh) 影像连接点的提取方法和装置
CN114972492A (zh) 一种基于鸟瞰图的位姿确定方法、设备和计算机存储介质
CN114586075A (zh) 用于位置识别的视觉对象实例描述符
CN111753583A (zh) 一种识别方法及装置
CN116071804A (zh) 人脸识别的方法、装置和电子设备
CN113139540B (zh) 背板检测方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant