CN104090972B - 用于三维城市模型检索的图像特征提取和相似性度量方法 - Google Patents

用于三维城市模型检索的图像特征提取和相似性度量方法 Download PDF

Info

Publication number
CN104090972B
CN104090972B CN201410342391.5A CN201410342391A CN104090972B CN 104090972 B CN104090972 B CN 104090972B CN 201410342391 A CN201410342391 A CN 201410342391A CN 104090972 B CN104090972 B CN 104090972B
Authority
CN
China
Prior art keywords
image
model
feature
formula
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410342391.5A
Other languages
English (en)
Other versions
CN104090972A (zh
Inventor
张立强
王跃宾
张良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Normal University
Original Assignee
Beijing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Normal University filed Critical Beijing Normal University
Priority to CN201410342391.5A priority Critical patent/CN104090972B/zh
Publication of CN104090972A publication Critical patent/CN104090972A/zh
Application granted granted Critical
Publication of CN104090972B publication Critical patent/CN104090972B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及用于三维城市模型检索的图像特征提取和相似性度量方法。多数图像和三维模型检索方法提取的特征缺乏或忽略对模型细节的描述，导致三维模型检索精度不高。本发明提出了一种基于图像的三维城市模型检索框架。首先分割出图像上的检索目标，同时利用光场对三维城市模型进行二维变换，然后提取查询目标和检索模型图像的特征，最后用相似度距离度量它们之间的相似性，实现三维城市模型检索。1)提出了一种图像特征提取和相似性度量的三层框架，在该框架中，设计了带空间约束的多层多尺度卷积神经网络模型，获得了位移、尺度、形变不变性的具有判别性的特征；2)提出了一种新的相似性度量方法，更好的实现了目标间的相似性匹配。与已有方法相比，本发明方法在三维城市模型检索的效率和精度有了很大提高。

Description

用于三维城市模型检索的图像特征提取和相似性度量方法
一、技术领域
本发明涉及用于三维城市模型检索的图像特征提取和相似性度量方法，属于空间信息技术领域。
二、背景技术
随着空间数据采集技术的革新及互联网的发展，城市三维模型的种类和数量越来越丰富，很多网站(如Google 3D Warehouse)和平台也提供了三维模型共享功能，供用户免费下载，基于图像的检索成为高效获取三维模型的一种重要技术手段。由于拍摄条件和拍摄角度的不同，图片往往含有复杂背景，并且三维模型存放的方向以及光照条件不同会引起模型表面纹理和颜色差异变化很大，这都为基于图像的三维模型检索带来了挑战。传统的关键字匹配方法受制于模型的人工标注，相比之下，无需人工标注的基于模型特征的匹配方法更适合模型仓库背景下的搜索。基于模型特征的检索有利于在场景中直接定位待检索的模型，但多数图像和三维模型检索方法提取的特征缺乏或忽略对模型细节的描述，导致图像/三维模型检索精度不高，很大程度上限制了建筑模型搜索应用的发展。本发明提出了一种基于图像特征和相似性度量方法的三维城市模型检索技术。与已有方法相比，本发明在三维城市模型检索的效率和精度有了很大提高。
三、发明内容
1、目的：三维城市模型在军事、城市导航、旅游等方面有重要的应用。本发明提出了一种基于图像特征和相似性度量方法的三维城市模型检索技术。创新性主要体现在：1)提出了一种图像特征提取和相似性度量的三层框架，在该框架中，设计了带空间约束的多层多尺度卷积神经网络模型，获得了位移、尺度、形变不变性的具有判别性的特征；2)提出了一种新的相似性度量方法，更好的实现了目标间的相似性匹配。本专利可以应用于基于空间位置服务、场景快速定位和图像分类分割中。
2、技术方案
用于三维城市模型检索的图像特征提取和相似性度量方法，其特征在于，包括如下步骤(如图1)：
步骤一：查询目标和城市三维模型影像的特征提取
从输入图像上用智能剪刀和图割方法分割出查询目标，用水平光场算法将每个待检索的三维城市模型进行投影转换生成10张影像，建立待检索模型图像库。接下去，提取查询目标图像与模型图像库中图像的特征，从而检索出与查询目标相匹配的模型图像对应的三维城市模型。
本专利设计了带空间约束卷积神经网络模型提取图像目标特征。基于该模型的特征提取包含三个层次。为了实现从粗到精的检索，在第一层次中，用卷积神经网络模型CNN提取查询目标和模型图像的特征，通过图像度量方法预检索出k个三维城市模型；在第二层次，对这k个检索结果进行显著性检测，去除模型图像的背景，建立空间相似性约束，使查询目标和模型图像姿态保持一致；在第三层次，对建立相似性约束的模型图像再次用CNN提取特征后，通过图像度量方法实现模型的精确检索。
(1)第一层次
用CNN提取查询目标Q和模型图像的特征。CNN是多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元构成。为了强化表达图像的特征，用拉普拉斯金字塔技术提取多尺度图像，作为对应图像的子图像来进行特征提取。
CNN输入的是查询目标的图像矩阵Ih×w×n：h表示图像高度，w表示图像宽度，n表示图像数量。查询目标通过可训练的滤波器和可加偏置进行卷积(式1)，
Xl＝sigm(WlXl-1+bl) (1)
Xl-1表示隐含层l的输入，Xl表示隐含层的输出，X0＝I。矩阵Wl表示隐含层l的卷积核，
bl表示隐含层l的偏置项。卷积层神经元的激活函数为Sigmod函数，其定义为
卷积后在C1层产生特征映射图，特征映射图中像素再通过式(3)进行Pooling运算，得到S1层的特征映射图。
Xl＝pool(Xl-1) (3)
(3)式中，Xl-1表示隐含层l的输入，Xl表示隐含层的输出。
上述映射图经过滤波得到C2层，在该层级，类似的产生S2、S3。为了准确描述图像的特征，还要训练CNN中的参数Wl和bl。在实际计算中，网络的实际输出和目标存在一定误差，所以建立全局优化目标：
(4)式中，N代表训练样本的个数，c代表样本的类别数，l代表层数。是第n模式对应标注的第k维，是对应第n输入模式的第k维输出层单元的值。
使用(4)对参数Wl和bl进行训练，网络参数训练好后，利用CNN提取查询目标的特征向量。
(2)第二层次
CNN特征提取后，查询目标Q可以用图像度量方法对模型图像进行粗层次的检索。一般的，前k个检索结果与Q相似程度最高，它们的类别属性基本一致，因此用Q对模型图像进行空间约束，使Q和模型图像在相同空间状态下进行特征提取。
假设Q中任意一点的坐标为(xQ，yQ)，模型库中一图像的坐标(xM，yM)通过空间变换T(r，s，t)使得模型库中图像的空间坐标和Q大致保持一致。
(5)式中，r表示旋转变换，s表示尺度变换，t表示平移变换。
由于空间变换的复杂性，不可能使得T满足所有坐标变换，所以使用查询目标Q对模型图像进行空间约束。提取图像本身最外围形状轮廓，基于边界轮廓对模型图像进行空间约束，基本思想是：
1)在Q的边界上取样得N个点的坐标：X1，X2，...，XN；
2)在模型图像的形状样本边界上取N个点的坐标X′1，X′2，...，X′N；
3)极小化能量泛函求得变换T。
假定T为刚体变化(旋转，平移，放缩)，所以，
(6)式中，(x，y)为任一图像坐标，θ表示旋转角度，α表示缩放尺度，(t1，t2)表示分别沿x、y轴平移坐标大小。
能量泛函E变为：
解出配准中的参数θ，α，t1，t2；以此参数对模型图像进行空间变换实现空间约束。
(3)第三层次
对模型图像进行空间约束之后，使用CNN对约束后的模型图像再一次提取特征。
步骤二：设计用于匹配的图像度量方法
本发明中使用的图像度量方法是一种非线性的函数映射。假设两幅图像的特征向量分别为Fa＝[fa1，fa2，...，fan]和Fb＝[fb1，fb2，...，fbn]，通过式(8)计算两幅图像的相似程度ISS。
ISS＝fIM(Fa-Fb) (8)
fIM是相似性度量因子，用式(9)计算fIM：
其中，xi代表两条特征向量之差，RSi表示查询目标与检索图像的相关程度，n表示参与fIM训练的样本个数。
获取特征向量后，就容易得到xi，两幅图像的RSi通过下述过程获得。
(1)特征降维
通过CNN提取的图像特征向量维数高，容易造成过度拟合。采用流形学习的Isomap方法对特征向量进行降维处理。利用降维后的特征，通过城市街区距离(公式10)计算两个目标相似性程度。
公式(10)中，ai和bi分别为两个n维向量a、b的特征值。
通过公式(10)可知，两个目标相似性程度SS为：
公式(11)中，Fa和Fb分别代表两幅图像的特征向量；Fai和Fbi分别为a和Fb对应的每一维的特征值。
(2)检索结果的重排序
通过公式(11)得到与查询目标目标Q对应的前n个匹配结果。为了获取高精度的匹配结果，对检索结果进行重新排序。k-d树能迅速搜索到最近点，可以用于多维空间数据的搜索。本发明用k-d tree进行重新排序。
用k-d树搜索查询目标Q对应的前n个匹配图像，存放在列表listQ中，listQ中所检索到的图像k1，k2，…kn，分别以其自身为检索图像继续检索，最后形成n+1个列表，nm代表邻近检索矩阵，如下所示：
在list形成的图像检索矩阵中存在大量重复图像，为了计算所有检索到的图像与查询目标Q的相关程度，同时考虑到被检索对象与Q的邻近程度，需要对listQ中被检索对象进行排序，所以重新定义公式(11)为：
(12)式中，SS表示重新排序后的相似度指标，F1和F2分别代表两幅图像的特征向量，i代表检索到的图像在listQ中的顺序，p为介于0到1之间的常数。
依公式(13)进行查找与排序：
其中，
查找和排序完成之后，就获得了与查询目标Q相对应新的listQ，同时，在该listQ中也获得了被检索对象与Q的相关程度。
为了计算最佳检索效果，令其中，Nsame为listQ中与Q属于同一实体类型的数量。
(3)计算相似性度量因子fIM
两幅图像的特征之差作为自变量，相关程度RS作为因变量，自变量和因变量实际上是非线性映射关系。引入径向基函数神经网络通过公式(14)求取公式(12)中的f(x)，从而计算出fIM。
h隐含层神经元的数目，wij是权重，ci是径向函数的中心，σi基函数的宽度。
步骤三：三维城市模型检索
将查询目标Q从图像分割出后，通过CNN获取其特征向量fQ；同理，分别获取模型图像a1，a2，...，an对应的特征向量然后，分别计算检索图像与模型库图像的向量差通过fIM计算模型图像与检索图像的相似度并按照升序进行排序，就可以获得最为相似的模型。
四、附图说明
图1用于三维城市模型检索的图像特征提取和相似性度量方法实现流程
图2六种不同方法相似性度量方法的比较结果.
图3(a)6种不同方法对塔的检索结果的Precision-Recall图
图3(b)6种不同方法对桥的检索结果的Precision-Recall图
图3(c)6种不同方法对体育场馆的检索结果的Precision-Recall图
图3(d)6种不同方法对建筑房屋的检索结果的Precision-Recall图
五、具体实施方式
用于三维城市模型检索的图像特征提取和相似性度量方法，其特征在于，包括如下步骤(如图1)：
步骤一：查询目标和城市三维模型影像的特征提取
从输入图像上用智能剪刀和图割方法分割出查询目标，利用水平光场算法将每个待检索的三维城市模型进行投影转换生成10张影像，建立待检索模型图像库。接下去，提取查询目标图像与模型图像库中的图像的特征，从而检索出与查询目标相匹配的模型图像对应的三维城市模型。
本专利设计了带空间约束卷积神经网络模型提取图像目标特征。基于该模型的特征提取包含三个层次。为了实现从粗到精的检索，在第一层次中，用卷积神经网络模型CNN提取查询目标和模型图像的特征，通过图像度量方法预检索出k个三维城市模型；在第二层次，对这k个检索结果进行显著性检测，去除模型图像的背景，建立空间相似性约束，使查询目标和模型图像姿态保持一致；在第三层次，对建立相似性约束的模型图像再次用CNN提取特征后，通过图像度量方法实现模型的精确检索。
(1)第一层次
用CNN提取查询目标Q和模型图像的特征。CNN是多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元构成。为了强化表达图像的特征，用拉普拉斯金字塔技术提取多尺度图像，作为对应图像的子图像来进行特征提取。
CNN输入的是查询目标的图像矩阵Ih×w×n：h表示图像高度，w表示图像宽度，n表示图像数量。查询目标通过可训练的滤波器和可加偏置进行卷积(式1)，
Xl＝sigm(WlXl-1+bl) (1)
Xl-1表示隐含层l的输入，Xl表示隐含层的输出，X0＝I。矩阵Wl表示隐含层l的卷积核，
bl表示隐含层l的偏置项。卷积层神经元的激活函数为Sigmod函数，其定义为
卷积后在C1层产生特征映射图，特征映射图中像素再通过式(3)进行Pooling运算，得到S1层的特征映射图。
Xl＝pool(Xl-1)(3)
(3)式中，Xl-1表示隐含层l的输入，Xl表示隐含层的输出。
上述映射图经过滤波得到C2层，在该层级，类似的产生S2、S3。为了准确描述图像的特征，还要训练CNN中的参数Wl和bl。在实际计算中，网络的实际输出和目标存在一定误差，所以建立全局优化目标：
(4)式中，N代表训练样本的个数，c代表样本的类别数，l代表层数。是第n模式对应标注的第k维，是对应第n输入模式的第k维输出层单元的值。
使用(4)对参数Wl和bl进行训练，网络参数训练好后，利用CNN提取查询目标的特征向量。
(2)第二层次
CNN特征提取后，查询目标Q可以用图像度量方法对模型图像进行粗层次的检索。一般的，前k个检索结果与Q相似程度最高，它们的类别属性基本一致，因此用Q对模型图像进行空间约束，使Q和模型图像在相同空间状态下进行特征提取。
假设Q中任意一点的坐标为(xQ，yQ)，模型库中一图像的坐标(xM，yM)通过空间变换T(r，s，t)使得模型库中图像的空间坐标和Q大致保持一致。
(5)式中，r表示旋转变换，s表示尺度变换，t表示平移变换。
由于空间变换的复杂性，不可能使得T满足所有坐标变换，所以使用查询目标Q对模型图像进行空间约束。提取图像本身最外围形状轮廓，基于边界轮廓对模型图像进行空间约束，基本思想是：
1)在Q的边界上取样得N个点的坐标：X1，X2，...，XN；
2)在模型图像的形状样本边界上取N个点的坐标X′1，X′2，...，X′N；
3)极小化能量泛函求得变换T。
假定T为刚体变化(旋转，平移，放缩)，所以，
(6)式中，(x，y)为任一图像坐标，θ表示旋转角度，α表示缩放尺度，(t1，t2)表示分别沿x、y轴平移坐标大小。
能量泛函E变为：
解出配准中的参数θ，α，t1，t2；以此参数对模型图像进行空间变换实现空间约束。
(3)第三层次
对模型图像进行空间约束之后，使用CNN对约束后的模型图像再一次提取特征。
步骤二：设计用于匹配的图像度量方法
本发明中使用的图像度量方法是一种非线性的函数映射。假设两幅图像的特征向量分别为Fa＝[fa1，fa2，...，fan]和Fb＝[fb1，fb2，...，fbn]，通过式(8)计算两幅图像的相似程度ISS。
ISS＝fIM(Fa-Fb) (8)
fIM是相似性度量因子，用式(9)计算fIM：
其中，xi代表两条特征向量之差，RSi表示查询目标与检索图像的相关程度，n表示参与fIM训练的样本个数。
获取特征向量后，就容易得到xi，两幅图像的RSi通过下述过程获得。
(1)特征降维
通过CNN提取的图像特征向量维数高，容易造成过度拟合。采用流形学习的Isomap方法对特征向量进行降维处理。利用降维后的特征，通过城市街区距离(公式10)计算两个目标相似性程度。
公式(10)中，ai和bi分别为两个n维向量a、b的特征值。
通过公式(10)可知，两个目标相似性程度SS为：
公式(11)中，Fa和Fb分别代表两幅图像的特征向量；Fai和Fbi分别为a和Fb对应的每一维的特征值。
(2)检索结果的重排序
通过公式(11)得到与查询目标目标Q对应的前n个匹配结果。为了获取高精度的匹配结果，对检索结果进行重新排序。k-d树能迅速搜索到最近点，可以用于多维空间数据的搜索。本发明用k-d tree进行重新排序。
用k-d树搜索查询目标Q对应的前n个匹配图像，存放在列表listQ中，listQ中所检索到的图像k1，k2，…kn，分别以其自身为检索图像继续检索，最后形成n+1个列表，nm代表邻近检索矩阵，如下所示：
在listQ形成的图像检索矩阵中存在大量重复图像，为了计算所有检索到的图像与查询目标Q的相关程度，同时考虑到被检索对象与Q的邻近程度，需要对listQ中被检索对象进行排序，所以重新定义公式(11)为：
(12)式中，SS表示重新排序后的相似度指标，F1和F2分别代表两幅图像的特征向量，i代表检索到的图像在list中的顺序，p为介于0到1之间的常数。
依公式(13)进行查找与排序：
其中，
查找和排序完成之后，就获得了与查询目标Q相对应新的listQ，同时，在该listQ中也获得了被检索对象与Q的相关程度。
为了计算最佳检索效果，令其中，Nsame为listQ中与Q属于同一实体类型的数量。
(3)计算相似性度量因子fIM
两幅图像的特征之差作为自变量，相关程度RS作为因变量，自变量和因变量实际上是非线性映射关系。引入径向基函数神经网络通过公式(14)求取公式(12)中的f(x)，从而计算出fIM。
h隐含层神经元的数目，wij是权重，ci是径向函数的中心，σi基函数的宽度。
步骤三：三维城市模型检索
将查询目标Q从图像分割出后，通过CNN获取其特征向量fQ；同理，分别获取模型图像a1，a2，...，an对应的特征向量然后，分别计算检索图像与模型库图像的向量差通过fIM计算模型图像与检索图像的相似度并按照升序进行排序，就可以获得最为相似的模型。
实施例1：
为了验证本专利方法的性能，发明人从Google 3D Warehouse、普林斯顿大学的PSB三维模型数据集等上收集了15,246个三维城市模型，模型分为塔、桥、体育场馆、建筑房屋等四类。
在进行特征提取前，对CNN进行训练以获得合适的网络结构参数。三维城市模型库中90％的模型用于训练，10％的模型用于测试。利用CNN进行分类精度检测，分类准确度达到了96％。用训练好的CNN结构结合空间约束来提取模型的特征。
图2给出了以下6种不同方法在不同最邻近模型数目(Nearest Neighbor Number)下的最邻近评分(Nearest Neighbor Score，简称NNS)变化情况。用precision-recall曲线来评估本发明相似度度量方法，并同其它5种方法进行了对比：
方法(1)：CNN+街区距离；
方法(2)：CNN+欧式距离；
方法(3)：ITQ度量方法(Yunchao，G.，Lazebnik，S.，2011.Iterativequantization：A procrustean approach to learning binary codes，2011 IEEEConference on Computer Vision and Pattern Recognition，817-824.)；
方法(4)：RR度量方法(Jegou，H.，Douze，M.，Schmid，C.，Perez，P.，2010.Aggregating local descriptors into a compact image representation，2010IEEE Conference on Computer Vision and Pattern Recognition，3304-3311)；
方法(5)：SKLSH度量方法(Raginsky，M.，Lazebnik，S.，2009.Locality-sensitivebinary codes from shifi-invariant kemels，Advances in Neural InformationProcessing Systems，1509-1517)；
方法(6)：本专利相似性度量方法。
对于方法(1)、(2)和(6)，首先用CNN提取模型图像特征，然后分别来衡量模型图像之间的相似度。
从图2可以看出，(1)、(2)和(6)在同样适用CNN进行特征提取的情况下，使用新的相似度标准(6)进行检索的效果明显好于传统距离度量(1)和(2)的方法，(1)和(2)不能有效地表达模型图像之间的相似程度，也证明了本专利方法的有效性与方法(3)、(4)和(5)相比，后者缺少或忽略对模型图像细部特征的描述，同时不能有效地比较图像相似度。本专利方法采用CNN进行特征提取，能够有效提取图像的特征，检索精度更高。
图3给出了Precision-Recall曲线。从中可以看出本专利对于模型的检索效果要好于其它方法。

Claims (1)

1.用于三维城市模型检索的图像特征提取和相似性度量方法，其特征在于，包括如下步骤：
步骤一：查询目标和三维城市模型影像的特征提取
从输入图像上用智能剪刀和图割方法分割出查询目标，用水平光场算法将每个待检索的三维城市模型进行投影转换生成10张影像，建立待检索模型图像库，接下去，提取查询目标图像与模型图像库中的图像的特征；
使用了带空间约束卷积神经网络模型提取图像目标特征；基于该模型的特征提取包含三个层次；为了实现从粗到精的检索，在第一层次中，用卷积神经网络CNN提取查询目标和模型图像的特征，通过图像度量方法预检索出k个三维城市模型；在第二层次，对这k个检索结果进行显著性检测，去除模型图像的背景，建立空间相似性约束，使查询目标和模型图像姿态保持一致；在第三层次，对建立相似性约束的模型图像再次用CNN提取特征后，通过图像度量方法实现模型的精确检索；
(1)第一层次
用CNN提取查询目标Q和模型图像的特征；为了强化表达图像的特征，用拉普拉斯金字塔技术提取多尺度图像，作为对应图像的子图像来进行特征提取；
CNN输入的是查询目标的图像矩阵Ih×w×n：h表示图像高度，w表示图像宽度，n表示图像数量；查询目标通过可训练的滤波器和可加偏置进行卷积，
Xl＝sigm(WlXl-1+bl) (1)
Xl-1表示隐含层l的输入，Xl表示隐含层的输出，X0＝I；矩阵Wl表示隐含层l的卷积核，bl表示隐含层l的偏置项；卷积层神经元的激活函数为Sigmod函数，其定义为
卷积后在C1层产生特征映射图，特征映射图中像素再通过式(3)进行Pooling运算，得到S1层的特征映射图；
Xl＝pool(Xl-1) (3)
(3)式中，Xl-1表示隐含层l的输入，Xl表示隐含层的输出；
为了准确描述图像的特征，还要训练CNN中的参数Wl和bl；在实际计算中，网络的实际输出和目标存在一定误差，所以建立全局优化目标：
(4)式中，N代表训练样本的个数，c代表样本的类别数，l代表层数；是第n模式对应标注的第k维，是对应第n输入模式的第k维输出层单元的值；
使用(4)对参数Wl和bl进行训练，网络参数训练好后，利用CNN提取查询目标的特征向量；
(2)第二层次
用Q对模型图像进行空间约束，使Q和模型图像在相同空间状态下进行特征提取；
假设Q中任意一点的坐标为(xQ，yQ)，模型库中一图像的坐标(xM，yM)通过空间变换T(r，s，t)使得模型库中图像的空间坐标和Q大致保持一致；
(5)式中，r表示旋转变换，s表示尺度变换，t表示平移变换；
提取图像本身最外围形状轮廓，基于边界轮廓对模型图像进行空间约束，过程是：
1)在Q的边界上取样得N个点的坐标X1，X2，...，XN；
2)在模型图像的形状样本边界上取N个点的坐标X′1，X′2，...，X′N；
3)极小化能量泛函求得变换T；
假定T为刚体变化，所以，
(6)式中，(x，y)为任一图像坐标，θ表示旋转角度，α表示缩放尺度，(t1，t2)表示分别沿x、y轴平移坐标大小；
能量泛函E变为：
解出配准中的参数θ，α，t1，t2；以此参数对模型图像进行空间变换实现空间约束；
(3)第三层次
对模型图像进行空间约束之后，使用CNN对约束后的模型图像再一次提取特征；
步骤二：设计用于匹配的图像度量方法
假设两幅图像的特征向量分别为Fa＝[fa1，fa2，...，fan]和Fb＝[fb1，fb2，...，fbn]，通过式(8)计算两幅图像的相似程度ISS；
ISS＝fIM(Fa-Fb) (8)
fIM是相似性度量因子，用式(9)计算fIM：
其中，xi代表两条特征向量之差，RSi表示查询目标与检索图像的相关程度，n表示参与fIM训练的样本个数；
获取特征向量后，得到xi，两幅图像的RSi通过下述过程获得；
(1)特征降维
采用流形学习的Isomap方法对特征向量进行降维处理，利用降维后的特征，用公式(10)通过城市街区距离计算两个目标相似性程度；
公式(10)中，ai和bi分别为两个n维向量a、b的特征值；
通过公式(10)可知，两个目标相似性程度SS为：
2
公式(11)中，Fa和Fb分别代表两幅图像的特征向量；Fai和Fbi分别为a和Fb对应的每一维的特征值；
(2)检索结果的重排序
为了获取高精度的匹配结果对检索结果进行重新排序，用k-d tree进行重新排序；
用k-d树搜索查询目标Q对应的前n个匹配图像，存放在列表listQ中，listQ中所检索到的图像k1，k2，…kn，分别以其自身为检索图像继续检索，最后形成n+1个列表，nm代表邻近检索矩阵，如下所示：
对listQ中被检索对象进行排序，重新定义公式(11)为：
(12)式中，SS表示重新排序后的相似度指标，F1和F2分别代表两幅图像的特征向量，i代表检索到的图像在listQ中的顺序，p为介于0到1之间的常数；
依公式(13)进行查找与排序：
其中，
查找和排序完成之后，获得了与查询目标Q相对应新的listQ，同时，在该listQ中也获得了被检索对象与Q的相关程度；
为了计算最佳检索效果，令其中，Msame为listQ中与Q属于同一实体类型的数量；
(3)计算相似性度量因子fIM
引入径向基函数神经网络，通过公式(14)求取公式(12)中的f(x)，从而计算出fIM，
(14)式中，h隐含层神经元的数目，wij是权重，ci是径向函数的中心，σi基函数的宽度；
步骤三：三维城市模型检索
将查询目标Q从图像分割出后，通过CNN获取其特征向量fQ；同理，分别获取模型图像a1，a2，...，an对应的特征向量然后，计算检索图像与模型库图像的向量差通过fIM计算模型图像与检索图像的相似度并按照升序进行排序，就可以获得最为相似的模型。
CN201410342391.5A 2014-07-18 2014-07-18 用于三维城市模型检索的图像特征提取和相似性度量方法 Expired - Fee Related CN104090972B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410342391.5A CN104090972B (zh) 2014-07-18 2014-07-18 用于三维城市模型检索的图像特征提取和相似性度量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410342391.5A CN104090972B (zh) 2014-07-18 2014-07-18 用于三维城市模型检索的图像特征提取和相似性度量方法

Publications (2)

Publication Number Publication Date
CN104090972A CN104090972A (zh) 2014-10-08
CN104090972B true CN104090972B (zh) 2017-08-11

Family

ID=51638688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410342391.5A Expired - Fee Related CN104090972B (zh) 2014-07-18 2014-07-18 用于三维城市模型检索的图像特征提取和相似性度量方法

Country Status (1)

Country Link
CN (1) CN104090972B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104796623B (zh) * 2015-02-03 2016-02-24 中国人民解放军国防科学技术大学 基于金字塔块匹配和泛函优化的拼接视频去结构偏差方法
CN104991959B (zh) * 2015-07-21 2019-11-05 北京京东尚科信息技术有限公司 一种基于内容检索相同或相似图像的方法与系统
CN106547744B (zh) * 2015-09-16 2020-11-06 杭州海康威视数字技术股份有限公司 一种图像检索方法及系统
CN105913070B (zh) * 2016-04-29 2019-04-23 合肥工业大学 一种基于光场相机的多线索显著性提取方法
CN106250918B (zh) * 2016-07-26 2019-08-13 大连理工大学 一种基于改进的推土距离的混合高斯模型匹配方法
CN106503686A (zh) * 2016-10-28 2017-03-15 广州炒米信息科技有限公司 检索人脸图像的方法和系统
CN106778584B (zh) * 2016-12-08 2019-07-16 南京邮电大学 一种基于深层特征与浅层特征融合的人脸年龄估计方法
CN106682592B (zh) * 2016-12-08 2023-10-27 北京泛化智能科技有限公司 一种基于神经网络方法的图像自动识别系统及方法
CN107122396B (zh) * 2017-03-13 2019-10-29 西北大学 基于深度卷积神经网络的三维模型检索方法
CN106951501B (zh) * 2017-03-16 2020-05-12 天津大学 一种基于多图匹配的三维模型检索方法
CN107133284A (zh) * 2017-04-18 2017-09-05 天津大学 一种基于流行学习的视图三维模型检索方法
CN107506429A (zh) * 2017-08-22 2017-12-22 北京联合大学 一种基于显著区域和相似性积分的图像重排序方法
CN107578470B (zh) * 2017-10-16 2020-11-06 北京锐安科技有限公司 一种三维模型处理方法、装置、服务器及存储介质
CN108399454A (zh) * 2018-03-05 2018-08-14 山东领能电子科技有限公司 一种全新的分段卷积神经网络目标识别方法
CN110019914B (zh) * 2018-07-18 2023-06-30 王斌 一种支持三维场景交互的三维模型数据库检索方法
CN109272044A (zh) * 2018-09-19 2019-01-25 郑州云海信息技术有限公司 一种图像相似度确定方法、装置、设备及存储介质
CN109857895B (zh) * 2019-01-25 2020-10-13 清华大学 基于多环路视图卷积神经网络的立体视觉检索方法与系统
CN109918162B (zh) * 2019-02-28 2021-11-02 集智学园（北京）科技有限公司 一种可学习的海量信息高维图形交互式展示方法
CN111190952B (zh) * 2019-12-23 2023-10-03 中电海康集团有限公司 一种基于图像金字塔提取城市画像多尺度特征并持久化的方法
CN111309840B (zh) * 2020-02-20 2020-11-20 江苏星月测绘科技股份有限公司 一种智慧城市三维场景的呈现方法
CN112149582A (zh) * 2020-09-27 2020-12-29 中国科学院空天信息创新研究院 一种高光谱图像材质识别方法及系统
CN112330825A (zh) * 2020-11-13 2021-02-05 天津大学 一种基于二维图像信息的三维模型检索方法
CN113808182B (zh) * 2021-11-19 2022-04-15 首都医科大学附属北京安贞医院 一种2d与3d图像配准方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663087A (zh) * 2012-04-09 2012-09-12 北京邮电大学 基于拓扑和视觉特征的三维模型检索方法
CN102693285A (zh) * 2012-05-11 2012-09-26 北京师范大学 一种基于形状认知的三维建筑模型匹配与检索的方法
CN103150751A (zh) * 2013-01-10 2013-06-12 江苏易图地理信息工程有限公司 在数字地图中实现建筑物内外一体化的三维建模方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004164503A (ja) * 2002-11-15 2004-06-10 Olympus Corp 三次元モデル検索方法、三次元モデル検索装置、三次元モデル検索プログラム、及び三次元モデル検索システム
JP2009129337A (ja) * 2007-11-27 2009-06-11 Hitachi Ltd 三次元類似形状検索装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663087A (zh) * 2012-04-09 2012-09-12 北京邮电大学 基于拓扑和视觉特征的三维模型检索方法
CN102693285A (zh) * 2012-05-11 2012-09-26 北京师范大学 一种基于形状认知的三维建筑模型匹配与检索的方法
CN103150751A (zh) * 2013-01-10 2013-06-12 江苏易图地理信息工程有限公司 在数字地图中实现建筑物内外一体化的三维建模方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种地质体三维建模与可视化的方法研究;张立强等;《中国科学:地球科学》;20091130;第39卷(第11期);第1625-1632页 *

Also Published As

Publication number Publication date
CN104090972A (zh) 2014-10-08

Similar Documents

Publication Publication Date Title
CN104090972B (zh) 用于三维城市模型检索的图像特征提取和相似性度量方法
CN107122396B (zh) 基于深度卷积神经网络的三维模型检索方法
CN107066559B (zh) 一种基于深度学习的三维模型检索方法
CN110287873B (zh) 基于深度神经网络的非合作目标位姿测量方法、系统及终端设备
CN107316042A (zh) 一种绘画图像检索方法及装置
CN107967463B (zh) 一种基于合成图像和深度学习的虚拟人脸识别方法
CN110222767B (zh) 基于嵌套神经网络和栅格地图的三维点云分类方法
CN111027140B (zh) 基于多视角点云数据的飞机标准件模型快速重构方法
CN105654122B (zh) 基于核函数匹配的空间金字塔物体识别方法
CN105320764B (zh) 一种基于增量慢特征的3d模型检索方法及其检索装置
CN110211127B (zh) 基于双相关性网络的图像分割方法
CN114241273A (zh) 基于Transformer网络和超球空间学习的多模态图像处理方法及系统
CN110490915B (zh) 一种基于卷积受限玻尔兹曼机的点云配准方法
Mughees et al. Efficient deep auto-encoder learning for the classification of hyperspectral images
CN110309835A (zh) 一种图像局部特征提取方法及装置
CN106897722A (zh) 一种基于区域形状特征的商标图像检索方法
CN114067075A (zh) 基于生成对抗网络的点云补全方法及装置
CN113450269A (zh) 一种基于3d视觉的点云关键点提取方法
CN107609507A (zh) 基于特征张量和支持张量机的遥感图像目标识别方法
CN114782503A (zh) 一种基于多尺度特征相似度约束的点云配准方法及系统
Zhang et al. Plant species recognition based on deep convolutional neural networks
Ouadiay et al. 3d object categorization and recognition based on deep belief networks and point clouds
CN113688816B (zh) 一种改进orb特征点提取的视觉里程计的计算方法
CN114565774A (zh) 基于局部几何与全局结构联合学习的3d图卷积分类方法
Ma et al. Vision-based indoor positioning method by joint using 2d images and 3d point cloud map

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170811

Termination date: 20180718