CN108399413B - 一种图片拍摄区域识别及地理定位方法及装置 - Google Patents

一种图片拍摄区域识别及地理定位方法及装置 Download PDF

Info

Publication number
CN108399413B
CN108399413B CN201710064508.1A CN201710064508A CN108399413B CN 108399413 B CN108399413 B CN 108399413B CN 201710064508 A CN201710064508 A CN 201710064508A CN 108399413 B CN108399413 B CN 108399413B
Authority
CN
China
Prior art keywords
picture
feature vector
feature
cluster
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710064508.1A
Other languages
English (en)
Other versions
CN108399413A (zh
Inventor
李春平
高玺艳
宋韶旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201710064508.1A priority Critical patent/CN108399413B/zh
Publication of CN108399413A publication Critical patent/CN108399413A/zh
Application granted granted Critical
Publication of CN108399413B publication Critical patent/CN108399413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

本发明公开了一种图片拍摄区域识别及地理定位方法及装置，所述方法包括：输入待测图片，使用图片特征提取器提取所述待测图片的特征向量，得到第一特征向量；计算所述第一特征向量所属的特征向量簇，根据所述第一特征向量所属的特征向量簇，获知所述待测图片的拍摄区域信息；其中，每个特征向量簇代表一个地理区域；使用测距网络计算所述第一特征向量与所属特征向量簇中其他特征向量的距离，得到所述待测图片的地理位置。本发明实施例通过识别待测图片的特征向量，进而计算该特征向量所属的特征向量簇，得到地理区域信息，实现简便，效率高；通过测距网络得到待测图片的地理位置，提高了识别准确度和识别速度。

Description

一种图片拍摄区域识别及地理定位方法及装置
技术领域
本发明涉及定位技术领域，尤指一种图片拍摄区域识别及地理定位方法及装置。
背景技术
车辆智能化是保证交通安全和提高交通效率的重要途径，而智能驾驶是车辆智能化的终极目标。如何精确定位车辆是实现自动驾驶的重要内容，目前最常见的定位方式主要是通过在车辆上配备的全球定位系统(GlobalPositioning System，GPS)进行定位，然而全球定位系统在某些场合下例如建筑物附近、地下通道等信号极弱，因此定位精度远远不能满足定位的要求。
目前已有的图片定位方法大致有以下两种。第一种是SLAM(即时定位与地图构建)，通过在未知环境下创建地图，同时利用地图进行自主定位和导航；第二种是基于内容(Appearance-based)的方法，最常见的方法是使用SIFT(Scale-invariant featuretransform，尺度不变特征转换)特征点描述图片，然后通过这些特征点与数据库中位置已知的特征点进行匹配，确定图片的拍摄位置。然而对于以上两种图片定位方法，SLAM需要实时重建地图，时间和空间消耗较大，难以满足实时定位的需求；基于内容的方法定位，需要一个存储大量特征和地理位置的数据库，并且特征点检索耗时较大。
发明内容
为了解决上述技术问题，本发明提供了一种图片拍摄区域识别及地理定位方法及装置，以提高识别准确度和识别速度。
为了达到本发明目的，本发明提供了一种图片拍摄区域识别及地理定位方法，包括：
输入待测图片，使用图片特征提取器提取所述待测图片的特征向量，得到第一特征向量；
计算所述第一特征向量所属的特征向量簇，根据所述第一特征向量所属的特征向量簇，获知所述待测图片的拍摄区域信息；其中，每个特征向量簇代表一个地理区域；
使用测距网络计算所述第一特征向量与所属特征向量簇中其他特征向量的距离，得到所述待测图片的地理位置。
可选地，所述输入待测图片，使用图片特征提取器提取所述待测图片的特征向量，得到第一特征向量之前，所述方法还包括：
输入已知的图片集合，训练特征提取网络，得到图片特征提取器；其中，所述图片集合中的图片包含位置信息；
通过所述图片特征提取器提取所述图片集合中所有图片的特征向量，得到图片特征向量集，对所述图片特征向量集进行密度聚类，形成多个特征向量簇；
使用同一个特征向量簇中的每两个特征向量组成输入对训练测距网络，用于将输入的两个特征向量映射为两个图片拍摄地点的距离。
可选地，所述输入已知的图片集合，训练特征提取网络，得到图片特征提取器之前，还包括：
在多个区域中每个地点在多种条件下采集多幅图片，对采集到的图片进行预处理，生成预定义尺寸大小的图片，作为已知的图片集合。
可选地，所述特征提取网络为卷积神经网络，包括卷积层、池化层和全连接层；
所述测距网络为神经网络，包括输入层、隐含层和输出层。
可选地，每个所述特征向量簇均包含核心点，所述核心点为一特征向量，以所述核心点为中心，半径为预设值的区域中包含大于预设数量阈值的特征向量。
可选地，所述计算所述第一特征向量所属的特征向量簇包括：
计算所述第一特征向量与每个特征向量簇的核心点的距离，将所述第一特征向量分配到距离最近的特征向量簇中。
可选地，所述使用测距网络计算所述第一特征向量与所属特征向量簇中其他特征向量的距离，得到所述待测图片的地理位置包括：
获取所述第一特征向量与所属特征向量簇中距离最近的k个特征向量；
分别以所述k个特征向量的地理位置为圆心，以与所述第一特征向量的距离为半径确定每个特征向量所覆盖的区域，将所述k个特征向量覆盖的总区域划分成边长为a的网格，并统计每个网格被覆盖的次数，将覆盖次数最多的网格作为所述待测图片的地理位置；
其中，k、a为预设值。
本发明还提供了一种图片拍摄区域识别方法，包括：
输入待测图片，使用图片特征提取器提取所述待测图片的特征向量，得到第一特征向量；
计算所述第一特征向量所属的特征向量簇，根据所述第一特征向量所属的特征向量簇，获知所述待测图片的拍摄区域信息；其中，每个特征向量簇代表一个地理区域。
可选地，z所述输入待测图片，使用图片特征提取器提取所述待测图片的特征向量，得到第一特征向量之前，所述方法还包括：
输入已知的图片集合，训练特征提取网络，得到图片特征提取器；其中，所述图片集合中的图片包含位置信息；
通过所述图片特征提取器提取所述图片集合中所有图片的特征向量，得到图片特征向量集，对所述图片特征向量集进行密度聚类，形成多个特征向量簇。
本发明还提供了一种图片拍摄区域识别及地理定位装置，包括：
特征提取模块，用于输入待测图片，使用图片特征提取器提取所述待测图片的特征向量，得到第一特征向量；
区域识别模块，用于计算所述第一特征向量所属的特征向量簇，根据所述第一特征向量所属的特征向量簇，获知所述待测图片的拍摄区域信息；其中，每个特征向量簇代表一个地理区域；
地理定位模块，用于使用测距网络计算所述第一特征向量与所属特征向量簇中其他特征向量的距离，得到所述待测图片的地理位置。
本发明实施例包括：输入待测图片，使用图片特征提取器提取所述待测图片的特征向量，得到第一特征向量；计算所述第一特征向量所属的特征向量簇，根据所述第一特征向量所属的特征向量簇，获知所述待测图片的拍摄区域信息；其中，每个特征向量簇代表一个地理区域；使用测距网络计算所述第一特征向量与所属特征向量簇中其他特征向量的距离，得到所述待测图片的地理位置。本发明实施例通过识别待测图片的特征向量，进而计算该特征向量所属的特征向量簇，得到地理区域信息，实现简便，效率高；通过测距网络得到待测图片的地理位置，提高了识别准确度和识别速度。
进一步地，通过图片特征提取器预先提取所述图片集合中所有图片的特征向量，避免了重复计算，使得区域识别和地理定位的速度有了很大的提高。
进一步地，通过在多个区域中每个地点在多种条件下采集多幅图片，能够在多种情况下(例如遮挡、光照变化、背景变化等)快速鲁棒的完成图片特征提取、区域识别和地理定位，而且地理定位的精度较传统的定位方法有所提高。
进一步地，本发明实施例采用基于卷积神经网络的特征提取网络，以及采用基于神经网络的测距网络，相比复杂的物理方法，计算速度有了很大的提高。
进一步地，通过测距网络得到k个近邻特征向量，并将这k个特征向量覆盖最多的区域作为待测图片的地理位置，实现简单快速，并且能够取得较好的精度。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例的图片拍摄区域识别及地理定位方法流程图；
图2为本发明实施例的图片拍摄区域识别及地理定位装置示意图；
图3为本发明实施例的图片拍摄区域识别流程图；
图4为本发明实施例的图片拍摄区域识别装置示意图；
图5为本发明应用示例的提取图片特征的卷积神经网络结构示意图；
图6为本发明应用示例的测距网络结构示意图；
图7为本发明应用示例的区域覆盖算法示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
如图1所示，为本发明实施例的图片拍摄区域识别方法包括：
步骤110，输入待测图片，使用图片特征提取器提取所述待测图片的特征向量，得到第一特征向量；
步骤111，计算所述第一特征向量所属的特征向量簇，根据所述第一特征向量所属的特征向量簇，获知所述待测图片的拍摄区域信息；其中，每个特征向量簇代表一个地理区域。
本发明实施例通过识别待测图片的特征向量，进而计算该特征向量所属的特征向量簇，得到地理区域信息，实现简便，效率高。
可选地，在步骤110之前，训练特征提取网络，如图1所示，包括如下步骤：
步骤101，输入已知的图片集合，训练特征提取网络，得到图片特征提取器；其中，所述图片集合中的图片包含位置信息；
步骤102，通过所述图片特征提取器提取所述图片集合中所有图片的特征向量，得到图片特征向量集，对所述图片特征向量集进行密度聚类，形成多个特征向量簇。
通过图片特征提取器预先提取所述图片集合中所有图片的特征向量，避免了重复计算，使得区域识别的速度有了很大的提高。
可选地，所述步骤101之前，还包括：
在多个区域中每个地点在多种条件下采集多幅图片，对采集到的图片进行预处理，生成预定义尺寸大小的图片，作为已知的图片集合。
其中，所述多种条件可包括不同光照、天气、角度、遮掩条件等。
所述预处理可包括：将图片处理成预定义尺寸大小的图片，以及提取图片的位置信息。
所述预定义尺寸可以是227*227，也可以是其它任意适合的尺寸，本发明对此并不做具体限定。
所述提取图片的位置信息可包括：通过照片的EXIF(Exchangeable ImageFile，可交换图像文件)信息提取图片拍摄位置的经度和纬度信息。
本发明实施例通过在多个区域中每个地点在多种条件下采集多幅图片，能够在多种情况下(例如遮挡、光照变化、背景变化等)快速鲁棒的完成图片特征提取、区域识别和地理定位，而且地理定位的精度较传统的定位方法有所提高。
可选地，所述特征提取网络为卷积神经网络，包括卷积层、池化层和全连接层。
其中，所述卷积神经网络的全连接层可包含1024个神经元。
本发明实施例采用基于卷积神经网络的特征提取网络，相比复杂的物理方法，计算速度有了很大的提高。
可选地，每个所述特征向量簇均包含核心点，所述核心点为一特征向量，以所述核心点为中心，半径为预设值的区域中包含大于预设数量阈值的特征向量。
对每个特征向量簇计算核心点作为典型特征向量：
Figure BDA0001220413950000071
其中Ci为第i个特征向量簇的典型特征向量，Pk为第i个特征向量簇中的第k个特征向量，K为该特征向量簇中特征向量的个数。
所述步骤111中，所述计算所述第一特征向量所属的特征向量簇包括：计算所述第一特征向量与每个特征向量簇的核心点的距离，将所述第一特征向量分配到距离最近的特征向量簇中。
所述待测图片的拍摄区域信息可以包括待测图片所归属的特征向量簇的地理区域信息，还可以包括第一特征向量与所归属的特征向量簇的核心点的距离信息，
本发明实施例通过计算所述第一特征向量与每个特征向量簇的核心点的距离，将所述第一特征向量分配到距离最近的特征向量簇中，能够方便快捷地搜索到待测图片的拍摄区域。
如图2所示，为本发明实施例的图片拍摄区域识别装置包括：
特征提取模块210，用于输入待测图片，使用图片特征提取器提取所述待测图片的特征向量，得到第一特征向量；
区域识别模块211，用于计算所述第一特征向量所属的特征向量簇，根据所述第一特征向量所属的特征向量簇，获知所述待测图片的拍摄区域信息；其中，每个特征向量簇代表一个地理区域。
本发明实施例通过识别待测图片的特征向量，进而计算该特征向量所属的特征向量簇，得到地理区域信息，实现简便，效率高。
可选地，如图2所示，所述图片拍摄区域识别装置还包括：
特征提取网络模块201，用于输入已知的图片集合，训练特征提取网络，得到图片特征提取器；其中，所述图片集合中的图片包含位置信息；
聚类模块202，用于通过所述图片特征提取器提取所述图片集合中所有图片的特征向量，得到图片特征向量集，对所述图片特征向量集进行密度聚类，形成多个特征向量簇。
通过图片特征提取器预先提取所述图片集合中所有图片的特征向量，避免了重复计算，使得区域识别的速度有了很大的提高。
可选地，所述图片拍摄区域识别装置还包括：
采集模块，用于在多个区域中每个地点在多种条件下采集多幅图片；
预处理模块，用于对采集到的图片进行预处理，生成预定义尺寸大小的图片，作为已知的图片集合。
其中，所述多种条件可包括不同光照、天气、角度、遮掩条件等。
所述预处理模块，进一步用于：将图片处理成预定义尺寸大小的图片，以及提取图片的位置信息。
所述预定义尺寸可以是227*227，也可以是其它任意适合的尺寸，本发明对此并不做具体限定。
所述预处理模块，进一步用于：通过照片的EXIF信息提取图片拍摄位置的经度和纬度信息。
通过在多个区域中每个地点在多种条件下采集多幅图片，能够在多种情况下(例如遮挡、光照变化、背景变化等)快速鲁棒的完成图片特征提取、区域识别和地理定位，而且地理定位的精度较传统的定位方法有所提高。
可选地，所述特征提取网络为卷积神经网络，包括卷积层、池化层和全连接层。
其中，所述卷积神经网络的全连接层可包含1024个神经元。
本发明实施例采用基于卷积神经网络的特征提取网络相比复杂的物理方法，计算速度有了很大的提高。
可选地，每个所述特征向量簇均包含核心点，所述核心点为一特征向量，以所述核心点为中心，半径为预设值的区域中包含大于预设数量阈值的特征向量。
所述聚类模块202，进一步用于：对每个特征向量簇计算核心点作为典型特征向量：
Figure BDA0001220413950000091
其中Ci为第i个特征向量簇的典型特征向量，Pk为第i个特征向量簇中的第k个特征向量，K为该特征向量簇中特征向量的个数。
所述区域识别模块211，进一步用于：计算所述第一特征向量与每个特征向量簇的核心点的距离，将所述第一特征向量分配到距离最近的特征向量簇中。
所述待测图片的拍摄区域信息可以包括待测图片所归属的特征向量簇的地理区域信息，还可以包括第一特征向量与所归属的特征向量簇的核心点的距离信息，
本发明实施例通过计算所述第一特征向量与每个特征向量簇的核心点的距离，将所述第一特征向量分配到距离最近的特征向量簇中，能够方便快捷地搜索到待测图片的拍摄区域。
如图3所示，本发明实施例的图片拍摄区域识别及地理定位方法中，步骤310～311与图1中的图片拍摄区域识别及地理定位方法的步骤110～111相同，本发明实施例的图片拍摄区域识别及地理定位方法还包含地理定位的步骤：
步骤312，使用测距网络计算所述第一特征向量与所属特征向量簇中其他特征向量的距离，得到所述待测图片的地理位置。
本发明实施例通过识别待测图片的特征向量，进而计算该特征向量所属的特征向量簇，得到地理区域信息，实现简便，效率高；通过测距网络得到待测图片的地理位置，提高了识别准确度和识别速度。
可选地，在步骤310之前，训练特征提取网络以及测距网络，如图3所示，包括如下步骤：
步骤301，输入已知的图片集合，训练特征提取网络，得到图片特征提取器；其中，所述图片集合中的图片包含位置信息；
步骤302，通过所述图片特征提取器提取所述图片集合中所有图片的特征向量，得到图片特征向量集，对所述图片特征向量集进行密度聚类，形成多个特征向量簇；
步骤303，使用同一个特征向量簇中的每两个特征向量组成输入对训练测距网络，用于将输入的两个特征向量映射为两个图片拍摄地点的距离。
本实施例与图1的实施例相比，增加了步骤303训练测距网络的步骤。
其中，步骤303可包括：将同一个特征向量簇中的特征向量两两组成输入对作为网络的输入，得到的输出为两个输入特征量对应的图片拍摄的距离，判断该输出与实际拍摄两张图片之间的距离之间的误差是否大于一预设值，若是，则依据该误差的反向传播算法更新网络的连接权重参数；若否，则确定当前的连接权重参数对应网络模型为训练得到的测距网络模型。
通过图片特征提取器预先提取所述图片集合中所有图片的特征向量，避免了重复计算，使得区域识别和地理定位的速度有了很大的提高。
可选地，所述步骤301之前，还包括：
在多个区域中每个地点在多种条件下采集多幅图片，对采集到的图片进行预处理，生成预定义尺寸大小的图片，作为已知的图片集合。
其中，所述多种条件可包括不同光照、天气、角度、遮掩条件等。
所述预处理可包括：将图片处理成预定义尺寸大小的图片，以及提取图片的位置信息。
所述预定义尺寸可以是227*227，也可以是其它任意适合的尺寸，本发明对此并不做具体限定。
所述提取图片的位置信息可包括：通过照片的EXIF信息提取图片拍摄位置的经度和纬度信息。
通过在多个区域中每个地点在多种条件下采集多幅图片，能够在多种情况下(例如遮挡、光照变化、背景变化等)快速鲁棒的完成图片特征提取、区域识别和地理定位，而且地理定位的精度较传统的定位方法有所提高。
可选地，所述特征提取网络为卷积神经网络，包括卷积层、池化层和全连接层；
所述测距网络为神经网络，包括输入层、隐含层和输出层。
其中，所述卷积神经网络的全连接层可包含1024个神经元。
本发明实施例采用基于卷积神经网络的特征提取网络，以及采用基于神经网络的测距网络，相比复杂的物理方法，计算速度有了很大的提高。
可选地，每个所述特征向量簇均包含核心点，所述核心点为一特征向量，以所述核心点为中心，半径为预设值的区域中包含大于预设数量阈值的特征向量。
对每个特征向量簇计算核心点作为典型特征向量：
Figure BDA0001220413950000111
其中Ci为第i个特征向量簇的典型特征向量，Pk为第i个特征向量簇中的第k个特征向量，K为该特征向量簇中特征向量的个数。
所述步骤311中，所述计算所述第一特征向量所属的特征向量簇包括：计算所述第一特征向量与每个特征向量簇的核心点的距离，将所述第一特征向量分配到距离最近的特征向量簇中。
可选地，所述步骤312包括：
获取所述第一特征向量与所属特征向量簇中距离最近的k个特征向量；
分别以所述k个特征向量的地理位置为圆心，以与所述第一特征向量的距离为半径确定每个特征向量所覆盖的区域，将所述k个特征向量覆盖的总区域划分成边长为a的网格，并统计每个网格被覆盖的次数，将覆盖次数最多的网格作为所述待测图片的地理位置；
其中，k、a为预设值。
本发明实施例通过测距网络得到k个近邻特征向量，并将这k个特征向量覆盖最多的区域作为待测图片的地理位置，实现简单快速，并且能够取得较好的精度。
如图4所示，为本发明实施例的图片拍摄区域识别及地理定位装置包括：
特征提取模块410，用于输入待测图片，使用图片特征提取器提取所述待测图片的特征向量，得到第一特征向量；
区域识别模块411，用于计算所述第一特征向量所属的特征向量簇，根据所述第一特征向量所属的特征向量簇，获知所述待测图片的拍摄区域信息；其中，每个特征向量簇代表一个地理区域；
地理定位模块412，用于使用测距网络计算所述第一特征向量与所属特征向量簇中其他特征向量的距离，得到所述待测图片的地理位置。
本实施例与图2的实施例相比，增加了地理定位模块412。
本发明实施例通过识别待测图片的特征向量，进而计算该特征向量所属的特征向量簇，得到地理区域信息，实现简便，效率高；通过测距网络得到待测图片的地理位置，提高了识别准确度和识别速度。
可选地，如图4所示，所述图片拍摄区域识别及地理定位装置还包括：
特征提取网络模块401，用于输入已知的图片集合，训练特征提取网络，得到图片特征提取器；其中，所述图片集合中的图片包含位置信息；
聚类模块402，用于通过所述图片特征提取器提取所述图片集合中所有图片的特征向量，得到图片特征向量集，对所述图片特征向量集进行密度聚类，形成多个特征向量簇；
测距网络模块403，用于使用同一个特征向量簇中的每两个特征向量组成输入对训练测距网络，用于将输入的两个特征向量映射为两个图片拍摄地点的距离。
本实施例与图2的实施例相比，增加了测距网络模块403。
其中，所述测距网络模块403，进一步用于：将同一个特征向量簇中的特征向量两两组成输入对作为网络的输入，得到的输出为两个输入特征量对应的图片拍摄的距离，判断该输出与实际拍摄两张图片之间的距离之间的误差是否大于一预设值，若是，则依据该误差的反向传播算法更新网络的连接权重参数；若否，则确定当前的连接权重参数对应网络模型为训练得到的测距网络模型。
通过图片特征提取器预先提取所述图片集合中所有图片的特征向量，避免了重复计算，使得区域识别和地理定位的速度有了很大的提高。
可选地，所述图片拍摄区域识别及地理定位装置还包括：
采集模块，用于在多个区域中每个地点在多种条件下采集多幅图片；
预处理模块，用于对采集到的图片进行预处理，生成预定义尺寸大小的图片，作为已知的图片集合。
其中，所述多种条件可包括不同光照、天气、角度、遮掩条件等。
所述预处理模块，进一步用于：将图片处理成预定义尺寸大小的图片，以及提取图片的位置信息。
所述预定义尺寸可以是227*227，也可以是其它任意适合的尺寸，本发明对此并不做具体限定。
所述预处理模块，进一步用于：通过照片的EXIF信息提取图片拍摄位置的经度和纬度信息。
通过在多个区域中每个地点在多种条件下采集多幅图片，能够在多种情况下(例如遮挡、光照变化、背景变化等)快速鲁棒的完成图片特征提取、区域识别和地理定位，而且地理定位的精度较传统的定位方法有所提高。
可选地，所述特征提取网络为卷积神经网络，包括卷积层、池化层和全连接层；
所述测距网络为神经网络，包括输入层、隐含层和输出层。
其中，所述卷积神经网络的全连接层可包含1024个神经元。
本发明实施例采用基于卷积神经网络的特征提取网络，以及采用基于神经网络的测距网络，相比复杂的物理方法，计算速度有了很大的提高。
可选地，每个所述特征向量簇均包含核心点，所述核心点为一特征向量，以所述核心点为中心，半径为预设值的区域中包含大于预设数量阈值的特征向量。
所述聚类模块402，进一步用于：对每个特征向量簇计算核心点作为典型特征向量：
Figure BDA0001220413950000141
其中Ci为第i个特征向量簇的典型特征向量，Pk为第i个特征向量簇中的第k个特征向量，K为该特征向量簇中特征向量的个数。
所述区域识别模块211，进一步用于：计算所述第一特征向量与每个特征向量簇的核心点的距离，将所述第一特征向量分配到距离最近的特征向量簇中。
可选地，所述地理定位模块412，包括：
近邻计算单元，用于获取所述第一特征向量与所属特征向量簇中距离最近的k个特征向量；
定位单元：用于分别以所述k个特征向量的地理位置为圆心，以与所述第一特征向量的距离为半径确定每个特征向量所覆盖的区域，将所述k个特征向量覆盖的总区域划分成边长为a的网格，并统计每个网格被覆盖的次数，将覆盖次数最多的网格作为所述待测图片的地理位置；
其中，k、a为预设值。
本发明实施例通过测距网络得到k个近邻特征向量，并将这k个特征向量覆盖最多的区域作为待测图片的地理位置，实现简单快速，并且能够取得较好的精度。
下面以一个应用示例说明本发明。该应用示例可以进行图片拍摄区域识别及地理定位，包括如下步骤：
步骤一、图片采集
使用带有GPS的移动设备在多个区域内进行图片采集，对于同一地点，从不同天气、不同光照、不同季节以及不同角度采集照片，例如Android手机在拍照的时候可以记录地理位置，这样通过图片EXIF信息给图片添加地理标记。
作为具体示例，对于一个区域，围绕该区域360°进行图片采集，并记录拍摄照片的当前位置信息。例如(p,lat,log)，其中p为拍摄的一张照片，log为经度，lat为纬度。
对新采集的图片进行预处理，以得到预定义尺寸的图片。在本应用示例中，对图片的预处理是将图片缩放到预定义尺寸。例如预设尺寸为227*227，对采集到的照片p进行预处理，得到一个227*227大小的图片q。
步骤二、训练特征提取网络
使用预处理后的图片训练卷积神经网络，以得到特征提取器；卷积神经网络包含卷积层、池化层和全连接层。
作为具体示例，图5为卷积神经网络结构示意图，整个网络分为8层，包括1个输入层、3个卷积层、3个池化层、1个全连接层，输入层包括227*227个神经元，其余各层参数设置为：
(1)第1,3,5层分别为卷积层C1，C3，C5,分别由256个11*11,512个3*3,128个3*3大小的卷积核组成，卷积后的特征图大小为27*27,9*9,3*3。C1有(11*11+1)*256＝31232个可训练参数，共31232*(27*27)个连接。通过卷积运算，可以使原信号增强，同时降低噪声干扰；在卷积层C1，特征向量被256个不同的11*11卷积核进行卷积操作，加上一个偏置量basis，最后通过一个激活函数，就可以得到输出特征图，具体卷积操作可以表示如下：
Figure BDA0001220413950000161
这里xi和yj是输入的第i个切片和输出的第j个切片。kij是对其对应的卷积核，*表示卷积核，bj表示偏置。对于隐藏神经元使用非线性激活函数max，该函数在实际工作中，效果往往比传统的sigmoid函数更加理想。
(2)第2，4，6层为池化层S2，S4，S6，特征图中的每个单元分别对应卷积层中的第1,3,5层对应特征图的3*3邻域连接，则池化后的特征图的大小分别是18*18,7*7。对于池化层，采用max-pooling(最大池)，即在大小为s×s的局部区域中找每个局部的最大值，公式化表示为：
Figure BDA0001220413950000162
(3)F7是全连接层，与P6层全连接，神经元的数量由特征向量的长度决定。
其中，关于学习速率和迭代次数可根据具体情况设定，此处不做特定的设置。同时卷积层与池化层之间随机将50％的单元置为0，从而防止过拟合，提高网络的鲁棒性。
步骤三、提取所有图片的特征向量
使用特征提取器提取所有采集图片的特征，得到一个所有图片对应的一个1024维的特征向量集合S，S＝{Si|0＜i≤n},其中n是采集到图片的数量，Si＝{s1,s2,…,s1024}
步骤四、对所有特征向量进行密度聚类
使用密度聚类算法对所有的特征向量进行聚类，划分为不同的簇，其中E为一个区域的范围，可以是用户根据实际情况指定，对n个图片特征向量进行密度聚类的具体实施方法如下：
(1)用E作为扫描半径对图片特征向量Si进行扫描；若其邻域向量个数小于预设的最小对象数量MinPts，则定义该特征向量为噪声向量；依次遍历所有特征向量，从特征向量集合中删除所有的噪声向量，从而组成待聚类的向量集合。
(2)从待聚类特征向量集合任取一个未处理的特征向量Si，将待聚类特征向量集合S中与Si的距离小于E的图片特征向量点加入到Si的E-Neighbor集合NE(Si)＝{Sj|dist(Si,Sj)≤E}中，形成特征向量簇，从而将Si标记为已处理。
(3)从Si的特征向量簇中任取一个未处理的特征向量Sj，并从待聚类特征向量集合中确定其E-Neighbor集合NE(Sj)，并将该向量标记为已处理，同时将NE(Sj)中的向量纳入到NE(Si)中；依次遍历Si中所有未处理的特征向量。
(4)返回步骤(2)，直至待聚类向量集合中所有的特征向量均已处理，从而形成多个特征向量簇。
所述的步骤(3)中，对于任一特征向量簇，根据以下公式计算从该向量簇中提取典型特征向量：
Figure BDA0001220413950000171
其中Ci为第i个簇的典型特征向量，Pk为第i个簇中的第k个特征向量，K为该簇中特征向量的个数。
步骤五、训练测距网络
根据聚类的结果，可以将图片分为不同的簇，对应不同的地理区域。对于一个区域，使用同一区域的任意两个图片特征向量组成一个输入对，训练神经网络，以得到测距网络，网络的输出为两个输入图片特征之间的地理距离，图6为网络结构示意图，该网络包含5层，输入层，3个隐含层，输出层，每层的具体参数如下：
(1)输入层包含两个特征向量，I1和I2，长度均为1024。
(2)第2，3，4层为全连接层F1，F2，F3，其中F1层包含2048个神经元，用于将I1和I2拼接在一起，F2，F3用于特征向量降维。
(3)输出层包含一个输出，为I1和I2对应的图片拍摄位置之间的地理距离。
步骤六、获取待测图片并进行预处理，然后使用特征提取器提取特征向量，得到第一特征向量。
采集待测图片，并且将待测图片处理成预定义大小，使用特征提取器提取该图片的特征向量，记做第一特征向量I。也即，对于用户新拍摄的图片，首先将其进行处理，得到尺寸为227*227大小的图片，并使用卷积神经网络模型得到该图片的特征向量。
步骤七、计算第一特征向量所属的特征向量簇
计算第一特征向量I与所有的向量簇的典型特征向量C之间的距离，并将第一特征向量I归入到距离最近的簇C′中，形式化表示为：
Figure BDA0001220413950000181
其中I(i)为特征向量的第i位数据，C为一个特征向量簇的典型特征向量
Figure BDA0001220413950000182
根据所述第一特征向量I所归属的特征向量簇，可知待测图片的拍摄区域。
步骤八、使用测距网络得出第一特征向量与该簇中其他特征向量的距离。
将第一特征向量I分别与簇C′中的其他特征向量I′输入到测距网络，得到I与簇C′中其他向量I′对应图片拍摄位置之间的距离集合D
D＝{Di|0＜i≤m,m＝|C′|-1}
其中|C′|为簇C′中元素的个数，Di为特征向量I和Ii之间的距离
步骤九、计算第一特征向量的地理位置。
使用步骤八中距离集合D，确定距离第一特征向量I的k-近邻特征向量集合N
N＝{I′|0≤D'≤dk}
其中dk为第k大的距离
使用k-近邻特征向量集合N和区域覆盖方法，计算第一特征向量I的地理位置，具体实施如下：
(1)对于N中任一向量Ni,然后以Ni和I之间的距离Di为半径确定Ni确定的区域Ri
(2)对N中所有的向量覆盖的总区域以边长r划网格，其中r为预设值。
(3)统计每个网格被覆盖的次数，对于网格α其被覆盖的次数为fα(Ni)
Figure BDA0001220413950000191
其中α为一个网格，如果α处于Ni区域Ri中，则fα(Ni)为1，否则为0。
(4)特征向量I的位置为覆盖次数最多的网格y
Figure BDA0001220413950000192
例如，如图7所示，已知查询图片的3个近邻以及他们之间的距离，分别以这三个近邻为中心，以他们之间的距离为半径，可以得到每张图片覆盖的一个圆形区域，将覆盖次数最多的位置作为查询图片的地理位置。
由上可见，本发明实施例中使用卷积神经网络提取图片的特征，形成特征向量，然后使用特征向量进行图片的区域识别和地理定位，减少了重复使用卷积神经网络的消耗。同时使用卷积神经网络提取图片特征，相比其他特征提取方法来说，提取特征的效果很好，同时速度快。
显然，本领域的技术人员应该明白，上述的本发明实施例的模块或步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (7)

1.一种图片拍摄区域识别及地理定位方法，包括：
输入待测图片，使用图片特征提取器提取所述待测图片的特征向量，得到第一特征向量；
计算所述第一特征向量所属的特征向量簇，根据所述第一特征向量所属的特征向量簇，获知所述待测图片的拍摄区域信息；其中，每个特征向量簇代表一个地理区域；
使用测距网络计算所述第一特征向量与所属特征向量簇中其他特征向量的距离，得到所述待测图片的地理位置，其中，所述测距网络的输入为同一个特征向量簇中的特征向量两两组成的输入对，所述测距网络的输出为两个输入特征量对应的图片拍摄的地理距离；
其中，所述使用测距网络计算所述第一特征向量与所属特征向量簇中其他特征向量的距离，得到所述待测图片的地理位置包括：
获取所述第一特征向量与所属特征向量簇中距离最近的k个特征向量；
分别以所述k个特征向量的地理位置为圆心，以与所述第一特征向量的距离为半径确定每个特征向量所覆盖的区域，将所述k个特征向量覆盖的总区域划分成边长为a的网格，并统计每个网格被覆盖的次数，将覆盖次数最多的网格作为所述待测图片的地理位置；
其中，k、a为预设值。
2.根据权利要求1所述的方法，其特征在于，所述输入待测图片，使用图片特征提取器提取所述待测图片的特征向量，得到第一特征向量之前，所述方法还包括：
输入已知的图片集合，训练特征提取网络，得到图片特征提取器；其中，所述图片集合中的图片包含位置信息；
通过所述图片特征提取器提取所述图片集合中所有图片的特征向量，得到图片特征向量集，对所述图片特征向量集进行密度聚类，形成多个特征向量簇；
使用同一个特征向量簇中的每两个特征向量组成输入对训练测距网络，用于将输入的两个特征向量映射为两个图片拍摄地点的距离。
3.根据权利要求2所述的方法，其特征在于，所述输入已知的图片集合，训练特征提取网络，得到图片特征提取器之前，还包括：
在多个区域中每个地点在多种条件下采集多幅图片，对采集到的图片进行预处理，生成预定义尺寸大小的图片，作为已知的图片集合。
4.根据权利要求2所述的方法，其特征在于，
所述特征提取网络为卷积神经网络，包括卷积层、池化层和全连接层；
所述测距网络为神经网络，包括输入层、隐含层和输出层。
5.根据权利要求2所述的方法，其特征在于，
每个所述特征向量簇均包含核心点，所述核心点为一特征向量，以所述核心点为中心，半径为预设值的区域中包含大于预设数量阈值的特征向量。
6.根据权利要求1或2所述的方法，其特征在于，所述计算所述第一特征向量所属的特征向量簇包括：
计算所述第一特征向量与每个特征向量簇的核心点的距离，将所述第一特征向量分配到距离最近的特征向量簇中。
7.一种图片拍摄区域识别及地理定位装置，其特征在于，包括：
特征提取模块，用于输入待测图片，使用图片特征提取器提取所述待测图片的特征向量，得到第一特征向量；
区域识别模块，用于计算所述第一特征向量所属的特征向量簇，根据所述第一特征向量所属的特征向量簇，获知所述待测图片的拍摄区域信息；其中，每个特征向量簇代表一个地理区域；
地理定位模块，用于使用测距网络计算所述第一特征向量与所属特征向量簇中其他特征向量的距离，得到所述待测图片的地理位置，其中，所述测距网络的输入为同一个特征向量簇中的特征向量两两组成的输入对，所述测距网络的输出为两个输入特征量对应的图片拍摄的地理距离；
其中，所述使用测距网络计算所述第一特征向量与所属特征向量簇中其他特征向量的距离，得到所述待测图片的地理位置包括：
获取所述第一特征向量与所属特征向量簇中距离最近的k个特征向量；
分别以所述k个特征向量的地理位置为圆心，以与所述第一特征向量的距离为半径确定每个特征向量所覆盖的区域，将所述k个特征向量覆盖的总区域划分成边长为a的网格，并统计每个网格被覆盖的次数，将覆盖次数最多的网格作为所述待测图片的地理位置；
其中，k、a为预设值。
CN201710064508.1A 2017-02-04 2017-02-04 一种图片拍摄区域识别及地理定位方法及装置 Active CN108399413B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710064508.1A CN108399413B (zh) 2017-02-04 2017-02-04 一种图片拍摄区域识别及地理定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710064508.1A CN108399413B (zh) 2017-02-04 2017-02-04 一种图片拍摄区域识别及地理定位方法及装置

Publications (2)

Publication Number Publication Date
CN108399413A CN108399413A (zh) 2018-08-14
CN108399413B true CN108399413B (zh) 2020-10-27

Family

ID=63093477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710064508.1A Active CN108399413B (zh) 2017-02-04 2017-02-04 一种图片拍摄区域识别及地理定位方法及装置

Country Status (1)

Country Link
CN (1) CN108399413B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472092B (zh) * 2019-07-15 2021-11-16 清华大学 一种街景图片的地理定位方法及系统
CN112015937B (zh) * 2020-08-31 2024-01-19 核工业北京地质研究院 一种图片地理定位方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324677A (zh) * 2013-05-24 2013-09-25 西安交通大学 一种可分级的快速图像gps位置估计方法
CN104794171A (zh) * 2015-03-31 2015-07-22 百度在线网络技术（北京）有限公司 标记图片地理位置信息的方法及装置
CN104820718A (zh) * 2015-05-22 2015-08-05 哈尔滨工业大学 基于地理位置特征与全局视觉特征的图像分类和检索方法
CN105354307A (zh) * 2015-11-06 2016-02-24 腾讯科技（深圳）有限公司 一种图像内容识别方法及装置
CN106095830A (zh) * 2016-05-31 2016-11-09 成都九十度工业产品设计有限公司 一种基于卷积神经网络的图像地理定位系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324677A (zh) * 2013-05-24 2013-09-25 西安交通大学 一种可分级的快速图像gps位置估计方法
CN104794171A (zh) * 2015-03-31 2015-07-22 百度在线网络技术（北京）有限公司 标记图片地理位置信息的方法及装置
CN104820718A (zh) * 2015-05-22 2015-08-05 哈尔滨工业大学 基于地理位置特征与全局视觉特征的图像分类和检索方法
CN105354307A (zh) * 2015-11-06 2016-02-24 腾讯科技（深圳）有限公司 一种图像内容识别方法及装置
CN106095830A (zh) * 2016-05-31 2016-11-09 成都九十度工业产品设计有限公司 一种基于卷积神经网络的图像地理定位系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Image Retrieval by Geological Proximity using Deep Neural Network;Daoyuan Jia等;《IEEE》;20160922;第3-4节 *
基于Hadoop的图片地理定位研究;李佳;《中国优秀硕士学位论文全文数据库信息科技辑》;20140815;第4章 *
李佳.基于Hadoop的图片地理定位研究.《中国优秀硕士学位论文全文数据库信息科技辑》.2014, *

Also Published As

Publication number Publication date
CN108399413A (zh) 2018-08-14

Similar Documents

Publication Publication Date Title
Zamir et al. Accurate image localization based on google maps street view
CN110245709B (zh) 基于深度学习和自注意力的3d点云数据语义分割方法
Lin et al. Cross-view image geolocalization
CN107657226B (zh) 一种基于深度学习的人数估计方法
CN110175615B (zh) 模型训练方法、域自适应的视觉位置识别方法及装置
CN112633382B (zh) 一种基于互近邻的少样本图像分类方法及系统
CN104700099A (zh) 识别交通标志的方法和装置
WO2012177336A2 (en) Systems and methods for estimating the geographic location at which image data was captured
CN104794219A (zh) 一种基于地理位置信息的场景检索方法
CN104820718A (zh) 基于地理位置特征与全局视觉特征的图像分类和检索方法
CN111666434A (zh) 基于深度全局特征的街景图片检索方法
CN114241464A (zh) 基于深度学习的跨视角影像实时匹配地理定位方法及系统
CN111414954A (zh) 一种岩石图像检索方法及其系统
CN112634368A (zh) 场景目标的空间与或图模型生成方法、装置及电子设备
CN115311502A (zh) 基于多尺度双流架构的遥感图像小样本场景分类方法
CN112861666A (zh) 一种基于深度学习的鸡群计数方法及应用
CN108399413B (zh) 一种图片拍摄区域识别及地理定位方法及装置
Feng et al. A novel saliency detection method for wild animal monitoring images with WMSN
Yin et al. Pse-match: A viewpoint-free place recognition method with parallel semantic embedding
CN110636248B (zh) 目标跟踪方法与装置
CN114743139A (zh) 视频场景检索方法、装置、电子设备及可读存储介质
CA2787856A1 (en) Systems and methods for estimating the geographic location at which image data was captured
CN110472092B (zh) 一种街景图片的地理定位方法及系统
CN117292324A (zh) 一种人群密度估计方法及系统
CN115909488A (zh) 一种姿态引导和动态特征提取的遮挡行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant