CN107170004B - 一种无人车单目视觉定位中对匹配矩阵的图像匹配方法 - Google Patents

一种无人车单目视觉定位中对匹配矩阵的图像匹配方法 Download PDF

Info

Publication number
CN107170004B
CN107170004B CN201710333485.XA CN201710333485A CN107170004B CN 107170004 B CN107170004 B CN 107170004B CN 201710333485 A CN201710333485 A CN 201710333485A CN 107170004 B CN107170004 B CN 107170004B
Authority
CN
China
Prior art keywords
image
matching
positioning map
feature
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710333485.XA
Other languages
English (en)
Other versions
CN107170004A (zh
Inventor
陈启军
张会
刘明
王香伟
杜孝国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201710333485.XA priority Critical patent/CN107170004B/zh
Publication of CN107170004A publication Critical patent/CN107170004A/zh
Application granted granted Critical
Publication of CN107170004B publication Critical patent/CN107170004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种无人车单目视觉定位中对匹配矩阵的图像匹配方法，该方法包括以下步骤：1)通过深度卷积神经网络DCNN对所有输入的测试图像和定位地图图像进行全局特征描述，提取第三卷积层作为特征向量；2)采用主成分分析法对所有特征向量进行降维；3)根据测试图像和定位地图图像降维后的特征向量构建匹配矩阵，即匹配图像；4)对匹配图像进行OTSU二值化处理，得到处理后的二值化图像；5)对二值化图像进行形态学处理后，对图像进行直线拟合；6)在拟合的直线上对应的测试图像和定位地图图像即为匹配对应的图像。与现有技术相比，本发明具有算法设计方便、可视化效果好、运算速度更快、硬件要求降低等优点。

Description

一种无人车单目视觉定位中对匹配矩阵的图像匹配方法
技术领域
本发明涉及无人车定位领域，尤其是涉及一种无人车单目视觉定位中对匹配矩阵的图像匹配方法。
背景技术
现有的技术大多存在以下两个问题：
1、多数技术并未对图像特征进行数据压缩处理，而是直接采用深度网络的某一层特征(如第三卷积层)，数据运算量巨大，耗时长且对硬件要求高。
2、部分技术采用图像直接压缩的方法降低运算量，例如：SeqSLAM算法并未采用深度学习网络提取特征而是直接对图像进行64*32或者32*24的压缩，在此过程没有对信息的筛选，而是截取一定区域，容易可能遗漏重要信息。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种无人车单目视觉定位中对匹配矩阵的图像匹配方法。
本发明的目的可以通过以下技术方案来实现：
一种无人车单目视觉定位中对匹配矩阵的图像匹配方法，该方法包括以下步骤：
1)通过深度卷积神经网络DCNN对所有输入的测试图像和定位地图图像进行全局特征描述，提取第三卷积层作为特征向量；
2)采用主成分分析法对所有特征向量进行降维；
3)根据测试图像和定位地图图像降维后的特征向量构建匹配矩阵，即匹配图像；
4)对匹配图像进行OTSU二值化处理，得到处理后的二值化图像；
5)对二值化图像进行形态学处理后，对图像进行直线拟合；
6)在拟合的直线上对应的测试图像和定位地图图像即为匹配对应的图像。
所述的步骤1)中，采用Tensorflow框架中的AlexNet网络进行全局特征描述，并提取第三卷积层作为图像特征。
所述的步骤3)中，所述的匹配矩阵中元素aij为第i张测试图像的特征向量与第j张定位地图图像的特征向量的余弦值，即：
Figure GDA0002620882870000021
其中，ti为第i张测试图像的特征向量，mj为第j张定位地图图像的特征向量。
所述的步骤5)中，所述的形态学处理包括膨胀和腐蚀。
所述的步骤5)中，选取拟合后斜率不为0的直线作为最终拟合直线，并获取其方程表达式。
所述的最终拟合直线的直线方程为y＝kx+b，其中，x为测试图像的位置，y为与测试图像匹配的定位地图图像的位置。
与现有技术相比，本发明具有以下优点：
一、算法设计方便：本方法无需建立复杂的数据关系网络、分析图像节点之间的权值与流量等信息，也不涉及最短路径查找等算法，算法原理简单可行。
二、可视化效果好：通过单纯的数据分析改为图像处理，结合车辆的速度变化可以简单判断出定位区域是否正确，若无人车设定为保持匀速行驶匹配图像将呈现一条清晰的直线，而无人车频繁变速行驶时只需要设定一定时间间隔多次直线查找。
三、运算速度更快，硬件要求降低：本方法无需建立复杂的数据关系网络、分析图像节点之间的权值与流量等信息，也不涉及最短路径查找等算法。膨胀腐蚀算法以及直线检测可快速完成，耗时较短,运行消耗降低后对硬件的要求也同时降低了。
附图说明
图1为本发明的方法流程图。
图2为匹配图像。
图3为二值化后的匹配图像。
图4为形态学处理后的匹配图像。
图5为获取直线方程的匹配图像，其中，图像左侧的方框标示的就是查找出的最佳匹配直线。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示，本发明的方法流程为：
1、对于输入图像，通过深度卷积神经网络DCNN进行全局特征描述，提取第三卷积层作为图像特征。
对于输入图像，通过深度卷积神经网络DCNN进行全局特征描述。本方法采用Tensorflow框架中的AlexNet网络。该网络在2012年ImageNet图像分类竞赛中赢得冠军，该网络结构包括5个卷积层,以及3个全连接层，在每一个卷积层中包含了激励函数以及局部响应归一化处理，然后再经过池化处理。经实践证明，第三层卷积网络即cov3提取出的64896维特征鲁棒性最好，在环境变化较大时仍然可以识别出该场景。
2、使用PCA降维，增强图像特征对比，减少冗余信息以及噪音带来的定位干扰，同时加快后续运算速度，主成分分析即PCA算法，PCA就是将高维的数据通过线性变换投影到低维空间上去，找出最能够代表原始数据的投影方法。对64896维特征采用PCA降维，将增强图像特征对比，减少冗余信息以及噪音带来的定位干扰，同时加快后续运算速度。每个图像经过深度学习网络提取后会以64896维的向量表示经过降维后会以一定维度的向量表示，以6288张640*480图像降维为例，随着维度的降低信息涵盖率同时降低，64894维的图像特征向量降至33维时信息涵盖率为90％，本发明以降至33维为例，向量A(a1 a2 a3...a33)既满足定位要求又大大减少运算量。
3、图像特征匹配。定位图像序列特征与数据集图像特征一一匹配，并进行数据核化处理，增强图像特征对比，消除相似信息干扰。
关于匹配矩阵，如图2所示：
无人车行驶的第一圈拍摄的图像作为地图，以后拍摄的图像作为测试，假如地图有3000张图像，测试中有1000张图像，将所有地图的特征向量与测试图像的特征向量之中，每两个向量之间做向量余弦运算，得到匹配矩阵，那么匹配矩阵就是3000*1000的矩阵。矩阵的每一个元素是两个图像的距离。如匹配矩阵中(0，0)位置表示的是：地图中第一张图和测试中第一张图的余弦距离，也就是两个33维的图像向量的cos值。
4、对匹配矩阵处理，将匹配矩阵的数据处理改为图像的形态学处理，提高运算速度。
(1)对匹配图像进行OTSU二值化，如图3所示：
OTSU灰度图像二值化方法是一种常用的全局化动态二值化方法。该算法的基本思想是：设使用某一个阈值将灰度图像根据灰度大小，分成目标部分和背景部分两类，在这两类的类内方差最小和类间方差最大的时候，得到的阈值α是最优的二值化阈值。对匹配图像进行二值化后，匹配矩阵中小于α的元素会被归为0，大于α的元素会被归为1。即：匹配较好的地方距离为0，匹配较差的地方距离为1。
本发明中自动设定一个阈值α，将匹配图像变成一个以0和1表示的二值化图像。相当于匹配较好的地方值为0，匹配较差的地方值为1。
(2)形态学处理，如图4所示：
形态学处理是为了消除二值化图像中的干扰，保留匹配较好的线，消除匹配不好的地方，图像的膨胀与腐蚀是最基本的形态学操作，他们的运用广泛，主要有：消除噪声；分割独立的图像元素、连接相邻的元素；寻找图像中的明显的极大值区域或极小值区域。本方法采用膨胀腐蚀操作是为了消除一部分匹配矩阵中匹配较差部分同时强调匹配良好的序列，使之更便于RANSAC检测图像形态。
5、RANSAC或者HoughLines算法求直线方程。对于每一次定位，进行一次RANSAC或者HoughLines算法，查找出最好的匹配序列。待定位图像序列号代入直线方程后，对应的数据集图像位置即为待定位图像位置，如图5所示，查找出形态学处理后的图4中的直线方程y＝kx+b，x表示的是要定位的图像在测试图像集中的位置，y表示的是在测试图像集中的与x图像相匹配的图像位置。因为y图像的位置可以通过GPS信息等获得，x的位置也就可以得知。
本发明与SeqSLAM比较：SeqSLAM算法并未采用深度学习网络提取特征而是直接对图像进行64*32或者32*24的压缩，在此过程没有对信息的筛选，可能遗漏了重要信息。相比较而言PCA降维既突出了图像差异又去除了冗余信息干扰。
与FAB-MAP相比：本方法无需建立复杂的数据关系网络、分析图像节点之间的权值与流量等信息，也不涉及最短路径查找等算法。
大多视觉定位都是纯数据分析，本发明通过图像直观判断车辆行驶状态，以及定位区域是否正确的判断，通过一定时间间隔进行一次匹配查找，即使针对频繁变速行驶的无人车也可以达到精确定位。

Claims (1)

1.一种无人车单目视觉定位中对匹配矩阵的图像匹配方法，其特征在于，该方法包括以下步骤：
1)通过深度卷积神经网络DCNN对所有输入的测试图像和定位地图图像进行全局特征描述，提取第三卷积层作为特征向量，具体为，采用Tensorflow框架中的AlexNet网络进行全局特征描述，并提取第三卷积层作为图像特征；
2)采用主成分分析法对所有特征向量进行降维；
3)根据测试图像和定位地图图像降维后的特征向量构建匹配矩阵，即匹配图像，所述的匹配矩阵中元素aij为第i张测试图像的特征向量与第j张定位地图图像的特征向量的余弦值，即：
Figure FDA0002620882860000011
其中，ti为第i张测试图像的特征向量，mj为第j张定位地图图像的特征向量；
4)将匹配矩阵的数据处理改为图像的形态学处理，对匹配图像进行OTSU二值化处理，得到处理后的二值化图像，设定一个阈值α，将匹配图像变成一个以0和1表示的二值化图像，即匹配较好的地方值为0，匹配较差的地方值为1；
5)对二值化图像进行形态学处理后，对图像进行直线拟合，选取拟合后斜率不为0的直线作为最终拟合直线，并获取其方程表达式，所述的最终拟合直线的直线方程为y＝kx+b，其中，x为测试图像的位置，y为与测试图像匹配的定位地图图像的位置，所述的形态学处理包括膨胀和腐蚀；
6)在拟合的直线上对应的测试图像和定位地图图像即为匹配对应的图像。
CN201710333485.XA 2017-05-12 2017-05-12 一种无人车单目视觉定位中对匹配矩阵的图像匹配方法 Active CN107170004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710333485.XA CN107170004B (zh) 2017-05-12 2017-05-12 一种无人车单目视觉定位中对匹配矩阵的图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710333485.XA CN107170004B (zh) 2017-05-12 2017-05-12 一种无人车单目视觉定位中对匹配矩阵的图像匹配方法

Publications (2)

Publication Number Publication Date
CN107170004A CN107170004A (zh) 2017-09-15
CN107170004B true CN107170004B (zh) 2021-02-02

Family

ID=59815554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710333485.XA Active CN107170004B (zh) 2017-05-12 2017-05-12 一种无人车单目视觉定位中对匹配矩阵的图像匹配方法

Country Status (1)

Country Link
CN (1) CN107170004B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111465936B (zh) * 2017-12-06 2023-11-24 北京嘀嘀无限科技发展有限公司 确定地图上新道路的系统和方法
CN110660103B (zh) * 2019-09-17 2020-12-25 北京三快在线科技有限公司 一种无人车定位方法及装置
CN110824280B (zh) * 2019-10-08 2021-08-17 西南交通大学 基于特征相似度的道岔健康状态的诊断方法与可视化方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10469828B2 (en) * 2015-07-13 2019-11-05 Texas Instruments Incorporated Three-dimensional dense structure from motion with stereo vision
CN106127739B (zh) * 2016-06-16 2021-04-27 华东交通大学 一种结合单目视觉的rgb-d slam方法

Also Published As

Publication number Publication date
CN107170004A (zh) 2017-09-15

Similar Documents

Publication Publication Date Title
CN107564025B (zh) 一种基于深度神经网络的电力设备红外图像语义分割方法
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN107038448B (zh) 目标检测模型构建方法
CN106897681B (zh) 一种遥感图像对比分析方法及系统
CN111160407B (zh) 一种深度学习目标检测方法及系统
CN110175615B (zh) 模型训练方法、域自适应的视觉位置识别方法及装置
CN111339832B (zh) 人脸合成图像的检测方法及装置
CN108537286B (zh) 一种基于关键区域检测的复杂目标精准识别方法
CN105989334B (zh) 基于单目视觉的道路检测方法
CN109858438B (zh) 一种基于模型拟合的车道线检测方法
CN106910202B (zh) 一种遥感图像地物的图像分割方法及系统
CN107170004B (zh) 一种无人车单目视觉定位中对匹配矩阵的图像匹配方法
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
CN112101195B (zh) 人群密度预估方法、装置、计算机设备和存储介质
CN110110618B (zh) 一种基于pca和全局对比度的sar目标检测方法
CN111461039A (zh) 基于多尺度特征融合的地标识别方法
Shuo et al. Object tracking method based on SURF
CN108537816A (zh) 一种基于超像素和背景连接先验的显著物体分割方法
CN112115871B (zh) 适用于行人目标检测的高低频交织边缘特征增强方法
CN111950498A (zh) 一种基于端到端实例分割的车道线检测方法及装置
Bello-Salau et al. An examination of different vision based approaches for road anomaly detection
CN111445388A (zh) 一种图像超分辨重建模型训练方法、船只跟踪方法及装置
Wang et al. Effective light field de-occlusion network based on Swin transformer
CN117495891A (zh) 点云边缘检测方法、装置和电子设备
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant