CN111260698B - 双目图像特征匹配方法及车载终端 - Google Patents

双目图像特征匹配方法及车载终端 Download PDF

Info

Publication number
CN111260698B
CN111260698B CN201811468085.0A CN201811468085A CN111260698B CN 111260698 B CN111260698 B CN 111260698B CN 201811468085 A CN201811468085 A CN 201811468085A CN 111260698 B CN111260698 B CN 111260698B
Authority
CN
China
Prior art keywords
image
dimensional
points
scale
dimensional map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811468085.0A
Other languages
English (en)
Other versions
CN111260698A (zh
Inventor
刘一龙
徐抗
谢国富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Momenta Technology Co Ltd
Original Assignee
Beijing Momenta Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Momenta Technology Co Ltd filed Critical Beijing Momenta Technology Co Ltd
Priority to CN201811468085.0A priority Critical patent/CN111260698B/zh
Publication of CN111260698A publication Critical patent/CN111260698A/zh
Application granted granted Critical
Publication of CN111260698B publication Critical patent/CN111260698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种双目图像特征匹配方法及车载终端,其中该方法包括:获取第一图像的多个第一二维特征点和多个第一三维地图点;在预先设定的尺度范围内,按照设定的次序和步长更新地图的当前尺度,并按照所述当前尺度对多个所述第一三维地图点进行更新,得到多个第二三维地图点;计算每个更新后尺度下的多个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值的平均值;将归一化互相关值的平均值最大者对应的多个所述第二三维地图点向所述第二图像投影,得到与多个所述第一二维特征点相匹配的多个第二二维特征点。

Description

双目图像特征匹配方法及车载终端
技术领域
本发明涉及自动驾驶领域,具体而言,涉及一种双目图像特征匹配方法及车载终端。
背景技术
在双目图像之间搜索匹配点,其目标是在两个图像上内容重叠区域确定若干对以像素坐标表示的匹配点,确保每对匹配点对应三维世界中相同的三维点。正确的双目匹配是视觉里程计算方法是能够充分利用双目视觉信息、获得与物理尺度相一致的优化结果的必要前提。
现有的双目匹配技术主要分为两类:1)基于描述子匹配的方法;2)基于图像灰度信息的直接法。现有方法通常适用于相机中心距离较近的(短基线)场景,在长基线的场景下,图像内容重叠区域通常在图像边缘畸变明显处占据很小面积,同时图像特征差异较大,且多存在遮挡等极端条件,现有方法无法保证匹配点的数目和质量。
发明内容
本发明提供一种双目图像特征匹配方法及车载终端,用以克服现有技术中存在的至少一个问题。
根据本发明实施例的第一方面,提供一种双目图像特征匹配方法,包括以下步骤:
获取第一图像的多个第一二维特征点和多个第一三维地图点,其中,所述第一图像是通过双目图像采集装置的第一图像采集单元获取的;
在预先设定的尺度范围内,按照设定的次序和步长更新地图的当前尺度,并按照所述当前尺度对多个所述第一三维地图点进行更新,得到多个第二三维地图点;
计算每个更新后尺度下的多个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值的平均值,其中,所述第二图像是通过所述双目图像采集装置的第二图像采集单元获取的,所述第二图像的获取时间与所述第一图像的获取时间相同
将归一化互相关值的平均值最大者对应的多个所述第二三维地图点向所述第二图像投影,得到与多个所述第一二维特征点相匹配的多个第二二维特征点。
可选的,所述双目图像采集装置为长基线双目鱼眼相机。
可选的,上述方法还包括以下步骤:
根据归一化互相关值的平均值最大者对应的尺度对所述地图的尺度进行更新。
可选的,所述第一图像的多个第一二维特征点和多个第一三维地图点通过单目视觉里程计获取。
可选的,所述在预先设定的尺度范围内,按照设定的次序和步长更新地图的当前尺度包括:
在预先设定的尺度范围内,所述当前尺度的初始值为最大可能值,然后在其达到最小值之前按照如下步骤获取所述当前尺度的下一取值:
获取多个所述第一三维地图点中相对于第一相机深度最小的三维地图点;
将地图的当前尺度减小设定量,根据减小后的尺度对该深度最小的三维地图点进行更新;
将更新后的三维地图点向所述第二图像进行投影,得到该深度最小的三维地图点在所述第二图像上投影的改变方向;
沿所述改变方向步进一个像素的距离,将此时深度与原始深度的比值作为地图新的尺度。
可选的,所述计算每个更新后尺度下的多个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值的平均值包括:
将每个所述第二三维地图点对应的每个所述第一二维特征点及其周围n x n方块像素点,按照更新后的深度值投影到所述第二图像上,得到在所述第二图像上的n x n个像素位置,其中,设定图像上局部小区域内的深度相同,n为正整数;
按照如下公式计算每个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值NCC:
其中,x1为多个所述第二三维地图点中的任一个在所述第一图像上投影的二维特征点,x2为多个所述第二三维地图点中的任一个在所述第二图像上投影的二维特征点;I1,I2分别为第一图像和第二图像,i为二维特征点周围n x n像素的索引,I1(x1,i)表示第一图像上二维特征点x1周围n x n区域中的第i个像素,I2(x2,i)表示第二图像上二维特征点x2周围n x n区域中的第i个像素,表示第一图像上二维特征点x1周围n x n像素值的平均值,/>表示第二图像上二维特征点x2周围n x n像素值的平均值;
根据得到的多个NCC值得到多个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值的平均值。
根据本发明实施例的第二方面,提供一种车载终端,包括:
获取模块,被配置为获取第一图像的多个第一二维特征点和多个第一三维地图点,其中,所述第一图像是通过双目图像采集装置的第一图像采集单元获取的;
地图点更新模块,被配置为在预先设定的尺度范围内,按照设定的次序和步长更新地图的当前尺度,并按照所述当前尺度对多个所述第一三维地图点进行更新,得到多个第二三维地图点;
计算模块,被配置为计算每个更新后尺度下的多个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值的平均值,其中,所述第二图像是通过所述双目图像采集装置的第二图像采集单元获取的,所述第二图像的获取时间与所述第一图像的获取时间相同;
匹配模块,被配置为将归一化互相关值的平均值最大者对应的多个所述第二三维地图点向所述第二图像投影,得到与多个所述第一二维特征点相匹配的多个第二二维特征点。
可选的,上述车载终端还包括:
尺度更新模块,被配置为根据归一化互相关值的平均值最大者对应的尺度对所述地图的尺度进行更新。
可选的,所述地图点更新模块包括:
尺度调整单元,被配置为在预先设定的尺度范围内,所述当前尺度的初始值为最大可能值,然后在其达到最小值之前将步进尺度获取单元确定的尺度值所述当前尺度的下一取值:
深度最小点获取单元,被配置为获取多个所述第一三维地图点中相对于第一相机深度最小的三维地图点;
深度最小点更新单元,被配置为将地图的当前尺度减小设定量,根据减小后的尺度对该深度最小的三维地图点进行更新;
改变方向确定单元,被配置为将更新后的三维地图点向所述第二图像进行投影,得到该深度最小的三维地图点在所述第二图像上投影的改变方向;
所述步进尺度获取单元,被配置为沿所述改变方向步进一个像素的距离,将此时深度与原始深度的比值作为地图新的尺度。
可选的,所述计算模块包括:
投影单元,被配置为将每个所述第二三维地图点对应的每个所述第一二维特征点及其周围n x n方块像素点,按照更新后的深度值投影到所述第二图像上,得到在所述第二图像上的n x n个像素位置,其中,设定图像上局部小区域内的深度相同,n为正整数;
NCC计算单元,被配置为按照如下公式计算每个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值NCC:
其中,x1为多个所述第二三维地图点中的任一个在所述第一图像上投影的二维特征点,x2为多个所述第二三维地图点中的任一个在所述第二图像上投影的二维特征点;I1,I2分别为第一图像和第二图像,i为二维特征点周围n x n像素的索引,I1(x1,i)表示第一图像上二维特征点x1周围n x n区域中的第i个像素,I2(x2,i)表示第二图像上二维特征点x2周围n x n区域中的第i个像素,表示第一图像上二维特征点x1周围n x n像素值的平均值,/>表示第二图像上二维特征点x2周围n x n像素值的平均值;
平均值单元,被配置为根据得到的多个NCC值得到多个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值的平均值。
本发明实施例通过先获取第一图像的二维特征点和三维地图点,进而根据从单帧图像获取的各三维地图点深度不准确但相对的深度关系较准确的特点,通过一个统一的尺度修正,将各三维地图点同时变成准确的三维位置,进而将更新后的三维地图点投影到第二图像也可以到达正确的二维位置,从而得到第一图像和第二图像的最佳匹配点。与现有技术相比,本发明实施例在视角间重叠区域面积小、可能存在严重畸变、较大曝光差异以及遮挡等条件下均可以得到较好的匹配;同时与现有的各特征点单独匹配相比,可以减少匹配的计算量,并且匹配结果不易受到少数误匹配的影响。
本发明实施例的创新点包括:
1、使用单目视觉里程计VO原始估计的二维特征点和三维地图点作为匹配的初始值,这样做的原因是发明人在实现本发明的过程中发现,利用VO得到的三维地图点的深度不准确,但相对的深度关系较准确,通过尺度修正可以变成准确度较高的三维位置,在为图像特征点匹配提供可靠依据的同时还可以减少运算量,提高匹配效率,这是本发明实施例的创新点之一。
2、在给定尺度下获取图像二维特征点匹配的方法,通过对相机1获取的图像估计一个最佳尺度值,使得在其作用下,这些三维点能够达到其真实位置,此时投影到相机2获取的图像也可以到达正确的二维位置,提高图像特征点匹配的准确度,是本发明实施例的创新点之一。
3、图像特征点匹配过程中的尺度更新策略,通过计算选择尺度步进的方向,提高匹配效率,是本发明实施例的创新点之一。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例的双目图像特征匹配方法流程图;
图2为本发明一个实施例的匹配方法流程图;
图3为本发明一个实施例的车载终端模块图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种双目图像特征匹配方法及车载终端。以下分别进行详细说明。
图1为本发明一个实施例的双目图像特征匹配方法流程图;其中,该方法应用于车载电脑、车载工业控制计算机(Industrial personal Computer,IPC)等车载终端,本发明实施例不做限定。上述的车载终端与车辆的各个传感器连接,接收并处理各个传感器采集到的数据。如图1所示,该双目图像特征匹配方法包括以下步骤:
S110,获取第一图像的多个第一二维特征点和多个第一三维地图点,其中,所述第一图像是通过双目图像采集装置的第一图像采集单元获取的。
在本发明实施例中,双目图像采集装置的两个图像采集单元可以为摄像头,为了方便描述,如无特殊说明,下文中的摄像头指图像采集单元。上述的双目图像采集装置可以安装在车辆前、后、左、右的任意一侧,两个相机的取景范围存在可能的重叠区域。可选的,上述的双目图像采集装置可以为长基线双目鱼眼相机,上述的摄像头可以为鱼眼摄像头,鱼眼摄像头的视场(Field OF View,FOV)较大,从而可以使得单个鱼眼摄像头拍摄到的目标图像中尽可能多地包括车辆的周边环境,提高观测的完整性进而提高所构建的局部地图的完整性,增加局部地图中包含的信息量。
一种实现方式中,所述第一图像的多个第一二维特征点和多个第一三维地图点通过单目视觉里程计获取。
在实现本发明的过程中,发明人发现,可以利用现有技术已实现的单目视觉里程计(VO)得到针对某一相机(如相机1,相当于上述的摄像头)的二维特征点和三维地图点,利用这些信息可以为匹配提供可靠的线索,原因是发明人研究发现这些地图点具有如下特性:
(1)如果向相机1投影,则每个三维点可以投影到其相应的二维特征点;
(2)各地图点深度不准确,但相对的深度关系较准确。即通过一个统一的尺度修正,可以同时变成相对准确的三维位置;
(3)各点沿相机1的投影方向进行尺度改变,不影响其仍然投影到原始二维特征点。
基于这些特性,我们只需要估计一个最佳尺度值,使得在其作用下,这些三维点能够达到其真实位置,此时投影到相机2获取的图像也可以到达正确的二维位置,这是本发明的一个创新点之一。
S120,在预先设定的尺度范围内,按照设定的次序和步长更新地图的当前尺度,并按照所述当前尺度对多个所述第一三维地图点进行更新,得到多个第二三维地图点。
S130,计算每个更新后尺度下的多个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值的平均值,其中,所述第二图像是通过所述双目图像采集装置的第二图像采集单元获取的,所述第二图像的获取时间与所述第一图像的获取时间相同。
一种实现方式中,所述在预先设定的尺度范围内,按照设定的次序和步长更新地图的当前尺度具体包括:
在预先设定的尺度范围内,所述当前尺度的初始值为最大可能值,然后在其达到最小值之前按照如下步骤获取所述当前尺度的下一取值:
获取多个所述第一三维地图点中相对于第一相机深度最小的三维地图点;
将地图的当前尺度减小设定量(在具体实现时可以根据技术人员的经验来设定),根据减小后的尺度对该深度最小的三维地图点进行更新;
将更新后的三维地图点向所述第二图像进行投影,得到该深度最小的三维地图点在所述第二图像上投影的改变方向;
沿所述改变方向步进一个像素的距离,将此时深度与原始深度的比值作为地图新的尺度。
一种实现方式中,所述计算每个更新后尺度下的多个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值的平均值包括:
将每个所述第二三维地图点对应的每个所述第一二维特征点及其周围n x n方块像素点,按照更新后的深度值投影到所述第二图像上,得到在所述第二图像上的n x n个像素位置,其中,设定图像上局部小区域内的深度相同,n为正整数;
按照如下公式计算每个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值NCC:
其中,x1为多个所述第二三维地图点中的任一个在所述第一图像上投影的二维特征点,x2为多个所述第二三维地图点中的任一个在所述第二图像上投影的二维特征点;I1,I2分别为第一图像和第二图像,i为二维特征点周围n x n像素的索引,I1(x1,i)表示第一图像上二维特征点x1周围n x n区域中的第i个像素,I2(x2,i)表示第二图像上二维特征点x2周围n x n区域中的第i个像素,表示第一图像上二维特征点x1周围n x n像素值的平均值,/>表示第二图像上二维特征点x2周围n x n像素值的平均值;
根据得到的多个NCC值得到多个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值的平均值。
S140,将归一化互相关值的平均值最大者对应的多个所述第二三维地图点向所述第二图像投影,得到与多个所述第一二维特征点相匹配的多个第二二维特征点。
本发明实施中,即可以将所述第一图像上的二维特征点和所述第二图像上的二维特征点作为所述第一图像和所述第二图像的最佳匹配点。
本发明实施例通过先获取第一图像的二维特征点和三维地图点,进而根据从单帧图像获取的各三维地图点深度不准确但相对的深度关系较准确的特点,通过一个统一的尺度修正,将各三维地图点同时变成准确的三维位置,进而将更新后的三维地图点投影到第二图像也可以到达正确的二维位置,从而得到第一图像和第二图像的最佳匹配点。与现有技术相比,本发明实施例在视角间重叠区域面积小、可能存在严重畸变、较大曝光差异以及遮挡等条件下均可以得到较好的匹配;同时与现有的各特征点单独匹配相比,可以减少匹配的计算量,并且匹配结果不易受到少数误匹配的影响。
一种实现方式中,上述方法还包括以下步骤:
根据归一化互相关值的平均值最大者对应的尺度对所述地图的尺度进行更新,例如,可以将更新后的尺度反馈给视觉里程计进行误差矫正,从而提供更好的优化约束。
本发明实施例充分利用视觉里程计的特点与有效信息,提出一个全新的图像特征点匹配方法,可以在长基线、高畸变的配置下(如鱼眼相机)鲁棒地估计出最优匹配,并同时输出对于视觉里程计尺度的修正量。
图2为本发明一个实施例的匹配方法流程图;如图所示,该匹配方法包括:
1、相机1的图像通过单目VO得到二维特征点和三维地图点
2、初始化尺度为最大可能值,然后在其达到最小值之前循环以下步骤:
a)将当前尺度应用于所有原始三维地图点,得到更新后的地图点三维位置
b)在两个相机之间计算同一三维地图点的二维投影的归一化互相关值(NCC)
i.假设图像上局部小区域内深度相同,将每个地图点对应的二维特征点及其周围n x n方块像素点均按更新后的深度值投影到相机2,得到在相机2图像上的n x n个像素位置
ii.计算NCC值:
其中,x1为多个所述第二三维地图点中的任一个在所述第一图像上投影的二维特征点,x2为多个所述第二三维地图点中的任一个在所述第二图像上投影的二维特征点;I1,I2分别为第一图像和第二图像,i为二维特征点周围n x n像素的索引,I1(x1,i)表示第一图像上二维特征点x1周围n x n区域中的第i个像素,I2(x2,i)表示第二图像上二维特征点x2周围n x n区域中的第i个像素,表示第一图像上二维特征点x1周围n x n像素值的平均值,/>表示第二图像上二维特征点x2周围n x n像素值的平均值;
iii.将所有三维点的NCC值进行平均并记录
c)沿对极线方向尺度步进更新
i.寻找到所有三维点中深度最小(离相机1最近)的点
ii.将其尺度减小一个极小量,将新的点投影到相机2得到其在相机2上投影的改变方向,即对极线的切线方向
iii.沿该方向步进一个像素的距离,此时深度与原始深度的比值作为新的尺度
3、循环结束后,将具有最大NCC值的匹配和相应的尺度值输出
本发明实施例充分利用视觉里程计的特点与有效信息,提出一个全新的匹配方法,可以在长基线、高畸变的鱼眼相机配置下鲁棒地估计出最优匹配,并同时输出对于视觉里程计尺度的修正量。该发明的结果可以反馈给视觉里程计进行误差矫正和提供更多的优化约束,该匹配方法是本发明的创新点之一。
与上述方法实施例相适应,图3示出了根据一个实施例的车载终端模块图;如图所示,该车载终端300包括:
获取模块310,被配置为获取第一图像的多个第一二维特征点和多个第一三维地图点;
地图点更新模块320,被配置为在预先设定的尺度范围内,按照设定的次序和步长更新地图的当前尺度,并按照所述当前尺度对多个所述第一三维地图点进行更新,得到多个第二三维地图点;
计算模块330,被配置为计算每个更新后尺度下的多个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值的平均值;
匹配模块340,被配置为将归一化互相关值的平均值最大者对应的多个所述第二三维地图点向所述第二图像投影,得到与多个所述第一二维特征点相匹配的多个第二二维特征点。
一种实现方式中,上述车载终端还包括:
尺度更新模块,被配置为根据归一化互相关值的平均值最大者对应的尺度对所述地图的尺度进行更新。
一种实现方式中,所述地图点更新模块包括:
尺度调整单元,被配置为在预先设定的尺度范围内,所述当前尺度的初始值为最大可能值,然后在其达到最小值之前将步进尺度获取单元确定的尺度值所述当前尺度的下一取值:
深度最小点获取单元,被配置为获取多个所述第一三维地图点中相对于第一相机深度最小的三维地图点;
深度最小点更新单元,被配置为将地图的当前尺度减小设定量,根据减小后的尺度对该深度最小的三维地图点进行更新;
改变方向确定单元,被配置为将更新后的三维地图点向所述第二图像进行投影,得到该深度最小的三维地图点在所述第二图像上投影的改变方向;
所述步进尺度获取单元,被配置为沿所述改变方向步进一个像素的距离,将此时深度与原始深度的比值作为地图新的尺度。
一种实现方式中,所述计算模块包括:
投影单元,被配置为将每个所述第二三维地图点对应的每个所述第一二维特征点及其周围n x n方块像素点,按照更新后的深度值投影到所述第二图像上,得到在所述第二图像上的n x n个像素位置,其中,设定图像上局部小区域内的深度相同,n为正整数;
NCC计算单元,被配置为按照如下公式计算每个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值NCC:
其中,x1为多个所述第二三维地图点中的任一个在所述第一图像上投影的二维特征点,x2为多个所述第二三维地图点中的任一个在所述第二图像上投影的二维特征点;I1,I2分别为第一图像和第二图像,i为二维特征点周围n x n像素的索引,I1(x1,i)表示第一图像上二维特征点x1周围n x n区域中的第i个像素,I2(x2,i)表示第二图像上二维特征点x2周围n x n区域中的第i个像素,表示第一图像上二维特征点x1周围n x n像素值的平均值,/>表示第二图像上二维特征点x2周围n x n像素值的平均值;
平均值单元,被配置为根据得到的多个NCC值得到多个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值的平均值。
本发明实施例通过先获取第一图像的二维特征点和三维地图点,进而根据从单帧图像获取的各三维地图点深度不准确但相对的深度关系较准确的特点,通过一个统一的尺度修正,将各三维地图点同时变成准确的三维位置,进而将更新后的三维地图点投影到第二图像也可以到达正确的二维位置,从而得到第一图像和第二图像的最佳匹配点。与现有技术相比,本发明实施例在视角间重叠区域面积小、可能存在严重畸变、较大曝光差异以及遮挡等条件下均可以得到较好的匹配;同时与现有的各特征点单独匹配相比,可以减少匹配的计算量,并且匹配结果不易受到少数误匹配的影响。
本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解:实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (8)

1.一种双目图像特征匹配方法,其特征在于,包括以下步骤:
获取第一图像的多个第一二维特征点和多个第一三维地图点,其中,所述第一图像是通过双目图像采集装置的第一图像采集单元获取的;
在预先设定的尺度范围内,按照设定的次序和步长更新地图的当前尺度,并按照所述当前尺度对多个所述第一三维地图点进行更新,得到多个第二三维地图点;
将每个所述第二三维地图点对应的每个所述第一二维特征点及其周围n x n方块像素点,按照更新后的深度值投影到第二图像上,得到在所述第二图像上的n x n个像素位置,其中,设定图像上局部小区域内的深度相同,n为正整数;
按照如下公式计算每个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值NCC:
其中,x1为多个所述第二三维地图点中的任一个在所述第一图像上投影的二维特征点,x2为多个所述第二三维地图点中的任一个在所述第二图像上投影的二维特征点;I1,I2分别为第一图像和第二图像,i为二维特征点周围n x n像素的索引,I1(x1,i)表示第一图像上二维特征点x1周围n x n区域中的第i个像素,I2(x2,i)表示第二图像上二维特征点x2周围n xn区域中的第i个像素,表示第一图像上二维特征点x1周围n x n像素值的平均值,表示第二图像上二维特征点x2周围n x n像素值的平均值;
根据得到的多个NCC值得到多个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值的平均值,其中,所述第二图像是通过所述双目图像采集装置的第二图像采集单元获取的,所述第二图像的获取时间与所述第一图像的获取时间相同;
将归一化互相关值的平均值最大者对应的多个所述第二三维地图点向所述第二图像投影,得到与多个所述第一二维特征点相匹配的多个第二二维特征点。
2.根据权利要求1所述的双目图像特征匹配方法,其特征在于,所述双目图像采集装置为长基线双目鱼眼相机。
3.根据权利要求1-2中任一项所述的双目图像特征匹配方法,其特征在于,还包括以下步骤:
根据归一化互相关值的平均值最大者对应的尺度对所述地图的尺度进行更新。
4.根据权利要求1所述的双目图像特征匹配方法,其特征在于,所述第一图像的多个第一二维特征点和多个第一三维地图点通过单目视觉里程计获取。
5.根据权利要求1所述的双目图像特征匹配方法,其特征在于,所述在预先设定的尺度范围内,按照设定的次序和步长更新地图的当前尺度包括:
在预先设定的尺度范围内,所述当前尺度的初始值为最大可能值,然后在其达到最小值之前按照如下步骤获取所述当前尺度的下一取值:
获取多个所述第一三维地图点中相对于第一相机深度最小的三维地图点;
将地图的当前尺度减小设定量,根据减小后的尺度对该深度最小的三维地图点进行更新;
将更新后的三维地图点向所述第二图像进行投影,得到该深度最小的三维地图点在所述第二图像上投影的改变方向;
沿所述改变方向步进一个像素的距离,将此时深度与原始深度的比值作为地图新的尺度。
6.一种车载终端,其特征在于,包括:
获取模块,被配置为获取第一图像的多个第一二维特征点和多个第一三维地图点,其中,所述第一图像是通过双目图像采集装置的第一图像采集单元获取的;
地图点更新模块,被配置为在预先设定的尺度范围内,按照设定的次序和步长更新地图的当前尺度,并按照所述当前尺度对多个所述第一三维地图点进行更新,得到多个第二三维地图点;
计算模块,被配置为
将每个所述第二三维地图点对应的每个所述第一二维特征点及其周围n x n方块像素点,按照更新后的深度值投影到第二图像上,得到在所述第二图像上的n x n个像素位置,其中,设定图像上局部小区域内的深度相同,n为正整数;
按照如下公式计算每个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值NCC:
其中,x1为多个所述第二三维地图点中的任一个在所述第一图像上投影的二维特征点,x2为多个所述第二三维地图点中的任一个在所述第二图像上投影的二维特征点;I1,I2分别为第一图像和第二图像,i为二维特征点周围n x n像素的索引,I1(x1,i)表示第一图像上二维特征点x1周围n x n区域中的第i个像素,I2(x2,i)表示第二图像上二维特征点x2周围n xn区域中的第i个像素,表示第一图像上二维特征点x1周围n x n像素值的平均值,表示第二图像上二维特征点x2周围n x n像素值的平均值;
根据得到的多个NCC值得到多个所述第二三维地图点在所述第一图像和第二图像的二维投影的归一化互相关值的平均值,其中,所述第二图像是通过所述双目图像采集装置的第二图像采集单元获取的,所述第二图像的获取时间与所述第一图像的获取时间相同;
匹配模块,被配置为将归一化互相关值的平均值最大者对应的多个所述第二三维地图点向所述第二图像投影,得到与多个所述第一二维特征点相匹配的多个第二二维特征点。
7.根据权利要求6所述的车载终端,其特征在于,还包括:
尺度更新模块,被配置为根据归一化互相关值的平均值最大者对应的尺度对所述地图的尺度进行更新。
8.根据权利要求6-7中任一项所述的车载终端,其特征在于,所述地图点更新模块包括:
尺度调整单元,被配置为在预先设定的尺度范围内,所述当前尺度的初始值为最大可能值,然后在其达到最小值之前将步进尺度获取单元确定的尺度值所述当前尺度的下一取值:
深度最小点获取单元,被配置为获取多个所述第一三维地图点中相对于第一相机深度最小的三维地图点;
深度最小点更新单元,被配置为将地图的当前尺度减小设定量,根据减小后的尺度对该深度最小的三维地图点进行更新;
改变方向确定单元,被配置为将更新后的三维地图点向所述第二图像进行投影,得到该深度最小的三维地图点在所述第二图像上投影的改变方向;
所述步进尺度获取单元,被配置为沿所述改变方向步进一个像素的距离,将此时深度与原始深度的比值作为地图新的尺度。
CN201811468085.0A 2018-12-03 2018-12-03 双目图像特征匹配方法及车载终端 Active CN111260698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811468085.0A CN111260698B (zh) 2018-12-03 2018-12-03 双目图像特征匹配方法及车载终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811468085.0A CN111260698B (zh) 2018-12-03 2018-12-03 双目图像特征匹配方法及车载终端

Publications (2)

Publication Number Publication Date
CN111260698A CN111260698A (zh) 2020-06-09
CN111260698B true CN111260698B (zh) 2024-01-02

Family

ID=70948982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811468085.0A Active CN111260698B (zh) 2018-12-03 2018-12-03 双目图像特征匹配方法及车载终端

Country Status (1)

Country Link
CN (1) CN111260698B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990080989A (ko) * 1998-04-24 1999-11-15 전주범 모델 기반 코딩 시스템의 얼굴 텍스쳐 맵핑 방법
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及系统
CN104992408A (zh) * 2015-06-30 2015-10-21 百度在线网络技术(北京)有限公司 用于用户终端的全景图像生成方法和装置
CN105300403A (zh) * 2015-09-22 2016-02-03 清华大学 一种基于双目视觉的车辆里程计算法
CN105469405A (zh) * 2015-11-26 2016-04-06 清华大学 基于视觉测程的同时定位与地图构建方法
CN105809687A (zh) * 2016-03-08 2016-07-27 清华大学 一种基于图像中边沿点信息的单目视觉测程方法
CN108648270A (zh) * 2018-05-12 2018-10-12 西北工业大学 基于eg-slam的无人机实时三维场景重建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9678210B2 (en) * 2014-12-19 2017-06-13 Caterpillar Inc. Error estimation in real-time visual odometry system
US10636168B2 (en) * 2015-06-12 2020-04-28 Sony Corporation Image processing apparatus, method, and program
CN105374019B (zh) * 2015-09-30 2018-06-19 华为技术有限公司 一种多深度图融合方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990080989A (ko) * 1998-04-24 1999-11-15 전주범 모델 기반 코딩 시스템의 얼굴 텍스쳐 맵핑 방법
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及系统
CN104992408A (zh) * 2015-06-30 2015-10-21 百度在线网络技术(北京)有限公司 用于用户终端的全景图像生成方法和装置
CN105300403A (zh) * 2015-09-22 2016-02-03 清华大学 一种基于双目视觉的车辆里程计算法
CN105469405A (zh) * 2015-11-26 2016-04-06 清华大学 基于视觉测程的同时定位与地图构建方法
CN105809687A (zh) * 2016-03-08 2016-07-27 清华大学 一种基于图像中边沿点信息的单目视觉测程方法
CN108648270A (zh) * 2018-05-12 2018-10-12 西北工业大学 基于eg-slam的无人机实时三维场景重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
范新峰 ; 程远增 ; 付强 ; .基于归一化互相关的亚像素双目视觉匹配方法.探测与控制学报.2016,第38卷(第03期),第71-74页. *

Also Published As

Publication number Publication date
CN111260698A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN110567469B (zh) 视觉定位方法、装置、电子设备及系统
CN108805934B (zh) 一种车载摄像机的外部参数标定方法及装置
US11205284B2 (en) Vehicle-mounted camera pose estimation method, apparatus, and system, and electronic device
CN113196007B (zh) 一种应用于车辆的相机系统
CN107945105B (zh) 背景虚化处理方法、装置及设备
CN109858309B (zh) 一种识别道路线的方法和装置
JP2016207030A (ja) 画像処理装置
US20100013908A1 (en) Asynchronous photography automobile-detecting apparatus
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
CN102227746A (zh) 立体图像处理装置、方法、记录介质和立体成像设备
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
CN111260538B (zh) 基于长基线双目鱼眼相机的定位及车载终端
EP2463621A1 (en) Distance calculation device for vehicle
CN114919584A (zh) 机动车定点目标测距方法、装置及计算机可读存储介质
CN104471436B (zh) 用于计算对象的成像比例的变化的方法和设备
JP2010226652A (ja) 画像処理装置、画像処理方法、および、コンピュータプログラム
JP2022152922A (ja) 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体
JPH07152914A (ja) 車輌用距離検出装置
CN111260698B (zh) 双目图像特征匹配方法及车载终端
CN113519150A (zh) 相机组件和方法
WO2015182771A1 (ja) 撮像装置、画像処理装置、画像処理方法およびコンピュータプログラム
US11477371B2 (en) Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method
EP3389015A1 (en) Roll angle calibration method and roll angle calibration device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220228

Address after: 100083 unit 501, block AB, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing

Applicant after: BEIJING MOMENTA TECHNOLOGY Co.,Ltd.

Address before: Room 28, 4 / F, block a, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing 100089

Applicant before: BEIJING CHUSUDU TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant