CN106709942B - 一种基于特征方位角的全景图像误匹配消除方法 - Google Patents

一种基于特征方位角的全景图像误匹配消除方法 Download PDF

Info

Publication number
CN106709942B
CN106709942B CN201611149510.0A CN201611149510A CN106709942B CN 106709942 B CN106709942 B CN 106709942B CN 201611149510 A CN201611149510 A CN 201611149510A CN 106709942 B CN106709942 B CN 106709942B
Authority
CN
China
Prior art keywords
image
circle
images
point
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611149510.0A
Other languages
English (en)
Other versions
CN106709942A (zh
Inventor
刘传家
程德斌
詹林献
刘佳
曾钰
赵常均
万磊
孙智权
李博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Intelligent Equipment Institute Co ltd
Original Assignee
Guangzhou Intelligent Equipment Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Intelligent Equipment Institute Co ltd filed Critical Guangzhou Intelligent Equipment Institute Co ltd
Priority to CN201611149510.0A priority Critical patent/CN106709942B/zh
Publication of CN106709942A publication Critical patent/CN106709942A/zh
Application granted granted Critical
Publication of CN106709942B publication Critical patent/CN106709942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于特征方位角的全景图像误匹配消除方法，将同一场景的两幅折反射全景图像中的horizon圆上的像素保存为一维图像，并结合变换方程对拍摄这两幅图像间对应的最优相机运动参数进行估算；分别计算出待测特征点匹配对在两幅图像中的方位角的实际值，并根据特征点在一幅图像中的方位角对其匹配点在另一幅图像中的方位角进行估算；最后通过设定阈值去除方位角的实际值与估算值之间偏差过大的特征匹配对。本发明，可以应用于由二次曲面反射镜和普通相机构成的折反射全景成像系统，去除图像中错误匹配的特征点，该方法有效的减少了误匹配特征点的数量，为后续视觉相关任务的顺利完成提供良好的基础。

Description

一种基于特征方位角的全景图像误匹配消除方法
技术领域
本发明涉及计算机视觉领域，具体涉及一种基于特征方位角的全景图像误匹配消除方法。
背景技术
基于折反射全景图像的特征匹配在很多计算机视觉相关的任务中是很重要的一个步骤，例如图像拼接、目标识别及运动估计等。匹配操作一般是在基于同一场景的两幅图像间进行的，其通常包括特征提取和匹配两步。目前在图像特征的提取和匹配方面应用比较广泛的是SIFT(Scale Invariant Feature Transform)算法，尽管SIFT特征对平移、旋转、尺度缩放等具有良好的不变性，同时对于视角变化、仿射变换和亮度变化也能够保持一定程度的稳定性，但在实际应用中仍然存在特征点的误匹配问题。这些错误匹配的特征点会严重影响后续视觉任务的执行，甚至导致任务失败。因此，尽量消除错误匹配的特征点至关重要。
RANSAC(Random Sample and Consensus)是一种应用广泛的消除误匹配方法。这种方法采用大量匹配特征点样本进行实验找到最适合的参数，并通过这些参数建立两幅图像间的转换矩阵。该矩阵一般描述平移、旋转及尺度等变换。利用转换矩阵，可以根据一个特征点在图像中的位置坐标来估计其匹配点的坐标，进而判断特征点匹配对是否正确。在折反射全景图像中，由于其投影关系较为复杂且存在成像畸变，因此在两幅图像中的特征点之间难以建立统一的转换矩阵。即RANSAC方法难以直接应用于未处理的折反射全景图像上，其一般需要先将全景图像展开后才能处理。与RANSAC方法类似，目前存在的大部分误匹配消除算法应用于折反射全景图像时都存在上述问题。
综上所述，目前需要一种不需要对折反射全景图像进行展开，可以有效的减少错误匹配特征对的全景图像误匹配消除方法。
发明内容
本发明所要解决的技术问题是在去除误匹配特征的过程中需要将环形的折反射全景图像进行展开，导致额外增加计算量还会丢失部分图像信息的问题。
为了解决上述技术问题，本发明所采用的技术方案是提供一种基于特征方位角的全景图像误匹配消除方法，包括以下步骤：在折反射式全景成像系统中，将用于形成周围环境场景的图像的曲面镜和位于曲面镜的下方且光轴指向曲面镜的摄像机一起完成全景图像的采集，在理想情况下，在未展开的全景图像中存在一个以图像中心为圆心的圆，与曲面镜内焦点位于同一水平高度的特征点投影必定位于该圆上，设该圆为horizon圆，
步骤一，将同一场景的两幅折反射全景图像中的horizon圆上的像素保存为一维图像，并根据该一维图像结合变换方程对拍摄这两幅图像间对应的最优相机运动参数进行估算；
步骤二，分别计算出待测特征点匹配对在两幅图像中的方位角的实际值，并通过相应的最优相机运动参数根据特征点在一幅图像中的方位角对其匹配点在另一幅图像中的方位角进行估算；
步骤三，通过设定阈值去除方位角的实际值与估算值之间偏差过大的特征匹配对。
在上述方案中，设反射镜长短轴分别为a、b，水平入射光线与反射镜的交点距反射镜的焦点距离为r，f为相机的焦距，R为Horizon圆的半径。
反射镜方程为：
x2/a2-(y+c)2/b2＝-1，其中
Figure BDA0001178781960000021
计算可知：
Figure BDA0001178781960000031
根据相似三角形的性质可知：
Figure BDA0001178781960000032
计算出R之后，以图像中心为圆心，R为半径的圆即为Horizon圆；
设全景相机的运动空间为一个平面，两幅匹配全景图像分别为IH和IC，则随着相机的运动位于Horizon圆上的像素点只可能在两幅图像间的该圆上运动，一定不会运动到Horizon圆外，其中，PH为图像IH中的一个像素点L在Horizon圆上的位置，θH为像素点L对应的方位角；PC为像素点L在图像IC中的位置，θC为其对应的方位角。
在上述方案中，以步骤一确定的Horizon圆结合变换方程估计出拍摄两幅全景图像时相机的运动参数；
设L为场景中的一个特征，H和C分别为两幅匹配全景图像的拍摄位置，在这两个位置处的箭头方向分别为相机对应的正面朝向。θH为特征L在位置H处的方位角，θC为L在位置C处的方位角，θT为相机平移运动的方向角，θR为相机自身旋转的角度。dLH为特征点L与位置H之间的距离，dCH为位置C与H之间的距离。在三角形LHC中应用正弦定理，可以得到：
Figure BDA0001178781960000033
令dLH/dCH＝1/λ，并根据等距分布假设化简上式即可得到变换方程：
Figure BDA0001178781960000034
其中，上式共包含λ、θT和θR三个运动参数。
分别在两幅匹配全景图像中提取出Horizon圆，并将其上的像素点以图2中xI轴与Horizon圆的交点为起点沿逆时针方向保存为一维图像，分别用IH1和IC1表示。然后以IH1为初始图像，按照一定的搜索步长对参数λ、θT和θR的取值空间进行穷尽搜索，利用得到的每组参数结合变换方程可以计算出一幅一维的预测图像
Figure BDA0001178781960000041
将预测图像
Figure BDA0001178781960000042
与实际提取得到的IC1进行对比，计算二者之间的图像距离，当图像距离最小时对应的那组参数即为最优的运动参数
Figure BDA0001178781960000043
和
Figure BDA0001178781960000044
在上述方案中，在步骤二中，通过步骤一中确定的最优运动参数
Figure BDA0001178781960000045
和
Figure BDA0001178781960000046
并结合变换方程，即可根据特征在图像IH中的方位角θH预测出其匹配特征在图像IC中的方位角
Figure BDA0001178781960000047
最后，在步骤三中，通过设定判断阈值θTHR，去除掉满足式
Figure BDA0001178781960000048
的特征匹配对。
本发明，不需要展开折反射全景图像及建立两幅图像间的转换矩阵，可以有效的消除图像中大部分错误匹配的特征点，提高了匹配准确度，可以应用于由二次曲面反射镜和普通相机构成的折反射全景成像系统，该算法有效的减少了误匹配特征点的数量，为后续视觉相关任务的顺利完成提供良好的基础。
附图说明
图1为本发明的Horizon圆成像原理图；
图2为本发明位于horizon圆上的像素的方位角变化特性图；
图3为本发明全景图像中的特征方位角随相机运动而变化的几何描述图；
图4为本发明拍摄两幅全景图像时相机最优运动参数的估计方法图；
图5a为本发明基于original图像库的初始SIFT特征匹配结果图；
图5b为本发明基于original图像库的消除误匹配特征后的结果图；
图6a为本发明基于chairs图像库的初始SIFT特征匹配结果图；
图6b为本发明基于chairs图像库的消除误匹配特征后的结果图；
图7a为本发明基于day图像库的初始SIFT特征匹配结果图；
图7b为本发明基于day图像库的消除误匹配特征后的结果图；
图8为本发明的方法流程图。
具体实施方式
下面结合说明书附图对本发明做出详细的说明。
如图1、图8所示，本发明提供的是一种基于特征方位角的全景图像误匹配消除方法。包括以下步骤：
步骤一、根据折反射全景成像系统的参数在图像中确定Horizon圆。如图1所示：设反射镜长短轴分别为a、b，水平入射光线与反射镜的交点距反射镜的焦点距离为r，f为相机的焦距，R为Horizon圆的半径。
反射镜方程为：
x2/a2-(y+c)2/b2＝-1，其中
Figure BDA0001178781960000051
计算可知：
Figure BDA0001178781960000052
根据相似三角形的性质可知：
Figure BDA0001178781960000053
计算出R之后，以图像中心为圆心，R为半径的圆即为Horizon圆。
如图2所示，Horizon圆具有如下特性：假设全景相机的运动空间为一个平面，两幅匹配全景图像分别为IH和IC，则随着相机的运动位于Horizon圆上的像素点只可能在两幅图像间的该圆上运动，一定不会运动到Horizon圆外，其中，PH为图像IH中的一个像素点L在Horizon圆上的位置，θH为像素点L对应的方位角；PC为像素点L在图像IC中的位置，θC为其对应的方位角。由于Horizon圆上的像素点的成像半径为定值，因此通过其方位角即可确定对应的像素位置。
步骤二、以步骤一确定的Horizon圆结合变换方程估计出拍摄两幅全景图像时相机的运动参数。
如图3所示，L为场景中的一个特征，H和C分别为两幅匹配全景图像的拍摄位置，在这两个位置处的箭头方向分别为相机对应的正面朝向。θH为特征L在位置H处的方位角，θC为L在位置C处的方位角，θT为相机平移运动的方向角，θR为相机自身旋转的角度。dLH为特征点L与位置H之间的距离，dCH为位置C与H之间的距离。在三角形LHC中应用正弦定理，可以得到：
Figure BDA0001178781960000061
令dLH/dCH＝1/λ，并根据等距分布假设化简上式即可得到变换方程：
Figure BDA0001178781960000062
其中，上式共包含λ、θT和θR三个运动参数。
在上述基础上，分别在两幅匹配全景图像中提取出Horizon圆，并将其上的像素点以图2中xI轴与Horizon圆的交点为起点沿逆时针方向保存为一维图像，分别用IH1和IC1表示。然后以IH1为初始图像，按照一定的搜索步长对参数λ、θT和θR的取值空间进行穷尽搜索，利用得到的每组参数结合变换方程可以计算出一幅一维的预测图像
Figure BDA0001178781960000063
将预测图像
Figure BDA0001178781960000064
与实际提取得到的IC1进行对比，计算二者之间的图像距离，当图像距离最小时对应的那组参数即为最优的运动参数
Figure BDA0001178781960000065
和
Figure BDA0001178781960000066
如图4所示。在上述计算过程中，两幅一维图像之间的图像距离由下式判定：
Figure BDA0001178781960000071
其中，n为一维图像中的像素点数量，IC1(i)和
Figure BDA0001178781960000072
分别表示一维图像中对应位置的像素的灰度值。
步骤三、通过步骤一中确定的最优运动参数
Figure BDA0001178781960000073
和
Figure BDA0001178781960000074
并结合变换方程，即可根据特征在图像IH中的方位角θH预测出其匹配特征在图像IC中的方位角
Figure BDA0001178781960000075
最后，在步骤三中，通过设定判断阈值θTHR，去除掉满足式
Figure BDA0001178781960000076
的特征匹配对。
本发明的优点在于其不需要对折反射全景图像进行展开，且不需要建立两幅图像间的转换矩阵，可以有效的减少错误匹配特征对的数量。
为了说明算法的效果，本发明采用比勒费尔德大学提供的全景图像数据库进行分析。在数据库中选取在original、chairs和day三个场景下的全景图像作为测试数据，以SIFT(Scale Invariant Feature Transform)算法作为原始的特征提取和匹配算法，得到的对比实验结果如图5～图7和表1～表3所示：
表1基于图5的量化分析
Figure BDA0001178781960000077
表2基于图6的量化分析
Figure BDA0001178781960000081
表3基于图7的量化分析
Figure BDA0001178781960000082
其中，在表1～表3所示的实验结果中，Nt表示在两幅全景图像间提取到的特征匹配对的总数量，Nm表示Nt中正确匹配的特征对数量，Nw表示误删除的特征匹配对数量，ηm表示特征的匹配准确率，ηw表示误删除率。
本发明，多个实际场景的实验表明，这种方法不需要展开折反射全景图像及建立两幅图像间的转换矩阵，可以有效的消除图像中大部分错误匹配的特征点，提高了匹配准确度。本发明提出的特征误匹配消除算法可以应用于由二次曲面反射镜和普通相机构成的折反射全景成像系统，该算法有效的减少了误匹配特征点的数量，为后续视觉相关任务(图像拼接、目标识别及视觉导航等)的顺利完成提供良好的基础。
本发明不局限于上述最佳实施方式，任何人应该得知在本发明的启示下做出的结构变化，凡是与本发明具有相同或相近的技术方案，均落入本发明的保护范围之内。

Claims (4)

1.一种基于特征方位角的全景图像误匹配消除方法，包括以下步骤：在折反射式全景成像系统中，将用于形成周围环境场景的图像的曲面镜和位于曲面镜的下方且光轴指向曲面镜的摄像机一起完成全景图像的采集，在理想情况下，在未展开的全景图像中存在一个以图像中心为圆心的圆，与曲面镜内焦点位于同一水平高度的特征点投影必定位于该圆上，设该圆为horizon圆，其特征在于，
步骤一，将同一场景的两幅折反射全景图像中的horizon圆上的像素保存为一维图像，并根据该一维图像结合变换方程对拍摄这两幅图像间对应的最优相机运动参数进行估算；
步骤二，分别计算出待测特征点匹配对在两幅图像中的方位角的实际值，并通过相应的最优相机运动参数根据特征点在一幅图像中的方位角对其匹配点在另一幅图像中的方位角进行估算；
步骤三，通过设定阈值去除方位角的实际值与估算值之间偏差过大的特征点匹配对。
2.如权利要求1所述的基于特征方位角的全景图像误匹配消除方法，其特征在于，在步骤一中，设反射镜长短轴分别为a、b，水平入射光线与反射镜的交点距反射镜的焦点距离为r，f为相机的焦距，R为Horizon圆的半径；
反射镜方程为：
x2/a2-(y+c)2/b2＝-1，其中
Figure FDA0002257444600000011
计算可知：
Figure FDA0002257444600000012
根据相似三角形的性质可知：
Figure FDA0002257444600000021
计算出R之后，以图像中心为圆心，R为半径的圆即为Horizon圆；
设全景相机的运动空间为一个平面，两幅匹配全景图像分别为IH和IC，则随着相机的运动位于Horizon圆上的像素点只可能在两幅图像间的该圆上运动，一定不会运动到Horizon圆外，其中，PH为图像IH中的一个特征点L在Horizon圆上的位置，θH为特征点L对应的方位角；PC为特征点L在图像IC中的位置，θC为其对应的方位角。
3.如权利要求2所述的基于特征方位角的全景图像误匹配消除方法，其特征在于，在步骤一中，以步骤一确定的Horizon圆结合变换方程估计出拍摄两幅全景图像时相机的运动参数；
设L为场景中的一个特征点，H和C分别为两幅匹配全景图像的拍摄位置，在这两个位置处的箭头方向分别为相机对应的正面朝向；θT为相机平移运动的方向角，θR为相机自身旋转的角度；dLH为特征点L与位置H之间的距离，dCH为位置C与H之间的距离；在三角形LHC中应用正弦定理，可以得到：
Figure FDA0002257444600000022
令dLH/dCH＝1/λ，并根据等距分布假设化简上式即可得到变换方程：
Figure FDA0002257444600000023
其中，上式共包含λ、θT和θR三个运动参数；
分别在两幅匹配全景图像中提取出Horizon圆，并将其上的像素点以xI轴与Horizon圆的交点为起点沿逆时针方向保存为一维图像，分别用IH1和IC1表示；然后以IH1为初始图像，按照一定的搜索步长对参数λ、θT和θR的取值空间进行穷尽搜索，利用得到的每组参数结合变换方程可以计算出一幅一维的预测图像
Figure FDA0002257444600000031
将预测图像
Figure FDA0002257444600000032
与实际提取得到的IC1进行对比，计算二者之间的图像距离，当图像距离最小时对应的那组参数即为最优的运动参数
Figure FDA0002257444600000033
和
Figure FDA0002257444600000034
4.如权利要求3所述的基于特征方位角的全景图像误匹配消除方法，其特征在于，在步骤二中，通过步骤一中确定的最优运动参数
Figure FDA0002257444600000035
和
Figure FDA0002257444600000036
并结合变换方程，即可根据特征点L在图像IH中的方位角θH预测出其匹配特征点在图像IC中的方位角
Figure FDA0002257444600000037
最后，在步骤三中，通过设定判断阈值θTHR，去除掉满足式
Figure FDA0002257444600000038
的特征点匹配对。
CN201611149510.0A 2016-12-13 2016-12-13 一种基于特征方位角的全景图像误匹配消除方法 Active CN106709942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611149510.0A CN106709942B (zh) 2016-12-13 2016-12-13 一种基于特征方位角的全景图像误匹配消除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611149510.0A CN106709942B (zh) 2016-12-13 2016-12-13 一种基于特征方位角的全景图像误匹配消除方法

Publications (2)

Publication Number Publication Date
CN106709942A CN106709942A (zh) 2017-05-24
CN106709942B true CN106709942B (zh) 2020-05-19

Family

ID=58935735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611149510.0A Active CN106709942B (zh) 2016-12-13 2016-12-13 一种基于特征方位角的全景图像误匹配消除方法

Country Status (1)

Country Link
CN (1) CN106709942B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110767B (zh) * 2019-04-23 2023-02-10 广州智能装备研究院有限公司 一种图像特征优化方法、装置、终端设备及可读存储介质
CN116246085B (zh) * 2023-03-07 2024-01-30 北京甲板智慧科技有限公司 用于ar望远镜的方位角生成方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104048662A (zh) * 2014-07-03 2014-09-17 哈尔滨工程大学 一种基于精简路标的机器人视觉归航方法
CN106092086A (zh) * 2016-06-12 2016-11-09 哈尔滨工程大学 一种基于全景视觉的快速、高鲁棒性的机器人室内定位方法
CN106127115A (zh) * 2016-06-16 2016-11-16 哈尔滨工程大学 一种基于全景和常规视觉的混合视觉目标定位方法
CN106157246A (zh) * 2016-06-28 2016-11-23 杭州电子科技大学 一种全自动的快速柱面全景图像拼接方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4513871B2 (ja) * 2008-02-15 2010-07-28 ソニー株式会社 画像処理方法、画像処理プログラムおよび画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104048662A (zh) * 2014-07-03 2014-09-17 哈尔滨工程大学 一种基于精简路标的机器人视觉归航方法
CN106092086A (zh) * 2016-06-12 2016-11-09 哈尔滨工程大学 一种基于全景视觉的快速、高鲁棒性的机器人室内定位方法
CN106127115A (zh) * 2016-06-16 2016-11-16 哈尔滨工程大学 一种基于全景和常规视觉的混合视觉目标定位方法
CN106157246A (zh) * 2016-06-28 2016-11-23 杭州电子科技大学 一种全自动的快速柱面全景图像拼接方法

Also Published As

Publication number Publication date
CN106709942A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
Caruso et al. Large-scale direct SLAM for omnidirectional cameras
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US8797387B2 (en) Self calibrating stereo camera
US7747106B2 (en) Method and system for filtering, registering, and matching 2.5D normal maps
Alomran et al. Feature-based panoramic image stitching
CN102834845A (zh) 用于多摄像装置校准的方法与装置
Mistry et al. Image stitching using Harris feature detection
JP6174104B2 (ja) 室内２ｄ平面図の生成方法、装置及びシステム
US11843865B2 (en) Method and device for generating vehicle panoramic surround view image
CN110717936B (zh) 一种基于相机姿态估计的图像拼接方法
US9031355B2 (en) Method of system for image stabilization through image processing, and zoom camera including image stabilization function
CN111798373A (zh) 一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法
Pintore et al. Recovering 3D existing-conditions of indoor structures from spherical images
CN106709942B (zh) 一种基于特征方位角的全景图像误匹配消除方法
Min et al. Panorama stitching based on sift algorithm and levenberg-marquardt optimization
US11869204B2 (en) Automatic co-registration of thermal and visible image pairs
CN107369128A (zh) 一种720度全景图像拍摄方法
Benito-Picazo et al. Motion detection with low cost hardware for PTZ cameras
JP2008252856A (ja) 画像の補正方法、補正プログラムおよび画像歪み補正装置
CN110110767B (zh) 一种图像特征优化方法、装置、终端设备及可读存储介质
CN114926508B (zh) 视野分界线确定方法、装置、设备及存储介质
Li et al. Fast multicamera video stitching for underwater wide field-of-view observation
Feng et al. Research on an image mosaic algorithm based on improved ORB feature combined with surf
Fang et al. Visual place recognition based on multilevel descriptors for the visually impaired people
Bunnun et al. Integrating 3D object detection, modelling and tracking on a mobile phone

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant