CN110232656B - 一种解决特征点不足的图像拼接优化方法 - Google Patents

一种解决特征点不足的图像拼接优化方法 Download PDF

Info

Publication number
CN110232656B
CN110232656B CN201910511014.2A CN201910511014A CN110232656B CN 110232656 B CN110232656 B CN 110232656B CN 201910511014 A CN201910511014 A CN 201910511014A CN 110232656 B CN110232656 B CN 110232656B
Authority
CN
China
Prior art keywords
image
line segment
characteristic
matching
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910511014.2A
Other languages
English (en)
Other versions
CN110232656A (zh
Inventor
刘铁山
魏富彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Beiken Intelligent Technology Co ltd
Original Assignee
Shanghai Beiken Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Beiken Intelligent Technology Co ltd filed Critical Shanghai Beiken Intelligent Technology Co ltd
Priority to CN201910511014.2A priority Critical patent/CN110232656B/zh
Publication of CN110232656A publication Critical patent/CN110232656A/zh
Application granted granted Critical
Publication of CN110232656B publication Critical patent/CN110232656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种解决特征点不足的图像拼接优化方法。可用于监控输电线路周围情况时拼接全景图像。其在通过匹配点对计算图像间的透射投影变换矩阵时,除了解出H的所有值至少需要的4对匹配特征点对,还包含图像特征线段的计算步骤,以利用图像内的特征线段来提供更多的特征信息提高H的精度。其借助结合了特征线段之后,就能在有限的特征点数量下,提高单应性矩阵H的精度,从而改善图像拼接时配准的正确率,减轻重影等不良现象。最终让重叠区域不佳,特征点不足的图片也能更好的拼接到一起。

Description

一种解决特征点不足的图像拼接优化方法
技术领域
本发明涉电力监控领域,尤指一种解决特征点不足的图像拼接优化方法。
背景技术
为使输电线路免受外力因素,如吊车、挖掘机、鸟害等外在因素的破坏,并能对输电线路周围情况有更好的监控,通常会在导线或塔基上安装多个摄像头来实时掌握附近环境的情况。
但是由于位置固定的摄像头视野有限,因而只能拍摄到固定范围的小场景。而且在查阅这些拍摄到的图像时,又只能一个局部场景一个局部场景的进行检查,因此即使检测到感兴趣目标,也还需要寻找其所在整体的位置来进行相应定位,该种操作即耗时又低效。
因此,如果能借助这些摄像头中任意相邻两个的拍摄范围有部分重叠,可以采用计算机全景图像拼接技术将多幅小视角图像拼接成一幅无盲区、无死角、立体感强的全景图。此时基于这幅高分辨率的全景图,就可以将输电线路周边360度范围内的场景信息完全呈现在眼前,因而非常方便用户查看和定位信息。
目前,经常采用的图像拼接的过程大致如下:
1、提取图像中的特征点,生成特征点的描述符;
2、利用描述符进行图像间特征点的匹配,生成匹配点对;
3、通过匹配点对计算图像间的透射投影变换矩阵;
4、依靠透射投影变换矩阵将图像拼接到一起;
5、通过图像融合来使拼接后的全景图看起来更自然。
这其中,透射投影变换矩阵计算的精确程度,直接影响了最终图像拼接的效果。因而近年来,图像拼接的相关算法研究多是围绕图像拼接的效果展开的,即想办法提高透射投影变换矩阵的精度。虽然在图像重叠区域的配准精度上有更高的提升,对非重叠区域的畸变现象也有了更好的抑制效果。但是这些算法都非常依赖于图像间匹配特征点的数量,想要有好的拼接效果就需要在重叠区域有尽可能多的匹配点对,如果数量不够,计算得到的透射投影变换矩阵就不够精确,使拼接效果变差。
上述问题最简单的解决方案是通过增加摄像头的数量来扩大每幅图像之间的重叠区域,从而来提高特征点的数量。但这种做法无疑会提高成本。因此如若能在图像上找到除特征点以外的其他更多特征的话,就可以弥补特征点的不足,在算法层次上解决问题,在节省硬件成本的基础上,依旧达到一个良好的拼接效果,这就是本发明的研究方向。
发明内容
为解决上述问题,达到上述目的,本发明主要目的在于,提供一种解决特征点不足的图像拼接优化方法,以便提供一个既能节省硬件成本,又能达到一个良好的拼接效果的图像拼接优化方法。
为了实现上述目的,本发明提供了一种解决特征点不足的图像拼接优化方法,其包含步骤:
1)提取图像中的特征点,生成特征点的描述符;
2)利用描述符进行图像间特征点的匹配,生成匹配点对;
其是采用尺度不变的特征变换的方法来计算图像特征点。
3)通过匹配点对计算图像间的透射投影变换矩阵;
该步骤是用步骤2)生成的特征点计算图像之间的透射投影变换矩阵,从而把一幅图像的像素坐标转换到另一幅图像上去,所述的透射投影变换矩阵H是个3X3的方阵,由于缩放操作不会对投影产生影响,所以H的自由度为8,且一对匹配特征点对可以构造两个方程,因此解出H的所有值至少需要4对匹配特征点对,另外,该步骤还包含图像特征线段的计算步骤,以利用图像内的特征线段来提供更多的特征信息提高H的精度。
4)依靠透射投影变换矩阵将图像拼接到一起。
还可以包含图像融合步骤,通过图像融合来使拼接后的全景图看起来更自然。
其中较佳的是:
该图像特征线段的计算步骤可包括:
一、对图像中的特征线段进行提取;
该步骤可使用EDLine等算法高效快速的完成。目前该方面算法已经有了非常高的提取效果和准确度,并且速度也接近实时运算。
二、提取到的两幅图像的特征线段进行匹配;
在该步骤中,是采用一种引导性线段匹配方法来完成对带有尺度图像的线段匹配任务。
所述的引导性线段匹配方法可为:
首先提供两张待拼接的图像:源图像和目标图像,对源图像直接生成LSR,得到Ωs;对于目标图像,步骤3)所述的通过4对匹配特征点对计算得到的H-1将目标图像反投影到源图像平面中,并计算这时线段的LSR:
Figure BDA0002093473520000031
再用H对/>
Figure BDA0002093473520000032
进行正投影,得到最终的目标图像线段的LSR:Ω't
另外较佳的是可通过迭代来寻找最优的H数值减少H的预估偏差;所属迭代具体过程如下:
S1开始;
S2通过计算p’=Hp初始化H;
S3用H-1将目标图像线段l’反投影为l*;
S4计算l*的LSR:
Figure BDA0002093473520000041
S5用H将
Figure BDA0002093473520000042
变换为Ω′t
S6在Ωs和Ω't中,分别提取对应线段l和l’的描述向量;
S7利用描述向量计算匹配的线段对;
S8用新得到的对应关系更新H的数值;
S9判断匹配点对(p,p’)和匹配线段对(l,l’)是否改变,如果是返回步骤S3,若否则结束。
其中作为优选的是:在更新H的时候,是使用最小二乘法,通过求取最小残差来得到H的最优解。
该最小二乘法步骤可为:
对于2维的一个点,使用齐次坐标p:[x,y,1]T来参数化表示;对于2维的线段,目标图像使用经典直线方程来参数化l:[a,b,c]T(l:ax+by+c=0);源图像则使用线段的两个端点来参数化l:(p0,p1);这样经过变换矩阵H转换后的线段
Figure BDA0002093473520000043
其端点为/>
Figure BDA0002093473520000044
Figure BDA0002093473520000045
这样就将转换后的线段/>
Figure BDA0002093473520000046
到目标图像线段l'的距离定义为转换后的两端点/>
Figure BDA0002093473520000047
Figure BDA0002093473520000048
到l'的距离的平方和再开平方根,即
Figure BDA0002093473520000049
其中,
Figure BDA0002093473520000051
l'=[a',b',c']T。/>
Figure BDA0002093473520000052
为点/>
Figure BDA0002093473520000053
到线段l'的距离;然后通过合并特征点和特征线段来计算残差最小时的H;
Figure BDA0002093473520000054
其中,
Figure BDA0002093473520000055
i,j分别为特征点和特征线段的索引。
较佳的是,还可包含一通过RANSAC算法来剔除掉图像的外点步骤,用剩下的内点再优化H,以提高配准精度。
在该RANSAC算法的计算中,两点之间的拟合误差是通过欧氏距离
Figure BDA0002093473520000056
计算,线段之间的拟合误差是通过线段距离/>
Figure BDA0002093473520000057
Figure BDA0002093473520000058
计算。
本发明有益效果在于,借助上述技术方案,利用了图像内的特征线段来提供更多的特征信息提高H的精度。在其借助结合了特征线段之后,就能在有限的特征点数量下,提高单应性矩阵H的精度,从而改善图像拼接时配准的正确率,减轻重影等不良现象。最终可让重叠区域不佳,特征点不足的图片也能更好的拼接到一起。
附图说明
图1a、图1b源图像和目标图像的LSR示意图;
图2通过H矩阵变换得到的LSR示意图;
图3普通线段匹配算法结果图;
图4引导性线段匹配方法结果图;
图5通过用点到线的距离来表示两线段间距离的示意图。
图6本发明的通过迭代来寻找最优的H数值的流程图。
其中:source源图像、target目标图像。
具体实施方式
下面通过实施例,并结合附图,对本发明的技术方案做进一步具体的说明。
本发明的一种解决特征点不足的图像拼接优化方法,主要技术构思如下:
由于本发明的应用场景主要是采用全景拼接,就是将同一场景的多幅两两之间具有一定重叠区域的小视角图像,通过图像配准、拼接和融合等相关算法步骤,来得到一幅包含原图像序列中所有场景点信息的宽视角、高分辨率的全景图像,其主要是在不增加成本的情况下,解决重叠区域的匹配点对不足的问题,也就是在有限的特征点数量下,提高单应性矩阵H的精度,从而改善图像拼接时配准的正确率。
在图像拼接过程中,首先提取图像中的特征点,生成特征点的描述符;然后利用描述符进行图像间特征点的匹配,生成匹配点对;
经过计算得到了相互匹配的特征点对之后,我们就可以用这些特征点计算图像之间的透射投影变换矩阵,从而把一幅图像的像素坐标转换到另一幅图像上去。
其中,透射投影变换矩阵(又称单应性矩阵)H是个3X3的方阵,由于缩放操作不会对投影产生影响,所以H的自由度为8,且一对匹配特征点对可以构造两个方程,因此解出H的所有值至少需要4对匹配特征点对。
然而仅仅通过4对匹配特征点对计算得到的H,其精度非常低,往往会产生重影效果。重影效果是由于两幅图片在该对准的地方没有精确对准而产生的一种现象。
因此,为了避免该现象的出现,就需要使用更多的匹配特征点对来提高变换矩阵H的精度。在特征点数量不多的情况下,发明人将目光从点转移到线上,欲利用图像内的特征线段来提供更多的特征信息,从而提高H的精度,改善拼接质量。
而在图像特征线段的计算中,对于图像特征线段,有两步重要的工作。一是对图像中的特征线段进行提取;二是对提取到的两幅图像的特征线段进行匹配。只有在特征线段匹配正确的情况下,才能够通过与上述特征点的结合来提高透射投影变换矩阵的精度。
其中,对于图像中的特征线段的提取,通常是使用EDLine等算法高效快速的完成。且目前该方面算法已经有了非常高的提取效果和准确度,并且速度也接近实时运算。
但是目前的技术,在特征线段匹配过程中,尽管基于表观的线段描述符(MSLD等算法方案)在亮度变化、旋转和噪音的影响下都能产生令人满意的匹配结果,却无法应对尺寸变换或透视变换。这是由于这些线段特征描述符会采集固定宽度的线段支持区域(简称为LSR),从而导致了这些方法对尺度有着极高的敏感度,无法完成带有缩放图像的线段的匹配。(参见图1源图像和目标图像的LSR,从中可以看到,一旦两张图片存在尺度上的差异,对应线段生成的LSR大小就会有所差异,从而导致从该LSR中提取的描述符无法相互匹配)。
基于这个问题,本发明提供了一种引导性线段匹配方法来完成对带有尺度图像的线段匹配任务。现以一具体实施例对此予以详细说明之,但不用于限制本发明的保护范围。
在本发明的给具体实施例中,首先将摄像头采集的图像进行镜头畸变矫正几做过图像增强预处理后,进行图像配准,其第一步就是提取图像中的特征点,生成特征点的描述符;在该具体实施例中,本发明计算图像特征点采用最具代表性的方法尺度不变的特征变换(Scale-Invariant Feature Transform,SIFT)。该方法得到的特征点对缩放和旋转变换有着低敏感度,在匹配操作上有着非常好的准确率和稳定性。SIFT方法中,通过构建图像金字塔来寻找到特征点,再利用特征点周围的像素梯度来构建该特征点的描述符(描述符是用来描述图像中某个特征而生成的数据信息),从而进行图像间特征点的匹配,生成匹配点对。
而计算得到了相互匹配的特征点对并生成匹配点对之后,我们就可以进入下一步:通过匹配点对计算图像间的透射投影变换矩阵。
该步骤是用这些特征点计算图像之间的透射投影变换矩阵,从而把一幅图像的像素坐标转换到另一幅图像上去。所谓的透射投影变换矩阵(又称单应性矩阵)H是个3X3的方阵,由于缩放操作不会对投影产生影响,所以H的自由度为8,且一对匹配特征点对可以构造两个方程,因此解出H的所有值至少需要4对匹配特征点对。为了避免因仅仅通过4对匹配特征点对计算得到的H,导致的其精度非常低,而会产生重影效果。在本具体实施例中,增加了图像特征线段的计算步骤,以便利用图像内的特征线段来提供更多的特征信息,从而提高H的精度,进而改善拼接质量,该图像特征线段计算主要是包含特征线段的提取与匹配。
一、对图像中的特征线段进行提取;
可使用EDLine等现有算法实时进行。
二、提取到的两幅图像的特征线段进行匹配;
在该具体实施例中,提供了一种引导性线段匹配方法来完成对带有尺度图像的线段匹配任务。
首先提供两张待拼接的图像(源图像和目标图像),对源图像直接生成LSR,得到Ωs。对于目标图像,先使用前述的通过4对匹配特征点对计算得到的H-1将目标图像反投影到源图像平面中,并计算这时线段的LSR:
Figure BDA0002093473520000091
再用H对/>
Figure BDA0002093473520000092
进行正投影,得到最终的目标图像线段的LSR:Ω't;这时该LSR由于经过H的投影变换,从而变为类似梯形的形状,如图2所示,为通过H矩阵变换得到的LSR示意图。因为通过匹配的特征点对计算出来的初始的H已经能近似的提供两幅图片的尺度变换关系,所以变换后的LSR对于尺度的敏感性就极大地降低。一旦LSR确定,就可以使用MSLD算法基于表观生成描述符。
为了减少H的预估偏差,可以通过迭代来寻找最优的H数值;具体过程如下:
S1开始;
S2通过计算p’=Hp初始化H;
S3用H-1将目标图像线段l’反投影为l*;
S4计算l*的LSR:
Figure BDA0002093473520000093
S5用H将
Figure BDA0002093473520000094
变换为Ω′t
S6在Ωs和Ω't中,分别提取对应线段l和l’的描述向量;
S7利用描述向量计算匹配的线段对;
S8用新得到的对应关系更新H的数值;
S9判断匹配点对(p,p’)和匹配线段对(l,l’)是否改变,如果是返回步骤S3,若否则结束。
请参见图3、4,为本发明的具体实施例中,普通线段匹配算法结果图和引导性线段匹配方法结果图,从图3和图4的对比上能看出,通过引导性线段匹配方法,能很大程度上的减弱尺寸带来的影响,大幅度的提高线段匹配的正确率。
而在更新H的时候,可使用最小二乘法,通过求取最小残差来得到H的最优解。
对于2维的一个点,使用齐次坐标p:[x,y,1]T来参数化表示;对于2维的线段,目标图像使用经典直线方程来参数化l:[a,b,c]T(l:ax+by+c=0)。源图像则使用线段的两个端点来参数化l:(p0,p1)。这样经过变换矩阵H转换后的线段
Figure BDA0002093473520000101
其端点为/>
Figure BDA0002093473520000102
Figure BDA0002093473520000103
这样就将转换后的线段/>
Figure BDA0002093473520000104
到目标图像线段l'的距离定义为转换后的两端点/>
Figure BDA0002093473520000105
Figure BDA0002093473520000106
到l'的距离的平方和再开平方根,即
Figure BDA0002093473520000107
其中,
Figure BDA0002093473520000108
为点/>
Figure BDA0002093473520000109
到线段l'的距离。然后通过合并特征点和特征线段来计算残差最小时的H;
Figure BDA00020934735200001010
其中,
Figure BDA00020934735200001011
i,j分别为特征点和特征线段的索引;
请参见图5,是通过用点到线的距离来表示两线段间距离的示意图。
另外,为了提高鲁棒性,可以通过RANSAC(随机采样一致性)算法来剔除掉图像的外点(外点由RANSAC算法计算得到,定义为图像中会劣化透射投影矩阵H的特征),用剩下的内点(即能提高H精确度的特征)再优化H,来提高配准精度。同时在RANSAC算法的计算中,两点之间的拟合误差通过欧氏距离
Figure BDA00020934735200001012
计算,线段之间的拟合误差通过线段距离/>
Figure BDA00020934735200001013
计算。
综上所述,在结合了特征线段之后,就能在有限的特征点数量下,提高单应性矩阵H的精度,从而改善图像拼接时配准的正确率,减轻重影等不良现象。最终让重叠区域不佳,特征点不足的图片也能更好的拼接到一起。
以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解,依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种解决特征点不足的图像拼接优化方法,其包含步骤:
1)提取图像中的特征点,生成特征点的描述符;
2)利用描述符进行图像间特征点的匹配,生成匹配点对;
3)通过匹配点对计算图像间的透射投影变换矩阵;
4)依靠透射投影变换矩阵将图像拼接到一起;
其特征在于,在步骤3)中,是用步骤2)生成的特征点计算图像之间的透射投影变换矩阵,从而把一幅图像的像素坐标转换到另一幅图像上去,所述的透射投影变换矩阵H是个3X3的方阵,由于缩放操作不会对投影产生影响,所以H的自由度为8,且一对匹配特征点对可以构造两个方程,因此解出H的所有值至少需要4对匹配特征点对,另外,该步骤还包含图像特征线段的计算步骤,以利用图像内的特征线段来提供更多的特征信息提高H的精度;该图像特征线段的计算步骤包括:
一、对图像中的特征线段进行提取;
二、提取到的两幅图像的特征线段进行匹配;
在该步骤中,是采用一种引导性线段匹配方法来完成对带有尺度图像的线段匹配任务;
所述的引导性线段匹配方法为:
首先提供两张待拼接的图像:源图像和目标图像,对源图像直接生成LSR,即通过生成线段支持域而得到源图像的线段支持域:Ωs;对于目标图像,利用步骤3)所述的通过4对匹配特征点对计算得到的H-1将目标图像反投影到源图像平面中,并计算这时线段的目标图像经过反投影后图像的线段支持域,即LSR而得到:
Figure FDA0004005688560000011
其中/>
Figure FDA0004005688560000012
为目标图像经过反投影后图像的线段支持域;再用H对/>
Figure FDA0004005688560000013
进行正投影,得到最终的目标图像线段的LSR:Ω't,即Ω't为经过正投影后的线段支持域。
2.根据权利要求1所述的一种解决特征点不足的图像拼接优化方法,其特征在于:是通过迭代来寻找最优的H数值减少H的预估偏差;所属迭代具体过程如下:
S1开始;
S2通过计算p’=Hp初始化H;
S3用H-1将目标图像线段l’反投影为l*;
S4计算l*的LSR:
Figure FDA0004005688560000021
S5用H将
Figure FDA0004005688560000022
变换为Ω′t
S6在Ωs和Ω't中,分别提取对应线段l和l’的描述向量;
S7利用描述向量计算匹配的线段对;
S8用新得到的对应关系更新H的数值;
S9判断匹配点对(p,p’)和匹配线段对(l,l’)是否改变,如果是返回步骤S3,若否则结束。
3.根据权利要求1所述的一种解决特征点不足的图像拼接优化方法,其特征在于:在更新H的时候,是使用最小二乘法,通过求取最小残差来得到H的最优解。
4.根据权利要求3所述的一种解决特征点不足的图像拼接优化方法,其特征在于,该最小二乘法步骤为:
对于2维的一个点,使用齐次坐标p:[x,y,1]T来参数化表示;对于2维的线段,目标图像使用经典直线方程来参数化l:[a,b,c]T(l:ax+by+c=0);源图像则使用线段的两个端点来参数化l:(p0,p1);这样经过变换矩阵H转换后的线段
Figure FDA0004005688560000023
其端点为/>
Figure FDA0004005688560000024
Figure FDA0004005688560000025
这样就将转换后的线段/>
Figure FDA0004005688560000026
到目标图像线段l'的距离定义为转换后的两端点/>
Figure FDA0004005688560000027
Figure FDA0004005688560000028
到l'的距离的平方和再开平方根,即
Figure FDA0004005688560000031
其中,
Figure FDA0004005688560000032
l'=[a',b',c']T,/>
Figure FDA0004005688560000033
为点/>
Figure FDA0004005688560000034
到线段l'的距离;然后通过合并特征点和特征线段来计算残差最小时的H;
Figure FDA0004005688560000035
其中,
Figure FDA0004005688560000036
i,j分别为特征点和特征线段的索引,p:[x,y,1]T为图像像素的齐次坐标、x和y为横纵坐标值,a、b、c分别对应x系数、y系数和常量项,l:(p0,p1)是利用线段两端点表达线段,p0,p1为该线段两端点,/>
Figure FDA0004005688560000037
为线段端点的齐次坐标,/>
Figure FDA0004005688560000038
为横纵坐标,l'=[a',b',c']T为图像线段的参数化表示,a'、b'、c'分别对应x系数、y系数和常量项,/>
Figure FDA0004005688560000039
中的/>
Figure FDA00040056885600000310
为源图像线段端点经过投影后的点,l'为目标图像的线段,p'i为目标图像的特征点,l'j为目标图像的特征线段。
5.根据权利要求1所述的一种解决特征点不足的图像拼接优化方法,其特征在于:还包含一通过RANSAC算法来剔除掉图像的外点步骤,用剩下的内点再优化H,以提高配准精度。
6.根据权利要求4所述的一种解决特征点不足的图像拼接优化方法,其特征在于:在RANSAC算法的计算中,两点之间的拟合误差是通过欧氏距离
Figure FDA00040056885600000311
计算,线段之间的拟合误差是通过线段距离/>
Figure FDA00040056885600000312
计算,其中,/>
Figure FDA00040056885600000313
的/>
Figure FDA00040056885600000314
为源图像经过投影后的点,p'为目标图像对应的点,/>
Figure FDA0004005688560000041
中的
Figure FDA0004005688560000042
为源图像投影后的线段,l'为目标图像对应的线段。
7.根据权利要求1所述的一种解决特征点不足的图像拼接优化方法,其特征在于:在步骤1)及2)中是采用尺度不变的特征变换的方法计算图像特征点。
CN201910511014.2A 2019-06-13 2019-06-13 一种解决特征点不足的图像拼接优化方法 Active CN110232656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910511014.2A CN110232656B (zh) 2019-06-13 2019-06-13 一种解决特征点不足的图像拼接优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910511014.2A CN110232656B (zh) 2019-06-13 2019-06-13 一种解决特征点不足的图像拼接优化方法

Publications (2)

Publication Number Publication Date
CN110232656A CN110232656A (zh) 2019-09-13
CN110232656B true CN110232656B (zh) 2023-03-28

Family

ID=67859783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910511014.2A Active CN110232656B (zh) 2019-06-13 2019-06-13 一种解决特征点不足的图像拼接优化方法

Country Status (1)

Country Link
CN (1) CN110232656B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016086754A1 (zh) * 2014-12-03 2016-06-09 中国矿业大学 一种大场景视频图像拼接方法
CN108460727A (zh) * 2018-03-28 2018-08-28 中南大学 一种基于投影几何与sift特征的图像拼接方法
CN109308715A (zh) * 2018-09-19 2019-02-05 电子科技大学 一种基于点特征和线特征结合的光学图像配准方法
WO2019047284A1 (zh) * 2017-09-05 2019-03-14 平安科技(深圳)有限公司 特征提取、全景拼接方法及其装置、设备、可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016086754A1 (zh) * 2014-12-03 2016-06-09 中国矿业大学 一种大场景视频图像拼接方法
WO2019047284A1 (zh) * 2017-09-05 2019-03-14 平安科技(深圳)有限公司 特征提取、全景拼接方法及其装置、设备、可读存储介质
CN108460727A (zh) * 2018-03-28 2018-08-28 中南大学 一种基于投影几何与sift特征的图像拼接方法
CN109308715A (zh) * 2018-09-19 2019-02-05 电子科技大学 一种基于点特征和线特征结合的光学图像配准方法

Also Published As

Publication number Publication date
CN110232656A (zh) 2019-09-13

Similar Documents

Publication Publication Date Title
CN111145238B (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
CN105245841B (zh) 一种基于cuda的全景视频监控系统
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP4371130B2 (ja) 画像のセットから合成画像を生成するための方法
EP2383699B1 (en) Method for estimating a pose of an articulated object model
CN105005964B (zh) 基于视频序列影像的地理场景全景图快速生成方法
US8131113B1 (en) Method and apparatus for estimating rotation, focal lengths and radial distortion in panoramic image stitching
CN110111250B (zh) 一种鲁棒的自动全景无人机图像拼接方法及装置
CN108171735B (zh) 基于深度学习的十亿像素视频对齐方法及系统
CN107767339B (zh) 一种双目立体图像拼接方法
CN108257089B (zh) 一种基于迭代最近点的大视场视频全景图拼接的方法
WO2021136386A1 (zh) 数据处理方法、终端和服务器
CN103902953B (zh) 一种屏幕检测系统及方法
CN105023260A (zh) 一种全景图像融合方法及融合装置
CN104392416A (zh) 一种运动场景的视频拼接方法
Lin et al. Cylindrical panoramic image stitching method based on multi-cameras
CN110246161B (zh) 一种360度全景图像无缝拼接的方法
KR100996897B1 (ko) 직선 핏팅에 의한 광각렌즈의 원주방향의 왜곡영상 보정 방법
CN110322485A (zh) 一种异构多相机成像系统的快速图像配准方法
CN106485751A (zh) 应用于基桩检测中的无人机摄影成像及数据处理方法及系统
Lo et al. Image stitching for dual fisheye cameras
Bastanlar et al. Multi-view structure-from-motion for hybrid camera scenarios
CN112862683A (zh) 一种基于弹性配准和网格优化的邻接图像拼接方法
CN113793266A (zh) 一种多目机器视觉图像拼接方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 409a, building 1, No. 333, Hongqiao Road, Xuhui District, Shanghai 200030

Applicant after: Shanghai Beiken Intelligent Technology Co.,Ltd.

Address before: Room 409a, building 1, No. 333, Hongqiao Road, Xuhui District, Shanghai 200030

Applicant before: SHANGHAI BEIKEN ELECTROMECHANICAL TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant