CN106355550A - 图像拼接系统和图像拼接方法 - Google Patents

图像拼接系统和图像拼接方法 Download PDF

Info

Publication number
CN106355550A
CN106355550A CN201610942446.5A CN201610942446A CN106355550A CN 106355550 A CN106355550 A CN 106355550A CN 201610942446 A CN201610942446 A CN 201610942446A CN 106355550 A CN106355550 A CN 106355550A
Authority
CN
China
Prior art keywords
image
matching characteristic
characteristic point
spliced
reference picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610942446.5A
Other languages
English (en)
Other versions
CN106355550B (zh
Inventor
王韵秋
马志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Dinglian Technology Co ltd
Original Assignee
Micro World (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micro World (beijing) Technology Co Ltd filed Critical Micro World (beijing) Technology Co Ltd
Priority to CN201610942446.5A priority Critical patent/CN106355550B/zh
Publication of CN106355550A publication Critical patent/CN106355550A/zh
Application granted granted Critical
Publication of CN106355550B publication Critical patent/CN106355550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种图像拼接方法和一种图像拼接系统。所述方法包括:由多个图像采集设备分别获取与多个场景点对应的多个图像,与每个场景点对应的图像包括参考图像和待拼接图像,所述参考图像与所述待拼接图像具有重叠区域;将所述参考图像和所述待拼接图像分别进行第一重映射;提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对;利用第二重映射从粗匹配特征点对中获取细匹配特征点对;利用所述细匹配特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵;以及根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接,得到拼接图像。

Description

图像拼接系统和图像拼接方法
技术领域
本发明实施例涉及图像处理领域,尤其涉及一种图像拼接系统和一种图像拼接方法。
背景技术
全景图像具有越来越广泛的应用场景。传统地,需要将多个图像采集设备所采集的多个图像进行拼接来形成全景图像。通常的拼接方法包括从集中采集的图像中选择特定场景点,针对与该场景点对应的多个图像提取图像特征,并利用提取的图像特征进行图像配准、图像融合等步骤,最终得到全景图像。传统的拼接方法通过提取图像重叠部分的特征点对多个采集设备进行内、外参数的校正,并将数据存入模板用于重映射图像继而融合成为全景图片。这种特征点的提取和匹配方法忽略了对特征点的精密匹配和过滤,从而影响拼接结果。
因此,需要提供一种图像拼接系统和图像拼接方法来克服或缓解上述技术问题。
发明内容
根据本发明实施例的一个方面,提供了一种图像拼接方法,可以包括:由多个图像采集设备分别获取与多个场景点对应的多个图像,与每个场景点对应的图像包括参考图像和待拼接图像,所述参考图像与所述待拼接图像具有重叠区域;将所述参考图像和所述待拼接图像分别进行第一重映射;提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对;利用第二重映射从粗匹配特征点对中获取细匹配特征点对;利用所述细匹配特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵;以及根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接,得到拼接图像。
优选地,所述将所述参考图像和所述待拼接图像分别进行第一重映射包括:利用等距圆柱投影分别对参考图像和待拼接图像进行第一重映射,得到对应的等距圆柱投影图像,分别作为重映射的参考图像和重映射的待拼接图像。
优选地,等距圆柱投影中的点X’1(x_dst1,y_dst1)与对应原始图像中的X1(x_src1,y_srcl)满足:
θ=π/2-y_dstl,
其中,是在等距圆柱投影中与横坐标对应的经度弧度,θ是与纵坐标对应的纬度弧度;
其中,s=sin(θ),v1=cos(θ),分别是图像采集设备固有的鱼眼球面投影模型的经度和纬度;r1=sqrt(v0 2+v1 2),r1是投影到球面中的半径;且x_src1=θ0*v0/r1;y_src1=θ0*v1/r1。
优选地,所述利用第二重映射从粗匹配特征点对中获取细匹配特征点对包括:利用平面投影对粗匹配特征点对的坐标进行第二重映射;以及获取粗匹配特征点对中符合单应性的特征点对作为细匹配特征点对。
优选地,利用平面投影对粗匹配特征点对的坐标进行第二重映射包括:将粗匹配特征点对映射回图像采集设备固有的鱼眼球面投影模型中,得到粗匹配特征点对在所述鱼眼球面投影模型中的坐标;将鱼眼球面投影模型中的坐标映射到平面投影模型中;以及将鱼眼球面投影模型的坐标到平面投影模型的映射符合单应性的特征点对确定为细匹配特征点对。
优选地,利用以下将鱼眼球面投影模型中的坐标X2(x_src2,y_src2)投影为平面投影模型中的点X’2(x_dst2,y_dst2):
r2=sprt(OpticalX-x_dst2)2+(OpticalY-y_dst2)2
r2为平面投影模型中点到图像光心点的半径,(OpticalX,OpticalY)表示图像光心点的坐标,
ω = 0 , r 2 = 0 ω = a tan 2 ( r 2 , 1 ) / r 2 , r 2 ≠ 0
ω是对应到鱼眼球面投影模型中的弧度,
x_src 2=ω*(OpticalX-x_dst2)+OpticalX
y_src 2=ω*(OpticalY-y_dst2)+OpticalY。
根据本发明实施例的另一方面,提供了一种图像拼接系统,可以包括:多个图像采集设备,所述多个图像采集设备相对于彼此的位置和取景方向不变,所述多个图像采集设备分别获取与多个场景点对应的多个图像,所述图像包括参考图像和待拼接图像,所述参考图像与所述待拼接图像具有重叠区域;控制器,配置为将所述参考图像和所述待拼接图像分别进行第一重映射;提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对;利用第二重映射从粗匹配特征点对中获取细匹配特征点对;利用所述细匹配特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵;以及根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接,得到拼接图像。
根据本发明的另一方面,还提供了一种图像拼接系统,包括:底座;被设置在底座上的多个图像采集设备,其中所述多个图像采集设备相对于彼此的位置和取景方向不变,所述多个图像采集设备分别获取与多个场景点对应的多个图像,所述图像包括参考图像和待拼接图像,所述参考图像与所述待拼接图像具有重叠区域;以及控制器,接收来自多个图像采集设备的多个图像,将所述参考图像和所述待拼接图像分别进行第一重映射;提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对;利用第二重映射从粗匹配特征点对中获取细匹配特征点对;利用所述细匹配特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵;以及根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接,得到拼接图像。
根据本发明实施例,针对多个图像采集设备的位置、取景方向固定的情况,采取静态拼接的方式,利用所获取图像的投影的几何性质,对原始图像集合的特征点进行提取和匹配,得到准确的控制点对,从而改善图像拼接质量。
附图说明
通过参考附图更加清楚地理解本发明实施例的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:
图1示出了根据本发明实施例的图像拼接方法的流程图;
图2示出了根据本发明实施例的等距圆柱投影的效果示意图;
图3示出了根据本发明实施例的细特征点对提取的流程图;
图4示出了根据本发明实施例的图像拼接系统的示意方框图;以及
图5示出了根据本发明另一实施例的图像拼接系统的示意方框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明实施例进一步详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
例如全景相机的图像采集设备可以对某一场景点同时拍摄具有重叠区域的多个图像,并通过一系列图像处理方法拼接得到360度全方位实景图像。传统的拼接方法可以分为动态拼接和静态拼接两种,其中,动态拼接针对每次获取的图像,提取并匹配特征点,估算具有重叠区域的两个图像的相对旋转矩阵和偏移矩阵,即相对的取景方向和位移,来对图片进行变形从而拼接融合。在多个图像采集设备的位置和取景方向固定的情况下,多个采集设备之间的相对姿态、位置是固定不变的,即获取的图像间满足固定的三维转换关系。针对这种情况,静态拼接在使用图像采集设备获取图像之前,对多个已有图像数据进行采样,提取匹配特征点,估算图像采集设备之间的相对位置和旋转关系并记录在模板中。在图像拼接过程中,直接读取模板中的数据信息对图像进行变形、融合,成为全景图像。特征点的选择在拼接处理中起到关键作用。
为此,本申请提出了一种图像拼接方法和图像拼接系统,可以用于电子全景地图、虚拟旅游等领域,当然,本申请的应用并不局限于此。
图1示出了根据本发明实施例的图像拼接方法的流程图。应注意,以下方法中各个步骤的序号仅作为该步骤的表示以便描述,而不应被看作表示该各个步骤的执行顺序。除非明确指出,否则该方法不需要完全按照所示顺序来执行;类似地,可以平行地执行多种块,而非顺序执行。还应理解,同样可以在多种设备上实现所述方法。如图1所示,根据本发明实施例的图像拼接方法10可以包括以下步骤。
在步骤S11,由多个图像采集设备分别获取与多个场景点对应的多个图像,与每个场景点对应的图像包括参考图像和待拼接图像,所述参考图像与所述待拼接图像具有重叠区域。
多个图像采集设备可以固定在一个底座上,因此图像采集设备之间的相对位置是固定的。同时,在进行图像采集时,每个图像采集设备的取景方向也是固定的。参考图像与待拼接图像由取景方向不同的图像采集设备所采集,同一场景点对应的图像可以是取景方向不同的图像采集设备(可以包括相机、图像传感器等)在同一拍摄点对同一场景的所采集的图像。图像采集设备例如可以为多个相机,将该多个相机的镜头朝向不同方向即可实现不同取景方向的图像采集。由取景方向不同的图像采集设备所获取的多幅图像之间具有一个共同的特点,就是取景方向相邻的图像采集设备(相邻的相机)所采集的两幅图像(以下简称相邻图像)之间至少有一部分是重叠的,也就是具有重叠区域。优选的,相邻图像之间重叠比例可以在30%-50%之间。以将每两幅相邻图像中的一幅图像为参考图像,而另一幅图像为待拼接图像,也可以根据不同的拼接策略进行定义,例如可以定义一幅参考图像,多幅待拼接图像等,本发明实施例并不局限于此。
接下来,在步骤S13,分别对参考图像和待拼接图像进行第一重映射。第一重映射可以包括等距圆柱投影(Equirectangular Projection)。分别对参考图像和待拼接图像进行第一重映射,得到对应的等距圆柱投影坐标集,分别作为重映射的参考图像和重映射的待拼接图像。
通常,例如全景相机的图像采集设备使用鱼眼镜头。利用鱼眼镜头获取的图像存在较大畸变,这种畸变可能会导致角点的变形,影响角点信息的提取。因此,根据本发明实施例,可以使用等距圆柱投影来还原可能被畸变的图像特征。重映射是指将图像中的一个像素的位置通过变换矩阵定位到另外一个图像中的对应位置。等距圆柱投影将图像或真实场景投影到一个以视点为中心的圆柱面上,其中,圆柱面经度映射到图像水平坐标、纬度映射到垂直坐标,而且每个像素点到视点的深度相同。
根据本发明实施例,可以使用以下公式(1)来实现原始参考图像和待拼接图像的等距圆柱投影。图2A示出了原始图像的示例,图2B示出了利用本发明实施例的等距圆柱投影得到的重映射图像。
等距圆柱投影中的点X’1(x_dst1,y_dstl)与对应原始图像(鱼眼图像)中的X1(x_src1,y_srcl)可满足关系:
θ=π/2-y_dst1,
其中,是在等距圆柱投影中与横坐标对应的经度弧度,θ是与纵坐标对应的纬度弧度,
s=sin(θ),
v1=cos(θ),分别是图像采集设备固有的鱼眼球面投影模型(即,原始图像坐标系)的球面的经度和纬度;
r1=sqrt(v0 2+v1 2),r1是投影到球面中的半径;
x_src1=θ0*v0/r1,
y_src1=θ0*v1/r1。
等距圆柱投影是全景图像中的经典模型,造成的畸变小,保留了图像中角点信息和细节信息。
接下来,在步骤S15,提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对。
步骤S15可以包括:提取重映射的参考图像和重映射的待拼接图像之间的特征,然后粗匹配得到特征点对。特征点可以是一幅图像中灰度在水平和垂直方向都有显著变化的特殊点,例如角点,也可以是图像中具有复杂纹理特征的特殊点。特征点的提取可以采用基于灰度图像的特征点检测法、基于二值图像的特征点检测法、或基于模板和基于模板梯度组合等方法。例如可以采用suSAN角点检测算法、Morave角点检测算法、和Harris角点检测等算法对参考图像与待拼接图像分别进行特征点提取的处理。当然,本领域的技术人员也可以采用其他的特征点提取方法,本发明实施例并不局限于此。
根据本发明实施例,针对重映射得到的图像进行特征点提取。对于提取出的每个场景点对应的参考图像以及待拼接图像的特征点对,建立参考图像与待拼接图像中特征点的相互关联,从而得到粗匹配特征点对,即由于参考图像和待拼接图像中的关联特征点构成的粗匹配特征点对。可以通过对比两组特征点的特征距离来粗略匹配特征点对信息。可以使用例如对比特征距离、RANSAC(Random Sample Consensus)等传统方法得到粗匹配特征点对。
在步骤S17,利用第二重映射从粗匹配特征点对中获取细匹配特征点对。
第二重映射可以包括平面投影(Rectilinear Projection)。例如,如图3所示,步骤S17可以包括以下步骤。
在步骤S171,将步骤S15中获取的粗匹配特征点对映射到图像采集设备固有的鱼眼球面投影模型(即,原始图像坐标系)中,得到粗匹配特征点对在鱼眼球面投影模型中的坐标。
然后,在步骤S173,将鱼眼球面投影模型中的坐标映射到平面投影模型中。
例如,可以利用以下公式(2)将鱼眼球面投影模型中的坐标到平面投影模型中。
假定平面投影模型中的点X’2(x_dst2,y_dst2)对应到鱼眼球面投影模型中的点X2(x_src2,y_src2),则满足
r2=sprt(OpticalX-x_dst2)2+(OpticalY-y_dst2)2
r2为平面投影模型中点到图像光心点的半径,(OpticalX,OpticalY)是图像光心点的坐标。
ω是对应到鱼眼投影模型中的弧度,
x_src 2=ω*(OpticalX-x_dst2)+OpticalX,y_src 2=ω*(OpticalY-y_dst2)+OpticalY。
然后,在步骤S175,确定步骤S173中的映射是否满足单应性。如果满足单应性,则执行步骤S177,保留对应特征点对,否则执行步骤S179,去除对应特征点对。
单应性(homography)是指同一空间中的任意两个平面图像可以通过关系矩阵关联在一起,满足这种关系矩阵就是单应性矩阵。平面投影是将场景投影到一个垂直平面上。可以近似将参考图像的平面投影和待拼接图像的平面投影作为空间中两个平面,重映射的特征点对应是近似满足单应性的。可以先选择数个特征点对来估计单应性矩阵,然后逐渐加入更多特征点对并利用RANSAC来提高单应性矩阵的准确率,由此来估算关系矩阵。不满足关系矩阵的特征点对将被删除。当然,本领域技术人员可以使用本领域常见的其他方法来从粗匹配特征点对中删除不满足单应性的特征点对,从而得到细匹配特征点对。
由于平面投影模型满足同一空间内平面的单应性,可以建立起图像之间的关系,即使在图像有位移的情况下,也可以近似将参考图像和待拼接图像的平面投影满足这一关系来过滤错误的特征点对。
接下来,在步骤S18,利用在步骤S17得到的细匹配特征点对来估计多个图像采集设备之间的旋转矩阵和偏移矩阵。
在图像采集过程中,图像的状态由图像采集设备的姿态所决定,一般来说,图像采集设备的姿态可以包括:平移、俯仰、滚转、偏航。每个图像采集设备在三维空间中都有六个自由度,这六个自由度中包括可实现平移的X、Y、Z三个自由度。图像采集设备在三维空间中还可以进行三个角度的旋转,偏航是指图像采集设备围绕Y轴进行的旋转,俯仰是指图像采集设备围绕X轴进行的旋转,滚转是指图像采集设备围绕Z轴进行的旋转。图像采集设备的姿态不同,导致各自所采集的图像之间存在空间上的很大差异,尤其是相互之间有重叠部分的两幅图像。利用所述多个场景点对应的图像的特征点对可以估计出在不同取景方向的图像采集设备之间的俯仰、滚转、偏航的旋转矩阵以及平移矩阵,也就是对图像采集设备的外参进行估计。具体的估计方法例如可以采用Levenberg-Marquardt算法,基于多个场景点对应的图像的特征点对来得到不同取景方向的图像采集设备之间的俯仰、滚转、偏航的旋转矩阵,以及平移矩阵。
根据本发明实施例,多个图像采集设备之间相对位置和取景方向是固定的。当任意一个图像采集设备的平移或旋转矩阵改变时,都可以通过相应调整其他图像采集设备的平移或旋转矩阵来保持这种相对位置关系。可以设想多个图像采集设备是固定在单个例如圆形底座上的多个相机。
接下来,在步骤S19,根据在步骤S18得到的旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接,得到拼接图像。
具体地,步骤S19可以包括:根据所述旋转矩阵和偏移矩阵将每个场景点对应的参考图像和待拼接图像进行第三重映射;以及将与每个场景点对应的经过重映射的待拼接图像与参考图像进行融合,得到拼接图像。
第三重映射是指根据所述旋转矩阵以及偏移矩阵将待拼接图像转换到参考图像的坐标系,完成统一坐标变换。进一步的,还可以在将每个场景点对应的参考图像以及待拼接图像进行重映射前,对取景方向不同的图像采集设备的内参进行标定,利用图像采集设备的内参对参考图像以及待拼接图像进行校正,然后再将校正过的参考图像以及待拼接图像根据取景方向不同的图像采集设备之间的旋转矩阵以及偏移矩阵(即,图像采集设备的外参)进行第三重映射,这样可以消除由图像采集设备的内参所造成的误差,进一步提高图像拼接的质量。图像采集设备的内参可以包括图像采集设备中的镜头的光学畸变以及镜头的焦距。图像融合就是将经过重映射后的参考图像与待拼接图像根据对应关系合并为一幅图像。可以采用例如Szeliski加权平均法等算法对图像进行融合。当然,本领域的技术人员也可以采用其他的算法(例如不同频率的融合等)对图像进行融合,本发明实施例并不局限于此。可以理解,在进行图像融合之前还可以包括曝光调整、图像最优拼缝寻找等步骤,本发明实施例并不局限于此。
图4示出了根据本发明实施例的图像拼接系统的示意方框图。如图4所示,根据本发明实施例的一种图像拼接系统40可以包括:多个图像采集设备401-1至401-N,所述多个图像采集设备相对于彼此的位置和取景方向不变,所述多个图像采集设备分别获取与多个场景点对应的多个图像,所述图像包括参考图像和待拼接图像,所述参考图像与所述待拼接图像具有重叠区域;以及控制器403,配置为将所述参考图像和所述待拼接图像分别进行第一重映射;提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对;利用第二重映射从粗匹配特征点对中获取细匹配特征点对;利用所述细匹配特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵;以及根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接,得到拼接图像。
图5示出了根据本发明另一实施例的图像拼接系统的示意方框图。如图5所示,根据本发明实施例的一种图像拼接系统50可以包括:底座505;被设置在底座505上的多个图像采集设备501-1至501-N,其中所述多个图像采集设备相对于彼此的位置和取景方向不变,所述多个图像采集设备分别获取与多个场景点对应的多个图像,所述图像包括参考图像和待拼接图像,所述参考图像与所述待拼接图像具有重叠区域;以及控制器503,接收来自多个图像采集设备的多个图像,将所述参考图像和所述待拼接图像分别进行第一重映射;提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对;利用第二重映射从粗匹配特征点对中获取细匹配特征点对;利用所述细匹配特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵;以及根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接,得到拼接图像。
以上按照控制器、图像采集设备等为分立元件的形式对图像拼接系统进行了描述。本领域技术人员可以理解,本发明实施例并不局限于此。当然可以将控制器集成到图像采集设备中。
本发明实施例针对多个图像采集设备的位置、取景方向固定的情况,采取静态拼接的方式,利用所获取图像的投影的几何性质,将所述参考图像和所述待拼接图像分别映射到等距圆柱投影模型中,提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对,并利用平面投影重映射从粗匹配特征点对中获取细匹配特征点对,得到准确的控制点对,从而改善图像拼接质量。
在以上实施例中,本领域技术人员应该理解,控制设备中的第一控制器以及智能设备中的第二控制器可以按照各种方式实现。通过使用方框图、流程图和/或示例,已经阐述了设备和/或工艺的众多实施例。在这种方框图、流程图和/或示例包含一个或多个功能和/或操作的情况下,本领域技术人员应理解,这种方框图、流程图或示例中的每一功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中,本公开所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而,本领域技术人员应认识到,这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中,实现为在一台或多台计算机上运行的一个或多个计算机程序(例如,实现为在一台或多台计算机系统上运行的一个或多个程序),实现为在一个或多个处理器上运行的一个或多个程序(例如,实现为在一个或多个微处理器上运行的一个或多个程序),实现为固件,或者实质上实现为上述方式的任意组合,并且本领域技术人员根据本公开,将具备设计电路和/或写入软件和/或固件代码的能力。此外,本领域技术人员将认识到,本公开所述主题的机制能够作为多种形式的程序产品进行分发,并且无论实际用来执行分发的信号承载介质的具体类型如何,本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于:可记录型介质,如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等;以及传输型介质,如数字和/或模拟通信介质(例如,光纤光缆、波导、有线通信链路、无线通信链路等)。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像拼接方法,包括:
由多个图像采集设备分别获取与多个场景点对应的多个图像,与每个场景点对应的图像包括参考图像和待拼接图像,所述参考图像与所述待拼接图像具有重叠区域;
将所述参考图像和所述待拼接图像分别进行第一重映射;
提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对;
利用第二重映射从粗匹配特征点对中获取细匹配特征点对;
利用所述细匹配特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵;以及
根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接,得到拼接图像。
2.根据权利要求1所述的方法,其中,所述将所述参考图像和所述待拼接图像分别进行第一重映射包括:
利用等距圆柱投影分别对参考图像和待拼接图像进行第一重映射,得到对应的等距圆柱投影图像,分别作为重映射的参考图像和重映射的待拼接图像。
3.根据权利要求2所述的方法,其中,等距圆柱投影中的点X’1(x_dst1,y_dst1)与对应原始图像中的X1(x_src1,y_src1)满足:
θ=π/2-y_dst1,
其中,是在等距圆柱投影中与横坐标对应的经度弧度,θ是与纵坐标对应的纬度弧度;
其中,s=sin(θ),v1=cos(θ),分别是图像采集设备固有的鱼眼球面投影模型的经度和纬度;r1=sqrt(v0 2+v1 2),r1是投影到球面中的半径;且x_src1=θ0*v0/r1;y_src1=θ0*v1/r1。
4.根据权利要求1-3之一所述的方法,其中,所述利用第二重映射从粗匹配特征点对中获取细匹配特征点对包括:
利用平面投影对粗匹配特征点对的坐标进行第二重映射;以及
获取粗匹配特征点对中符合单应性的特征点对作为细匹配特征点对。
5.根据权利要求4所述的方法,其中,利用平面投影对粗匹配特征点对的坐标进行第二重映射包括:
将粗匹配特征点对映射回图像采集设备固有的鱼眼球面投影模型中,得到粗匹配特征点对在所述鱼眼球面投影模型中的坐标;
将鱼眼球面投影模型中的坐标映射到平面投影模型中;以及
将鱼眼球面投影模型的坐标到平面投影模型的映射符合单应性的特征点对确定为细匹配特征点对。
6.根据权利要求5所述的方法,其中,利用以下将鱼眼球面投影模型中的坐标X2(x_src2,y_src2)投影为平面投影模型中的点X’2(x_dst2,y_dst2):
R2=sprt(OpticalX-x_dst2)2+(OpticalY-y_dst2)2
r2为平面投影模型中点到图像光心点的半径,(OpticalX,OpticalY)表示图像光心点的坐标,
ω = 0 , r 2 = 0 ω = a tan 2 ( r 2 , 1 ) / r 2 , r 2 ≠ 0
ω是对应到鱼眼球面投影模型中的弧度,
x_src 2=ω*(OpticalX-x_dst2)+OpticalX
y_src 2=ω*(OpticalY-y_dst2)+OpticalY。
7.一种图像拼接系统,包括:
多个图像采集设备,所述多个图像采集设备相对于彼此的位置和取景方向不变,所述多个图像采集设备分别获取与多个场景点对应的多个图像,所述图像包括参考图像和待拼接图像,所述参考图像与所述待拼接图像具有重叠区域;以及
控制器,配置为
将所述参考图像和所述待拼接图像分别进行第一重映射;
提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对;
利用第二重映射从粗匹配特征点对中获取细匹配特征点对;
利用所述细匹配特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵;以及
根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接,得到拼接图像。
8.根据权利要求7所述的系统,其中,所述控制器还配置为利用等距圆柱投影分别对参考图像和待拼接图像进行第一重映射,得到对应的等距圆柱投影图像,分别作为重映射的参考图像和重映射的待拼接图像。
9.根据权利要求7或8所述的系统,其中,所述控制器还配置为:
利用平面投影对粗匹配特征点对的坐标进行第二重映射;以及
获取粗匹配特征点对中符合单应性的特征点对作为细匹配特征点对。
10.根据权利要求9所述的系统,其中,所述控制器还配置为:
将粗匹配特征点对映射到图像采集设备固有的鱼眼球面投影模型中,得到粗匹配特征点对所述鱼眼球面投影模型中的坐标;
将鱼眼球面投影模型的坐标映射到平面投影模型中;以及
将鱼眼球面投影模型的坐标到平面投影模型的映射符合单应性的特征点对确定为细匹配特征点对。
CN201610942446.5A 2016-10-31 2016-10-31 图像拼接系统和图像拼接方法 Active CN106355550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610942446.5A CN106355550B (zh) 2016-10-31 2016-10-31 图像拼接系统和图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610942446.5A CN106355550B (zh) 2016-10-31 2016-10-31 图像拼接系统和图像拼接方法

Publications (2)

Publication Number Publication Date
CN106355550A true CN106355550A (zh) 2017-01-25
CN106355550B CN106355550B (zh) 2024-04-09

Family

ID=57864209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610942446.5A Active CN106355550B (zh) 2016-10-31 2016-10-31 图像拼接系统和图像拼接方法

Country Status (1)

Country Link
CN (1) CN106355550B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520202A (zh) * 2018-03-15 2018-09-11 华南理工大学 基于变分球面投影的对抗鲁棒性图像特征提取方法
CN108648141A (zh) * 2018-05-15 2018-10-12 浙江大华技术股份有限公司 一种图像拼接方法及装置
CN109917908A (zh) * 2019-02-01 2019-06-21 谷东科技有限公司 一种ar眼镜的图像获取方法及系统
CN109995993A (zh) * 2018-01-02 2019-07-09 广州亿航智能技术有限公司 飞行器及其拍摄控制方法、装置及终端系统
CN110276719A (zh) * 2018-03-14 2019-09-24 北京三快在线科技有限公司 一种全景图像的生成方法及装置、电子设备
CN110322507A (zh) * 2019-06-04 2019-10-11 东南大学 一种基于深度重投影和空间一致性特征匹配的方法
CN110717936A (zh) * 2019-10-15 2020-01-21 哈尔滨工业大学 一种基于相机姿态估计的图像拼接方法
CN111294515A (zh) * 2020-02-25 2020-06-16 维沃软件技术有限公司 一种图像获取方法及第一电子设备
WO2020135580A1 (zh) * 2018-12-29 2020-07-02 深圳看到科技有限公司 全景画面拼接方法、装置、终端及对应的存储介质
CN111597597A (zh) * 2020-05-11 2020-08-28 内蒙古京泰发电有限责任公司 一种pdms天圆地方结构体设备模型的创建方法
CN111982015A (zh) * 2020-08-18 2020-11-24 深圳大学 结构几何形态监测方法
CN113068006A (zh) * 2021-03-16 2021-07-02 珠海研果科技有限公司 图像呈现方法和装置
CN113344795A (zh) * 2021-08-05 2021-09-03 常州铭赛机器人科技股份有限公司 一种基于先验信息的快速图像拼接方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2161689A1 (en) * 2008-09-04 2010-03-10 Julian Mattes Registration and visualization of image structures based on confiners
CN102175221A (zh) * 2011-01-20 2011-09-07 上海杰图软件技术有限公司 基于鱼眼镜头的车载移动摄影测量系统
CN102982548A (zh) * 2012-12-11 2013-03-20 清华大学 多目立体视频采集系统及其相机参数标定方法
CN103150715A (zh) * 2013-03-13 2013-06-12 腾讯科技(深圳)有限公司 图像拼接处理方法及装置
US20140047367A1 (en) * 2012-08-09 2014-02-13 Sony Corporation Image processing apparatus, image processing method, and program
US20140049612A1 (en) * 2011-10-11 2014-02-20 Panasonic Corporation Image processing device, imaging device, and image processing method
CN103971353A (zh) * 2014-05-14 2014-08-06 大连理工大学 采用激光辅助大型锻件测量图像数据的拼接方法
US20140232818A1 (en) * 2013-02-19 2014-08-21 Disney Enterprises, Inc. Method and device for spherical resampling for video generation
CN104574339A (zh) * 2015-02-09 2015-04-29 上海安威士科技股份有限公司 一种用于视频监控的多尺度柱面投影全景图像生成方法
CN104881869A (zh) * 2015-05-15 2015-09-02 浙江大学 一种移动平台上的实时全景跟踪与拼接方法
CN105025287A (zh) * 2015-06-30 2015-11-04 南京师范大学 利用旋转拍摄的视频序列影像构建场景立体全景图的方法
US20160148375A1 (en) * 2014-11-21 2016-05-26 Samsung Electronics Co., Ltd. Method and Apparatus for Processing Medical Image
CN105654502A (zh) * 2016-03-30 2016-06-08 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置和方法
CN105825475A (zh) * 2016-04-01 2016-08-03 西安电子科技大学 基于单摄像头的360度全景影像生成方法
CN105957048A (zh) * 2016-01-26 2016-09-21 优势拓展(北京)科技有限公司 鱼眼镜头拍摄图像的3d全景显示方法和系统
CN106012778A (zh) * 2016-05-18 2016-10-12 东南大学 用于高速公路路面应变测量的数字图像采集分析方法
CN106023072A (zh) * 2016-05-10 2016-10-12 中国航空无线电电子研究所 一种用于曲面大屏幕的图像拼接显示方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2161689A1 (en) * 2008-09-04 2010-03-10 Julian Mattes Registration and visualization of image structures based on confiners
CN102175221A (zh) * 2011-01-20 2011-09-07 上海杰图软件技术有限公司 基于鱼眼镜头的车载移动摄影测量系统
US20140049612A1 (en) * 2011-10-11 2014-02-20 Panasonic Corporation Image processing device, imaging device, and image processing method
US20140047367A1 (en) * 2012-08-09 2014-02-13 Sony Corporation Image processing apparatus, image processing method, and program
CN102982548A (zh) * 2012-12-11 2013-03-20 清华大学 多目立体视频采集系统及其相机参数标定方法
US20140232818A1 (en) * 2013-02-19 2014-08-21 Disney Enterprises, Inc. Method and device for spherical resampling for video generation
CN103150715A (zh) * 2013-03-13 2013-06-12 腾讯科技(深圳)有限公司 图像拼接处理方法及装置
CN103971353A (zh) * 2014-05-14 2014-08-06 大连理工大学 采用激光辅助大型锻件测量图像数据的拼接方法
US20160148375A1 (en) * 2014-11-21 2016-05-26 Samsung Electronics Co., Ltd. Method and Apparatus for Processing Medical Image
CN104574339A (zh) * 2015-02-09 2015-04-29 上海安威士科技股份有限公司 一种用于视频监控的多尺度柱面投影全景图像生成方法
CN104881869A (zh) * 2015-05-15 2015-09-02 浙江大学 一种移动平台上的实时全景跟踪与拼接方法
CN105025287A (zh) * 2015-06-30 2015-11-04 南京师范大学 利用旋转拍摄的视频序列影像构建场景立体全景图的方法
CN105957048A (zh) * 2016-01-26 2016-09-21 优势拓展(北京)科技有限公司 鱼眼镜头拍摄图像的3d全景显示方法和系统
CN105654502A (zh) * 2016-03-30 2016-06-08 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置和方法
CN105825475A (zh) * 2016-04-01 2016-08-03 西安电子科技大学 基于单摄像头的360度全景影像生成方法
CN106023072A (zh) * 2016-05-10 2016-10-12 中国航空无线电电子研究所 一种用于曲面大屏幕的图像拼接显示方法
CN106012778A (zh) * 2016-05-18 2016-10-12 东南大学 用于高速公路路面应变测量的数字图像采集分析方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
MINGXIU LIN等: "Cylindrical panoramic image stitching method based on multi-cameras", 《2015 IEEE INTERNATIONAL CONFERENCE ON CYBER TECHNOLOGY IN AUTOMATION, CONTROL, AND INTELLIGENT SYSTEMS (CYBER)》, 5 October 2015 (2015-10-05), pages 1091 - 1096 *
OPENCV: "OpenCV 3.0.0,Open Source Computer Vision,Fisheye camera model-Camera Calibration and 3D Reconstruction", 《HTTPS://DOCS.OPENCV.ORG/3.0.0/DB/D58/GROUP__CALIB3D__FISHEYE.HTML》, pages 222 - 223 *
XIAOMIN MA等: "A fast affine-invariant features for image stitching under large viewpoint changes", 《NEUROCOMPUTING》, vol. 151, 3 March 2015 (2015-03-03), pages 1430 - 1438, XP029107236, DOI: 10.1016/j.neucom.2014.10.045 *
梁健等: "一种行星探测应用的可量测虚拟现实环境构建方法", 《航天器工程》 *
梁健等: "一种行星探测应用的可量测虚拟现实环境构建方法", 《航天器工程》, vol. 21, no. 03, 30 June 2012 (2012-06-30), pages 36 - 42 *
汪华琴: "基于特征点匹配的图像拼接方法研究", 《信息科技辑》, no. 04, 15 April 2007 (2007-04-15), pages 138 - 744 *
邓非等: "一种基于SURF算法的柱面全景影像拼接方法", 《测绘地理信息》, vol. 40, no. 04, 31 August 2015 (2015-08-31), pages 14 - 18 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109995993A (zh) * 2018-01-02 2019-07-09 广州亿航智能技术有限公司 飞行器及其拍摄控制方法、装置及终端系统
CN110276719A (zh) * 2018-03-14 2019-09-24 北京三快在线科技有限公司 一种全景图像的生成方法及装置、电子设备
CN108520202B (zh) * 2018-03-15 2020-06-19 华南理工大学 基于变分球面投影的对抗鲁棒性图像特征提取方法
CN108520202A (zh) * 2018-03-15 2018-09-11 华南理工大学 基于变分球面投影的对抗鲁棒性图像特征提取方法
CN108648141A (zh) * 2018-05-15 2018-10-12 浙江大华技术股份有限公司 一种图像拼接方法及装置
CN108648141B (zh) * 2018-05-15 2023-03-21 浙江大华技术股份有限公司 一种图像拼接方法及装置
US11562465B2 (en) 2018-12-29 2023-01-24 Kandao Technology Co., Ltd. Panoramic image stitching method and apparatus, terminal and corresponding storage medium
WO2020135580A1 (zh) * 2018-12-29 2020-07-02 深圳看到科技有限公司 全景画面拼接方法、装置、终端及对应的存储介质
CN109917908B (zh) * 2019-02-01 2023-03-24 谷东科技有限公司 一种ar眼镜的图像获取方法及系统
CN109917908A (zh) * 2019-02-01 2019-06-21 谷东科技有限公司 一种ar眼镜的图像获取方法及系统
CN110322507B (zh) * 2019-06-04 2023-04-07 东南大学 一种基于深度重投影和空间一致性特征匹配的方法
CN110322507A (zh) * 2019-06-04 2019-10-11 东南大学 一种基于深度重投影和空间一致性特征匹配的方法
CN110717936B (zh) * 2019-10-15 2023-04-28 哈尔滨工业大学 一种基于相机姿态估计的图像拼接方法
CN110717936A (zh) * 2019-10-15 2020-01-21 哈尔滨工业大学 一种基于相机姿态估计的图像拼接方法
CN111294515A (zh) * 2020-02-25 2020-06-16 维沃软件技术有限公司 一种图像获取方法及第一电子设备
CN111294515B (zh) * 2020-02-25 2021-07-16 维沃软件技术有限公司 一种图像获取方法及第一电子设备
CN111597597A (zh) * 2020-05-11 2020-08-28 内蒙古京泰发电有限责任公司 一种pdms天圆地方结构体设备模型的创建方法
CN111597597B (zh) * 2020-05-11 2023-03-28 内蒙古京泰发电有限责任公司 一种pdms天圆地方结构体设备模型的创建方法
CN111982015A (zh) * 2020-08-18 2020-11-24 深圳大学 结构几何形态监测方法
CN113068006A (zh) * 2021-03-16 2021-07-02 珠海研果科技有限公司 图像呈现方法和装置
CN113344795B (zh) * 2021-08-05 2021-10-29 常州铭赛机器人科技股份有限公司 一种基于先验信息的快速图像拼接方法
CN113344795A (zh) * 2021-08-05 2021-09-03 常州铭赛机器人科技股份有限公司 一种基于先验信息的快速图像拼接方法

Also Published As

Publication number Publication date
CN106355550B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN106355550A (zh) 图像拼接系统和图像拼接方法
US11838606B2 (en) Methods and systems for large-scale determination of RGBD camera poses
CN103946890B (zh) 跟踪三维物体的方法及设备
EP3028252B1 (en) Rolling sequential bundle adjustment
CN103150715B (zh) 图像拼接处理方法及装置
CN109003311B (zh) 一种鱼眼镜头的标定方法
CN100485720C (zh) 一种基于序列静态图像的360°环视全景生成方法
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN113689503B (zh) 目标对象的姿态检测方法、装置、设备及存储介质
CN105678742A (zh) 一种水下相机标定方法
CN106228538A (zh) 基于logo的双目视觉室内定位方法
CN109716386A (zh) 利用多个相机获得最佳球形影像的方法
Perdigoto et al. Calibration of mirror position and extrinsic parameters in axial non-central catadioptric systems
Zhu et al. Robust plane-based calibration of multiple non-overlapping cameras
Geppert et al. Privacy preserving localization and mapping from uncalibrated cameras
Sweeney et al. Structure from motion for panorama-style videos
CN107256563B (zh) 基于差异液位图像序列的水下三维重建系统及其方法
Ihrke et al. External camera calibration for synchronized multi-video systems
CN110838147B (zh) 摄像模组检测方法及装置
Deng et al. Automatic spherical panorama generation with two fisheye images
CN108269278A (zh) 一种场景建模的方法及装置
Bellavia Image matching by bare homography
CN112562057B (zh) 三维重建系统及方法
Zhang et al. Improving 2D camera calibration by LO-RANSAC
CN114663533A (zh) 一种基于非线性优化的多视角相机标定方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230925

Address after: 065201 Floor 2, No. 8 Huaguan Street, South of Huaguan Street, Yanjiao High tech Zone, Sanhe City, Langfang City, Hebei Province, China

Applicant after: Hebei Dinglian Technology Co.,Ltd.

Address before: Room 301, Beiyou Technology Building, No. 10 Xitucheng Road, Haidian District, Beijing, 100876

Applicant before: MICROSCENE (BEIJING) TECHNOLOGY CO.,LTD.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant