CN107067368A - 基于影像变形的街景影像拼接方法及系统 - Google Patents
基于影像变形的街景影像拼接方法及系统 Download PDFInfo
- Publication number
- CN107067368A CN107067368A CN201710044943.8A CN201710044943A CN107067368A CN 107067368 A CN107067368 A CN 107067368A CN 201710044943 A CN201710044943 A CN 201710044943A CN 107067368 A CN107067368 A CN 107067368A
- Authority
- CN
- China
- Prior art keywords
- image
- mrow
- spliced
- msubsup
- matching characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000003287 optical effect Effects 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims description 6
- 230000007423 decrease Effects 0.000 claims description 4
- 238000012946 outsourcing Methods 0.000 claims description 3
- 238000000265 homogenisation Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 230000004927 fusion Effects 0.000 description 6
- 230000004075 alteration Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G06T3/14—
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于影像变形的街景影像拼接方法，包括步骤：S1准备待拼接影像，并构建水平方向的待拼接影像对；S2获得待拼接影像对的重叠区域影像对，对重叠区域影像对中两张重叠区域影像进行特征点匹配，获得匹配特征点对集；S3计算匹配特征点对集中各匹配特征点对的光流，基于各匹配特征点对的光流内插出待拼接影像的光流场；S4根据光流场对待拼接影像对中两张待拼接影像分别进行非刚体变形；S5对非刚体变形后的影像进行拼接，得由水平方向的待拼接影像对拼接的全景影像。本发明可避免影像间较大的几何位错所造成的影响，从而能生产高精度和高质量的街景影像。
Description
技术领域
本发明属于数字影像处理技术领域，特别是涉及一种基于影像变形的街景影像拼接方法及系统。
背景技术
街景地图是电子地图中最为常用的一种地图，由于其可提供街景丰富的纹理信息，给人以身临其境的体验，能够满足了人民“足不出户而知天下”的美好愿望。街景地图的核心技术之一在于制作高质量的全景影像，而全景影像的制作需要将多张影像拼接在一起，从而得到360°的全景影像。
通常而言，街景影像拼接包括以下四个步骤：影像校正、匀光匀色、最优拼接线寻找以及影像融合。其中影像校正的目的在于按照一定的模型，如球面投影模型，将采集的鱼眼影像校正至同一坐标系。匀光匀色的目的在于消除由拍摄角度、光照条件、曝光设置等原因引起的影像间的色差。最优拼接线寻找的目的在于找到一条最优的拼接线，避免穿过诸如房屋，车辆及行人等明显目标，从而避免拼接缝及“鬼影”的形成。虽然匀光匀色在很大程度上已经消除了影像间的色差，但是并不能做到完全消除，在拼接线周边，还是存在一定的色差，因此需要再采用影像融合沿拼接线对两张影像进行融合，从而得到最后的视觉效果良好的全景影像。
匀光匀色和影像融合可以很好的消除影像间的色差，但是并不能消除影像间的几何错位。最优拼接线寻找可以在一定程度上克服几何错位带来的影响，但是当影像间几何错位较大的时候，最优拼接线也不能克服该问题。最终的全景影像中也会存在较多的拼接缝，从而影响全景影像的质量。然而，街景全景影像通常采用视角更大的鱼眼相机进行拍摄，但是由于相机中心不一致，且场景深度不一致，校准至同一坐标系的全景影像间必然存在较大的几何错位。而这些几何错位的存在，将会严重影响最后拼接好的全景影像的质量。此外，由于这些几何变形在每个位置的分布不一致，常用的刚体变换模型并不能模拟其几何变形。
发明内容
针对现有技术存在的问题，本发明提供了一种基于影像变形的街景影像拼接方法及系统，该方法及系统可避免较大的几何位错的影响。
本发明思路为：对校正至同一坐标系的街景影像，先采用基于密集光流场的非刚体变换模型消除影像间的几何错位，再采用传统的匀光匀色、最优拼接线寻找和影像融合进行街景影像的拼接，从而避免较大的几何错位对拼接后影像质量的影响。
本发明的技术方案为：
一、一种基于影像变形的街景影像拼接方法，包括步骤：
S1准备待拼接影像，并构建水平方向的待拼接影像对；
对各待拼接影像对分别进行步骤S2～S4：
S2获得待拼接影像对的重叠区域影像对，对重叠区域影像对中两张重叠区域影像进行特征点匹配，获得匹配特征点对集；
S3计算匹配特征点对集中各匹配特征点对的光流d(xp)，基于各匹配特征点对的光流d(xp)内插出待拼接影像的光流场；其中，光流(x'q,y'q)和(xp,yp)分别表示匹配特征点对中两个匹配特征点的坐标；
S4根据光流场对待拼接影像对中两张待拼接影像分别进行非刚体变形，具体为：
4.1将待拼接影像I非刚体变形后的影像记为I'，令I'为与待拼接影像I等大的空影像；
4.2对影像I'中各像素x＝(x,y)T，分别进行：
计算x在待拼接影像I中对应的像素x′＝(x′,y′)T，其中，dx(x)和dy(x)分别为x在x方向和y方向的光流值，将待拼接影像I中像素x′的灰度值赋给影像I'中像素x；
4.3对影像I'中所有像素x均执行子步骤4.2，即获得非刚体变形后的影像I'；
S5对非刚体变形后的影像进行拼接，得由水平方向的待拼接影像对拼接的全景影像IH。
若待拼接影像存在竖直方向影像IN，则还包括：
执行步骤S5后，构建待拼接影像对(IH,IN)，对待拼接影像对(IH,IN)执行步骤S2～S5。
步骤S1进一步包括子步骤：
1.1判断所有待拼接影像是否均校正至同一坐标系，若没有，则将所有待拼接影像校正至同一坐标系，然后执行子步骤1.2；若有，直接执行子步骤1.2；
1.2求待拼接影像的有效区域，并生成Mask图；
1.3根据Mask图判断待拼接影像的类型，所述的类型包括水平方向影像和竖直方向影像；
1.4针对水平方向的待拼接影像，根据Mask图计算待拼接影像间的重叠区域；
1.5根据子步骤1.4所得重叠区域获得水平方向的待拼接影像间的重叠关系，根据重叠关系构建水平方向的待拼接影像对。
步骤S2进一步包括子步骤：
对各待拼接影像对分别进行：
2.1构建待拼接影像对的重叠区域的最大外包矩形，并获得重叠区域影像对；
2.2分别提取重叠区域影像对中两张重叠区域影像的特征点，获得特征点集和
2.3对特征点集和进行匹配，获得初始匹配特征点对集Minitial；
2.4以匹配特征点对的局部运动方向具有一致性为约束，剔除Minitial中的误匹配特征点对。
子步骤2.2中，采用surf、Harris、Moravec或SIFT算子提取特征点。
子步骤2.4具体为：
2.4.1标记Minitial内所有匹配特征点对为内点；
2.4.2对Minitial中标记为内点的任一匹配特征点对<fp,f'q>，从中找到距离<fp,f'q>最近的Kn个匹配特征点对，该Kn个匹配特征点对中所有内点构成点集Kn为经验值；
2.4.3若内点数少于点数阈值Ki，标记<fp,f'q>为外点，Ki为经验阈值，然后执行子步骤2.4.4；
否则，分别计算中各匹配特征点对的运动大小并获得运动大小平均值及运动大小方差计算匹配特征点对<fp,f'q>标记为外点的代价Cost(fp)：
其中：
分别表示中各匹配特征点对的x方向运动大小、y方向运动大小、整体运动大小；
分别表示中所有匹配特征点对的x方向运动大小、y方向运动大小、整体运动大小的平均值，记为匹配特征点对<fp,f'q>的x方向运动大小、y方向运动大小、整体运动大小的平均值；
分别表示中所有匹配特征点对的x方向运动大小、y方向运动大小、整体运动大小的方差，记为匹配特征点对<fp,f'q>的x方向运动大小、y方向运动大小、整体运动大小的方差；
分别表示Minitial中所有匹配特征点对<fp,f'q>的x方向运动大小、y方向运动大小、整体运动大小的平均值的最小值；
分别表示Minitial中所有匹配特征点对<fp,f'q>的x方向运动大小、y方向运动大小、整体运动大小的平均值的最大值；
分别表示Minitial中所有匹配特征点对<fp,f'q>的x方向运动大小、y方向运动大小、整体运动大小的方差的最小值；
分别表示Minitial中所有匹配特征点对<fp,f'q>的x方向运动大小、y方向运动大小、整体运动大小的方差的最大值；
2.4.4对Minitial内所有标记为内点的匹配特征点对分别执行子步骤2.4.2～2.4.3，获得所有标记为内点的匹配特征点标记为外点的代价，然后执行子步骤2.4.5；
2.4.5根据代价值对匹配特征点进行排序，将代价最大的Nt个匹配特征点对<fip,f'iq>中满足dist(m(fip),μ(fip))≤λ×δ(fip)的匹配特征点对，标记为内点，Nt个匹配特征点对中其他标记为外点；其中，ρ为预设定的系数，ρ根据经验取值；表示Minitial中标记为内点的匹配特征点对的数量；λ为用来判断匹配特征点对运动方向一致性的经验阈值；dist(m(fip),μ(fip))表示m(fip)和μ(fip)的距离，m(fip)表示匹配特征点对<fip,f'iq>的运动大小，μ(fip)和δ(fip)分别表示匹配特征点对<fip,f'iq>的运动大小平均值和运动大小方差；
2.4.6迭代子步骤2.4.2～2.4.6，直至无外点被找到；
2.4.7判断λ是否小于预设的最小值λmin，若不小于，按预设的递减幅度递减λ，然后返回执行子步骤2.4.2；否则，结束，当前内点集即剔除了误匹配特征点对后的匹配特征点对集。
子步骤4.2中，若计算出的像素坐标x′＝(x′,y′)T不为整数，则在影像Ii中，以x′为中心，采用双线性内插法内插出像素x′的灰度值。
二、一种基于影像变形的街景影像拼接系统，包括：
待拼接影像对构建模块，用来准备待拼接影像，并构建水平方向的待拼接影像对；
匹配特征点对集获得模块，用来获得待拼接影像对的重叠区域影像对，对重叠区域影像对中两张重叠区域影像进行特征点匹配，获得匹配特征点对集；
光流场获得模块，用来计算匹配特征点对集中各匹配特征点对的光流d(xp)，基于各匹配特征点对的光流d(xp)内插出待拼接影像的光流场；其中，光流(x'q,y'q)和(xp,yp)分别表示匹配特征点对中两个匹配特征点的坐标；
非刚体变形模块，用来根据光流场对待拼接影像对中两张待拼接影像分别进行非刚体变形；所述的非刚体变形模块进一步包括子模块：
影像初始化子模块，用来将待拼接影像I非刚体变形后的影像记为I'，令I'为与待拼接影像I等大的空影像；
灰度值赋值子模块，用来对影像I'中各像素x＝(x,y)T，分别进行：
计算x在待拼接影像I中对应的像素x′＝(x′,y′)T，其中，dx(x)和dy(x)分别为x在x方向和y方向的光流值，将待拼接影像I中像素x′的灰度值赋给影像I'中像素x；
拼接模块，用来对非刚体变形后的影像进行拼接，得由水平方向的待拼接影像对拼接的全景影像IH。
和现有技术相比，本发明可避免影像间较大的几何位错所造成的影响，从而能生产高精度和高质量的街景影像。
附图说明
图1为本发明实施例的整体流程图。
具体实施方式
下面将对本发明具体实施方式进行进一步说明。
步骤1，准备待拼接影像，获得待拼接影像间的重叠区域；根据待拼接影像间的重叠关系，构建水平方向的待拼接影像对。所述影像为街景影像。
设待拼接影像有N张，分别记为影像I1、I2、……、IN，则待拼接影像集记为本步骤的具体实施过程如下：
步骤1.1，判断所有待拼接影像是否均校正至同一坐标系，若没有，则将所有待拼接影像校正至同一坐标系，然后执行子步骤1.2；若有，直接执行子步骤1.2。
步骤1.2，求取每张待拼接影像的有效区域，并生成Mask图。若像素落于有效区域，则设置Mask图上对应位置的值为1；若像素落于无效区域，则设置Mask图上对应位置的值为0。这里，有效区域即影像上有影像信息的区域，无效区域即影像上无影像信息的区域。
步骤1.3，判断每张待拼接影像的类型，所述的类型包括水平方向影像和竖直方向影像。
通常而言，街景影像包括两种类型，第一种类型是均为水平方向影像，不存在顶上的竖直方向影像；第二种类型为存在多张水平方向的影像和一张顶上的竖直方向影像。而处理第二种类型街景影像的方法包含了处理第一种类型街景影像的方法，因此，本发明只针对第二种更为复杂的类型进行详细说明。将待拼接影像中水平方向的影像记为I1、I2、……、IN-1，顶上的竖直方向影像记为IN。
步骤1.4，针对水平方向的待拼接影像，根据Mask图计算待拼接影像间的重叠区域。重叠区域的计算具体为：将待拼接影像对的两张Mask图进行与运算，当两张Mask图对应位置的值均为1的区域为重叠区域。
步骤1.5根据子步骤1.4所得重叠区域获得水平方向的待拼接影像间的重叠关系，重叠关系指两张影像间是否存在重叠区域；根据重叠关系构建水平方向的待拼接影像对。假设所构建的水平方向的待拼接影像对为(I1,I2)、(I2,I3)、…、(IN-2,IN-1)、(IN-1,I1)。
步骤2，特征点匹配。
针对水平方向的每一对待拼接影像对，在其重叠区域内进行特征点匹配，并根据匹配结果求取初始的稀疏光流场。
本步骤的具体实施过程如下：
步骤2.1，针对每一对待拼接影像对，构建待拼接影像对的重叠区域的最大外包矩形，从而获得待拼接影像对的重叠区域影像对。
步骤2.2，分别提取重叠区域影像对中两张重叠区域影像的特征点。
可使用surf、Harris、Moravec、SIFT等特征提取算子提取特征点，本实施例中采用surf特征提取算子。采用surf描述符描述特征点，假设特征点表示为f＝(x,d)，其中，x＝(x,y)T表示特征点坐标，d表示surf描述符。因此，两张重叠区域影像提取的特征点集分别记为和其中，M和M'分别表示重叠区域影像对中第一张重叠区域影像和第二张重叠区域影像的特征点数，fi表示第一张重叠区域影像中第i个特征点，xi表示第一张重叠区域影像中第i个特征点的坐标，di表示第一张重叠区域影像中第i个特征点的描述符；f'j表示第二张重叠区域影像中第j个特征点，x'j表示第二张重叠区域影像中第j个特征点的坐标，d'j表示第二张重叠区域影像中第j个特征点的描述符。
步骤2.3，重叠区域影像对中特征点的初始匹配。
特征点的匹配可采用本领域的成熟算法完成，下面将提供特征点匹配的一种具体方法。
针对及只有当其满足如下条件(1)～(3)时，fp和f'q才被认为是一对匹配的特征点对：
(1)f'q是特征点集中离fp欧式距离最近的特征点，相反，fp也是特征集中离f'q最近的特征点；
(2)fp和f'q的描述符间的欧式距离d(fp,f'q)小于预设阈值Td，阈值Td为经验值；
(3)距离比值约束，即：针对特征点fp，将特征点集中离fp距离第二近的特征点记为f”q，计算距离比值rp＝d(fp,f'q)/d(fp,f”q)，距离比值rp应小于预设阈值Tr，阈值Tr为经验值；相反，针对特征点f'q，也要满足距离比值约束。
将满足条件(1)～(3)的匹配的特征点对记为初始匹配特征点对，并存入初始匹配特征点对集其中，<fp,f'q>表示一对匹配特征点对。
步骤2.4，误匹配特征点对剔除。
初始匹配完成后，得到初始匹配特征点对集，但是依旧存在误匹配特征点对，因此，还需要进行误匹配剔除。由于在全景平面中并不能采用常用的核线约束去剔除误匹配特征点对，因此，本发明采用一种特征匹配点局部运动方向一致性去进行约束。
本子步骤的具体实施过程如下：
步骤2.4.1，标记内所有匹配特征点对为内点，即对每一个匹配特征点对标记其类别内点即正确匹配点，外点即错误匹配点。
步骤2.4.2，对Minitial中标记为内点的任一匹配特征点对<fp,f'q>∈Minitial，首先从Minitial中找到距离该匹配特征点对最近的Kn个匹配特征点对，构成点集找到中所有的内点，所有内点构成点集Kn为经验值，本实施例中，Kn＝60。
步骤2.4.3，如果内点数少于点数阈值Ki，则将匹配特征点对<fp,f'q>标记为外点，即误匹配特征点对，然后执行步骤2.3.4。
如果内点数不小于点数阈值Ki，判断中匹配特征点对是否有一致的运动方向。对计算<fm,f'n>在x方向和y方向上从fm运动到f'n的运动大小和以及整体运动大小Ki为经验阈值，本实施例中，Ki＝60。
的计算公式如下：
其中，(x'n,y'n)和(xm,ym)分别为匹配特征点fp和f'q的坐标，x方向和y方向分别表示影像的水平方向和竖直方向。
这里，使用表示<fm,f'n>之间所有三个方向的运动大小。同理，可以计算得到<fp,f'q>之间的运动大小并计算中所有匹配特征点对的运动大小平均值以及方差
计算匹配特征点对<fp,f'q>标记为外点的代价Cost(fp)：
步骤2.4.4，对Minitial内所有标记为内点的匹配特征点分别执行子步骤2.4.3～2.4.3，
直至Minitial中所有标记为内点的匹配特征点对均处理完毕。
步骤2.4.5，按照代价值大小对Minitial中标记为内点的匹配特征点对进行降序排序，对排名前Nt的匹配特征点对判断是否为内点，ρ是预设定的参数，表示Minitial中所有的被标记为Inlier的匹配特征点对的数量。ρ为经验值，其优选的取值范围为0.020～0.030，本实施例中，ρ取0.025。
假设待判定的匹配特征点对为<fp,f'q>，则判断公式如下：
其中，dist(m(fp),μ(fp))即m(fp)和μ(fp)的距离，m(fp)和μ(fp)分别表示匹配特征点对<fp,f'q>运动大小和运动大小的平均值；δ(fp)表示匹配特征点对<fp,f'q>运动大小的方差；λ为预设值的参数，其为用来判断运动方向一致性的阈值，子步骤2.4.2中进行了设置。
本实施例中，设置初始参数λ＝λmax并设置λ的递减幅度λstep，λmax和λstep为经验值，λmax一般取6～8范围内的整数，λstep一般取1～3范围内的整数，本实施例中，λmax＝6，λstep＝3。
步骤2.4.6，迭代步骤2.4.3～2.4.5，直至无外点被找到。
步骤2.4.7，判断λ是否小于最小值λmin，若不小于，按照递减幅度λstep递减λ的值，并返回执行子步骤2.4.2。若λ小于λmin，结束，并将当前内点集记为即剔除了误匹配的匹配特征点对集，然后执行子步骤2.5。λmin为经验值，一般取2～3范围内的整数，本实施例中，λmin＝3。
步骤2.5，对每一对待拼接影像对分别执行子步骤2.1～2.4，直至水平方向的所有待拼接影像对均已稀疏匹配完毕。
步骤3，稀疏光流场计算。
针对待拼接影像对每一张待拼接影像，得到其和其它重叠影像在重叠区域所有的匹配特征点对，根据匹配特征点对计算稀疏光流场。假设当前待拼接影像为I1，根据重叠关系，可知I1与IN-1及I2存在重叠。因此，待拼接影像为I1中，有两个重叠区域存在匹配特征点对。假设I1所有的匹配特征点对为M1＝{<xp,x'q>|xp∈I1,x'q∈(IN-1∪I2)}，其中，xp＝(xp,yp)T，x'q＝(x'q，y'q)T。
针对每一个匹配特征点对<xp,x'q>，其光流d(xp)计算如下：
因为，针对每一张待拼接影像，其只变形一半的光流大小，另外一半由另外一张进行变形，故最终的光流d(xp)要除以2。
步骤4，密集光流场内插。
步骤3中，对水平方向的每一张待拼接影像Ii，i＝1,2，...,N-1，对于稀疏特征匹配点，都求得了两个方向的光流值，得到了稀疏的光流场。但是，为了对整张影像进行变形，需要密集的光流场，也即每个像素，都需要有一个对应的光流值。因此，本发明采用多B-样条的方法(MBA)内插出密集的光流场，即根据稀疏的光流场近似的内插出密集的光流场，在x方向和y方向分别表示为Dx(Ii)和Dy(Ii)。
步骤5，影像非刚体变形。
步骤4中，针对水平方向的每一张待拼接影像Ii均可得到密集的光流场。相邻待拼接影像的几何错位是非刚体的，因此，本发明基于密集的光流场来对待拼接影像进行非刚体变形，从而消除几何误差。
针对一张待拼接影像Ii，其非刚体变形的具体步骤如下：
步骤5.1，假设Ii非刚体变形后的影像为I'i，将I'i的大小设置和原图Ii一样，且各像素的灰度值初始化为0，即当前I'i为一张空图。
步骤5.2，针对每一个像素x∈I'i，x＝(x,y)T，根据步骤4所得密集的光流场，找到像素x对应的两个方向的光流大小dx(x)和dy(x)，则根据下式计算该像素x在原始影像(即待拼接影像Ii)中的位置(x',y')：
式(5)中，x′＝(x′,y′)T为像素x根据光流场变换后得到的在原始影像中的像素坐标。
步骤5.3，所计算出的像素x′坐标并非一定是整数，因此，为获得该位置的像素灰度值，在影像Ii中，以x′为中心，采用双线性内插方法内插出x′的灰度值。
步骤5.4，将像素x′的灰度值赋给影像I'i的像素x。当影像I'i中所有像素均处理完，就得到非刚体变形后的影像I'i。
由于影像间的几何错位，用光流场进行了拟合并依照光流场进行了变形，因此，变形后的影像间的几何错位将大幅度减少，以至于不影响全景影像的质量。
步骤6，水平方向的影像拼接。
对非刚体变形后的影像依次进行匀光匀色、最优拼接线寻找、影像融合，即得到高质量的水平方向的全景影像IH。匀光匀色用来消除影像的色差，最优拼接线寻找用来避免拼接线穿过明显目标。匀光匀色、最优拼接线寻找、影像融合均可采用现有技术实现，因此不予详细叙述实施过程。
步骤7，竖直方向的影像拼接。
通过步骤1～6可将水平方向的待拼接影像拼接在一起，如果准备的待拼接影像数据中不存在竖直方向影像，则水平方向的全景影像IH即最终拼接的街景影像。如果存在竖直方向影像IN，则需要将竖直方向影像IN和水平方向的全景影像IH进行拼接，得到最终拼接的街景影像。IN和IH的拼接具体为：构建待拼接影像对(IH,IN)，对待拼接影像对(IH,IN)执行步骤2～6，得到最终的街景影像。
Claims (8)
1.基于影像变形的街景影像拼接方法，其特征是，包括：
S1准备待拼接影像，并构建水平方向的待拼接影像对；
对各待拼接影像对分别进行步骤S2～S4：
S2获得待拼接影像对的重叠区域影像对，对重叠区域影像对中两张重叠区域影像进行特征点匹配，获得匹配特征点对集；
S3计算匹配特征点对集中各匹配特征点对的光流d(xp)，基于各匹配特征点对的光流d(xp)内插出待拼接影像的光流场；其中，光流(x'q,y'q)和(xp,yp)分别表示匹配特征点对中两个匹配特征点的坐标；
S4根据光流场对待拼接影像对中两张待拼接影像分别进行非刚体变形，具体为：
4.1将待拼接影像I非刚体变形后的影像记为I'，令I'为与待拼接影像I等大的空影像；
4.2对影像I'中各像素x＝(x,y)T，分别进行：
计算x在待拼接影像I中对应的像素x′＝(x′,y′)T，其中，dx(x)和dy(x)分别为x在x方向和y方向的光流值，将待拼接影像I中像素x′的灰度值赋给影像I'中像素x；
4.3对影像I'中所有像素x均执行子步骤4.2，即获得非刚体变形后的影像I'；
S5对非刚体变形后的影像进行拼接，得由水平方向的待拼接影像对拼接的全景影像IH。
2.如权利要求1所述的基于影像变形的街景影像拼接方法，其特征是：
若待拼接影像存在竖直方向影像IN，则还包括：
执行步骤S5后，构建待拼接影像对(IH,IN)，对待拼接影像对(IH,IN)执行步骤S2～S5。
3.如权利要求1所述的基于影像变形的街景影像拼接方法，其特征是：
步骤S1进一步包括子步骤：
1.1判断所有待拼接影像是否均校正至同一坐标系，若没有，则将所有待拼接影像校正至同一坐标系，然后执行子步骤1.2；若有，直接执行子步骤1.2；
1.2求待拼接影像的有效区域，并生成Mask图；
1.3根据Mask图判断待拼接影像的类型，所述的类型包括水平方向影像和竖直方向影像；
1.4针对水平方向的待拼接影像，根据Mask图计算待拼接影像间的重叠区域；
1.5根据子步骤1.4所得重叠区域获得水平方向的待拼接影像间的重叠关系，根据重叠关系构建水平方向的待拼接影像对。
4.如权利要求1所述的基于影像变形的街景影像拼接方法，其特征是：
步骤S2进一步包括子步骤：
对各待拼接影像对分别进行：
2.1构建待拼接影像对的重叠区域的最大外包矩形，并获得重叠区域影像对；
2.2分别提取重叠区域影像对中两张重叠区域影像的特征点，获得特征点集和
2.3对特征点集和进行匹配，获得初始匹配特征点对集Minitial；
2.4以匹配特征点对的局部运动方向具有一致性为约束，剔除Minitial中的误匹配特征点对。
5.如权利要求4所述的基于影像变形的街景影像拼接方法，其特征是：
子步骤2.2中，采用surf、Harris、Moravec或SIFT算子提取特征点。
6.如权利要求4所述的基于影像变形的街景影像拼接方法，其特征是：
子步骤2.4具体为：
2.4.1标记Minitial内所有匹配特征点对为内点；
2.4.2对Minitial中标记为内点的任一匹配特征点对<fp,f′q>，从中找到距离<fp,f′q>最近的Kn个匹配特征点对，该Kn个匹配特征点对中所有内点构成点集Kn为经验值；
2.4.3若内点数少于点数阈值Ki，标记<fp,f′q>为外点，Ki为经验阈值，然后执行子步骤2.4.4；
否则，分别计算中各匹配特征点对的运动大小并获得运动大小平均值及运动大小方差计算匹配特征点对<fp,f′q>标记为外点的代价Cost(fp)：
<mrow>
<mi>C</mi>
<mi>o</mi>
<mi>s</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>p</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&mu;</mi>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>&mu;</mi>
<mi>min</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</msubsup>
</mrow>
<mrow>
<msubsup>
<mi>&mu;</mi>
<mi>max</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>&mu;</mi>
<mi>min</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</msubsup>
</mrow>
</mfrac>
<mo>+</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&mu;</mi>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>&mu;</mi>
<mi>min</mi>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</msubsup>
</mrow>
<mrow>
<msubsup>
<mi>&mu;</mi>
<mi>max</mi>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>&mu;</mi>
<mi>min</mi>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</msubsup>
</mrow>
</mfrac>
<mo>+</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&mu;</mi>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>&mu;</mi>
<mi>min</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</msubsup>
</mrow>
<mrow>
<msubsup>
<mi>&mu;</mi>
<mi>max</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>&mu;</mi>
<mi>min</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</msubsup>
</mrow>
</mfrac>
<mo>+</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&delta;</mi>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>&delta;</mi>
<mi>min</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</msubsup>
</mrow>
<mrow>
<msubsup>
<mi>&delta;</mi>
<mi>max</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>&delta;</mi>
<mi>min</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</msubsup>
</mrow>
</mfrac>
<mo>+</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&delta;</mi>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>&delta;</mi>
<mi>min</mi>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</msubsup>
</mrow>
<mrow>
<msubsup>
<mi>&delta;</mi>
<mi>max</mi>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>&delta;</mi>
<mi>min</mi>
<mrow>
<mo>(</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</msubsup>
</mrow>
</mfrac>
<mo>+</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&delta;</mi>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>&delta;</mi>
<mi>min</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</msubsup>
</mrow>
<mrow>
<msubsup>
<mi>&delta;</mi>
<mi>max</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>&delta;</mi>
<mi>min</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</msubsup>
</mrow>
</mfrac>
</mrow>
其中：
分别表示中各匹配特征点对的x方向运动大小、y方向运动大小、整体运动大小；
分别表示中所有匹配特征点对的x方向运动大小、y方向运动大小、整体运动大小的平均值，记为匹配特征点对<fp,f′q>的x方向运动大小、y方向运动大小、整体运动大小的平均值；
分别表示中所有匹配特征点对的x方向运动大小、y方向运动大小、整体运动大小的方差，记为匹配特征点对<fp,f′q>的x方向运动大小、y方向运动大小、整体运动大小的方差；
分别表示Minitial中所有匹配特征点对<fp,f′q>的x方向运动大小、y方向运动大小、整体运动大小的平均值的最小值；
分别表示Minitial中所有匹配特征点对<fp,f′q>的x方向运动大小、y方向运动大小、整体运动大小的平均值的最大值；
分别表示Minitial中所有匹配特征点对<fp,f′q>的x方向运动大小、y方向运动大小、整体运动大小的方差的最小值；
分别表示Minitial中所有匹配特征点对<fp,f′q>的x方向运动大小、y方向运动大小、整体运动大小的方差的最大值；
2.4.4对Minitial内所有标记为内点的匹配特征点对分别执行子步骤2.4.2～2.4.3，获得所有标记为内点的匹配特征点标记为外点的代价，然后执行子步骤2.4.5；
2.4.5根据代价值对匹配特征点进行排序，将代价最大的Nt个匹配特征点对<fip,f′iq>中满足dist(m(fip),μ(fip))≤λ×δ(fip)的匹配特征点对，标记为内点，Nt个匹配特征点对中其他标记为外点；其中，ρ为预设定的系数，ρ根据经验取值；表示Minitial中标记为内点的匹配特征点对的数量；λ为用来判断匹配特征点对运动方向一致性的经验阈值；dist(m(fip),μ(fip))表示m(fip)和μ(fip)的距离，m(fip)表示匹配特征点对<fip,f′iq>的运动大小，μ(fip)和δ(fip)分别表示匹配特征点对<fip,f′iq>的运动大小平均值和运动大小方差；
2.4.6迭代子步骤2.4.2～2.4.6，直至无外点被找到；
2.4.7判断λ是否小于预设的最小值λmin，若不小于，按预设的递减幅度递减λ，然后返回执行子步骤2.4.2；否则，结束，当前内点集即剔除了误匹配特征点对后的匹配特征点对集。
7.如权利要求1所述的基于影像变形的街景影像拼接方法，其特征是：
子步骤4.2中，若计算出的像素坐标x′＝(x′,y′)T不为整数，则在影像Ii中，以x′为中心，采用双线性内插法内插出像素x′的灰度值。
8.基于影像变形的街景影像拼接系统，其特征是，包括：
待拼接影像对构建模块，用来准备待拼接影像，并构建水平方向的待拼接影像对；
匹配特征点对集获得模块，用来获得待拼接影像对的重叠区域影像对，对重叠区域影像对中两张重叠区域影像进行特征点匹配，获得匹配特征点对集；
光流场获得模块，用来计算匹配特征点对集中各匹配特征点对的光流d(xp)，基于各匹配特征点对的光流d(xp)内插出待拼接影像的光流场；其中，光流(x'q,y'q)和(xp,yp)分别表示匹配特征点对中两个匹配特征点的坐标；
非刚体变形模块，用来根据光流场对待拼接影像对中两张待拼接影像分别进行非刚体变形；所述的非刚体变形模块进一步包括子模块：
影像初始化子模块，用来将待拼接影像I非刚体变形后的影像记为I'，令I'为与待拼接影像I等大的空影像；
灰度值赋值子模块，用来对影像I'中各像素x＝(x,y)T，分别进行：
计算x在待拼接影像I中对应的像素x′＝(x′,y′)T，其中，dx(x)和dy(x)分别为x在x方向和y方向的光流值，将待拼接影像I中像素x′的灰度值赋给影像I'中像素x；
拼接模块，用来对非刚体变形后的影像进行拼接，得由水平方向的待拼接影像对拼接的全景影像IH。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710044943.8A CN107067368B (zh) | 2017-01-20 | 2017-01-20 | 基于影像变形的街景影像拼接方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710044943.8A CN107067368B (zh) | 2017-01-20 | 2017-01-20 | 基于影像变形的街景影像拼接方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107067368A true CN107067368A (zh) | 2017-08-18 |
| CN107067368B CN107067368B (zh) | 2019-11-26 |
Family
ID=59598868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710044943.8A Active CN107067368B (zh) | 2017-01-20 | 2017-01-20 | 基于影像变形的街景影像拼接方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107067368B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171655A (zh) * | 2017-12-27 | 2018-06-15 | 深圳普思英察科技有限公司 | 基于单目摄像头的倒车影像拼接方法和装置 |
| CN110264406A (zh) * | 2019-05-07 | 2019-09-20 | 威盛电子股份有限公司 | 图像处理装置及图像处理的方法 |
| WO2021031210A1 (zh) * | 2019-08-22 | 2021-02-25 | 深圳市铂岩科技有限公司 | 视频处理方法和装置、存储介质和电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102968780A (zh) * | 2012-09-11 | 2013-03-13 | 浙江大学 | 一种基于人眼视觉特性的遥感图像拼接方法 |
| US20130208997A1 (en) * | 2010-11-02 | 2013-08-15 | Zte Corporation | Method and Apparatus for Combining Panoramic Image |
| CN103985133A (zh) * | 2014-05-30 | 2014-08-13 | 武汉大学 | 基于图割能量优化的影像间最优拼接线寻找方法及系统 |
| CN104182949A (zh) * | 2014-08-18 | 2014-12-03 | 武汉大学 | 基于直方图特征点配准的影像匀色与融合方法及系统 |
-
2017
- 2017-01-20 CN CN201710044943.8A patent/CN107067368B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130208997A1 (en) * | 2010-11-02 | 2013-08-15 | Zte Corporation | Method and Apparatus for Combining Panoramic Image |
| CN102968780A (zh) * | 2012-09-11 | 2013-03-13 | 浙江大学 | 一种基于人眼视觉特性的遥感图像拼接方法 |
| CN103985133A (zh) * | 2014-05-30 | 2014-08-13 | 武汉大学 | 基于图割能量优化的影像间最优拼接线寻找方法及系统 |
| CN104182949A (zh) * | 2014-08-18 | 2014-12-03 | 武汉大学 | 基于直方图特征点配准的影像匀色与融合方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 吴辉: "全景影像的优化生成及其并行处理方法", 《中国优秀硕士学位论文全文数据库.基础科学辑》 * |
| 曹君等: "基于鱼眼影像的街景地图生成方法", 《电脑与电信》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171655A (zh) * | 2017-12-27 | 2018-06-15 | 深圳普思英察科技有限公司 | 基于单目摄像头的倒车影像拼接方法和装置 |
| CN110264406A (zh) * | 2019-05-07 | 2019-09-20 | 威盛电子股份有限公司 | 图像处理装置及图像处理的方法 |
| CN110264406B (zh) * | 2019-05-07 | 2023-04-07 | 威盛电子(深圳)有限公司 | 图像处理装置及图像处理的方法 |
| WO2021031210A1 (zh) * | 2019-08-22 | 2021-02-25 | 深圳市铂岩科技有限公司 | 视频处理方法和装置、存储介质和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107067368B (zh) | 2019-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109685913B (zh) | 基于计算机视觉定位的增强现实实现方法 | |
| CN106875339B (zh) | 一种基于长条形标定板的鱼眼图像拼接方法 | |
| CN110020985B (zh) | 一种双目机器人的视频拼接系统及方法 | |
| CN110197466B (zh) | 一种广角鱼眼图像矫正方法 | |
| CN103198487B (zh) | 一种用于视频监控系统中的自动定标方法 | |
| CN112085659B (zh) | 一种基于球幕相机的全景拼接融合方法、系统及存储介质 | |
| CN110782394A (zh) | 全景视频快速拼接方法及系统 | |
| CN106600644B (zh) | 全景摄像机的参数矫正方法及装置 | |
| CN106469444B (zh) | 消除拼接缝隙的快速图像融合方法 | |
| CN110400278B (zh) | 一种图像颜色和几何畸变的全自动校正方法、装置及设备 | |
| CN103945207B (zh) | 一种基于视点合成的立体图像垂直视差消除方法 | |
| CN106952219B (zh) | 一种基于外参数修正鱼眼像机的图像生成方法 | |
| CN109711268B (zh) | 一种人脸图像筛选方法及设备 | |
| CN110838086B (zh) | 一种基于相关性模板匹配的室外图像拼接方法 | |
| CN106886976B (zh) | 一种基于内参数修正鱼眼像机的图像生成方法 | |
| CN109961399A (zh) | 基于图像距离变换的最佳缝合线搜寻方法 | |
| CN107067368A (zh) | 基于影像变形的街景影像拼接方法及系统 | |
| WO2017113535A1 (zh) | 一种相机几何标定处理方法及装置 | |
| CN109859137B (zh) | 一种广角相机非规则畸变全域校正方法 | |
| CN108492263A (zh) | 一种镜头径向畸变校正方法 | |
| CN111461963A (zh) | 一种鱼眼图像拼接方法及装置 | |
| CN109509148A (zh) | 一种全景环视图像拼接融合方法和装置 | |
| CN103793891A (zh) | 低复杂度的全景影像接合方法 | |
| CN115049535A (zh) | 鱼眼镜头有效区域获取与图像精细校正方法 | |
| CN109754385A (zh) | 未配准多聚焦图像的快速融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |