CN106157304A - 一种基于多个相机的全景图拼接方法及系统 - Google Patents

一种基于多个相机的全景图拼接方法及系统 Download PDF

Info

Publication number
CN106157304A
CN106157304A CN201610502807.4A CN201610502807A CN106157304A CN 106157304 A CN106157304 A CN 106157304A CN 201610502807 A CN201610502807 A CN 201610502807A CN 106157304 A CN106157304 A CN 106157304A
Authority
CN
China
Prior art keywords
camera
image
cameras
coordinate system
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610502807.4A
Other languages
English (en)
Inventor
周剑
龙学军
晁志超
张辰阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Tongjia Youbo Technology Co Ltd
Original Assignee
Chengdu Tongjia Youbo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Tongjia Youbo Technology Co Ltd filed Critical Chengdu Tongjia Youbo Technology Co Ltd
Priority to CN201610502807.4A priority Critical patent/CN106157304A/zh
Publication of CN106157304A publication Critical patent/CN106157304A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多个相机的全景图拼接方法及系统，基于多个相机的全景图拼接方法，应用于无人机中，无人机包括复数个用于摄取不同视角的相机，且相邻两个相机的部分视角重叠，包括下述步骤：S1.分别对每个相机进行标定，以获取每个相机的内参数据及外参数据；S2.根据每个相机的内参数据和外部参数，将每个相机获取的图像投影至一无人机坐标系下，无人机坐标系以无人机在地面的竖直投影点作为坐标原点；S3.采用双线性插值算法分别对每个相机获取的图像进行预处理；S4.根据每个相机的外参数据，采用尺度不变特征转换特征对经过预处理的所有图像进行匹配，以进行图像拼接获取全景图。

Description

一种基于多个相机的全景图拼接方法及系统
技术领域
本发明涉及无人机领域，尤其涉及一种基于多个相机的全景图拼接方法及系统。
背景技术
无人机航拍摄影技术由于具有高清晰、大比例尺、小面积、高现势性等优点，因此被广泛应用于国家生态环境保护、矿产资源勘探、海洋环境检测、土地利用调查、水资源开发、农作物长势检测与估产、农业作业、自然灾害检测与评估、城市规划与市政管理、森林病虫害防护与检测、公共安全、国防事业、数字地球以及广告摄影等领域，有着广阔的市场需求。
现有的无人机航拍技术，主要采用单相机来获取影像，虽然可以获取大比例尺的清晰图像，但拍摄的面积有限，对于需要进行大面积拍摄的地区，需要往复多次才能获得该地区的完整影像，操作繁琐，且无法直接获取完整的影像，用户体验效果差。
发明内容
针对现有的无人机航拍技术存在的上述问题，现提供一种旨在实现可直接获取完整的全景图，减少无人机飞行次数的基于多个相机的全景图拼接方法及系统。
具体技术方案如下：
一种基于多个相机的全景图拼接方法，应用于无人机中，所述无人机包括复数个用于摄取不同视角的相机，且位置相邻两个所述相机的部分视角重叠，包括下述步骤：
S1. 分别对每个所述相机进行标定，以获取每个相机的内参数据及外参数据；
S2. 根据每个所述相机的所述内参数据和所述外部参数，将每个所述相机获取的图像投影至一无人机坐标系下，所述无人机坐标系以所述无人机在地面的竖直投影点作为坐标原点；
S3. 采用双线性插值算法分别对每个所述相机获取的所述图像进行预处理；
S4. 根据每个所述相机的所述外参数据，采用尺度不变特征转换特征对经过预处理的所有所述图像进行匹配，以进行图像拼接获取全景图。
优选的，所述步骤S1包括：
S11. 当所述无人机上升到预定高度后，控制所有所述相机对预设标定板进行拍照，以获取每个所述相机的标定图像，记录所述标定板上每个角点的物理坐标，以及在所述标定图像上获得相应的图像坐标，获取每个所述相机的所述外参数据；
S12. 采用最小二乘法获取每个所述相机的内参数据。
优选的，所述步骤S2包括：
S21. 根据每个所述相机的所述内参数据和所述外部参数，获取每个所述相机的图像坐标系与世界坐标系之间的旋转平移矩阵；
S22. 将所有所述相机获取的所述图像均转换到视角为竖直向下的所述相机的所述图像坐标系下。
优选的，在所述步骤S3中采用双线性插值算法分别对每个所述相机获取的所述图像中需进行插值的区域进行插值操作。
优选的，所述步骤S4中包括：
S41. 分别检测经过预处理的所有所述图像的尺度不变特征转换特征，以获取每幅所述图像的特征点集；
S42. 根据每个所述相机的所述外参数据获取两两相邻的所述图像，采用最近邻算法对相邻的两个所述图像进行匹配，以获取匹配点；
S43. 根据每幅所述图像的灰度信息对所述匹配点进行提纯；
S44. 采用非线性最小二乘法对经过提纯的所述匹配点对进行运算，以获取两两对齐的所述图像；
S45. 采用直方图均衡化法对两两对齐的所述图像进行拼接处理，以获取所述全景图。
一种基于多个相机的全景图拼接系统，应用于上述的所述的基于多个相机的全景图拼接方法，包括：
一标定单元，用以对每个所述相机分别进行标定，以获取每个相机的内参数据及外参数据；
一转换单元，连接所述标定单元，用以根据每个所述相机的所述内参数据和所述外部参数，将每个所述相机获取的图像投影至一无人机坐标系下，所述无人机坐标系以所述无人机在地面的竖直投影点作为坐标原点；
一预处理单元，连接所述转换单元，用以采用双线性插值算法分别对每个所述相机获取的所述图像进行预处理；
一拼接单元，分别连接所述标定单元和所述预处理单元，用以根据每个所述相机的所述外参数据，采用尺度不变特征转换特征对经过预处理的所有所述图像进行匹配，以进行图像拼接获取全景图。
优选的，所述标定单元包括：
一第一获取模块，当所述无人机上升到预定高度后，用以控制所有所述相机对预设标定板进行拍照，以获取每个所述相机的标定图像，记录所述标定板上每个角点的物理坐标，以及在所述标定图像上获得相应的图像坐标，获取每个所述相机的所述外参数据；
一第二获取模块，用以采用最小二乘法获取每个所述相机的内参数据。
优选的，所述转换单元根据每个所述相机的所述内参数据和所述外部参数，获取每个所述相机的图像坐标系与世界坐标系之间的旋转平移矩阵；将所有所述相机获取的所述图像均转换到视角为竖直向下的所述相机的所述图像坐标系下。
优选的，所述预处理单元采用双线性插值算法分别对每个所述相机获取的所述图像中需进行插值的区域进行插值操作。
优选的，所述拼接单元包括：
一检测模块，用以分别检测经过预处理的所有所述图像的尺度不变特征转换特征，以获取每幅所述图像的特征点集；
一匹配模块，连接所述检测模块，用以根据每个所述相机的所述外参数据获取两两相邻的所述图像，采用最近邻算法对相邻的两个所述图像进行匹配，以获取匹配点；
一提纯模块，连接所述匹配模块，用以根据每幅所述图像的灰度信息对所述匹配点进行提纯；
一合成模块，连接所述提纯模块，用以采用非线性最小二乘法对经过提纯的所述匹配点对进行运算，以获取两两对齐的所述图像，采用直方图均衡化法对两两对齐的所述图像进行拼接处理，以获取所述全景图。
上述技术方案的有益效果：
基于多个相机的全景图拼接方法通过多个摄取不同视角的相机，获取多幅有一定视场重叠的图像，将所有图像拼接在一起从而获取一整幅更大景象的图像，可直接获取完整的全景图，减少无人机飞行次数的，提高了用户的体验效果；
基于多个相机的全景图拼接系统用以支持基于多个相机的全景图拼接方法对无人机上的多个相机拍摄的图像进行拼接以获取全景图。
附图说明
图1为本发明所述的基于多个相机的全景图拼接方法的一种实施例的方法流程图；
图2为本发明所述的基于多个相机的全景图拼接系统的一种实施例的模块图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
如图1所示，一种基于多个相机的全景图拼接方法，应用于无人机中，无人机包括复数个用于摄取不同视角的相机，且位置相邻两个相机的部分视角重叠，包括下述步骤：
S1. 分别对每个相机进行标定，以获取每个相机的内参数据及外参数据；
S2. 根据每个相机的内参数据和外部参数，将每个相机获取的图像投影至一无人机坐标系下，无人机坐标系以无人机在地面的竖直投影点作为坐标原点；
S3. 采用双线性插值算法分别对每个相机获取的图像进行预处理；
S4. 根据每个相机的外参数据，采用尺度不变特征转换特征对经过预处理的所有图像进行匹配，以进行图像拼接获取全景图。
进一步地，复数个相机可设置于无人机的底部，每个相机摄取不同视角且相邻两个相机的部分视角重叠。
在本实施例中，基于多个相机的全景图拼接方法通过多个摄取不同视角的相机，获取多幅有一定视场重叠的图像，经过预处理后将多幅图像拼接成全景图，使得在图像比例尺不变、清晰度不变的条件下获取更大拍摄面积，减少无人机飞行次数，提高了用户的体验效果。
在优选的实施例中，步骤S1包括：
S11. 当无人机上升到预定高度后，控制所有相机对预设标定板进行拍照，以获取每个相机的标定图像，记录标定板上每个角点的物理坐标，以及在标定图像上获得相应的图像坐标，获取每个相机的外参数据；
S12. 采用最小二乘法获取每个相机的内参数据。
在本实施例中，相机参数的标定是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。在标定过程中，共涉及四个坐标系分别为：世界坐标系、相机坐标系、成像平面坐标系和图像坐标系。其中世界坐标系和相机坐标系均为三维坐标系，成像平面坐标系和图像坐标系是二维坐标系，图像坐标系的坐标点为像素点。
标定原理如下：
世界坐标系与相机坐标系之间的变换关系可用一个旋转矩阵R 和一个平移向量t 来描述。空间中某一点Q在世界坐标的坐标为（X w，Y w，Z w），对应的点在相机坐标系下的坐标为（X C ，Y C ，Z C ），于是存在如下关系(写成齐次坐标)：
(1)
其中，R 为3*3的正交矩阵，t 为三维平移向量；；M 为4*4矩阵，M 表示相机的外部参数矩阵。
相机坐标系与理想成像平面坐标系(x ,y )之间的变换关系可用针孔模型表示：
（2）
其中，f 是相机的焦距。
成像平面坐标系(x,y)与图像坐标系(u,v)之间的变换关系如下：
(3)
其中，dx、dy为每一个像素在x 轴y 轴上的物理尺寸，即单位像素所代表的长度。,为成像平面坐标系的原点坐标（主点坐标）。
将公式(1)、(2)、(3)结合起来有：
(4)
其中，；A为相机的内部参数矩阵。
由于相机镜头可能存在着畸变(如径向畸变、离心畸变等)，为准确估计畸变的程度，引入二阶畸变模型：
其中，，是实际的带畸变的成像平面坐标系下的坐标，k 1 和k 2均为相机的畸变参数，畸变参数属于内部参数。因此有公式：
（5）
获取每个相机的内参数据及外参数据的具体实施步骤如下：
固定所有相机，使它们相对位置不再变化，将无人机上升到一定高度，对标定板进行拍照。记录标定板上每个角点的物理坐标，以及在图像上获得相应的图像坐标(u,v)；
由公式（4）可获得标定板上点的世界坐标系坐标，以及图像上相对应的点坐标(u,v)，利用最小二乘的方法（解求最优解）即可求得相机的内参数矩阵A；
根据公式（5）进行畸变参数的标定，从而减少畸变对逆透视变换结果的影响。
在优选的实施例中，步骤S2包括：
S21. 根据每个相机的内参数据和外部参数，获取每个相机的图像坐标系与世界坐标系之间的旋转平移矩阵；
S22. 将所有相机获取的图像均转换到视角为竖直向下的相机的图像坐标系下。
由于每个相机的外部参数都不一样，即多个相机的高度和角度都不同，因此为了融合多个相机的图像/视频数据，需将所有的图像投影到相同的坐标系下。在本实施例中选择无人机坐标系为相机参考的世界坐标系。令无人机在地面的竖直投影点为坐标原点，以无人机飞行方向为X轴，垂直地面往上的方向为Z轴，垂直于X、Z轴的方向为Y轴建立无人机坐标系。
利用数学模型：
(6)
其中，是考虑畸变后的图像坐标系坐标，B 是世界坐标系坐标，s是放大系数，R 、t为旋转平移矩阵，即相机的外部参数。
具体实现步骤如下：
根据公式（6），求出竖直向下的相机的图像坐标系与世界坐标系之间的旋转平移矩阵，并求出其它相机的图像坐标系与世界坐标系之间的平移矩阵；其它相机与竖直向下的相机之间的几何关系可以用表示，其中，。并将其它相机的图像转到竖直向下相机图像坐标系。
在优选的实施例中，在步骤S3中采用双线性插值算法分别对每个相机获取的图像中需进行插值的区域进行插值操作。
实际过程中逆透视变换后图像上部分像素点由于在原始图像中找不到对应像素点而产生空洞，因此需要逆向映射寻找空洞所对应的图像像素点。
考虑到运算速度与运算准确性，本实施例采用双线性插值算法。双线性插值算法是对于待插值点P在原图像中的对应点P(u,v)，P(u,v)周围临近的四个像素点在横向和纵向方向上与P(u,v)的距离远近作为插值的权值，根据这个权值和点P(u,v)周围的四个像素点的灰度值来计算点P(u,v)的灰度值。即假设一幅图像相邻两个像素之间的灰度值在纵向、横向两个方向上均是一阶线性变化的，所以双线性插值算法又称为一阶插值。
具体实现步骤：
对于逆透视图像中某一像素(i，j)对应原始图像中的浮点坐标为(a+p,b+p), 其中a、b均为浮点坐标的整数部分；p、q 为浮点坐标的小数部分，是取值[0,1)区间的浮点数；
像素(i，j)的灰度值(RGB 值)可由原图像中(a,b)坐标附近的四个像素(a,b+1)、(a+1,v)、(a+1,b+1)、(a，b)位置的灰度值(RGB 值)决定，即：
G(i，j)=（1-p）*(1-q)*f（a，b）+（1-p）*q*f（a，b+1）+
p*（1-q）* f（a+1，b）+p*q* f（a+1，b+1）
其中，f()表示原图像对应点的灰度值，G()表示为逆透视图中对应点的灰度值。
在优选的实施例中，步骤S4中包括：
S41. 分别检测经过预处理的所有图像的尺度不变特征转换特征，以获取每幅图像的特征点集；
S42. 根据每个相机的外参数据获取两两相邻的图像，采用最近邻算法对相邻的两个图像进行匹配，以获取匹配点；
S43. 根据每幅图像的灰度信息对匹配点进行提纯；
S44. 采用非线性最小二乘法对经过提纯的匹配点对进行运算，以获取两两对齐的图像；
S45. 采用直方图均衡化法对两两对齐的图像进行拼接处理，以获取全景图。
图像拼接是指通过对齐两幅或者若干幅有空间位置上重叠的信息(一般指找出图像之间最优的空间位置和色彩之间的变换关系)，并将这些图像组合成一副无缝的、高清晰的图像技术。它具有比单个图像更宽的视野。图像的拼接算法由配准对齐和融合两种方法组成。
图像配准可以通过特征点匹配、频域特征以及灰度值匹配等多种方法。在本实施例中采用基于SIFT特征(基于尺度空间的图像局部特征描述算子)的图像匹配。SIFT特征具有较好的鲁棒性、旋转不变性、放射不变性等特点。以拼接两幅图像为例具体实现步骤如下：
利用投影到同一坐标系下的两张影像，分别检测它们的SIFT特征，对SIFT特征进行描述，得到特征点集；对两张图片的特征点集用最近邻算法进行匹配，最近邻算法即解算SIFT特征点描述子之间的相似度，若相似度大于某一阈值是，则认为特征点是一对匹配点；由于最近邻算法只利用了SIFT特征的相似性度量，所以得到的匹配点对存在误匹配，因此加入图像的灰度信息对匹配点进行提纯，若一对匹配点它们在图像上的同样大小的模板上的灰度值非常接近，则认为是正确匹配点对；利用非线性最小二乘法对匹配点对进行运算，解求最终变换矩阵，待配准影像乘以变换矩阵，最终得到对齐的两幅影像；最后用直方图均衡化或者平滑函数等方法对拼接或的图像进行处理，得到合成的图像。
如图2所示，一种基于多个相机的全景图拼接系统，应用于如上述的基于多个相机的全景图拼接方法，包括：
一标定单元1，用以对每个相机分别进行标定，以获取每个相机的内参数据及外参数据；
一转换单元2，连接标定单元1，用以根据每个相机的内参数据和外部参数，将每个相机获取的图像投影至一无人机坐标系下，无人机坐标系以无人机在地面的竖直投影点作为坐标原点；
一预处理单元4，连接转换单元2，用以采用双线性插值算法分别对每个相机获取的图像进行预处理；
一拼接单元3，分别连接标定单元1和预处理单元4，用以根据每个相机的外参数据，采用尺度不变特征转换特征对经过预处理的所有图像进行匹配，以进行图像拼接获取全景图。
在本实施例中，通过多个摄取不同视角的相机，获取多幅有一定视场重叠的图像，将所有图像拼接在一起从而获取一整幅更大景象的图像，可直接获取完整的全景图，减少无人机飞行次数的，提高了用户的体验效果。
在优选的实施例中，标定单元1包括：
一第一获取模块11，当无人机上升到预定高度后，用以控制所有相机对预设标定板进行拍照，以获取每个相机的标定图像，记录标定板上每个角点的物理坐标，以及在标定图像上获得相应的图像坐标，获取每个相机的外参数据；
一第二获取模块12，用以采用最小二乘法获取每个相机的内参数据。
在本实施例中，相机参数的标定是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。在标定过程中，共涉及四个坐标系分别为：世界坐标系、相机坐标系、成像平面坐标系和图像坐标系。其中世界坐标系和相机坐标系均为三维坐标系，成像平面坐标系和图像坐标系是二维坐标系，图像坐标系的坐标点为像素点。
在优选的实施例中，转换单元2根据每个相机的内参数据和外部参数，获取每个相机的图像坐标系与世界坐标系之间的旋转平移矩阵；将所有相机获取的图像均转换到视角为竖直向下的相机的图像坐标系下。
由于每个相机的外部参数都不一样，即多个相机的高度和角度都不同，因此为了融合多个相机的图像/视频数据，需将所有的图像投影到相同的坐标系下。在本实施例中选择无人机坐标系为相机参考的世界坐标系。令无人机在地面的竖直投影点为坐标原点，以无人机飞行方向为X轴，垂直地面往上的方向为Z轴，垂直于X、Z轴的方向为Y轴建立无人机坐标系。
在优选的实施例中，预处理单元4采用双线性插值算法分别对每个相机获取的图像中需进行插值的区域进行插值操作。
实际过程中逆透视变换后图像上部分像素点由于在原始图像中找不到对应像素点而产生空洞，因此需要逆向映射寻找空洞所对应的图像像素点。
考虑到运算速度与运算准确性，本实施例采用双线性插值算法。双线性插值算法是对于待插值点P在原图像中的对应点P(u,v)，P(u,v)周围临近的四个像素点在横向和纵向方向上与P(u,v)的距离远近作为插值的权值，根据这个权值和点P(u,v)周围的四个像素点的灰度值来计算点P(u,v)的灰度值。即假设一幅图像相邻两个像素之间的灰度值在纵向、横向两个方向上均是一阶线性变化的，所以双线性插值算法又称为一阶插值。
在优选的实施例中，拼接单元3包括：
一检测模块31，用以分别检测经过预处理的所有图像的尺度不变特征转换特征，以获取每幅图像的特征点集；
一匹配模块32，连接检测模块31，用以根据每个相机的外参数据获取两两相邻的图像，采用最近邻算法对相邻的两个图像进行匹配，以获取匹配点；
一提纯模块34，连接匹配模块32，用以根据每幅图像的灰度信息对匹配点进行提纯；
一合成模块33，连接提纯模块34，用以采用非线性最小二乘法对经过提纯的匹配点对进行运算，以获取两两对齐的图像，采用直方图均衡化法对两两对齐的图像进行拼接处理，以获取全景图。
图像拼接是指通过对齐两幅或者若干幅有空间位置上重叠的信息(一般指找出图像之间最优的空间位置和色彩之间的变换关系)，并将这些图像组合成一副无缝的、高清晰的图像技术。它具有比单个图像更宽的视野。图像的拼接算法由配准对齐和融合两种方法组成。
图像配准可以通过特征点匹配、频域特征以及灰度值匹配等多种方法。在本实施例中采用基于SIFT特征(基于尺度空间的图像局部特征描述算子)的图像匹配。SIFT特征具有较好的鲁棒性、旋转不变性、放射不变性等特点。以拼接两幅图像为例具体实现步骤如下：
利用投影到同一坐标系下的两张影像，分别检测它们的SIFT特征，对SIFT特征进行描述，得到特征点集；对两张图片的特征点集用最近邻算法进行匹配，最近邻算法即解算SIFT特征点描述子之间的相似度，若相似度大于某一阈值是，则认为特征点是一对匹配点；由于最近邻算法只利用了SIFT特征的相似性度量，所以得到的匹配点对存在误匹配，因此加入图像的灰度信息对匹配点进行提纯，若一对匹配点它们在图像上的同样大小的模板上的灰度值非常接近，则认为是正确匹配点对；利用非线性最小二乘法对匹配点对进行运算，解求最终变换矩阵，待配准影像乘以变换矩阵，最终得到对齐的两幅影像；最后用直方图均衡化或者平滑函数等方法对拼接或的图像进行处理，得到合成的图像。
本发明通过在无人机上安装的多个朝向不同的相机，获取多张有一定视场重叠度的影像(视频)并拼接在一起，从而得到一幅视场更大的全景图信息更加丰富，节约了无人机飞行时间。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

1.一种基于多个相机的全景图拼接方法，应用于无人机中，其特征在于，所述无人机包括复数个用于摄取不同视角的相机，且位置相邻两个所述相机的部分视角重叠，包括下述步骤：
S1. 分别对每个所述相机进行标定，以获取每个相机的内参数据及外参数据；
S2. 根据每个所述相机的所述内参数据和所述外部参数，将每个所述相机获取的图像投影至一无人机坐标系下，所述无人机坐标系以所述无人机在地面的竖直投影点作为坐标原点；
S3. 采用双线性插值算法分别对每个所述相机获取的所述图像进行预处理；
S4. 根据每个所述相机的所述外参数据，采用尺度不变特征转换特征对经过预处理的所有所述图像进行匹配，以进行图像拼接获取全景图。
2.如权利要求1所述的基于多个相机的全景图拼接方法，其特征在于，所述步骤S1包括：
S11. 当所述无人机上升到预定高度后，控制所有所述相机对预设标定板进行拍照，以获取每个所述相机的标定图像，记录所述标定板上每个角点的物理坐标，以及在所述标定图像上获得相应的图像坐标，获取每个所述相机的所述外参数据；
S12. 采用最小二乘法获取每个所述相机的内参数据。
3.如权利要求1所述的基于多个相机的全景图拼接方法，其特征在于，所述步骤S2包括：
S21. 根据每个所述相机的所述内参数据和所述外部参数，获取每个所述相机的图像坐标系与世界坐标系之间的旋转平移矩阵；
S22. 将所有所述相机获取的所述图像均转换到视角为竖直向下的所述相机的所述图像坐标系下。
4.如权利要求1所述的基于多个相机的全景图拼接方法，其特征在于，在所述步骤S3中采用双线性插值算法分别对每个所述相机获取的所述图像中需进行插值的区域进行插值操作。
5.如权利要求1所述的基于多个相机的全景图拼接方法，其特征在于，所述步骤S4中包括：
S41. 分别检测经过预处理的所有所述图像的尺度不变特征转换特征，以获取每幅所述图像的特征点集；
S42. 根据每个所述相机的所述外参数据获取两两相邻的所述图像，采用最近邻算法对相邻的两个所述图像进行匹配，以获取匹配点；
S43. 根据每幅所述图像的灰度信息对所述匹配点进行提纯；
S44. 采用非线性最小二乘法对经过提纯的所述匹配点对进行运算，以获取两两对齐的所述图像；
S45. 采用直方图均衡化法对两两对齐的所述图像进行拼接处理，以获取所述全景图。
6.一种基于多个相机的全景图拼接系统，应用于如权利要求1-5中任一所述的基于多个相机的全景图拼接方法，其特征在于，包括：
一标定单元，用以对每个所述相机分别进行标定，以获取每个相机的内参数据及外参数据；
一转换单元，连接所述标定单元，用以根据每个所述相机的所述内参数据和所述外部参数，将每个所述相机获取的图像投影至一无人机坐标系下，所述无人机坐标系以所述无人机在地面的竖直投影点作为坐标原点；
一预处理单元，连接所述转换单元，用以采用双线性插值算法分别对每个所述相机获取的所述图像进行预处理；
一拼接单元，分别连接所述标定单元和所述预处理单元，用以根据每个所述相机的所述外参数据，采用尺度不变特征转换特征对经过预处理的所有所述图像进行匹配，以进行图像拼接获取全景图。
7.如权利要求6所述的基于多个相机的全景图拼接系统，其特征在于，所述标定单元包括：
一第一获取模块，当所述无人机上升到预定高度后，用以控制所有所述相机对预设标定板进行拍照，以获取每个所述相机的标定图像，记录所述标定板上每个角点的物理坐标，以及在所述标定图像上获得相应的图像坐标，获取每个所述相机的所述外参数据；
一第二获取模块，用以采用最小二乘法获取每个所述相机的内参数据。
8.如权利要求6所述的基于多个相机的全景图拼接系统，其特征在于，所述转换单元根据每个所述相机的所述内参数据和所述外部参数，获取每个所述相机的图像坐标系与世界坐标系之间的旋转平移矩阵；将所有所述相机获取的所述图像均转换到视角为竖直向下的所述相机的所述图像坐标系下。
9.如权利要求6所述的基于多个相机的全景图拼接系统，其特征在于，所述预处理单元采用双线性插值算法分别对每个所述相机获取的所述图像中需进行插值的区域进行插值操作。
10.如权利要求6所述的基于多个相机的全景图拼接系统，其特征在于，所述拼接单元包括：
一检测模块，用以分别检测经过预处理的所有所述图像的尺度不变特征转换特征，以获取每幅所述图像的特征点集；
一匹配模块，连接所述检测模块，用以根据每个所述相机的所述外参数据获取两两相邻的所述图像，采用最近邻算法对相邻的两个所述图像进行匹配，以获取匹配点；
一提纯模块，连接所述匹配模块，用以根据每幅所述图像的灰度信息对所述匹配点进行提纯；
一合成模块，连接所述提纯模块，用以采用非线性最小二乘法对经过提纯的所述匹配点对进行运算，以获取两两对齐的所述图像，采用直方图均衡化法对两两对齐的所述图像进行拼接处理，以获取所述全景图。
CN201610502807.4A 2016-07-01 2016-07-01 一种基于多个相机的全景图拼接方法及系统 Pending CN106157304A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610502807.4A CN106157304A (zh) 2016-07-01 2016-07-01 一种基于多个相机的全景图拼接方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610502807.4A CN106157304A (zh) 2016-07-01 2016-07-01 一种基于多个相机的全景图拼接方法及系统

Publications (1)

Publication Number Publication Date
CN106157304A true CN106157304A (zh) 2016-11-23

Family

ID=57350543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610502807.4A Pending CN106157304A (zh) 2016-07-01 2016-07-01 一种基于多个相机的全景图拼接方法及系统

Country Status (1)

Country Link
CN (1) CN106157304A (zh)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803271A (zh) * 2016-12-23 2017-06-06 成都通甲优博科技有限责任公司 一种视觉导航无人机的摄像机标定方法及装置
CN106878627A (zh) * 2017-01-20 2017-06-20 深圳市圆周率软件科技有限责任公司 一种脱离全景相机进行全景拼接方法及系统
CN106875339A (zh) * 2017-02-22 2017-06-20 长沙全度影像科技有限公司 一种基于长条形标定板的鱼眼图像拼接方法
CN106950985A (zh) * 2017-03-20 2017-07-14 成都通甲优博科技有限责任公司 一种自动送货方法及装置
CN107071268A (zh) * 2017-01-20 2017-08-18 深圳市圆周率软件科技有限责任公司 一种多目全景相机全景拼接方法及系统
CN107358577A (zh) * 2017-06-29 2017-11-17 西安交通大学 一种立方体全景图的快速拼接方法
CN107364393A (zh) * 2017-05-25 2017-11-21 纵目科技（上海）股份有限公司 车辆后视图像的显示方法、装置、存储介质及电子设备
CN107403447A (zh) * 2017-07-14 2017-11-28 梅卡曼德（北京）机器人科技有限公司 深度图像获取方法
CN107689029A (zh) * 2017-09-01 2018-02-13 努比亚技术有限公司 图像处理方法、移动终端和计算机可读存储介质
CN107729824A (zh) * 2017-09-28 2018-02-23 湖北工业大学 一种用于中餐宴会台面摆台智能评分的单目视觉定位方法
CN107993264A (zh) * 2017-11-17 2018-05-04 广州市安晓科技有限责任公司 一种汽车环视全景的标定方法
WO2018094866A1 (zh) * 2016-11-25 2018-05-31 深圳市元征科技股份有限公司 一种基于无人机的全景直播方法及终端
CN108447097A (zh) * 2018-03-05 2018-08-24 清华-伯克利深圳学院筹备办公室 深度相机标定方法、装置、电子设备及存储介质
CN109166151A (zh) * 2018-07-27 2019-01-08 深圳六滴科技有限公司 全景相机的远程标定方法、装置、计算机设备和存储介质
CN109191530A (zh) * 2018-07-27 2019-01-11 深圳六滴科技有限公司 全景相机标定方法、系统、计算机设备和存储介质
CN109389056A (zh) * 2018-09-21 2019-02-26 北京航空航天大学 一种空基多视角协同的轨道周边环境检测方法
CN109753930A (zh) * 2019-01-03 2019-05-14 京东方科技集团股份有限公司 人脸检测方法及人脸检测系统
CN109886259A (zh) * 2019-02-22 2019-06-14 潍坊科技学院 一种基于计算机视觉的番茄病害识别预警方法及装置
CN110286091A (zh) * 2019-06-11 2019-09-27 华南农业大学 一种基于无人机的近地遥感图像采集方法
CN111062984A (zh) * 2019-12-20 2020-04-24 广州市鑫广飞信息科技有限公司 视频图像区域面积的测量方法、装置、设备及存储介质
CN111223038A (zh) * 2019-12-02 2020-06-02 上海赫千电子科技有限公司 一种车载环视图像的自动拼接方法及显示装置
CN111369439A (zh) * 2020-02-29 2020-07-03 华南理工大学 基于环视的自动泊车车位识别全景环视图像实时拼接方法
CN111383276A (zh) * 2018-12-28 2020-07-07 浙江舜宇智能光学技术有限公司 相机的集成标定系统、标定方法和标定设备
CN111667405A (zh) * 2019-03-06 2020-09-15 西安邮电大学 图像拼接方法及装置
CN112001844A (zh) * 2020-08-18 2020-11-27 南京工程学院 获取稻飞虱高清图像的采集装置及快速拼接方法
CN112102168A (zh) * 2020-09-03 2020-12-18 成都中科合迅科技有限公司 基于多线程的图像拼接方法与系统
CN112184662A (zh) * 2020-09-27 2021-01-05 成都数之联科技有限公司 应用于无人机图像拼接中的相机外参数初始方法及系统
CN112562013A (zh) * 2020-12-25 2021-03-26 深圳看到科技有限公司 多镜头相机标定方法、装置及存储介质
CN112965503A (zh) * 2020-05-15 2021-06-15 东风柳州汽车有限公司 多路摄像头融合拼接方法、装置、设备及存储介质
CN113068006A (zh) * 2021-03-16 2021-07-02 珠海研果科技有限公司 图像呈现方法和装置
WO2021258579A1 (zh) * 2020-06-24 2021-12-30 北京迈格威科技有限公司 图像拼接方法、装置、计算机设备和存储介质
CN113888640A (zh) * 2021-09-07 2022-01-04 浙江大学 一种适用于无人机云台相机的改进标定方法
CN114140593A (zh) * 2021-12-02 2022-03-04 北京清晨动力科技有限公司 数字地球和全景图融合显示方法和装置
CN114359410A (zh) * 2022-01-10 2022-04-15 杭州巨岩欣成科技有限公司 泳池防溺水多相机空间融合方法、装置、计算机设备及存储介质
WO2022077239A1 (zh) * 2020-10-13 2022-04-21 深圳市大疆创新科技有限公司 摄像机参数的标定方法、图像处理方法、装置及存储介质
CN117970942A (zh) * 2024-01-30 2024-05-03 深圳市海科技术有限公司 一种视觉同步的无人机飞行控制系统及控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040264806A1 (en) * 2003-06-24 2004-12-30 Microsoft Corporation System and method for de-noising multiple copies of a signal
US20050089213A1 (en) * 2003-10-23 2005-04-28 Geng Z. J. Method and apparatus for three-dimensional modeling via an image mosaic system
CN101866482A (zh) * 2010-06-21 2010-10-20 清华大学 基于摄像设备自标定技术的全景图拼接方法和装置
CN105046649A (zh) * 2015-06-30 2015-11-11 硅革科技（北京）有限公司 一种去除运动视频中运动物体的全景图拼接方法
CN105447850A (zh) * 2015-11-12 2016-03-30 浙江大学 一种基于多视点图像的全景图拼接合成方法
CN105627991A (zh) * 2015-12-21 2016-06-01 武汉大学 一种无人机影像实时全景拼接方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040264806A1 (en) * 2003-06-24 2004-12-30 Microsoft Corporation System and method for de-noising multiple copies of a signal
US20050089213A1 (en) * 2003-10-23 2005-04-28 Geng Z. J. Method and apparatus for three-dimensional modeling via an image mosaic system
CN101866482A (zh) * 2010-06-21 2010-10-20 清华大学 基于摄像设备自标定技术的全景图拼接方法和装置
CN105046649A (zh) * 2015-06-30 2015-11-11 硅革科技（北京）有限公司 一种去除运动视频中运动物体的全景图拼接方法
CN105447850A (zh) * 2015-11-12 2016-03-30 浙江大学 一种基于多视点图像的全景图拼接合成方法
CN105627991A (zh) * 2015-12-21 2016-06-01 武汉大学 一种无人机影像实时全景拼接方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WANG HAIYING 等: "Construction of panoramic image mosaics based on affine transform and graph cut", 《 INTERNATIONAL CONFERENCE ON IMAGE PROCESSING AND PATTERN RECOGNITION IN INDUSTRIAL ENGINEERING》 *
宋宝森: "全景图像拼接方法研究与实现", 《中国博士学位论文全文数据库_信息科技辑》 *

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018094866A1 (zh) * 2016-11-25 2018-05-31 深圳市元征科技股份有限公司 一种基于无人机的全景直播方法及终端
CN106803271B (zh) * 2016-12-23 2020-04-28 成都通甲优博科技有限责任公司 一种视觉导航无人机的摄像机标定方法及装置
CN106803271A (zh) * 2016-12-23 2017-06-06 成都通甲优博科技有限责任公司 一种视觉导航无人机的摄像机标定方法及装置
CN107071268A (zh) * 2017-01-20 2017-08-18 深圳市圆周率软件科技有限责任公司 一种多目全景相机全景拼接方法及系统
CN106878627A (zh) * 2017-01-20 2017-06-20 深圳市圆周率软件科技有限责任公司 一种脱离全景相机进行全景拼接方法及系统
CN106875339A (zh) * 2017-02-22 2017-06-20 长沙全度影像科技有限公司 一种基于长条形标定板的鱼眼图像拼接方法
CN106875339B (zh) * 2017-02-22 2020-03-27 长沙全度影像科技有限公司 一种基于长条形标定板的鱼眼图像拼接方法
CN106950985B (zh) * 2017-03-20 2020-07-03 成都通甲优博科技有限责任公司 一种自动送货方法及装置
CN106950985A (zh) * 2017-03-20 2017-07-14 成都通甲优博科技有限责任公司 一种自动送货方法及装置
CN107364393A (zh) * 2017-05-25 2017-11-21 纵目科技（上海）股份有限公司 车辆后视图像的显示方法、装置、存储介质及电子设备
CN107358577A (zh) * 2017-06-29 2017-11-17 西安交通大学 一种立方体全景图的快速拼接方法
CN107358577B (zh) * 2017-06-29 2020-08-18 西安交通大学 一种立方体全景图的快速拼接方法
CN107403447A (zh) * 2017-07-14 2017-11-28 梅卡曼德（北京）机器人科技有限公司 深度图像获取方法
CN107689029A (zh) * 2017-09-01 2018-02-13 努比亚技术有限公司 图像处理方法、移动终端和计算机可读存储介质
CN107729824B (zh) * 2017-09-28 2021-07-13 湖北工业大学 一种用于中餐宴会台面摆台智能评分的单目视觉定位方法
CN107729824A (zh) * 2017-09-28 2018-02-23 湖北工业大学 一种用于中餐宴会台面摆台智能评分的单目视觉定位方法
CN107993264A (zh) * 2017-11-17 2018-05-04 广州市安晓科技有限责任公司 一种汽车环视全景的标定方法
CN108447097B (zh) * 2018-03-05 2021-04-27 清华-伯克利深圳学院筹备办公室 深度相机标定方法、装置、电子设备及存储介质
CN108447097A (zh) * 2018-03-05 2018-08-24 清华-伯克利深圳学院筹备办公室 深度相机标定方法、装置、电子设备及存储介质
CN109191530B (zh) * 2018-07-27 2022-07-05 深圳六滴科技有限公司 全景相机标定方法、系统、计算机设备和存储介质
CN109191530A (zh) * 2018-07-27 2019-01-11 深圳六滴科技有限公司 全景相机标定方法、系统、计算机设备和存储介质
CN109166151A (zh) * 2018-07-27 2019-01-08 深圳六滴科技有限公司 全景相机的远程标定方法、装置、计算机设备和存储介质
CN109389056A (zh) * 2018-09-21 2019-02-26 北京航空航天大学 一种空基多视角协同的轨道周边环境检测方法
CN111383276A (zh) * 2018-12-28 2020-07-07 浙江舜宇智能光学技术有限公司 相机的集成标定系统、标定方法和标定设备
CN111383276B (zh) * 2018-12-28 2024-09-24 浙江舜宇智能光学技术有限公司 相机的集成标定系统、标定方法和标定设备
CN109753930A (zh) * 2019-01-03 2019-05-14 京东方科技集团股份有限公司 人脸检测方法及人脸检测系统
CN109886259A (zh) * 2019-02-22 2019-06-14 潍坊科技学院 一种基于计算机视觉的番茄病害识别预警方法及装置
CN111667405A (zh) * 2019-03-06 2020-09-15 西安邮电大学 图像拼接方法及装置
CN110286091A (zh) * 2019-06-11 2019-09-27 华南农业大学 一种基于无人机的近地遥感图像采集方法
CN111223038B (zh) * 2019-12-02 2023-06-09 上海赫千电子科技有限公司 一种车载环视图像的自动拼接方法及显示装置
CN111223038A (zh) * 2019-12-02 2020-06-02 上海赫千电子科技有限公司 一种车载环视图像的自动拼接方法及显示装置
CN111062984B (zh) * 2019-12-20 2024-03-15 广州市鑫广飞信息科技有限公司 视频图像区域面积的测量方法、装置、设备及存储介质
CN111062984A (zh) * 2019-12-20 2020-04-24 广州市鑫广飞信息科技有限公司 视频图像区域面积的测量方法、装置、设备及存储介质
CN111369439A (zh) * 2020-02-29 2020-07-03 华南理工大学 基于环视的自动泊车车位识别全景环视图像实时拼接方法
CN111369439B (zh) * 2020-02-29 2023-05-23 华南理工大学 基于环视的自动泊车车位识别全景环视图像实时拼接方法
CN112965503A (zh) * 2020-05-15 2021-06-15 东风柳州汽车有限公司 多路摄像头融合拼接方法、装置、设备及存储介质
CN112965503B (zh) * 2020-05-15 2022-09-16 东风柳州汽车有限公司 多路摄像头融合拼接方法、装置、设备及存储介质
WO2021258579A1 (zh) * 2020-06-24 2021-12-30 北京迈格威科技有限公司 图像拼接方法、装置、计算机设备和存储介质
CN112001844A (zh) * 2020-08-18 2020-11-27 南京工程学院 获取稻飞虱高清图像的采集装置及快速拼接方法
CN112102168A (zh) * 2020-09-03 2020-12-18 成都中科合迅科技有限公司 基于多线程的图像拼接方法与系统
CN112184662B (zh) * 2020-09-27 2023-12-15 成都数之联科技股份有限公司 应用于无人机图像拼接中的相机外参数初始方法及系统
CN112184662A (zh) * 2020-09-27 2021-01-05 成都数之联科技有限公司 应用于无人机图像拼接中的相机外参数初始方法及系统
WO2022077239A1 (zh) * 2020-10-13 2022-04-21 深圳市大疆创新科技有限公司 摄像机参数的标定方法、图像处理方法、装置及存储介质
CN112562013A (zh) * 2020-12-25 2021-03-26 深圳看到科技有限公司 多镜头相机标定方法、装置及存储介质
CN112562013B (zh) * 2020-12-25 2022-11-01 深圳看到科技有限公司 多镜头相机标定方法、装置及存储介质
CN113068006A (zh) * 2021-03-16 2021-07-02 珠海研果科技有限公司 图像呈现方法和装置
CN113888640B (zh) * 2021-09-07 2024-02-02 浙江大学 一种适用于无人机云台相机的改进标定方法
CN113888640A (zh) * 2021-09-07 2022-01-04 浙江大学 一种适用于无人机云台相机的改进标定方法
CN114140593B (zh) * 2021-12-02 2022-06-14 北京清晨动力科技有限公司 数字地球和全景图融合显示方法和装置
CN114140593A (zh) * 2021-12-02 2022-03-04 北京清晨动力科技有限公司 数字地球和全景图融合显示方法和装置
CN114359410A (zh) * 2022-01-10 2022-04-15 杭州巨岩欣成科技有限公司 泳池防溺水多相机空间融合方法、装置、计算机设备及存储介质
CN114359410B (zh) * 2022-01-10 2024-04-19 杭州巨岩欣成科技有限公司 泳池防溺水多相机空间融合方法、装置、计算机设备及存储介质
CN117970942A (zh) * 2024-01-30 2024-05-03 深圳市海科技术有限公司 一种视觉同步的无人机飞行控制系统及控制方法

Similar Documents

Publication Publication Date Title
CN106157304A (zh) 一种基于多个相机的全景图拼接方法及系统
CN105957007B (zh) 基于特征点平面相似度的图像拼接方法
CN105379264B (zh) 用于成像设备建模与校准的系统和方法
KR101175097B1 (ko) 파노라마 영상 생성 방법
CN110782394A (zh) 全景视频快速拼接方法及系统
CN109064404A (zh) 一种基于多相机标定的全景拼接方法、全景拼接系统
US20210082086A1 (en) Depth-based image stitching for handling parallax
CN104392416B (zh) 一种运动场景的视频拼接方法
CN105005964B (zh) 基于视频序列影像的地理场景全景图快速生成方法
CN104732482A (zh) 一种基于控制点的多分辨率图像拼接方法
CN107333064B (zh) 一种球形全景视频的拼接方法及系统
Lo et al. Image stitching for dual fisheye cameras
Wan et al. Drone image stitching using local mesh-based bundle adjustment and shape-preserving transform
CN115330594A (zh) 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法
KR20060056050A (ko) 자동화된 360°파노라마 이미지 생성 방법
CN115456870A (zh) 基于外参估计的多图像拼接方法
CN114022562A (zh) 一种保持行人完整性的全景视频拼接方法和装置
Bhosle et al. A fast method for image mosaicing using geometric hashing
CN107067368B (zh) 基于影像变形的街景影像拼接方法及系统
US20240161232A1 (en) Flexible Multi-Camera Focal Plane: A Light-Field Dynamic Homography
Chuang et al. Rectified feature matching for spherical panoramic images
CN116245734A (zh) 全景图像生成方法、装置、设备和存储介质
EP3318059B1 (en) Stereoscopic image capture
CN114463170A (zh) 一种针对agv应用的大场景图像拼接方法
Firoozfam et al. A multi-camera conical imaging system for robust 3D motion estimation, positioning and mapping from UAVs

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161123

RJ01 Rejection of invention patent application after publication