CN109325913A - 无人机图像拼接方法及装置 - Google Patents
无人机图像拼接方法及装置 Download PDFInfo
- Publication number
- CN109325913A CN109325913A CN201811033438.4A CN201811033438A CN109325913A CN 109325913 A CN109325913 A CN 109325913A CN 201811033438 A CN201811033438 A CN 201811033438A CN 109325913 A CN109325913 A CN 109325913A
- Authority
- CN
- China
- Prior art keywords
- unmanned plane
- image
- coordinate
- plane image
- same place
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012937 correction Methods 0.000 claims abstract description 29
- 230000009466 transformation Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000001052 transient effect Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- VMXUWOKSQNHOCA-UKTHLTGXSA-N ranitidine Chemical compound [O-][N+](=O)\C=C(/NC)NCCSCC1=CC=C(CN(C)C)O1 VMXUWOKSQNHOCA-UKTHLTGXSA-N 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种无人机图像拼接方法及装置,该方法包括:获取目标同名点的第一地理坐标及第二地理坐标;将第一地理坐标与第二地理坐标的均值作为目标同名点的目标地理坐标;基于目标同名点的目标地理坐标及第一图像坐标对第一无人机图像进行校正,以及基于目标同名点的目标地理坐标及第二图像坐标对第二无人机图像进行校正;基于目标地理坐标对校正后的第一无人机图像及第二无人机图像进行图像拼接。本发明实施例减小了第一无人机图像与第二无人机图像之间的相对定位误差,提高了拼接图像的定位精度,提高拼接的准确度和拼接的效率。另外,拼接后的图像带有地理坐标,实现了对无人机图片的地理定位,并可以直接叠加到地图上进行应用分析。
Description
技术领域
本发明实施例涉及图像处理领域,更具体地,涉及一种无人机图像拼接方法及装置。
背景技术
随着无人机技术的不断发展,无人机已被广泛应用于抗灾救灾、海上检测和环境保护等。由于无人机航拍图像时的拍摄视角有限,受到无人机飞机的高度及相机的参数的限制。为了对拍摄的区域进行全局的把握及分析,需要对无人机拍摄的图像进行拼接。现有技术中,通常采用特征匹配的方式进行图像拼接,通常是先利用SIFT或者SURF算法寻找匹配点,再利用RANSAC算法去除误匹配点,然后计算两幅影像的单应性矩阵,最后基于单应性矩阵对待匹配影像进行数字微分纠正。但是,这种方法仅基于匹配点进行拼接,其拼接的准确度较低,拼接效果不佳。
发明内容
为了解决上述问题,本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的无人机图像拼接方法及装置。
根据本发明实施例的第一方面,提供一种无人机图像拼接方法,该方法包括:获取目标同名点的第一地理坐标及第二地理坐标;目标同名点为第一无人机图像与第二无人机图像的同名点,第一地理坐标为目标同名点在第一无人机图像中的地理坐标,第二地理坐标为目标同名点在第二无人机图像中的地理坐标;将第一地理坐标与第二地理坐标的均值作为目标同名点的目标地理坐标;基于目标同名点的目标地理坐标及第一图像坐标对第一无人机图像进行校正,以及基于目标同名点的目标地理坐标及第二图像坐标对第二无人机图像进行校正;第一图像坐标为目标同名点在第一无人机图像中的图像坐标,第二图像坐标为目标同名点在第二无人机图像中的图像坐标;基于目标地理坐标对校正后的第一无人机图像及第二无人机图像进行图像拼接。
根据本发明实施例第二方面,提供了一种无人机图像拼接装置,该装置包括:定位模块,用于获取目标同名点的第一地理坐标及第二地理坐标;目标同名点为第一无人机图像与第二无人机图像的同名点,第一地理坐标为目标同名点在第一无人机图像中的地理坐标,第二地理坐标为目标同名点在第二无人机图像中的地理坐标;平差模块,用于将第一地理坐标与第二地理坐标的均值作为目标同名点的目标地理坐标;校正模块,用于基于目标同名点的目标地理坐标及第一图像坐标对第一无人机图像进行校正,以及基于目标同名点的目标地理坐标及第二图像坐标对第二无人机图像进行校正;第一图像坐标为目标同名点在第一无人机图像中的图像坐标,第二图像坐标为目标同名点在第二无人机图像中的图像坐标;拼接模块,用于基于目标地理坐标对校正后的第一无人机图像及第二无人机图像进行图像拼接。
根据本发明实施例的第三方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的无人机图像拼接方法。
根据本发明实施例的第四方面,提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的无人机图像拼接方法。
本发明实施例提供的无人机图像拼接方法及装置,通过将第一地理坐标与第二地理坐标的均值作为目标同名点的目标地理坐标,并在拼接前基于目标地理坐标均值分别对第一无人机图像及第二无人机图像进行校正,减小了第一无人机图像与第二无人机图像之间的相对定位误差,提高了拼接图像的定位精度,提高拼接的准确度和拼接的效率。另外,拼接后的图像带有地理坐标,实现了对无人机图片的地理定位,并可以直接叠加到地图上进行应用分析。
应当理解的是,以上的一般描述和后文的细节描述是示例性和解释性的,并不能限制本发明实施例。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。
图1为本发明实施例提供的无人机图像拼接方法的流程示意图;
图2为本发明实施例提供的X方向坐标最小二乘拟合结果的示意图;
图3为本发明实施例提供的无人机图像拼接装置的结构示意图;
图4为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有技术中,通常采用特征匹配的方法进行图像拼接,但是,这种传统的方法在计算SIFT特征匹配的时候计算量大,耗费时间长,同时误匹配的点数较多,使用RANSEC算法剔除粗匹配结果后,可能剩余的点数较少,从而导致最终拼接效果不佳。并且,传统方法拼接后不具有地理坐标,无法进行目标定位。对于灾区快速成像的后,无法叠加到地图上进行显示对比,对于图片上的地物,不能进行快速地理定位,对于追踪的目标,无法生成目标的连续运动轨迹并叠加到地图上显示。
基于此,本发明实施例提供一种无人机图像拼接方法,参见图1,该方法包括:
101、获取目标同名点的第一地理坐标及第二地理坐标;目标同名点为第一无人机图像与第二无人机图像的同名点,第一地理坐标为目标同名点在第一无人机图像中的地理坐标,第二地理坐标为目标同名点在第二无人机图像中的地理坐标。
其中,对于多幅图像中获取的同一物体进行以及对于图像中的移动物体进行追踪的情况下,需要从对同一物体拍摄的不同图像中提取出同名点,也就是进行同名点匹配。换言之,同名点可以理解为多幅图像中表示同一物体的像素点。第一无人机图像及第二无人机图像即为需要进行拼接的两幅无人机拍摄的图像,无人机图像可以是无人机视频中任意一帧图像。无人机图像由多个像素点排列组成,由于每幅无人机图像均是无人机在特定的地理坐标下拍摄的,因此,每幅无人机图像中的每个像素点都具有对应的地理坐标,地理坐标又可称为经纬度坐标。例如某个像素点的经度是120,纬度是36,那么该像素点的地理坐标为(120,36)。目标同名点是无人机图像中的一个像素点。
102、将第一地理坐标与第二地理坐标的均值作为目标同名点的目标地理坐标。
具体地,在理论上,由于同名点对应的物体并未移动,因此同名点在第一无人机图像中的第一地理坐标与在第二无人机图像中的第二地理坐标应当相同。但是,由于无人机在拍摄过程中存在一定的误差或偏差,所以,第一地理坐标与第二地理坐标可能会不相同。因此,为了降低第一无人机图像与第二无人机图像之间的误差,需要将同名点的第一地理坐标与第二地理坐标求均值,将均值作为该目标点的最终的目标地理坐标。
103、基于目标同名点的目标地理坐标及第一图像坐标对第一无人机图像进行校正,以及基于目标同名点的目标地理坐标及第二图像坐标对第二无人机图像进行校正;第一图像坐标为目标同名点在第一无人机图像中的图像坐标,第二图像坐标为目标同名点在第二无人机图像中的图像坐标。
其中,图像坐标用于表示像素点在无人机图像中的位置。由于无人机图像可以看作由多行多列的像素点排列而成,因此,每个像素点在无人机图像中处于特定的位置。同名点或像素点的图像坐标可以由其所处的行数和列数确定,例如某一像素点的行数是15,列数是20,则该像素点的图像坐标为(15,20)。同名点的目标地理坐标与第一图像坐标可组成为控制点组,并基于该控制点组,使用多项式几何校正方法对第一无人机图像进行校正。类似地,同名点的目标地理坐标与第二图像坐标可组成为控制点组,并基于该控制点组,使用多项式几何校正方法对第二无人机图像进行校正。为了更好地理解控制点组,可参见下式,
用于第一无人机图像校正的控制点组为:
[GeoXm,GeoYm,ImgX1,ImgY1]
用于第二无人机图像校正的控制点组为:
[GeoXm,GeoYm,ImgX2,ImgY2]
式中,GeoXm=GeoX1+GeoX2,GeoYm=GeoY1+GeoY2;GeoXm和GeoYm为目标地理坐标,ImgX1和ImgY1为第一图像坐标,ImgX2和ImgY2为第二图像坐标。
104、基于目标地理坐标对校正后的第一无人机图像及第二无人机图像进行图像拼接。具体地,可基于同名点的目标地理坐标对第一无人机图像及第二无人机图像进行拼接或镶嵌,本发明实施例对拼接方式不作限定。需要说明的是,无人机图像越多,理论上得到的结果图像越精确,这是由于加入了更多的参考基准。如果是两张图像的话,仅是两张图像的平均,如果是100张图像,则是100张的平均,100张的平均得到的结果图像更可信。
另外,应当说明的是,可循环上述步骤101至104对多张无人机图像进行拼接。例如对100张无人机图像进行拼接,首先将第1张图像和第2张图像作为第一无人机图像和第二无人机图像执行上述无人机图像拼接方法,得到拼接结果图像;然后将拼接结果图像及第3张图像分别作为第一无人机图像及第二无人机图像执行上述无人机图像拼接方法,获得另一拼接结果图像。因此,可不断重复无人机图像拼接方法,将前一次的拼接结果图像作为第一无人机图像,将需要拼接的图像作为第二无人机图像循环执行上述方法,获得100张无人机图像的拼接结果图像。
本发明实施例提供的方法,通过将第一地理坐标与第二地理坐标的均值作为目标同名点的目标地理坐标,并在拼接前基于目标地理坐标均值分别对第一无人机图像及第二无人机图像进行校正,减小了第一无人机图像与第二无人机图像之间的相对定位误差,提高了拼接图像的定位精度,提高拼接的准确度和拼接的效率。另外,拼接后的图像带有地理坐标,实现了对无人机图片的地理定位,并可以直接叠加到地图上进行应用分析。
基于上述实施例的内容,在获取目标同名点的第一地理坐标及第二地理坐标之前,作为一种可选实施例,提供一种获得目标同名点的方法,包括但不限于:
步骤1、获取第一无人机图像及第二无人机图像的初始同名点。具体地,本发明实施例对获取初始同名点的方法不作限定,包括但不限于使用Harris方法进行同名点配准的方式获取。另外,Harris方法相对于SIFT算法的运行速度较快,能够节省配准的时间。
步骤2、根据初始同名点获得第一无人机图像与第二无人机图像的坐标转换关系。具体地,在获取初始同名点后,可对初始同名点进行第一次过滤,去除不符合要求的初始同名点。之后,可采用最小二乘法拟合,得到第一无人机图像与第二无人机图像的坐标转换关系。参见图2,为X方向坐标的最小二乘拟合结果,可以看出坐标具有很强的线性关系,从而能够实现下述步骤3中的对初始同名点进行的加密处理。坐标转换关系可通过下式定义:
x1=f(x2)
y1=f(y2)
式中,x1,x2分别为第一无人机图像和第二无人机图像上的x坐标,y1,y2分别为第一无人机图像和第二无人机图像上的y坐标。
步骤3、根据坐标转换关系,对初始同名点进行加密处理,获得目标同名点。由于上述步骤103中,需要采用目标地理坐标对第一无人机图像及第二无人机图像进行校正。若同名点的数量较少,则校正后的图像可能会存在严重变形。因此,需要对初始同名点进行加密,增加同名点的数量以降低校正后严重变形的概率,提高校正的成功率。
基于上述实施例的内容,作为一种可选实施例,提供一种根据坐标转换关系,对初始同名点进行加密处理,获得目标同名点的方法,包括但不限于:
步骤1、根据第一无人机图像及第二无人机图像中像素点的地理坐标,获得第一无人机图像与第二无人机图像的重叠区域。其中,重叠区域即为第一无人机图像及第二无人机图像中表示相同物体的图像区域。由于能够预先获知无人机图像中每个像素点的地理坐标,因此能够得到该重叠区域。
步骤2、在第一无人机图像中的重叠区域上,每隔设定数量的像素点选择一个像素点作为加密同名点。具体地,每隔设定数量选点即为等间隔选点,该设定数量可以为20,本发明实施例对此不作限定。
步骤3、基于坐标转换关系及加密同名点在第一无人机图像的图像坐标,计算获得加密同名点在第二无人机图像中的图像坐标。具体地,基于上述步骤得到的坐标转换关系,可根据加密同名点在第一无人机图像的图像坐标,获得该加密同名点在第二无人机图像中对应像素点的图像坐标。获得加密同名点在第一无人机图像及第二无人机图像中的图像坐标后,可以利用同名点筛选技术去除不合适的加密同名点,就完成了加密处理。
步骤4、加密同名点与初始同名点组成目标同名点。具体地,在完成加密处理后,新添加的加密同名点与预先得到的初始点共同组成新的目标同名点,目标同名点的数量远远多余初始同名点,从而提高接下来的图像校正成功率。
基于上述实施例的内容,在根据第一无人机图像及第二无人机图像中像素点的地理坐标,获得第一无人机图像与第二无人机图像的重叠区域之前,作为一种可选实施例,提供一种获得地理坐标的方法,包括但不限于:
步骤1、获取第一无人机图像的第一四至地理坐标以及第二无人机图像的第二四至地理坐标。
具体地,可基于四至地理坐标或仅基于图像的中心点坐标获取无人机图像中每个像素点的地理坐标。但仅基于图像的中心点坐标的方式获取的地理坐标精度较低。针对基于四至地理坐标的方式,可直接获取图像的四至地理坐标,或者,作为一种可选实施例,提供一种获取第一无人机图像的第一四至地理坐标以及第二无人机图像的第二四至地理坐标的方法,包括但不限于:
基于无人机图像的POS信息获取第一四至地理坐标及第二四至地理坐标。
其中,POS信息是无人机视频提供的信息,包括拍摄无人机视频时的经度、纬度、飞行高度和飞行姿态信息等。POS信息的精度越高,对第一无人机图像及第二无人机图像的校正的准确度越高。
基于上述实施例的内容,POS信息包括:拍摄点经纬度坐标、俯仰角、偏航角、航向角及航高,作为一种可选实施例,提供一种基于无人机图像的POS信息获取第一四至地理坐标及第二四至地理坐标的方法,该方法的原理是基于共线性方程与多项式几何校正的思想,该方法包括但不限于:
步骤1.1、将拍摄点经纬度坐标换算为UTM投影平面坐标。具体地,首先将POS信息中记录的拍摄点经纬度坐标(L0,B0)换算为UTM投影平面坐标(X0,Y0),本发明实施例对换算的具体方式不作限定。
步骤1.2、基于UTM投影平面坐标,根据俯仰角、偏航角、航向角及航高计算获得经过俯仰、偏航及航向角改正后的中心点平面坐标。具体地,可计算经过俯仰、偏航以及航向角改正后的中心点平面坐标,公式如下:
Xa=H*tan(ω)*sin(κ)
Xb=H*tan(ω)*cos(κ)
Yb=H*tan(ω)*sin(κ)
X=X0+Xa+Xb
Y=Y0+Ya-Yb
式中,Xa,Xb是x方向上的改正值;Ya,Yb是y方向的改正值;X,Y是改正后的中心点平面坐标,H是航高,ω,κ分别是偏航角,俯仰角,航向角。
步骤1.3、根据中心点平面坐标、旁向开角、航向开角、偏航距离及俯视距离计算获得第一四至地理坐标及第二四至地理坐标。经过俯仰角、偏航角及航向角改正后左上角坐标(X1,Y1)、右上角坐标(X2,Y2)、右下角坐标(X3,Y3)、左下角平面坐标(X4,Y4)由下面公式得到:
W1=H*(tan(θ-ω)),W2=H*(tan(θ+ω))
H1=H*(tan(δ-ω)),H2=H*(tan(δ+ω))
X1=X0+H2*sin(κ)-W1*cos(κ)
Y11=Y0+H2*cos(κ)+W1*sin(κ)
X2=X0+H2*sin(κ)+W2*cos(κ)
Y2=Y0+H2*cos(κ)-W2*sin(κ)
X3=X0-H1*sin(κ)+W2*cos(κ)
Y3=Y0-H1*cos(κ)-W2*sin(κ)
X4=X0-H1*sin(κ)-W1*cos(κ)
X4=X0-H1*sin(κ)-W1*cos(κ)
式中,θ,δ分别为旁向开角和航向开角;W1,W2为偏航距离;H1,H2为俯仰距离;H0是相机传感器的长,W0是相机传感器的宽,F是相机传感器的焦距。
根据上式可计算获得四至平面坐标,即(X1,Y1)、(X2,Y2)、(X3,Y3)和(X4,Y4)。因此,基于上述原理可分别获得第一四至平面坐标和第二四至平面坐标。
步骤1.4、将第一四至平面坐标转换为第一四至地理坐标,以及将第二四至平面坐标转换为第二四至地理坐标。具体地,可将四至平面坐标转换为WGS84椭球体下地理坐标,可分别获得第一四至地理坐标和第二四至地理坐标。
步骤2、根据第一四至地理坐标及第一无人机图像中各像素点的图像坐标,获得第一无人机图像中像素点的地理坐标,以及根据第二四至地理坐标及第二无人机图像中各像素点的图像坐标,获得第二无人机图像中像素点的地理坐标。具体地,由于获知了一张图像的四个角点坐标(即四至地理坐标),且该图像的像素是多行多列规则排列的,因此,基于每个像素点的图像坐标可以获知每个像素点的地理坐标。
基于上述实施例的内容,在基于目标地理坐标对校正后的第一无人机图像及第二无人机图像进行图像拼接之后,作为一种可选实施例,提供一种边缘匀色处理的方法,包括但不限于:对拼接后的图像进行接边羽化处理。具体地,接边羽化处理能够是拼接后的图像的颜色看起来过滤更均匀,具体可以使用直方图匹配的方式进行接边羽化,本发明实施例对此不作限定。
综上,本发明实施例提供的无人机图像拼接方法,可以对无人机图像进行快速地理编码与拼接,具有以下优点:实现了无人机图像地理定位的目的;运行速度更快,不使用耗费时间较长的SIFT算法寻找匹配点,而使用耗时较短的Harris特征点;拼接效果更好,加密了控制点,拼接结果变形更小。
基于上述实施例的内容,本发明实施例提供了一种无人机图像拼接装置,该无人机图像拼接装置用于执行上述方法实施例中的无人机图像拼接方法。参见图3,该装置包括:定位模块301、平差模块302,校正模块303和拼接模块304,其中:
定位模块301,用于获取目标同名点的第一地理坐标及第二地理坐标;目标同名点为第一无人机图像与第二无人机图像的同名点,第一地理坐标为目标同名点在第一无人机图像中的地理坐标,第二地理坐标为目标同名点在第二无人机图像中的地理坐标;平差模块302,用于将第一地理坐标与第二地理坐标的均值作为目标同名点的目标地理坐标;校正模块303,用于基于目标同名点的目标地理坐标及第一图像坐标对第一无人机图像进行校正,以及基于目标同名点的目标地理坐标及第二图像坐标对第二无人机图像进行校正;第一图像坐标为目标同名点在第一无人机图像中的图像坐标,第二图像坐标为目标同名点在第二无人机图像中的图像坐标;拼接模块304,用于基于目标地理坐标对校正后的第一无人机图像及第二无人机图像进行图像拼接。
具体地,每幅无人机图像中的每个像素点都具有对应的地理坐标,地理坐标又可称为经纬度坐标。为了降低第一无人机图像与第二无人机图像之间的误差,平差模块302需要将同名点的第一地理坐标与第二地理坐标求均值,将均值作为该目标点的最终的目标地理坐标。同名点的目标地理坐标与第一图像坐标可组成为控制点组,校正模块303基于该控制点组,使用多项式几何校正方法对第一无人机图像进行校正。类似地,同名点的目标地理坐标与第二图像坐标可组成为控制点组,校正模块303基于该控制点组,使用多项式几何校正方法对第二无人机图像进行校正。拼接模块304可基于同名点的目标地理坐标对第一无人机图像及第二无人机图像进行拼接或镶嵌,本发明实施例对拼接方式不作限定。
本发明实施例提供的装置,通过将第一地理坐标与第二地理坐标的均值作为目标同名点的目标地理坐标,并在拼接前基于目标地理坐标均值分别对第一无人机图像及第二无人机图像进行校正,减小了第一无人机图像与第二无人机图像之间的相对定位误差,提高了拼接图像的定位精度,提高拼接的准确度和拼接的效率。另外,拼接后的图像带有地理坐标,实现了对无人机图片的地理定位,并可以直接叠加到地图上进行应用分析。
本发明实施例提供了一种电子设备,如图4所示,该设备包括:处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和通信总线404,其中,处理器401,通信接口402,存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403上并可在处理器401上运行的计算机程序,以执行上述各实施例提供的无人机图像拼接方法,例如包括:获取目标同名点的第一地理坐标及第二地理坐标;目标同名点为第一无人机图像与第二无人机图像的同名点,第一地理坐标为目标同名点在第一无人机图像中的地理坐标,第二地理坐标为目标同名点在第二无人机图像中的地理坐标;将第一地理坐标与第二地理坐标的均值作为目标同名点的目标地理坐标;基于目标同名点的目标地理坐标及第一图像坐标对第一无人机图像进行校正,以及基于目标同名点的目标地理坐标及第二图像坐标对第二无人机图像进行校正;第一图像坐标为目标同名点在第一无人机图像中的图像坐标,第二图像坐标为目标同名点在第二无人机图像中的图像坐标;基于目标地理坐标对校正后的第一无人机图像及第二无人机图像进行图像拼接。
此外,上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的无人机图像拼接方法,例如包括:获取目标同名点的第一地理坐标及第二地理坐标;目标同名点为第一无人机图像与第二无人机图像的同名点,第一地理坐标为目标同名点在第一无人机图像中的地理坐标,第二地理坐标为目标同名点在第二无人机图像中的地理坐标;将第一地理坐标与第二地理坐标的均值作为目标同名点的目标地理坐标;基于目标同名点的目标地理坐标及第一图像坐标对第一无人机图像进行校正,以及基于目标同名点的目标地理坐标及第二图像坐标对第二无人机图像进行校正;第一图像坐标为目标同名点在第一无人机图像中的图像坐标,第二图像坐标为目标同名点在第二无人机图像中的图像坐标;基于目标地理坐标对校正后的第一无人机图像及第二无人机图像进行图像拼接。
以上所描述的电子设备等实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种无人机图像拼接方法,其特征在于,包括:
获取目标同名点的第一地理坐标及第二地理坐标;所述目标同名点为第一无人机图像与第二无人机图像的同名点,所述第一地理坐标为所述目标同名点在所述第一无人机图像中的地理坐标,所述第二地理坐标为所述目标同名点在所述第二无人机图像中的地理坐标;
将所述第一地理坐标与所述第二地理坐标的均值作为所述目标同名点的目标地理坐标;
基于所述目标同名点的所述目标地理坐标及第一图像坐标对所述第一无人机图像进行校正,以及基于所述目标同名点的所述目标地理坐标及第二图像坐标对所述第二无人机图像进行校正;所述第一图像坐标为所述目标同名点在所述第一无人机图像中的图像坐标,所述第二图像坐标为所述目标同名点在所述第二无人机图像中的图像坐标;
基于所述目标地理坐标对校正后的所述第一无人机图像及所述第二无人机图像进行图像拼接。
2.根据权利要求1所述的方法,其特征在于,所述获取目标同名点的第一地理坐标及第二地理坐标之前,还包括:
获取所述第一无人机图像及所述第二无人机图像的初始同名点;
根据所述初始同名点获得所述第一无人机图像与所述第二无人机图像的坐标转换关系;
根据所述坐标转换关系,对所述初始同名点进行加密处理,获得所述目标同名点。
3.根据权利要求2所述的方法,其特征在于,所述根据所述坐标转换关系,对所述初始同名点进行加密处理,获得所述目标同名点,包括:
根据所述第一无人机图像及所述第二无人机图像中像素点的地理坐标,获得所述第一无人机图像与所述第二无人机图像的重叠区域;
在所述第一无人机图像中的所述重叠区域上,每隔设定数量的像素点选择一个像素点作为加密同名点;
基于所述坐标转换关系及所述加密同名点在所述第一无人机图像的图像坐标,计算获得所述加密同名点在所述第二无人机图像中的图像坐标;
所述加密同名点与所述初始同名点组成所述目标同名点。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一无人机图像及所述第二无人机图像中像素点的地理坐标,获得所述第一无人机图像与所述第二无人机图像的重叠区域之前,还包括:
获取所述第一无人机图像的第一四至地理坐标以及所述第二无人机图像的第二四至地理坐标;
根据所述第一四至地理坐标及所述第一无人机图像中各所述像素点的图像坐标,获得所述第一无人机图像中所述像素点的地理坐标,以及根据所述第二四至地理坐标及所述第二无人机图像中各所述像素点的图像坐标,获得所述第二无人机图像中所述像素点的地理坐标。
5.根据权利要求4所述的方法,其特征在于,所述获取所述第一无人机图像的第一四至地理坐标以及所述第二无人机图像的第二四至地理坐标,包括:
基于无人机图像的POS信息获取所述第一四至地理坐标及所述第二四至地理坐标。
6.根据权利要求5所述的方法,其特征在于,所述POS信息包括:拍摄点经纬度坐标、俯仰角、偏航角、航向角及航高;
相应地,所述基于无人机图像的POS信息获取所述第一四至地理坐标及所述第二四至地理坐标,包括:
将拍摄点经纬度坐标换算为UTM投影平面坐标;
基于所述UTM投影平面坐标,根据所述俯仰角、偏航角、航向角及航高计算获得经过俯仰、偏航及航向角改正后的中心点平面坐标;
根据所述中心点平面坐标、旁向开角、航向开角、偏航距离及俯视距离计算获得第一四至平面坐标及第二四至平面坐标;
将所述第一四至平面坐标转换为所述第一四至地理坐标,以及将所述第二四至平面坐标转换为所述第二四至地理坐标。
7.根据权利要求1所述的方法,其特征在于,所述基于所述目标地理坐标对校正后的所述第一无人机图像及所述第二无人机图像进行图像拼接之后,还包括:
对拼接后的图像进行接边羽化处理。
8.一种无人机图像拼接装置,其特征在于,包括:
定位模块,用于获取目标同名点的第一地理坐标及第二地理坐标;所述目标同名点为第一无人机图像与第二无人机图像的同名点,所述第一地理坐标为所述目标同名点在所述第一无人机图像中的地理坐标,所述第二地理坐标为所述目标同名点在所述第二无人机图像中的地理坐标;
平差模块,用于将所述第一地理坐标与所述第二地理坐标的均值作为所述目标同名点的目标地理坐标;
校正模块,用于基于所述目标同名点的所述目标地理坐标及第一图像坐标对所述第一无人机图像进行校正,以及基于所述目标同名点的所述目标地理坐标及第二图像坐标对所述第二无人机图像进行校正;所述第一图像坐标为所述目标同名点在所述第一无人机图像中的图像坐标,所述第二图像坐标为所述目标同名点在所述第二无人机图像中的图像坐标;
拼接模块,用于基于所述目标地理坐标对校正后的所述第一无人机图像及所述第二无人机图像进行图像拼接。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述无人机图像拼接方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7任一项所述无人机图像拼接方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811033438.4A CN109325913B (zh) | 2018-09-05 | 2018-09-05 | 无人机图像拼接方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811033438.4A CN109325913B (zh) | 2018-09-05 | 2018-09-05 | 无人机图像拼接方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109325913A true CN109325913A (zh) | 2019-02-12 |
CN109325913B CN109325913B (zh) | 2022-12-16 |
Family
ID=65263783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811033438.4A Active CN109325913B (zh) | 2018-09-05 | 2018-09-05 | 无人机图像拼接方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109325913B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110310243A (zh) * | 2019-06-28 | 2019-10-08 | 广东工业大学 | 一种无人机摄影测量的图像校正方法、系统和存储介质 |
CN110648283A (zh) * | 2019-11-27 | 2020-01-03 | 成都纵横大鹏无人机科技有限公司 | 图像拼接方法、装置、电子设备和计算机可读存储介质 |
CN113222820A (zh) * | 2021-05-20 | 2021-08-06 | 北京航空航天大学 | 一种位姿信息辅助的航空遥感图像拼接方法 |
CN116363185A (zh) * | 2023-06-01 | 2023-06-30 | 成都纵横自动化技术股份有限公司 | 地理配准方法、装置、电子设备和可读存储介质 |
EP4276745A1 (en) * | 2022-04-19 | 2023-11-15 | Palantir Technologies Inc. | Method and system for geo referencing stabilization |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040037451A1 (en) * | 2002-08-22 | 2004-02-26 | Kim Tae Jung | Image processing method for automatic image registration and correction |
CN107192376A (zh) * | 2017-04-28 | 2017-09-22 | 北京航空航天大学 | 基于帧间连续性的无人机多帧图像目标定位校正方法 |
CN107808362A (zh) * | 2017-11-15 | 2018-03-16 | 北京工业大学 | 一种基于无人机pos信息与图像surf特征结合的图像拼接方法 |
-
2018
- 2018-09-05 CN CN201811033438.4A patent/CN109325913B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040037451A1 (en) * | 2002-08-22 | 2004-02-26 | Kim Tae Jung | Image processing method for automatic image registration and correction |
CN107192376A (zh) * | 2017-04-28 | 2017-09-22 | 北京航空航天大学 | 基于帧间连续性的无人机多帧图像目标定位校正方法 |
CN107808362A (zh) * | 2017-11-15 | 2018-03-16 | 北京工业大学 | 一种基于无人机pos信息与图像surf特征结合的图像拼接方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110310243A (zh) * | 2019-06-28 | 2019-10-08 | 广东工业大学 | 一种无人机摄影测量的图像校正方法、系统和存储介质 |
CN110648283A (zh) * | 2019-11-27 | 2020-01-03 | 成都纵横大鹏无人机科技有限公司 | 图像拼接方法、装置、电子设备和计算机可读存储介质 |
CN110648283B (zh) * | 2019-11-27 | 2020-03-20 | 成都纵横大鹏无人机科技有限公司 | 图像拼接方法、装置、电子设备和计算机可读存储介质 |
CN113222820A (zh) * | 2021-05-20 | 2021-08-06 | 北京航空航天大学 | 一种位姿信息辅助的航空遥感图像拼接方法 |
CN113222820B (zh) * | 2021-05-20 | 2024-05-07 | 北京航空航天大学 | 一种位姿信息辅助的航空遥感图像拼接方法 |
EP4276745A1 (en) * | 2022-04-19 | 2023-11-15 | Palantir Technologies Inc. | Method and system for geo referencing stabilization |
US20240098367A1 (en) * | 2022-04-19 | 2024-03-21 | Palantir Technologies Inc. | Method and system for real-time geo referencing stabilization |
CN116363185A (zh) * | 2023-06-01 | 2023-06-30 | 成都纵横自动化技术股份有限公司 | 地理配准方法、装置、电子设备和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109325913B (zh) | 2022-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109325913A (zh) | 无人机图像拼接方法及装置 | |
CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
CN107578376B (zh) | 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法 | |
WO2020164092A1 (zh) | 图像处理方法、设备、可移动平台、无人机及存储介质 | |
EP3825954A1 (en) | Photographing method and device and unmanned aerial vehicle | |
CN107808362A (zh) | 一种基于无人机pos信息与图像surf特征结合的图像拼接方法 | |
CN110966991A (zh) | 一种无控制点下的单幅无人机影像定位方法 | |
US11042998B2 (en) | Synthetic image generation from 3D-point cloud | |
EP2423873A1 (en) | Apparatus and Method for Generating an Overview Image of a Plurality of Images Using a Reference Plane | |
US20130300831A1 (en) | Camera scene fitting of real world scenes | |
CN104835115A (zh) | 用于航空相机的图像成像方法及系统 | |
GB2506411A (en) | Determination of position from images and associated camera positions | |
CN110889873A (zh) | 一种目标定位方法、装置、电子设备及存储介质 | |
CN115187798A (zh) | 一种多无人机高精度匹配定位方法 | |
CN110084743B (zh) | 基于多航带起始航迹约束的图像拼接与定位方法 | |
CN114004977A (zh) | 一种基于深度学习的航拍数据目标定位方法及系统 | |
JP2017026577A (ja) | 三次元測量写真の作成方法 | |
CN112710311A (zh) | 一种地形自适应无人机三维实景重建航摄点自动规划方法 | |
Moussa et al. | A fast approach for stitching of aerial images | |
WO2020114433A1 (zh) | 一种深度感知方法,装置和深度感知设备 | |
CN108801225A (zh) | 一种无人机倾斜影像定位方法、系统、介质及设备 | |
Yahyanejad et al. | Incremental, orthorectified and loop-independent mosaicking of aerial images taken by micro UAVs | |
Tsao et al. | Stitching aerial images for vehicle positioning and tracking | |
CN109785421B (zh) | 一种基于空地影像组合的纹理映射方法及系统 | |
CN113781524B (zh) | 一种基于二维标签的目标追踪系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |