CN110717861B - 图像拼接方法、装置、电子设备和计算机可读存储介质 - Google Patents
图像拼接方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN110717861B CN110717861B CN201911270171.5A CN201911270171A CN110717861B CN 110717861 B CN110717861 B CN 110717861B CN 201911270171 A CN201911270171 A CN 201911270171A CN 110717861 B CN110717861 B CN 110717861B
- Authority
- CN
- China
- Prior art keywords
- image
- information
- unmanned aerial
- aerial vehicle
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 239000011159 matrix material Substances 0.000 claims description 72
- 239000013598 vector Substances 0.000 claims description 58
- 238000006073 displacement reaction Methods 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- HOWHQWFXSLOJEF-MGZLOUMQSA-N systemin Chemical compound NCCCC[C@H](N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)OC(=O)[C@@H]1CCCN1C(=O)[C@H]1N(C(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCCN=C(N)N)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H]2N(CCC2)C(=O)[C@H]2N(CCC2)C(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](NC(=O)[C@H](C)N)C(C)C)CCC1 HOWHQWFXSLOJEF-MGZLOUMQSA-N 0.000 description 1
- 108010050014 systemin Proteins 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种图像拼接方法、装置、电子设备和计算机可读存储介质，涉及航摄的图像拼接领域。图像拼接方法包括：获取第一图像和第二图像；第一图像是无人机的相机在第一位置拍摄的图像，第二图像是相机在第二位置拍摄的图像；根据第一位置和第二位置，获取无人机的姿态信息；姿态信息表征无人机从第一位置移动到第二位置的角度信息；根据姿态信息，拼接第一图像和第二图像，获取拼接图像。通过获取具有位置信息的待拼接图像，获取无人机的姿态信息，进而实现对多张图像的拼接，不依赖于惯性测量里程计的信息，实现了对无人机获取的图像进行拼接。
Description
技术领域
本申请涉及航摄的图像拼接领域，具体而言，涉及图像拼接方法、装置、电子设备和计算机可读存储介质。
背景技术
近年来，随着无人机技术的发展，无人机因其高效、灵活、低成本等特性，已被广泛应用于勘探、侦察、应急、救灾等各个领域。
无人机运用最广泛的视频监控领域，视频监控系统为地面监测提供了广阔的空中视角，为了获取较为完整的视频或图像，需要对多张图像进行拼接，常用的有两种方法：一种是无传感器辅助拼接；另外一种是有传感器辅助的拼接，例如，使用惯性测量单元（Inertial Measurement Unit，IMU)等进行辅助拼接。无传感器辅助拼接，不能获得尺度大小，且存在累积误差；IMU辅助拼接，可获得尺度大小，但存在累积误差，且其结构运算复杂。因此，目前需要一种效率高且误差小的图像拼接方法以解决上述问题。
发明内容
为了至少克服现有技术中的上述不足，本申请的目的之一在于提供一种图像拼接方法、装置、电子设备和计算机可读存储介质。
第一方面，本申请提供一种图像拼接方法，所述方法包括：获取第一图像和第二图像；所述第一图像是无人机的相机在第一位置拍摄的图像，所述第二图像是所述相机在第二位置拍摄的图像；根据所述第一位置和所述第二位置，获取所述无人机的姿态信息；所述姿态信息表征所述无人机从所述第一位置移动到所述第二位置的角度信息；根据所述姿态信息，拼接所述第一图像和所述第二图像，获取拼接图像。
在可选的实施方式中，所述拼接图像表征所述无人机在大地坐标系下的图像信息，所述根据所述第一位置和所述第二位置，获取所述无人机的姿态信息，包括：获取所述无人机的第一位移矢量信息；所述第一位移矢量信息为所述相机在所述大地坐标系下，所述第二位置相对于所述第一位置的位置信息和方向信息；根据所述第一位移矢量信息，获取所述无人机的旋转信息；所述旋转信息包括参考坐标系相对于所述大地坐标系的旋转矩阵和尺度因子，所述参考坐标系为以所述相机为原点的坐标系，所述尺度因子为所述第一位移矢量信息与所述无人机在所述大地坐标系下的位移信息的比值；根据所述旋转信息，获取所述姿态信息。
在可选的实施方式中，所述根据所述旋转信息，获取所述姿态信息，包括：根据所述旋转信息，获取所述无人机在所述第一位置的第一姿态信息；根据所述旋转信息，获取所述无人机在所述第二位置的第二姿态信息。
在可选的实施方式中，所述根据所述姿态信息，拼接所述第一图像和所述第二图像，获取拼接图像，包括：根据所述第一姿态信息和所述第一位置，确定所述第一图像的第一拼接信息；根据所述第二姿态信息和所述第二位置，确定所述第二图像的第二拼接信息；根据所述第一拼接信息和所述第二拼接信息，拼接所述第一图像和所述第二图像，获取拼接图像。
在可选的实施方式中，所述根据所述第一位移矢量信息，获取所述无人机的旋转信息，包括：根据所述无人机的基础矩阵和所述相机的内参矩阵，确定所述无人机的本质矩阵；分解所述本质矩阵，获取所述旋转矩阵和中间矢量；所述中间矢量表征在所述参考坐标系下，所述第二位置相对于所述第一位置的方向信息；根据所述中间矢量和所述第一位移矢量，确定所述尺度因子；将所述旋转矩阵和所述尺度因子作为所述旋转信息。
在可选的实施方式中，所述根据所述姿态信息，拼接所述第一图像和所述第二图像，获取拼接图像包括：根据所述姿态信息，确定每张待拼接图像的单应矩阵；所述待拼接图像为所述第一图像或所述第二图像；根据所述单应矩阵，拼接多张所述待拼接图像，获取所述拼接图像。
第二方面，本申请提供一种图像拼接装置，包括：获取模块和处理模块。所述获取模块用于获取第一图像和第二图像；所述第一图像是无人机的相机在第一位置拍摄的图像，所述第二图像是所述相机在第二位置拍摄的图像。所述处理模块用于根据所述第一位置和所述第二位置，获取所述无人机的姿态信息；所述姿态信息表征所述无人机从所述第一位置移动到所述第二位置的角度信息；所述处理模块还用于根据所述姿态信息，拼接所述第一图像和所述第二图像，获取拼接图像。
在可选的实施方式中，所述拼接图像表征所述无人机在大地坐标系下的图像信息，所述处理模块还用于获取所述无人机的第一位移矢量信息；所述第一位移矢量信息为所述相机在所述大地坐标系下，所述第二位置相对于所述第一位置的位置信息和方向信息。所述处理模块还用于根据所述第一位移矢量信息，获取所述无人机的旋转信息；所述旋转信息包括参考坐标系相对于所述大地坐标系的旋转矩阵和尺度因子，所述参考坐标系为以所述相机为原点的坐标系，所述尺度因子为所述第一位移矢量信息与所述无人机在所述大地坐标系下的位移信息的比值；所述处理模块还用于根据所述旋转信息，获取所述姿态信息。
在可选的实施方式中，所述处理模块还用于根据所述无人机的基础矩阵和所述相机的内参矩阵，确定所述无人机的本质矩阵。所述处理模块还用于分解所述本质矩阵，获取所述旋转矩阵和中间矢量。所述中间矢量表征在所述参考坐标系下，所述第二位置相对于所述第一位置的方向信息；所述处理模块还用于根据所述中间矢量和所述第一位移矢量，确定所述尺度因子；所述处理模块还用于将所述旋转矩阵和所述尺度因子作为所述旋转信息。
第三方面，本申请提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式任一项所述的方法。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的方法。
相对于现有技术而言，本申请具有以下有益效果：
通过获取具有位置信息的待拼接图像，获取无人机的姿态信息，进而实现对多张图像的拼接，不依赖于惯性测量里程计的信息，实现了对无人机获取的图像进行拼接。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种图像拼接方法的流程示意图；
图2为本申请实施例提供的另一种图像拼接方法的流程示意图；
图3为本申请实施例提供的另一种图像拼接方法的流程示意图；
图4为本申请实施例提供的一种图像拼接的示意图；
图5为本申请实施例提供的另一种图像拼接方法的流程示意图；
图6为本申请实施例提供的另一种图像拼接方法的流程示意图；
图7为本申请实施例提供的一种图像拼接装置的方框示意图；
图8为本申请实施例提供的一种电子设备的方框示意图。
图标：40-图像拼接装置，41-获取模块，42-处理模块，60-电子设备，61-存储器，62-处理器，63-通信接口。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
近年来，随着无人机技术的发展，无人机因其高效、灵活、低成本等特性，已被广泛应用于勘探、侦察、应急、救灾等各个领域。其中，无人机运用最广泛的视频监控领域，视频监控系统为地面监测提供了广阔的空中视角，为了获取较为完整的视频或图像，需要对多张图像进行拼接，常用的有两种方法：一种是无传感器辅助拼接；另外一种是有IMU等传感器辅助的拼接。无传感器辅助拼接，不能获得尺度大小，且存在累积误差；IMU辅助拼接，可获得尺度大小，但存在累积误差，且其结构运算复杂。还有一种典型的2D-2D方法：从匹配点对计算相邻图像单应矩阵，进而获得每一帧相对参考图像的单应矩阵，这种方法不需要相机内外方位元素，不支持绝对定位，难以约束累积误差，只适合少量图像拼接，不适合用来拼接航空拍摄地图。
为了解决上述的问题，本申请实施例提供一种图像拼接方法，请参见图1，图1为本申请实施例提供的一种图像拼接方法的流程示意图。该图像拼接方法包括：
S200、获取第一图像和第二图像。
上述的第一图像是无人机的相机在第一位置拍摄的图像，第二图像是相机在第二位置拍摄的图像。
S201、根据第一位置和第二位置，获取无人机的姿态信息。
该姿态信息表征无人机从第一位置移动到第二位置的角度信息。
S202、根据姿态信息，拼接第一图像和第二图像，获取拼接图像。
可以理解的，上述的第一位置和第二位置可以是根据定位信息确定的，该定位信息的确定可以是全球定位系统（Global Positioning System，GPS）、北斗导航系统等具有定位功能的模组来实现的。例如，可以在无人机上安装GPS模组，以便获取无人机在拍摄图像时对应的定位信息或位置信息。
通过获取具有位置信息的待拼接图像，进而获取无人机的姿态信息，实现对多张图像的拼接，实现了对无人机获取的图像进行拼接。可以理解的，在使用GPS获取待拼接图像的位置信息时，可以对无人机进行绝对定位和尺度测量，提高拼接图像的精度。
在可选的实施方式中，为了获取无人机的姿态信息，在图1的基础上，以拼接图像表征无人机在大地坐标系下的图像信息为例，请参见图2，图2为本申请实施例提供的另一种图像拼接方法的流程示意图。上述的S201可以包括：
S201a、获取无人机的第一位移矢量信息。
该第一位移矢量信息为相机在大地坐标系下，第二位置相对于第一位置的位置信息和方向信息。
S201b、根据第一位移矢量信息，获取无人机的旋转信息。
该旋转信息包括参考坐标系相对于大地坐标系的旋转矩阵和尺度因子，参考坐标系为以相机为原点的坐标系，尺度因子为第一位移矢量信息与无人机在大地坐标系下的位移信息的比值。
S201c、根据旋转信息，获取姿态信息。
获取在大地坐标系下的第一位移矢量信息，通过进行无人机的参考坐标系和大地坐标系的旋转矩阵，进而获取无人机的姿态信息。
在可选的实施方式中，为了获取无人机在不同位置的姿态信息，在图2的基础上，给出一种可能的实现方式，请参见图3，图3为本申请实施例提供的另一种图像拼接方法的流程示意图。上述的S201c可以包括：
S201c-1、根据旋转信息，获取无人机在第一位置的第一姿态信息。
S201c-2、根据旋转信息，获取无人机在第二位置的第二姿态信息。
可以理解的，根据上述的旋转信息确定无人机在不同位置的姿态信息，进而对不同位置拍摄的图像进行拼接，有利于提高拼接图像的精度。
在可选的实施方式中，为了实现对第一图像和第二图像的拼接，在图3的基础上，上述的S202可以包括：根据第一姿态信息和第一位置，确定第一图像的第一拼接信息；根据第二姿态信息和第二位置，确定第二图像的第二拼接信息；根据第一拼接信息和第二拼接信息，拼接第一图像和第二图像，获取拼接图像。
上述的第一拼接信息表征在进行图像拼接时，第一图像的边缘拼接特征；上述的第二拼接信息表征在进行图像拼接时，第二图像的边缘拼接特征。
可以理解的，通过第一拼接信息和第二拼接信息对第一图像和第二图像进行拼接，进而获取拼接图像，可以使两张待拼接图像在拼接过程中更自然和逼真，提高拼接图像的质量。
为了便于理解上述的拼接信息，请参见图4，图4为本申请实施例提供的一种图像拼接的示意图。图4示出的第一图像和第二图像，在各自的待拼接部位具有不同的拼接信息，从而将两张或多张图像进行拼接，获取最终的拼接图像。应理解，图4示出的是以两张待拼接图像为例，实际的图像拼接过程中，也可以是使用多张图像进行拼接，可以是在不同的边缘进行拼接，不局限于单侧拼接，在多边缘进行图像拼接也在本申请的保护范围内。
在可选的实施方式中，为了获取无人机的旋转信息，在图2的基础上，给出一种可能的实现方式，请参见图5，图5为本申请实施例提供的另一种图像拼接方法的流程示意图。上述的S201b可以包括：
S201b-1、根据无人机的基础矩阵和相机的内参矩阵，确定无人机的本质矩阵。
S201b-2、分解本质矩阵，获取旋转矩阵和中间矢量。中间矢量表征在参考坐标系下，第二位置相对于第一位置的方向信息。
该旋转矩阵为在参考坐标系下，第二位置相对于第一位置的角度信息。
S201b-3、根据中间矢量和第一位移矢量，确定尺度因子。
应理解，上述的中间矢量与第一位移矢量存在角度信息和尺度的变换关系，利用第一位移矢量和中间矢量可以获得在参考坐标系相对于大地坐标系的旋转矩阵和尺度因子。
S201b-4、将旋转矩阵和尺度因子作为旋转信息。
通过使用无人机的基础矩阵、相机的内参矩阵、无人机的本质矩阵以及第一图像、第二图像的位置信息，即可获取相应的旋转信息，进而获取无人机的姿态信息，减少了使用IMU信息进行斜点（Perspective-n-Point，PnP）姿态位姿求解和地面点结构的计算，极大的提高了计算效率和减少了功耗。
在可选的实施方式中，为了实现拼接图像的过程，在图5的基础上，给出一种可能的实现方式，请参见图6，图6为本申请实施例提供的另一种图像拼接方法的流程示意图。上述的S202a可以包括：
S202a、根据姿态信息，确定每张待拼接图像的单应矩阵。待拼接图像为第一图像或第二图像。
S202b、根据单应矩阵，拼接多张待拼接图像，获取拼接图像。
上述的单应矩阵可以通过以下公式进行确认：
其中，
为第i张图像的单应矩阵，
为相机的内参矩阵，
为无人机采集当前图
像（第i张图像）时距离地面的高度，
，
为第i张待拼接图像在吊舱坐标系相对
于大地坐标系的旋转信息，吊舱坐标系的原点和参考坐标系的原点重合，两个坐标系的航
向角相差
；
为上述的旋转矩阵，
为参考坐标系相对于所述大地坐标系的变换矩
阵；
为第i张待拼接图像在大地坐标系的位移信息：
，
为第i张待拼接
图像相对于第一图像的GPS位移：
为地平面在大地坐标系下的法向量：
可以理解的，消除视觉3D重构和欧式重构之间的相似变换影响，确定相机的拍摄位置信息和姿态信息，在获得每一个位置信息后，通过单应矩阵进行图像变换，将图像变换为2D拼接图像，进而实现多张待拼接图像的拼接。
为了便于理解上述的图像拼接方法，本申请实施例还提供一种较完整的实施例：
设置两个坐标系，一个为上述的参考坐标系，另一个为吊舱坐标系：该吊舱坐标系的原点和
参考坐标系的原点重合，两个坐标系的航向角相差
，其中参考坐标系可以参考Windows系
统位图坐标系，X轴向右、Y轴向下。根据相机模型，
，w为二维射影空间和二
维欧式空间的转换因子，
为内参矩阵，
为外方位元素，即姿态信息和位置信息，X为
大地坐标系中的3D点，
表示的是二维欧式空间中的图像坐标，
表示的是二维射
影空间中的图像坐标，其中
，
为相机曝光点在大地坐标系中位置。以无人机装
备了GPS模组为例，因此每一个曝光点的位置信息是已知的，只需要计算曝光点姿态信息即
可。
建立大地坐标系
，
为起始点，假定大地坐标系下，GPS获得的两幅图像
（第一图像和第二图像）曝光点坐标分别为
（第一位置）和
（第二位置），相机平移矢量
。
以第一图像为参照图像，由对极几何相关知识
可知，根据图
像匹配点对可以获得无人机的基础矩阵
，在内参矩阵
已知的情况下，可获得无人机的
本质矩阵
。分解
可得t和
：t为第二位置相对于第一位置，在参考坐标系下的位移，该矢
量t仅包含方向信息，缺少尺度信息；
为第二位置相对于第一位置在参考坐标系下的旋转
矩阵。C与矢量t之间存在角度信息和尺度的变换关系，利用C和t两个矢量就可求出参考坐
标系相对于大地坐标系的旋转矩阵
和尺度因子Scale。
Scale=
，
为
之间的旋转矩阵，
可由两矢量（
）间罗德里格斯矩阵得到。从而确定无人机为第一位置时，在大地坐标系中
姿态为
，位置为
，无人机为第二位置时，在大地坐标系中姿态为
，位置为
。依此类推，可获得无人机在各个位置时，在大地坐标系的位姿。整个过程不需要
进行耗时的空间三角结构计算。
应理解，在无人机的飞行高度相对于地面起伏足够大的情况下，可将大地等效为
平面，采用单应矩阵
将多张待拼接图像投射到地平面上即可得2D航拍地图，同时不会引
入大的误差。在求出无人机的各曝光点在大地坐标系位姿后，地平面在大地坐标系下法向
量为
，第i张待拼接图像的单应矩阵可以是：
其中，
，
为第i张待拼接图像（当前待拼接图像）与参照图像之
间的旋转信息（本例中为第一图像），
为当前待拼接图像的位移信息，
，
为第i张待拼接图像相对于参照图像（本例中为第一图像）的GPS曝光点位置差
。
为无人机采集当前图像时距离地面的高度，
为相机的内参矩阵，该单应
矩阵与仅由匹配点对2D-2D直接计算所得结果不一样，由于利用了GPS、内参矩阵、图像间旋
转矩阵，支持绝对定位和尺度信息，同时GPS抑制了累积误差，精度较2D-2D直接计算有显著
提升。
可以理解的，本申请提供的图像拼接方法支持绝对定位和尺度大小，同时使用定位信息可以抑制累积误差。2D-2D类方法，如果参考图像是倾斜的，拼接结果会有很大的透视失真；如果摄像机镜头有较大畸变，累积误差增长很快。这两个因素使得2D-2D方法只能进行少量图像拼接，且无法支持绝对定位。本申请提供的图像拼接方法由于计算了参考图像曝光点姿态，因此不会因为摄像机倾斜而透视失真。由于定位信息（例如使用GPS获取的位置信息）的约束，抑制了累积误差的快速增长，误差均匀分布在各拼接图像中，适合大规模图像拼接，同时支持绝对定位。可以预见的，本申请提供的图像拼接方法可以实时获得每一帧图像的位姿，支持在拼接过程中与已有地图进行对照。
为了实现上述的S200~S202，本申请实施例提供一种图像拼接装置，请参见图7，图7为本申请实施例提供的一种图像拼接装置的方框示意图。该图像拼接装置40包括：获取模块41和处理模块42。
获取模块41用于获取第一图像和第二图像。第一图像是无人机的相机在第一位置拍摄的图像，第二图像是相机在第二位置拍摄的图像。
处理模块42用于根据第一位置和第二位置，获取无人机的姿态信息。姿态信息表征无人机从第一位置移动到第二位置的角度信息。处理模块42还用于根据姿态信息，拼接第一图像和第二图像，获取拼接图像。
通过待拼接图像（第一图像和第二图像）的位置信息，获取无人机在对应位置的姿态信息，进而实现对第一图像和第二图像的拼接。
在可选的实施方式中，为了获取无人机的姿态信息，以拼接图像表征无人机在大地坐标系下的图像信息为例，处理模块42还用于获取无人机的第一位移矢量信息。第一位移矢量信息为相机在大地坐标系下，第二位置相对于第一位置的位置信息和方向信息。处理模块42还用于根据第一位移矢量信息，获取无人机的旋转信息。旋转信息包括参考坐标系相对于大地坐标系的旋转矩阵和尺度因子，参考坐标系为以相机为原点的坐标系，尺度因子为第一位移矢量信息与无人机在大地坐标系下的位移信息的比值。处理模块42还用于根据旋转信息，获取姿态信息。
在可选的实施方式中，为了确定无人机的姿态信息，处理模块42还用于根据无人机的基础矩阵和相机的内参矩阵，确定无人机的本质矩阵。处理模块42还用于分解本质矩阵，获取旋转矩阵和中间矢量。中间矢量表征在参考坐标系下，第二位置相对于第一位置的方向信息。处理模块42还用于根据中间矢量和第一位移矢量，确定尺度因子。处理模块42还用于将旋转矩阵和尺度因子作为旋转信息。
本申请实施例提供一种电子设备，如图8，图8为本申请实施例提供的一种电子设备的方框示意图。该电子设备60包括存储器61、处理器62和通信接口63。该存储器61、处理器62和通信接口63相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器61可用于存储软件程序及模块，如本申请实施例所提供的任一项的图像拼接方法对应的程序指令/模块，处理器62通过执行存储在存储器61内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口63可用于与其他节点设备进行信令或数据的通信。在本申请中该电子设备60可以具有多个通信接口63。
其中，存储器61可以是但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-OnlyMemory，PROM），可擦除只读存储器（Erasable Programmable Read-Only Memory，EPROM），电可擦除只读存储器（Electric Erasable Programmable Read-Only Memory，EEPROM）等。
处理器62可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（NetworkProcessor，NP）等；还可以是数字信号处理器（Digital Signal Processing，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
电子设备60可以实现本申请提供的任一项的图像拼接方法。该电子设备60可以是，但不限于，笔记本电脑、服务器或其它具有处理能力的电子设备。应理解，该电子设备60还可以是安装在无人机上的电子设备，由无人机进行图像拼接，直接上传拼接后的图像到用户端或管理端。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前述实施方式中任一项的图像拼接方法。该计算机可读存储介质可以是，但不限于，U盘、移动硬盘、ROM、RAM、PROM、EPROM、EEPROM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请提供一种图像拼接方法、装置、电子设备和计算机可读存储介质，涉及航摄的图像拼接领域。图像拼接方法包括：获取第一图像和第二图像；第一图像是无人机的相机在第一位置拍摄的图像，第二图像是相机在第二位置拍摄的图像；根据第一位置和第二位置，获取无人机的姿态信息；姿态信息表征无人机从第一位置移动到第二位置的角度信息；根据姿态信息，拼接第一图像和第二图像，获取拼接图像。通过获取具有位置信息的待拼接图像，获取无人机的姿态信息，进而实现对多张图像的拼接，不依赖于惯性测量里程计的信息，实现了对无人机获取的图像进行拼接。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (8)
1.一种图像拼接方法，其特征在于，所述方法包括：
获取第一图像和第二图像；所述第一图像是无人机的相机在第一位置拍摄的图像，所述第二图像是所述相机在第二位置拍摄的图像；
获取所述无人机的第一位移矢量信息；所述第一位移矢量信息为所述相机在大地坐标系下，所述第二位置相对于所述第一位置的位置信息和方向信息；
根据所述第一位移矢量信息，获取所述无人机的旋转信息；
其中，所述旋转信息包括参考坐标系相对于所述大地坐标系的旋转矩阵和尺度因子，所述参考坐标系为以所述相机为原点的坐标系，所述尺度因子为所述第一位移矢量信息与所述无人机在所述大地坐标系下的位移信息的比值；
根据所述旋转信息，获取所述无人机的姿态信息；所述姿态信息表征所述无人机从所述第一位置移动到所述第二位置的角度信息；
根据所述姿态信息，拼接所述第一图像和所述第二图像，获取拼接图像；所述拼接图像表征所述无人机在所述大地坐标系下的图像信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述旋转信息，获取所述姿态信息，包括：
根据所述旋转信息，获取所述无人机在所述第一位置的第一姿态信息；
根据所述旋转信息，获取所述无人机在所述第二位置的第二姿态信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述姿态信息，拼接所述第一图像和所述第二图像，获取拼接图像，包括：
根据所述第一姿态信息和所述第一位置，确定所述第一图像的第一拼接信息；
根据所述第二姿态信息和所述第二位置，确定所述第二图像的第二拼接信息；
根据所述第一拼接信息和所述第二拼接信息，拼接所述第一图像和所述第二图像，获取拼接图像。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一位移矢量信息，获取所述无人机的旋转信息，包括：
根据所述无人机的基础矩阵和所述相机的内参矩阵，确定所述无人机的本质矩阵；
分解所述本质矩阵，获取所述旋转矩阵和中间矢量；所述中间矢量表征在所述参考坐标系下，所述第二位置相对于所述第一位置的方向信息；
根据所述中间矢量和所述第一位移矢量，确定所述尺度因子；
将所述旋转矩阵和所述尺度因子作为所述旋转信息。
5.根据权利要求4所述的方法，其特征在于，所述根据所述姿态信息，拼接所述第一图像和所述第二图像，获取拼接图像包括：
根据所述姿态信息，确定每张待拼接图像的单应矩阵；所述待拼接图像为所述第一图像或所述第二图像；
根据所述单应矩阵，拼接多张所述待拼接图像，获取所述拼接图像。
6.一种图像拼接装置，其特征在于，包括：获取模块和处理模块；
所述获取模块，用于获取第一图像和第二图像；所述第一图像是无人机的相机在第一位置拍摄的图像，所述第二图像是所述相机在第二位置拍摄的图像；
所述处理模块，用于获取所述无人机的第一位移矢量信息；所述第一位移矢量信息为所述相机在大地坐标系下，所述第二位置相对于所述第一位置的位置信息和方向信息；
所述处理模块还用于根据所述第一位移矢量信息，获取所述无人机的旋转信息；
其中，所述旋转信息包括参考坐标系相对于所述大地坐标系的旋转矩阵和尺度因子，所述参考坐标系为以所述相机为原点的坐标系，所述尺度因子为所述第一位移矢量信息与所述无人机在所述大地坐标系下的位移信息的比值；
所述处理模块还用于根据所述旋转信息，获取所述无人机的姿态信息；所述姿态信息表征所述无人机从所述第一位置移动到所述第二位置的角度信息；
所述处理模块还用于根据所述姿态信息，拼接所述第一图像和所述第二图像，获取拼接图像；所述拼接图像表征所述无人机在所述大地坐标系下的图像信息。
7.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911270171.5A CN110717861B (zh) | 2019-12-12 | 2019-12-12 | 图像拼接方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911270171.5A CN110717861B (zh) | 2019-12-12 | 2019-12-12 | 图像拼接方法、装置、电子设备和计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110717861A CN110717861A (zh) | 2020-01-21 |
| CN110717861B true CN110717861B (zh) | 2020-03-20 |
Family
ID=69216652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911270171.5A Active CN110717861B (zh) | 2019-12-12 | 2019-12-12 | 图像拼接方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110717861B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113728615A (zh) * | 2020-03-31 | 2021-11-30 | 深圳市大疆创新科技有限公司 | 图像处理方法、图像处理设备、用户设备、飞行器及系统 |
| CN111783539A (zh) * | 2020-05-30 | 2020-10-16 | 上海晏河建设勘测设计有限公司 | 一种地形测量方法、测量装置、测量系统及计算机可读存储介质 |
| CN111649761B (zh) * | 2020-06-01 | 2022-05-06 | 成都纵横大鹏无人机科技有限公司 | 一种多拼相机pos数据获取方法、装置、设备及介质 |
| WO2021243566A1 (zh) * | 2020-06-02 | 2021-12-09 | 深圳市大疆创新科技有限公司 | 成像方法、成像装置、计算机可读存储介质 |
| CN111784622B (zh) * | 2020-09-07 | 2021-01-26 | 成都纵横自动化技术股份有限公司 | 一种基于无人机单目倾斜的图像拼接方法及相关装置 |
| CN112577606B (zh) * | 2020-12-10 | 2022-02-22 | 湖南大学 | 一种双无人机搭载主动热成像的风机叶片巡检方法 |
| CN115829833B (zh) * | 2022-08-02 | 2024-04-26 | 爱芯元智半导体(上海)有限公司 | 一种图像生成方法及移动设备 |
| CN116363185B (zh) * | 2023-06-01 | 2023-08-01 | 成都纵横自动化技术股份有限公司 | 地理配准方法、装置、电子设备和可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101882308A (zh) * | 2010-07-02 | 2010-11-10 | 上海交通大学 | 提高图像拼接精度和稳定性的方法 |
| CN104835115A (zh) * | 2015-05-07 | 2015-08-12 | 中国科学院长春光学精密机械与物理研究所 | 用于航空相机的图像成像方法及系统 |
| CN105627991A (zh) * | 2015-12-21 | 2016-06-01 | 武汉大学 | 一种无人机影像实时全景拼接方法及系统 |
| CN105959576A (zh) * | 2016-07-13 | 2016-09-21 | 北京博瑞爱飞科技发展有限公司 | 无人机拍摄全景图的方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006137829A2 (en) * | 2004-08-10 | 2006-12-28 | Sarnoff Corporation | Method and system for performing adaptive image acquisition |
| CN110440759A (zh) * | 2019-08-08 | 2019-11-12 | 陈�峰 | 一种基于无人机测绘技术的土方工程测算系统 |
-
2019
- 2019-12-12 CN CN201911270171.5A patent/CN110717861B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101882308A (zh) * | 2010-07-02 | 2010-11-10 | 上海交通大学 | 提高图像拼接精度和稳定性的方法 |
| CN104835115A (zh) * | 2015-05-07 | 2015-08-12 | 中国科学院长春光学精密机械与物理研究所 | 用于航空相机的图像成像方法及系统 |
| CN105627991A (zh) * | 2015-12-21 | 2016-06-01 | 武汉大学 | 一种无人机影像实时全景拼接方法及系统 |
| CN105959576A (zh) * | 2016-07-13 | 2016-09-21 | 北京博瑞爱飞科技发展有限公司 | 无人机拍摄全景图的方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 一种基于无人机位姿信息的航拍图像拼接方法;程争刚 等;《测绘学报》;20160630;第45卷(第6期);698-705 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110717861A (zh) | 2020-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110717861B (zh) | 图像拼接方法、装置、电子设备和计算机可读存储介质 | |
| CN110648283B (zh) | 图像拼接方法、装置、电子设备和计算机可读存储介质 | |
| CN110246147B (zh) | 视觉惯性里程计方法、视觉惯性里程计装置及移动设备 | |
| CN107223244B (zh) | 定位方法和装置 | |
| US20200394445A1 (en) | Method, apparatus, device and medium for calibrating pose relationship between vehicle sensor and vehicle | |
| EP3028252B1 (en) | Rolling sequential bundle adjustment | |
| EP3825954A1 (en) | Photographing method and device and unmanned aerial vehicle | |
| CN110111388B (zh) | 三维物体位姿参数估计方法及视觉设备 | |
| Wendel et al. | Natural landmark-based monocular localization for MAVs | |
| US11610373B2 (en) | Method of generating three-dimensional model data of object | |
| WO2019104571A1 (zh) | 图像处理方法和设备 | |
| CN110703805B (zh) | 立体物体测绘航线规划方法、装置、设备、无人机及介质 | |
| US20220309708A1 (en) | System and method for automated estimation of 3d orientation of a physical asset | |
| CN109978954A (zh) | 基于箱体的雷达和相机联合标定的方法和装置 | |
| AliAkbarpour et al. | Parallax-tolerant aerial image georegistration and efficient camera pose refinement—without piecewise homographies | |
| WO2020198963A1 (zh) | 关于拍摄设备的数据处理方法、装置及图像处理设备 | |
| JP7220784B2 (ja) | 測量用サンプリング点の計画方法、装置、制御端末及び記憶媒体 | |
| CN114979956A (zh) | 一种无人机航拍地面目标定位方法及系统 | |
| CN113034347A (zh) | 倾斜摄影图像处理方法、装置、处理设备及存储介质 | |
| Wang et al. | A rapid UAV image georeference algorithm developed for emergency response | |
| CN113628284B (zh) | 位姿标定数据集生成方法、装置、系统、电子设备及介质 | |
| CN112184662B (zh) | 应用于无人机图像拼接中的相机外参数初始方法及系统 | |
| CN114092564B (zh) | 无重叠视域多相机系统的外参数标定方法、系统、终端及介质 | |
| CN116203976A (zh) | 变电站室内巡检方法、装置、无人机和存储介质 | |
| Schneider et al. | Bundle adjustment and system calibration with points at infinity for omnidirectional cameras |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |