CN116523748A - 图像拼接方法、设备、存储介质及无人机 - Google Patents
图像拼接方法、设备、存储介质及无人机 Download PDFInfo
- Publication number
- CN116523748A CN116523748A CN202310487011.6A CN202310487011A CN116523748A CN 116523748 A CN116523748 A CN 116523748A CN 202310487011 A CN202310487011 A CN 202310487011A CN 116523748 A CN116523748 A CN 116523748A
- Authority
- CN
- China
- Prior art keywords
- image
- spliced
- images
- transformation matrix
- grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 239000011159 matrix material Substances 0.000 claims abstract description 154
- 230000009466 transformation Effects 0.000 claims abstract description 120
- 230000008859 change Effects 0.000 claims abstract description 33
- 238000005259 measurement Methods 0.000 claims description 22
- 230000001788 irregular Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 16
- 230000008569 process Effects 0.000 abstract description 9
- 238000003384 imaging method Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Abstract
本申请涉及一种图像拼接方法、设备、存储介质及无人机，其中，所述方法包括：获取至少两张待拼接图像，及无人机拍摄每张待拼接图像时的位姿信息；根据所述每张待拼接图像对应的位姿信息，获取所述无人机在拍摄顺序上相邻的待拼接图像之间的位姿变化信息，根据所述位姿变化信息得到所述至少两张待拼接图像的重叠区域；根据所述重叠区域计算变换矩阵，根据所述变换矩阵对所述至少两张待拼接图像进行拼接，得到拼接图像，在无人机的图像拼接过程中通过位姿信息得到两张待拼接图像的重叠区域，只需对利用该重叠区域进行变换矩阵计算，而不用基于整张图像进行变换矩阵计算，减少计算量及处理时间，具有高效性和实用性。
Description
技术领域
本申请涉及图像拼接技术领域，具体地，涉及一种图像拼接方法、设备、存储介质及无人机。
背景技术
为了获取广域中较为完整的视频或图像视频监控系统，需要对无人机拍摄多张不同位置、不同角度的图像进行拼接。
考虑到机载端计算能力有限以及对拼接实时性的要求，现有技术中的拼接方法有：一种是使用惯性测量单元(Inertial Measurement Unit，IMU)等进行辅助拼接，然而其结构运算复杂，对较长时间的图像拼接存在较大的误差；一种是采用传统图像的拼接方法，提取特征点进行特征匹配，然后获取相关的变换关系，存在计算量大、难以直接部署在无人机侧的问题；另一种方法是通过进行分区分块的规则化变形原理，将原有的不规则的拼接图像通过多个仿射变换生成较为规则的矩形化图形，通过局部形状的调整和直线保持约束实现矩形化变换，该方法涉及到大量的数学优化计算，优化时间较长且优化难度较大，难以做到实时处理。
因此，现有技术中需要一种实时性高、误差小、矩形化的无人机图像拼接方法。
发明内容
为解决现有技术中至少一项技术问题，本申请提供一种图像拼接方法、设备、存储介质及无人机。
本申请第一方面提供一种图像拼接方法，所述方法应用于无人机，所述方法包括：获取至少两张待拼接图像，及所述无人机拍摄每张待拼接图像时的位姿信息；根据所述每张待拼接图像对应的位姿信息，获取所述无人机在拍摄顺序上相邻的待拼接图像之间的位姿变化信息，根据所述位姿变化信息得到所述至少两张待拼接图像的重叠区域；根据所述重叠区域计算变换矩阵，根据所述变换矩阵对所述至少两张待拼接图像进行拼接，得到拼接图像。
可选地，所述获取所述无人机拍摄每张待拼接图像时的位姿信息，包括：获取每张待拼接图像拍摄时所述无人机的惯性测量单元的测量数据；对每张待拼接图像对应的测量数据进行积分和卡尔曼滤波，获得所述无人机拍摄每张待拼接图像时的位姿信息。
可选地，所述根据所述位姿变化信息得到所述至少两张待拼接图像的重叠区域，包括：根据所述位姿变化信息，计算所述无人机在拍摄顺序上相邻的待拼接图像之间的平移运动信息；根据所述相邻的待拼接图像对应的所述平移运动信息以及所述相邻的待拼接图像中的两张待拼接图像，获取每一相邻的待拼接图像的重叠区域。
可选地，所述根据所述重叠区域计算变换矩阵，根据所述变换矩阵对所述至少两张待拼接图像进行拼接，得到拼接图像，包括：在每一相邻的待拼接图像的重叠区域上，获取每一相邻的待拼接图像多个对应的特征点；根据每一相邻的待拼接图像的多个特征点之间的对应关系，得到初始变换矩阵；根据所述平移运动信息，以及所述初始变换矩阵，确定目标变换矩阵；根据所述目标变换矩阵对每一相邻的待拼接图像进行拼接，得到拼接图像。
可选地，所述根据每一相邻的待拼接图像的多个特征点之间的对应关系，得到初始变换矩阵，包括：根据每一相邻的待拼接图像中每个图像的特征点的特征描述子，确定每一相邻的待拼接图像中特征点的对应关系；将所述每一相邻的待拼接图像中的图像划分网格；确定每个网格相对于每个特征点的网格变换矩阵；遍历每个网络以及每个特征点，根据每个网格相对于每个特征点的网格变换矩阵，得到所述初始变换矩阵。
可选地，所述确定每个网格相对于每个特征点的网格变换矩阵，包括：确定每个网格的中心点与每个特征点之间的距离；将所述每个网格的中心点与每个特征点之间的距离作为预设拼接矩阵的权重，并根据所述权重以及所述预设拼接矩阵，得到每个网格相对于每个特征点的网格变换矩阵。
可选地，所述根据所述平移运动信息，以及初始变换矩阵，确定目标变换矩阵，包括：根据所述平移运动信息以及预设偏移矩阵，生成目标偏移矩阵；融合所述目标偏移矩阵和所述初始变换矩阵中每个网格相对于每个特征点的网格变换矩阵，得到每个网格相对于每个特征点的目标变换矩阵。
可选地，所述预设偏移矩阵为：
其中，所述px为水平平移距离，py为竖直平移距离。
可选地，所述融合所述目标偏移矩阵和所述初始变换矩阵中每个网格相对于每个特征点的网格变换矩阵，得到每个网格相对于每个特征点的目标变换矩阵，包括：根据每一网格的中心点在对应图像上的位置，确定每一网格的偏移权重，其中，网格的中心点距离所述对应图像的目标边界越近，权重越小，所述目标边界为所述初始拼接图像的不规则边界对应的边界；根据每一网格的偏移权重、所述目标偏移矩阵和所述每个网格相对于每个特征点的初始变换矩阵，得到每个网格相对于每个特征点的目标变换矩阵。
可选地，所述根据每一网格的中心点在对应图像上的位置，确定每一网格的偏移权重，包括：获取所述每一网格的中心点与所述对应图像的目标边界的距离；确定所述每一网格的中心点的宽度坐标与所述每一网格的中心点与所述对应图像的目标边界的距离的比值为所述每一网格的偏移权重。
可选地，所述方法还包括：使用至少两种特征点提取方法提取每一相邻的待拼接图像中每个图像的重叠区域的至少两组待选特征点及每一待选特征点的特征描述子；在每个图像的所述至少两组待选特征点中去除重复的待选特征点，将剩余的待选特征点作为每个图像中的特征点。
可选地，所述根据每一相邻的待拼接图像中每个图像中的特征点的特征描述子，确定每一相邻的待拼接图像中特征点的对应关系，包括：将每一相邻的待拼接图像中任一图像作为第一图像，另一图像作为第二图像；使用所述第一图像的特征点作为待查数据，所述第二图像的特征点作为查询数据进行第一匹配，得到第一配准点对；使用所述第二图像的特征点作为待查数据，所述第一图像的特征点作为查询数据进行第二匹配，得到第二配准点对；将在所述第一配准点对和所述第一配准点对中均存在的配准点对作为所述多个配准点对。
本申请第二方面提供一种无人机，所述无人机包括：图像获取模块，用于获取至少两张待拼接图像，及所述无人机拍摄每张待拼接图像时的位姿信息；重叠区域获取模块，用于根据所述每张待拼接图像对应的位姿信息，获取所述无人机在拍摄顺序上相邻的待拼接图像之间的位姿变化信息，根据所述位姿变化信息得到所述至少两张待拼接图像的重叠区域；拼接模块，用于根据所述重叠区域计算变换矩阵，根据所述变换矩阵对所述至少两张待拼接图像进行拼接，得到拼接图像。
本申请第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一项所述方法的步骤。
本申请第四方面提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现上述第一方面中任一项所述方法的步骤。
上述图像拼接方法，在无人机的图像拼接过程中通过位姿信息得到两张待拼接图像的重叠区域，只需对利用该重叠区域进行变换矩阵计算，而不用基于整张图像进行变换矩阵计算，减少计算量，减少了处理时间，能够快速计算并渲染出拼接图，具有高效性和实用性。
本申请的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本申请的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请，但并不构成对本申请的限制。在附图中：
图1是根据一示例性实施例示出的一种无人机的示意框图；
图2根据一示例性实施例示出的一种图像拼接方法的流程图；
图3根据一示例性实施例示出的另一种图像拼接方法的流程图；
图4是根据一示例性实施例示出的另一种无人机的示意框图；
图5是根据一示例性实施例示出的一种电子设备意框图。
具体实施方式
以下结合附图对本申请的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请，并不用于限制本申请。
需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
需要指出，本申请实施例所涉及的术语“第一\第二\第三”用以区别类似或不同的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
近年来，随着无人机技术的发展，无人机因其效率高、机动性强、成本低、操作方便等特性，已被广泛应用于侦察、应急、搜索救援、监测等各个领域。其中，无人机运用最广泛的是视频监控领域。为了获取广域中较为完整的视频或图像视频监控系统，需要对无人机拍摄的多张不同位置、不同角度的图像进行拼接。
考虑到无人机机载端计算能力有限以及对拼接实时性的要求，现有技术中常用的方法包括：
一种是使用惯性测量单元(Inertial Measurement Unit，IMU)等进行辅助拼接。该方法通IMU传感器等设备信息可获得尺度大小，但存在累积误差，且其结构运算复杂，对较长时间的图像拼接存在较大的误差。
一种是采用传统图像的拼接方法。提取特征点进行特征匹配，然后获取相关的变换关系，存在计算量大、难以直接部署在无人机侧的问题。
有鉴于此，本申请实施例提供一种图像拼接方法，该方法应用于无人机设备。
图1是本申请一实施例中的无人机100的示意框图，如图1所示，本申请实施例的无人机可包括机体110、云台120和成像镜头130。其中，成像镜头130通过云台120搭载在机体110上。该无人机可以为固定翼无人机，也可以为多旋翼无人机，具体可根据实际需求选择无人机的类型，例如，当云台120和成像镜头130的重量较大时，可选择体积和重量较大的固定翼无人机进行搭载；当云台120和成像镜头130重量较小时，可选择体积和重量较小的多旋翼无人机进行搭载。
成像镜头130可以是数码相机，例如数码摄像机、数码照相机或两者的组合。
成像镜头130与云台120活动连接，云台可以移动成像镜头130，使成像镜头130在不同角度进行拍摄。优选地，无人机100经成像镜头130以捕获彩色图像、黑白图像或两者等。在本发明中，术语“图像(image)”、“图像(imagery)”、“图像信息”或类似术语可交替地指代视频或静态图片。同样，术语“帧”可指由成像镜头130获得的视频帧或静态图片帧。
成像镜头130可包括聚焦透镜和传感器阵列(图中未示出)。聚焦透镜是通过沿光轴方向移动来调节摄像光学系统的对焦位置的透镜。聚焦透镜由多个透镜组构成。
所述聚焦透镜还可以包括透镜驱动部、光圈，处理器来控制透镜驱动部来移动成像镜头130中包含的聚焦透镜。而且，处理器还可以经由光圈驱动部控制光圈的开口量，由此进行曝光量的调整。
传感器阵列在捕获场景的图像帧之前通过聚焦透镜从所述场景获得光信息。传感器阵列包括个别图像传感器的二维阵列，例如以行及列布置。传感器阵列可包含(举例来说)固态传感器阵列，例如互补金属氧化物半导体(CMOS，Complementary Metal OxideSemiconductor)传感器。将传感器阵列内的图像传感器暴露给场景以从所述场景获得光信息并捕获所述场景的图像帧。
机体110包括了实现无人机功能的组件，如图像处理器、图像存储装置、图像拼接处理器、处理器、电机、电池(图中未示出)等。
图像处理器从成像镜头130的传感器阵列接收所述所捕获的图像帧且对所述图像帧执行任何必要的处理。图像处理器可(举例来说)执行由传感器阵列捕获的图像帧的滤波、裁剪、去马赛克、压缩、图像增强或其它处理。图像处理器可由微处理器、数字信号处理器(DSP，Digital Signal Processing)、专用集成电路(ASIC，Application SpecificIntegrated Circuit)、现场可编程门阵列(FPGA，Field Programmable Gate Array)或任何其它等效离散或集成逻辑电路实现。在一些实施例中，图像处理器可形成根据特定编码技术或格式(例如，MPEG-2、MPEG-4、ITU H.263、ITU H.264、JPEG或类似技术或格式)对图像帧进行编码的编解码器(CODEC)的部分。
图像处理器将图像帧存储在图像存储装置中。图像处理器可将原始图像帧、经处理的图像帧或经编码的图像帧存储在图像存储装置中。如果图像伴随有音频信息，那么也可独立地或结合图像帧将所述音频存储在图像存储装置中。图像存储装置可包含任何易失性或非易失性存储器或存储装置，例如只读存储器(ROM，Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)或快闪存储器，或例如磁性数据存储装置或光学数据存储装置。
图像拼接处理器将读取图像存储装置中保存的两帧不同的图像及所述无人机拍摄每张待拼接图像时的位姿信息，所获取的两帧图像存在部分重叠的区域，根据所述每张待拼接图像对应的位姿信息，获取所述无人机在拍摄相邻的待拼接图像的位姿变化信息，根据所述位姿变化信息得到所述至少两张待拼接图像的重叠区域，根据所述重叠区域计算变换矩阵，根据所述变换矩阵对所述至少两张待拼接图像进行拼接，得到拼接图像。图像拼接处理器将拼接图像存储在图像存储装置中。
处理器可运行例如软件来控制无人机100的与处理器连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。例如，作为所述数据处理或计算的至少部分，处理器可将从另一部件(例如，图像拼接处理器)接收到的命令或数据加载到易失性存储器中，对存储在易失性存储器中的命令或数据进行处理，并将结果数据存储在非易失性存储器中。根据实施例，处理器可包括主处理器(例如，中央处理器(CPU，Central Processing Unit)或应用处理器(AP，Application Processor)以及与主处理器在操作上独立的或者相结合的辅助处理器例如，图形处理单元(GPU，graphics processingunit)、神经处理单元(NPU，neural processing unit)、图像信号处理器(ISP，ImageSignal Processing)、传感器中枢处理器或通信处理器(CP，Communication Processor)。例如，当无人机100包括主处理器和辅助处理器时，辅助处理器可被适配为比主处理器耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器实现为与主处理器分离，或者实现为主处理器的部分。
电机驱动无人机的旋翼，以提供无人机飞行的动力。
电池为无人机内部的部件如电机等供能。
图2为本申请实施例提供的一种图像拼接方法的实现流程示意图，所述方法可以用于无人机100中，如图2所示，该方法可以包括以下步骤210至步骤230：
步骤210，获取至少两张待拼接图像，及所述无人机拍摄每张待拼接图像时的位姿信息。
获取无人机拍摄的待拼接图像的集合，该集合中至少包括两张待拼接图像，例如，无人机在第一时间和第二时间分别拍摄第一待拼接图像和第二待拼接图像，第二待拼接图像拍摄后，即刻获取这两张待拼接图像。获取这两张图像时，还需获取每张待拼接图像拍摄时无人机的位姿信息。所述位姿信息指位置和姿态，其中位置可以为经纬度等。
步骤220，根据所述每张待拼接图像对应的位姿信息，获取所述无人机在拍摄顺序上相邻的待拼接图像之间的位姿变化信息，根据所述位姿变化信息得到所述至少两张待拼接图像的重叠区域。
根据每张待拼接图像拍摄时无人机机的位姿信息，可以计算得到所述无人机在拍摄相邻的待拼接图像的位姿变化信息，例如，对于上述第一待拼接图像和第二待拼接图像。计算无人机在拍摄第一待拼接图像的第一位姿与无人机在拍摄第二待拼接图像的第二位姿之差，得到所述位姿变化信息。
根据所述位姿变化信息得到两张待拼接图像计算出两张图像之间包含相同内容的区域，该区域即为的重叠区域。例如，根据无人机在两张待拼接图像之间的位姿变换，计算两张待拼接图像的拍摄视野之间的重叠，从而计算出两张待拼接图像之间相同的拍摄视野，由于该拍摄视野上能够看到拍摄主体通常是固定的，因此两张待拼接图像会包含这些拍摄主体，因此两张待拼接图像存在重叠区域，根据所述相同的拍摄视野进行计算可以计算得到重叠区域。
在包含两张以上待拼接图像的实施例中，可以将依次获取在无人机拍摄顺序上相邻的图像，根据位姿计算相邻图像的位姿变化，计算重叠区域。例如，待拼接图像集合中包括：第一待拼接图像、第二待拼接图像、第三待拼接图像等，计算第一待拼接图像和第二待拼接图像之间的位姿变化，计算第一待拼接图像和第二待拼接图像之间的重叠区域，再计算第二待拼接图像和第三待拼接图像之间的位姿变化，计算第二待拼接图像和第三待拼接图像之间的重叠区域，重复上述步骤，直到得到最后一张图像的重叠区域。
在本申请的一些实施例中，由于无人机飞行路径等因素，导致在不相邻的待拼接图像上仍然存在重叠区域，在这些实施例中，可以不用获取在拍摄顺序上相邻的待拼接图像，也能计算重叠区域。
步骤230，根据所述重叠区域计算变换矩阵，根据所述变换矩阵对所述至少两张待拼接图像进行拼接，得到拼接图像。
得到两张图像的重叠区域后，由于重叠区域内包括了相同的拍摄主体，因此两张待拼接图像能够找到相同的特征点。根据重叠区域可以查找到两张待拼接图像之间多个对应的特征点，根据对应的特征点，可以计算出两张待拼接图像之间变换矩阵，根据所述变换矩阵可以将其中一张待拼接图像转换至另一张图像的平面进行拼接，得到拼接图像，该拼接图像可以是全景图等。
本申请上述图像拼接方法，在无人机的图像拼接过程中通过位姿信息得到两张待拼接图像的重叠区域，只需对利用该重叠区域进行变换矩阵计算，而不用基于整张图像进行变换矩阵计算，减少计算量，减少了处理时间，能够快速计算并渲染出拼接图，具有高效性和实用性。
图3为本申请实施例提供的另一种图像拼接方法的实现流程示意图，如图3所示，该方法可以包括以下步骤310至步骤350：
步骤310，获取至少两张待拼接图像，及所述无人机拍摄每张待拼接图像时的位姿信息。
获取无人机拍摄的待拼接图像的集合，该集合中至少包括两张待拼接图像。例如，无人机在飞行路径上的A至E点分别拍摄一张图像，将这五张图像作为待拼接图像的集合。
获取待拼接图像的集合中每张图像被拍摄时无人机的位姿信息，示例的，所述获取所述无人机拍摄每张待拼接图像时的位姿信息，包括：获取每张待拼接图像拍摄时所述无人机的惯性测量单元的测量数据；对每张待拼接图像对应的测量数据进行积分和卡尔曼滤波，获得所述无人机拍摄每张待拼接图像时的位姿信息。
对于上述待拼接图像的集合中的每张图像，获取该图像拍摄时无人机的惯性测量单元的测量数据，惯性测量单元(Inertial Measurement Unit，IMU)主要用来检测和测量加速度与旋转运动的传感器，最基础的惯性传感器包括加速度计和角速度计。惯性传感器能够提供无人机的即时运动状态及路线偏移等。进一步的，可以对于所获取的惯性传感器的数据可以进行滤波，如，对于待拼接图像对应的测量数据积分和卡尔曼滤波，示例的，基于惯性测量单元在初始时的数据，对A点的惯性传感器采集的纵向、横向的摆动角速度，以及纵向、横向和垂直加速度等测量数据进行积分及卡尔曼滤波，获得A点位移和姿态数据，从而获得所述无人机拍摄A点的待拼接图像时的位姿信息。
在本申请一些实施例中，为了得到准确的数据，通常将上述惯性测量单元和全球定位系统或全球导航卫星系统等联合使用形成组合导航系统(integrated navigationsystem，INS)得到更准确的数据。全球定位系统(Global Positioning System，GPS)是GPS卫星，向全球各地全天候、实时性地提供三维位置、三维速度等信息的一种无线电导航定位系统。GNSS的全称是(Global Navigation Satellite System)，泛指所有的卫星导航系统，包括全球的、区域的和增强的。根据组合导航系统的测量数据进行解算可以获取无人机在拍摄图像时的位姿数据。
步骤320，根据所述每张待拼接图像对应的位姿信息，获取所述无人机在拍摄顺序上相邻的待拼接图像的位姿变化信息。
对于上述待拼接图像的集合，依次获取在拍摄顺序上相邻的待拼接图像的位姿变化信息，如，对于上述待拼接图像的集合，获取A待拼接图像的位姿信息(即无人机在A点拍摄的待拼接图像)及B待拼接图像的位姿信息，计算二者之差，得到A待拼接图像与B待拼接图像之间的位姿变化信息，获取C待拼接图像的位姿信息，计算C待拼接图像的位姿信息与B待拼接图像的位姿信息的差值，得到B待拼接图像与C待拼接图像之间的位姿变化信息，在拍摄顺序上依次计算相邻的位姿变化，直到得到D待拼接图像与E待拼接图像之间的位姿变化信息。
步骤330，根据所述位姿变化信息，计算所述无人机在拍摄顺序上相邻的待拼接图像之间的平移运动信息。
根据相邻的两张待拼接图像之间的位姿变化信息，可以计算出在拍摄顺序上相邻的待拼接图像之间无人机的平移运动信息，例如，对于A点的待拼接图像与B点的待拼接图像之间的位姿变化信息，可以计算出无人机在A点与B点之间，在同一平面上的位移信息，从而得到两张的待拼接图像之间平移运动信息。
步骤340，根据所述相邻的待拼接图像对应的所述平移运动信息以及所述相邻的待拼接图像中的两张待拼接图像，获取每一相邻的待拼接图像的重叠区域。
得到相邻的待拼接图像对应的所述平移运动信息后，根据该平移运动信息可以计算相邻的待拼接图像中的每张待拼接图像在图像坐标系下的变化，从而获得每一相邻的待拼接图像的重叠区域。
在本申请一个示例中，所述平移运动信息包括水平平移距离和竖直平移距离，将待拼接图像的左上角的边界点设置为原点，图像上边界为X轴，图像左边界为Y轴，计算无人机在x方向的平移信息得到px，计算无人机在y方向的平移信息得到py。得在x，y方向的平移信息，可以得到两张图像之间的重叠区域。
进一步的，在本申请的一个实施例中，根据相邻的两张待拼接图像之间的位姿变化信息计算出旋转运动信息和平移运动信息，首先，根据旋转运动信息计算两张待拼接图像之间的拍摄角度变换，申请人认为在无人机运动过程中，可以会发生拍摄角度的变化，导致图像角度不同，根据拍摄角度变换对待拼接图像进行校正，使两张待拼接图像处于同一角度上。然后，根据无人机的平移运动信息，计算两张图像的重叠区域。
其中，第一张图像的重叠区域为[width-px，width，height-py，height]，第二张图像的重叠区域为[0，px，0，py]，其中width为图像的宽度，height为图像的高度。
步骤350，根据所述重叠区域计算变换矩阵，根据所述变换矩阵对所述至少两张待拼接图像进行拼接，得到拼接图像。
一个实施例中，所述根据所述重叠区域计算变换矩阵，根据所述变换矩阵对所述至少两张待拼接图像进行拼接，得到拼接图像，包括：在每一相邻的待拼接图像的重叠区域上，获取每一相邻的待拼接图像多个对应的特征点；根据每一相邻的待拼接图像的多个特征点之间的对应关系，得到初始变换矩阵；根据所述平移运动信息，以及所述初始变换矩阵，确定目标变换矩阵；根据所述目标变换矩阵对每一相邻的待拼接图像进行拼接，得到拼接图像。
在上述无人机拍摄的待拼接图像的集合中，对于相邻的待拼接图像都存在重叠区域，重叠区域在两张图像上存在不同的表示，则重叠区域上的特征点也在两张图像上存在不同的表示。获取在两张图像上表示同一特征点的两个不同的特征点，将这两个特征点作为存在对应关系的两个特征点。根据上述原理，查找得到获取每一相邻的待拼接图像多个对应的特征点。
根据特征点之间的对应关系可以查找到同一特征点在两张不同图像坐标系各自的位置分布，根据两个特征点的位置分布即可计算两个特征点之间的位置转换关系。进一步的，根据多个特征点之间的对应关系可以计算两张待拼接图像之间的位置转换关系如变换矩阵，据此将所述两张待拼接图像进行初始拼接得到的初始拼接图像。由于多种原因，拼接所生成的图像的边界通常都是不规则的，如，由于特征点之间并未完全分布在同一直线上，根据特征点之间对应关系进行拼接的话，将导致图像不同部分分布在不同的位置，从而使得拼接成所述初始拼接图像的边界为不规则线条，存在不规则边界的问题。由于多种原因，例如，假设待拼接图像A上存在对应关系的特征点为“S”形的分布，根据特征点的对应关系进行拼接时，待拼接图像B上不同特征点所在的不同区域也将按照“S”形进行分布，由于待拼接图像B左侧发生位移，则待拼接图像B右侧也将对应位移，那么拼接成所述初始拼接图像AB的右边界为不规则线条，存在不规则边界的问题。当然，以上不规则边界产生的原因的仅作示例说明并非对本发明的限制。
因此，可以根据每一相邻的待拼接图像的平移运动信息调整对应的两张图像在所述初始拼接中使用的变换矩阵，确定每一相邻的待拼接图像的目标变换矩阵；
根据所述目标变换矩阵对每一相邻的待拼接图像进行重新拼接，得到拼接图像。
一个示例中，上述根据每一相邻的待拼接图像的多个特征点之间的对应关系得到初始变换矩阵，包括：根据每一相邻的待拼接图像中每个图像的特征点的特征描述子，确定每一相邻的待拼接图像中特征点的对应关系；将所述每一相邻的待拼接图像中的图像划分网格；确定每个网格相对于每个特征点的网格变换矩阵；遍历每个网络以及每个特征点，根据每个网格相对于每个特征点的网格变换矩阵，得到所述初始变换矩阵。
对于每一相邻的待拼接图像的拼接，首先，获取该相邻的待拼接图像中每个图像中重叠区域内的特征点及特征点的特征描述子。示例的，使用至少两种特征点提取方法提取每个图像上重叠区域的至少两组待选特征点及每一待选特征点的特征描述子；在每个图像的所述至少两组待选特征点中去除重复的待选特征点，将剩余的待选特征点作为每个图像中的特征点。
采用多种特征点提取方法提取每个图像上的重叠区域的特征点及特征点的特征描述子，如，使用SIFT(Scale-invariant feature transform，尺度不变特征转换)方法和ORB方法(Oriented Fast and Rotated Brief，定向快速和旋转描述子)分别进行特征点及特征点的特征描述子的提取。SIFT方法搜索所有尺度上的图像位置。通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。根据的稳定程度选择关键点。得到关键点后基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向。在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。这些梯度被变换成特征描述子。
ORB方法用于对图像中的关键点快速创建特征向量，ORB首先会从图像中查找特殊区域，称为关键点，如角点，其具有像素值急剧的从浅色变为深色的特征。然后ORB会为每个关键点计算相应的特征向量。ORB算法创建的特征描述子只包含1和0，称为二元特征向量。
图像的重叠区域通过SIFT和ORB分别提取到SIFT点和ORB点，然后将SIFT点和ORB点汇总在一起，去除当中重复的特征点，得到每个图像的特征点及每一特征点的特征描述子。
SIFT特征特征提取方法提取的特征鲁棒性较高，但特征点数较少，ORB特征提取方法提取的特征鲁棒性较低，但特征点数较多。通过两者的结合，可以实现点数较多、鲁棒性较高的特征提取。
利用特征点的特征描述子进行每一相邻的待拼接图像中两张待拼接图像上特征进行匹配，确定特征点的对应关系。当特征描述子相似度越高，则说明对应的两个特征点为同一特征点概率越高。
可以通过特征点匹配算法如暴力匹配法、最邻近匹配法等，对两张待拼接图像上特征进行匹配。
在本申请一个实施例中，所述根据每一相邻的待拼接图像中每个图像中的特征点的特征描述子，确定每一相邻的待拼接图像中特征点的对应关系，包括：将每一相邻的待拼接图像中任一图像作为第一图像，另一图像作为第二图像；使用所述第一图像的特征点作为待查数据，所述第二图像的特征点作为查询数据进行第一匹配，得到第一配准点对；使用所述第二图像的特征点作为待查数据，所述第一图像的特征点作为查询数据进行第二匹配，得到第二配准点对；将在所述第一配准点对和所述第一配准点对中均存在的配准点对作为所述多个配准点对。
对于每一相邻的待拼接图像中特征点匹配，需要选择该图像对中任一待拼接图像作为第一图像，另一待拼接图像作为第二图像。使用所述第一图像的特征点作为待查数据，所述第二图像的特征点作为查询数据，使用此时查询数据对待查数据中的特征点进行第一匹配，将匹配的特征点作为第一配准点对；
使用所述第二图像的特征点作为待查数据，所述第一图像的特征点作为查询数据，使用此时查询数据对待查数据中的特征点进行第二匹配，将匹配的特征点作为第二配准点对；
将在所述第一配准点对和所述第一配准点对中均存在的配准点对作为所述多个配准点对。
上述特征对匹配的过程中可以采用双向计算，即从第一张图像向第二张图像进行特征匹配和从第二张图像向第一张图像特征匹配得到的是相同的结果，才认为是匹配正确。
得到该相邻的待拼接图像的配准点对后，然后，计算全局单应性，根据全局单应性计算全景画布的大小。将所述该相邻的待拼接图像中的每一图像划分为指定数量的网格，例如，选择任意一张待拼接图像作为源图，设置网格数量为50×50，将该组图像对中两张图像的进行原始的规则化网格划分。
根据每个特征点相对于每个网格关系确定每一网格的网格变换矩阵。具体的：确定每个网格的中心点与每个特征点之间的距离；将所述每个网格的中心点与每个特征点之间的距离作为预设拼接矩阵的权重，并根据所述权重以及所述预设拼接矩阵，得到每个网格相对于每个特征点的网格变换矩阵。
取源图上每一网格中心点，计算每个中心点和源图上每一特征点之间的街区距离，采用e指数的街区距离作为这个点对于每个网格的权重，即特征点离网格越近对这个网格的影响越大，离网格的距离越大则对这个网格的影响越小。
每个网格权重放到DLT(Direct Linear Transform，直接线性变换算法)算法的A矩阵中，构建成新的W*A矩阵，重新SVD分解，自然就得到了每个网格的局部单应性矩阵即网格变换矩阵，所述W矩阵根据预设拼接矩阵计算而来。
遍历每个网络以及每个特征点，根据每个网格的局部单应性矩阵将每一网格映射到全景画布上，从而将源图映射到全景画布上，实现两张待拼接图像进行初始拼接，得到所述初始拼接图像。在这一拼接过程中使用了多个局部单应性矩阵，这些局部单应性矩阵构成了两个图像初始拼接的初始变换矩阵。
在一个实施例中，所述根据所述平移运动信息，以及所述初始变换矩阵，确定目标变换矩阵，包括：根据所述平移运动信息以及预设偏移矩阵，生成目标偏移矩阵；融合所述目标偏移矩阵和所述初始变换矩阵中每个网格相对于每个特征点的网格变换矩阵，得到每个网格相对于每个特征点的目标变换矩阵。
获取预设偏移矩阵，本申请预先设置一个偏移矩阵，该矩阵一个通用矩阵，用于对两张待拼接图像之间的偏移进行表示。
将上述平移运动信息填入预设偏移矩阵，生成目标偏移矩阵。
融合所述目标偏移矩阵，上述初始变换中根据每个网格相对于每个特征点的初始变换矩阵对网格进行的变换，该变换导致偏移，因此可以将偏移矩阵与每个网格的网格变换矩阵进行融合相加，调整网格变换矩阵，得到每个网格相对于每个特征点的目标变换矩阵。
在本申请一个实施例中，所述融合所述目标偏移矩阵和所述初始变换矩阵中每个网格相对于每个特征点的网格变换矩阵，得到每个网格相对于每个特征点的目标变换矩阵，包括：根据每一网格的中心点在对应图像上的位置，确定每一网格的偏移权重，其中，网格的中心点距离所述对应图像的目标边界越近，权重越小，所述目标边界为所述初始拼接图像的不规则边界对应的边界；根据每一网格的偏移权重、所述目标偏移矩阵和所述每个网格相对于每个特征点的网格变换矩阵，得到每个网格相对于每个特征点的目标变换矩阵。
每一网格与边界的距离不同，其偏移量也不同。因此，可以设置一个一个偏移权重来进行表示。可以确定每一网格距离目标边界的距离，根据距离计算偏移权重。所述目标边界是指在图像变换过程中导致产生不规则边界的对应边界。如，上述拼接过程中，在第二张图像向第一张图像的变换过程中，第二图的右侧的移动，导致初始拼接图像的右侧边界为不规则的线条，则该边界(初始拼接图像的右侧边界)对应的第二张图像的右边界就是目标边界。从第二张图像的左边开始到右边，每个网格对应的偏移矩阵的权重将越来越大，网格矩阵的权重将会越来越小，两者的权重值和为1。
具体的，所述根据每一网格的中心点在对应图像上的位置，确定每一网格的偏移权重，包括：获取所述每一网格的中心点与所述对应图像的目标边界的距离；确定所述每一网格的中心点的宽度坐标与所述每一网格的中心点与所述对应图像的目标边界的距离的比值为所述每一网格的偏移权重。
获取进行转换的待拼接图像、该图像的图像宽度，以及该图像上每一网格的中心点与所述对应图像的目标边界的距离，计算得到偏移权重。
偏移权重为：
其中，W为权重值，width为图像的宽度，netcenter为每一网格的中心点与所述对应图像的目标边界，当设置初始拼接图像的左上角的点为原点时，可以直接使用网格的中心点的宽度坐标。
根据每一网格的偏移权重调整目标偏移矩阵，得到每一网格调整之后的目标偏移矩阵，每一网格调整之后的目标偏移矩阵与每一网格的网格变换矩阵融合相加，得到每一网格的目标变换矩阵，或者，设置每个网格初始化拼接矩阵的权重，该权重与偏移权重的权重值和为1，根据每一网格的偏移权重计算根据每一网格的网格变换矩阵的权重，则每一网格的目标变换矩阵的计算为：(该网格的偏移权重×目标偏移矩阵)+(该网格的网格变换矩阵的权重×该网格的网格变换矩阵)，其中“+”表示二者采用融合相加。
上述通过平移运动信息生成偏移矩阵对边界进行调整，使生成的拼接图像得到了规则的全景图边界，从而有效避免由于裁剪切割产生的图像内容丢失，可以有效提升全景拼接的视觉效果。
得到所有网格的目标变换矩阵后，也就得到了两张待拼接图像的目标变换矩阵。
通过本申请上述图像拼接方法，加入规则边界约束，通过引入平移信息调整初始变换矩阵，能够保证拼接的规则化，生成高质量的全景图，得到规则的边界，最大程度地保证全景拼接的内容完整性和边界规则性，并能够有效控制变形带来的畸变。且，只引入了平移信息，相对于现有技术，减少计算复杂度，同时能够适应更多的场景，减少对数据的依赖，实现了简单的、快速的、计算量较小的拼接。
图4为本申请实施例提供的无人机装置的示意框图，如图4所示，所述装置400包括图像获取模块410、重叠区域获取模块420和拼接模块430，其中：
图像获取模块410，用于获取至少两张待拼接图像，及所述无人机拍摄每张待拼接图像时的位姿信息；
重叠区域获取模块420，用于根据所述每张待拼接图像对应的位姿信息，获取所述无人机在拍摄顺序上相邻的待拼接图像之间的位姿变化信息，根据所述位姿变化信息得到所述至少两张待拼接图像的重叠区域；
拼接模块430，用于根据所述重叠区域计算变换矩阵，根据所述变换矩阵对所述至少两张待拼接图像进行拼接，得到拼接图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种电子设备500的框图。如图5所示，该电子设备500可以包括：处理器501，存储器502。该电子设备500还可以包括多媒体组件503，输入/输出(I/O)接口504，以及通信组件505中的一者或多者。
其中，处理器501用于控制该电子设备500的整体操作，以完成上述的图像拼接方法中的全部或部分步骤。存储器502用于存储各种类型的数据以支持在该电子设备500的操作，这些数据例如可以包括用于在该电子设备500上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器502可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件503可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器502或通过通信组件505发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口504为处理器501和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件505用于该电子设备500与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件505可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备500可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的图像拼接方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的图像拼接方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器502，上述程序指令可由电子设备500的处理器501执行以完成上述的图像拼接方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的图像拼接方法的代码部分。
以上结合附图详细描述了本申请的优选实施方式，但是，本申请并不限于上述实施方式中的具体细节，在本申请的技术构思范围内，可以对本申请的技术方案进行多种简单变型，这些简单变型均属于本申请的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本申请对各种可能的组合方式不再另行说明。
此外，本申请的各种不同的实施方式之间也可以进行任意组合，只要其不违背本申请的思想，其同样应当视为本申请所公开的内容。
Claims (15)
1.一种图像拼接方法，其特征在于，所述方法应用于无人机，所述方法包括：
获取至少两张待拼接图像，及所述无人机拍摄每张待拼接图像时的位姿信息；
根据所述每张待拼接图像对应的位姿信息，获取所述无人机在拍摄顺序上相邻的待拼接图像之间的位姿变化信息，根据所述位姿变化信息得到所述至少两张待拼接图像的重叠区域；
根据所述重叠区域计算变换矩阵，根据所述变换矩阵对所述至少两张待拼接图像进行拼接，得到拼接图像。
2.根据权利要求1所述的方法，其特征在于，所述获取所述无人机拍摄每张待拼接图像时的位姿信息，包括：
获取每张待拼接图像拍摄时所述无人机的惯性测量单元的测量数据；
对每张待拼接图像对应的测量数据进行积分和卡尔曼滤波，获得所述无人机拍摄每张待拼接图像时的位姿信息。
3.根据权利要求1所述的方法，其特征在于，所述根据所述位姿变化信息得到所述至少两张待拼接图像的重叠区域，包括：
根据所述位姿变化信息，计算所述无人机在拍摄顺序上相邻的待拼接图像之间的平移运动信息；
根据所述相邻的待拼接图像对应的所述平移运动信息以及所述相邻的待拼接图像中的两张待拼接图像，获取每一相邻的待拼接图像的重叠区域。
4.根据权利要求1所述的方法，其特征在于，所述根据所述重叠区域计算变换矩阵，根据所述变换矩阵对所述至少两张待拼接图像进行拼接，得到拼接图像，包括：
在每一相邻的待拼接图像的重叠区域上，获取每一相邻的待拼接图像多个对应的特征点；
根据每一相邻的待拼接图像的多个特征点之间的对应关系，得到初始变换矩阵；
根据所述平移运动信息，以及所述初始变换矩阵，确定目标变换矩阵；
根据所述目标变换矩阵对每一相邻的待拼接图像进行拼接，得到拼接图像。
5.根据权利要求4所述的方法，其特征在于，所述根据每一相邻的待拼接图像的多个特征点之间的对应关系，得到初始变换矩阵，包括：
根据每一相邻的待拼接图像中每个图像的特征点的特征描述子，确定每一相邻的待拼接图像中特征点的对应关系；
将所述每一相邻的待拼接图像中的图像划分网格；
确定每个网格相对于每个特征点的网格变换矩阵；
遍历每个网络以及每个特征点，根据每个网格相对于每个特征点的网格变换矩阵，得到所述初始变换矩阵。
6.根据权利要求5所述的方法，其特征在于，所述确定每个网格相对于每个特征点的网格变换矩阵，包括：
确定每个网格的中心点与每个特征点之间的距离；
将所述每个网格的中心点与每个特征点之间的距离作为预设拼接矩阵的权重，并根据所述权重以及所述预设拼接矩阵，得到每个网格相对于每个特征点的网格变换矩阵。
7.根据权利要求4所述的方法，其特征在于，所述根据所述平移运动信息，以及所述初始变换矩阵，确定目标变换矩阵，包括：
根据所述平移运动信息以及预设偏移矩阵，生成目标偏移矩阵；
融合所述目标偏移矩阵和所述初始变换矩阵中每个网格相对于每个特征点的网格变换矩阵，得到每个网格相对于每个特征点的目标变换矩阵。
8.根据权利要求7所述的方法，其特征在于，所述预设偏移矩阵为：
其中，所述px为水平平移距离，py为竖直平移距离。
9.根据权利要求7或8所述的方法，其特征在于，所述融合所述目标偏移矩阵和所述初始变换矩阵中每个网格相对于每个特征点的网格变换矩阵，得到每个网格相对于每个特征点的目标变换矩阵，包括：
根据每一网格的中心点在对应图像上的位置，确定每一网格的偏移权重，其中，网格的中心点距离所述对应图像的边界越近，权重越小，所述目标边界为所述初始拼接图像的不规则边界对应的边界；
根据每一网格的偏移权重、所述目标偏移矩阵和所述每个网格相对于每个特征点的网格变换矩阵，得到每个网格相对于每个特征点的目标变换矩阵。
10.根据权利要求9所述的方法，其特征在于，所述根据每一网格的中心点在对应图像上的位置，确定每一网格的偏移权重，包括：
获取所述每一网格的中心点与所述对应图像的目标边界的距离；
确定所述每一网格的中心点的宽度坐标与所述每一网格的中心点与所述对应图像的目标边界的距离的比值为所述每一网格的偏移权重。
11.根据权利要求4所述的方法，其特征在于，所述方法还包括：
使用至少两种特征点提取方法提取每一相邻的待拼接图像中每个图像的重叠区域的至少两组待选特征点及每一待选特征点的特征描述子；
在每个图像的所述至少两组待选特征点中去除重复的待选特征点，将剩余的待选特征点作为每个图像中的特征点。
12.根据权利要求5所述的方法，其特征在于，所述根据每一相邻的待拼接图像中每个图像中的特征点的特征描述子，确定每一相邻的待拼接图像中特征点的对应关系，包括：
将每一相邻的待拼接图像中任一图像作为第一图像，另一图像作为第二图像；
使用所述第一图像的特征点作为待查数据，所述第二图像的特征点作为查询数据进行第一匹配，得到第一配准点对；
使用所述第二图像的特征点作为待查数据，所述第一图像的特征点作为查询数据进行第二匹配，得到第二配准点对；
将在所述第一配准点对和所述第一配准点对中均存在的配准点对作为所述多个配准点对。
13.一种无人机，其特征在于，所述无人机包括：
图像获取模块，用于获取至少两张待拼接图像，及所述无人机拍摄每张待拼接图像时的位姿信息；
重叠区域获取模块，用于根据所述每张待拼接图像对应的位姿信息，获取所述无人机在拍摄顺序上相邻的待拼接图像之间的位姿变化信息，根据所述位姿变化信息得到所述至少两张待拼接图像的重叠区域；
拼接模块，用于根据所述重叠区域计算变换矩阵，根据所述变换矩阵对所述至少两张待拼接图像进行拼接，得到拼接图像。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-12中任一项所述方法的步骤。
15.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-12中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310487011.6A CN116523748A (zh) | 2023-04-28 | 2023-04-28 | 图像拼接方法、设备、存储介质及无人机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310487011.6A CN116523748A (zh) | 2023-04-28 | 2023-04-28 | 图像拼接方法、设备、存储介质及无人机 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116523748A true CN116523748A (zh) | 2023-08-01 |
Family
ID=87407778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310487011.6A Pending CN116523748A (zh) | 2023-04-28 | 2023-04-28 | 图像拼接方法、设备、存储介质及无人机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116523748A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117132728A (zh) * | 2023-10-26 | 2023-11-28 | 毫末智行科技有限公司 | 构建地图的方法、装置、电子设备及存储介质 |
| CN117541764A (zh) * | 2024-01-09 | 2024-02-09 | 北京大学 | 一种图像拼接方法、电子设备及存储介质 |
-
2023
- 2023-04-28 CN CN202310487011.6A patent/CN116523748A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117132728A (zh) * | 2023-10-26 | 2023-11-28 | 毫末智行科技有限公司 | 构建地图的方法、装置、电子设备及存储介质 |
| CN117132728B (zh) * | 2023-10-26 | 2024-02-23 | 毫末智行科技有限公司 | 构建地图的方法、装置、电子设备及存储介质 |
| CN117541764A (zh) * | 2024-01-09 | 2024-02-09 | 北京大学 | 一种图像拼接方法、电子设备及存储介质 |
| CN117541764B (zh) * | 2024-01-09 | 2024-04-05 | 北京大学 | 一种图像拼接方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110799921A (zh) | 拍摄方法、装置和无人机 | |
| CN116523748A (zh) | 图像拼接方法、设备、存储介质及无人机 | |
| US8437501B1 (en) | Using image and laser constraints to obtain consistent and improved pose estimates in vehicle pose databases | |
| CN112444242B (zh) | 一种位姿优化方法及装置 | |
| CN111784585B (zh) | 图像拼接方法、装置、电子设备和计算机可读存储介质 | |
| CN108574825B (zh) | 一种云台摄像机的调整方法和装置 | |
| CN111243035B (zh) | 相机标定方法、装置、电子设备和计算机可读存储介质 | |
| CN111582022B (zh) | 一种移动视频与地理场景的融合方法、系统及电子设备 | |
| CN108801225B (zh) | 一种无人机倾斜影像定位方法、系统、介质及设备 | |
| CN111489288A (zh) | 一种图像的拼接方法和装置 | |
| CN111383264B (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
| CN117036666B (zh) | 基于帧间图像拼接的无人机低空定位方法 | |
| KR102578056B1 (ko) | 비행체를 이용한 항공 사진 측량용 촬영 장치 및 방법 | |
| CN110800023A (zh) | 图像处理方法和设备、摄像装置以及无人机 | |
| CN110036411B (zh) | 生成电子三维漫游环境的装置和方法 | |
| CN115423863B (zh) | 相机位姿估计方法、装置及计算机可读存储介质 | |
| CN115950435A (zh) | 无人机巡检影像的实时定位方法 | |
| CN116596759A (zh) | 图像拼接方法、装置、设备及存储介质 | |
| CN111433819A (zh) | 目标场景三维重建方法、系统及无人机 | |
| US20200412945A1 (en) | Image processing apparatus, image capturing apparatus, mobile body, image processing method, and program | |
| CN113011212A (zh) | 图像识别方法、装置及车辆 | |
| CN114586335A (zh) | 图像处理装置、图像处理方法、程序及记录介质 | |
| CN110892354A (zh) | 图像处理方法和无人机 | |
| CN111784622B (zh) | 一种基于无人机单目倾斜的图像拼接方法及相关装置 | |
| CN117201708B (zh) | 带有位置信息的无人机视频拼接方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |