CN111738918A - 一种基于无人机云端服务器计算的全景拼接方法和系统 - Google Patents

一种基于无人机云端服务器计算的全景拼接方法和系统 Download PDF

Info

Publication number
CN111738918A
CN111738918A CN202010381995.6A CN202010381995A CN111738918A CN 111738918 A CN111738918 A CN 111738918A CN 202010381995 A CN202010381995 A CN 202010381995A CN 111738918 A CN111738918 A CN 111738918A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
images
cloud server
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010381995.6A
Other languages
English (en)
Inventor
邓俊杰
刘寿宝
张洋
顾兴
王效杰
刘华斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Puzhou Robot Technology Wuhan Co Ltd
Original Assignee
Puzhou Robot Technology Wuhan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Puzhou Robot Technology Wuhan Co Ltd filed Critical Puzhou Robot Technology Wuhan Co Ltd
Priority to CN202010381995.6A priority Critical patent/CN111738918A/zh
Publication of CN111738918A publication Critical patent/CN111738918A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种基于无人机云端服务器计算的全景拼接方法，包括：S100、移动终端通过无线传输方式向无人机发送全景拼接指令；S200、无人机接收全景拼接指令，通过无人机自带的云台相机获取待拼接的图像；S300、无人机将获取的待拼接的图像通过无线传输发送给云端服务器；S400云端服务器接收无人机发送的图像，通过全景拼接算法，计算得出全景图像；S500、云端服务器将所述全景图像通过无线传输方式传输给移动终端；S600、移动终端将接收到无人机拼接的全景图像展示给用户。本发明使用云端服务器去拼接大量的图像数据，解决了无人机端计算能力不足而不能完成图像拼接的任务问题，提高了无人机处理器的计算能力，改善了无人机的计算性能。

Description

一种基于无人机云端服务器计算的全景拼接方法和系统
技术领域
本发明涉及图像处理技术领域，具体尤其涉及一种基于无人机云端服务器计算的全景拼接方法和系统。
背景技术
近年来，随着无人机图像全景拼接技术的发展，越来越多的无人机作为重要的工具应用于各类行业中，例如：旅游航拍、电视剧电影取材、消防救灾、交通梳理、测绘建图、农业植物监测等，目前，将无人机在高空中获取的图像进行拼接，通过拼接的全景图像在地面的工作人员可以提炼很多有用的信息。例如，消防工作人员在面对森林失火的时候，通过无人机在空中进行图像获取和拼接，及时给到消防指挥人员一个准确的着火的区域以及火的趋势信息，帮助其快速决策怎样救火，为国家森林资源节约抢救时间。还有很多这样使用无人机全景拼接的行业应用例子。
现有的无人机全景拼接技术通常分为两种，一类是实时拼接，一类是后处理。现有无人机实时拼接方法是依赖无人机端的处理器进行全景拼接计算，现有的无人机端嵌入式处理器计算能力一般，遇到很多很杂的图像数据，无人机端的处理器无法处理，这样会造成用户的体验感较差。另一类是后处理全景拼接方法，将无人机采集的图像拷贝到本地电脑端进行拼接，这种全景拼接方法完全失去了无人机的实时性优势，用户体验感差。
发明内容
本发明公开了一种基于无人机云端服务器计算的全景拼接方法，包括：
S100、移动终端通过无线传输方式向无人机发送全景拼接指令；
S200、无人机接收全景拼接指令，通过无人机自带的云台相机获取待拼接的若干张图像；
S300、无人机将获取的待拼接的若干张图像通过无线传输发送给云端服务器；
S400云端服务器接收无人机发送的若干张图像，通过全景拼接算法，计算得出全景图像；
S500、云端服务器将所述全景图像通过无线传输方式传输给移动终端；
S600、移动终端将接收到无人机拼接的全景图像展示给用户。
进一步地，所述S200具体方法为：全景指令控制无人机保持水平状态自动旋转8次，且旋转角度为45度，获取24张待拼接图片。
进一步地，S400中，云端服务器对待拼接的若干张图像，进行全景拼接算法，具体为：
S401.提取云端服务器接收的带拼接图像的特征点；
S402、将提取到的特征点进行匹配，得到图像的重叠区域；
S403、根据图像的重叠区域的特征点计算图像间的单应矩阵；
S404.根据单应矩阵估计相机的旋转矩阵参数和焦距参数；
S405、根据相机的参数和单应矩阵将24张图像进行图像投影变换；
S406、根据图像投影变换的结果进行图像曝光补偿；
S407、寻找图像拼接中图像间重叠部分的接缝线；
S408、根据接缝线参数将所有图像间重叠部分进行融合，拼接成一张完整的全景图像。
进一步地，S401提取特征点的算法是按照图像分组进行提取的，图像分组是指将获取的24张图像进行编码标号，一共分为8组，每组取3张图像，分组进行提取图像特征点。
进一步地，S402特征点匹配是按照分块进行匹配的，将24张图片，每张图片进行平均分为大小相同的4小块图像，将相邻图像间按照相似特征块进行匹配。
进一步地，所述S403中，计算图像间的单应矩阵公式为公式1-7：
Hp＝p’ (1)；
Figure BDA0002482518250000021
A＝U∑VT (3)；
Figure BDA0002482518250000022
Figure BDA0002482518250000031
Figure BDA0002482518250000032
其中p为图像A中的某点齐次坐标(u,v,1),p'为p在图像B中的匹配点的齐次坐标p'为(u'，v'，1)；
Figure BDA0002482518250000033
是坐标平均值；n为匹配点对；su，sv，su”sv'是坐标归一化后的坐标尺度；T，T'是构成的坐标变换矩阵；需要用坐标变换后的4个匹配点对计算单应矩阵，得到
Figure BDA0002482518250000034
从而计算出单应矩阵H；
进一步地，S407中，寻找图像间重叠部分的接缝线方法，根据公式(8)-(9)可以找到最优接缝线；
e＝||I1，I2|| （8）;
Ei，j＝ei，j+min(Ei-1，j-1，Ei-1，j，Ei-1，j+1) (9)；
其中，e是若干图像之间有重叠部分的误差表面函数；I1，I2表示两幅图像各自的重叠部分；E为当前像素(i,j)的路径的累积最小误差；
进一步地，S408中，使用多频段和小波变换融合算法，根据公式(10)-(11)可以将图像间重叠部分进行融合；
Ln＝Gn-expand(Gn+1) (10)；
Sn＝Rn-expand(Sn+1) (11)；
其中，L和G分别表示拉普拉斯和高斯金字塔；n表示的是金字塔的层数，expand表示扩展运算；R为合并金字塔，S为融合金字塔；
进一步地，所述无线通信方式为5G移动通信方式。
本发明还公开了一种基于无人机云端服务器计算的全景拼接系统,包括：移动终端、无人机、天线阵列发射装置、云端服务器；其中，
移动终端，用于向所述无人机发送全景拼接指令；还用于接收云端服务器通过全景拼接算法计算得出全景图像；
无人机，用于接收移动终端全景拼接指令，按照所述全景指令控制无人机上自带的云台相机，获取目标若干张图像；
天线阵列发射装置，用于将获取到的若干张图像发送给云端服务器；
云端服务器，通过天线阵列发射装置获取若干张图像，多所述若干张图像通过全景拼接算法计算得出全景图像；还用于将计算得出的全景图像发送给移动终端。
本发明与现有技术相比至少具有以下有益效果：
本发明提供的一种基于无人机云端服务器计算的全景拼接方法和系统，云端服务器的硬件配置和处理器计算能力都比无人机端优秀，使用云端服务器去拼接大量的图像数据，解决了无人机端计算能力不足而不能完成图像拼接的任务问题，提高了无人机处理器的计算能力，改善了无人机的计算性能；通过使用快速的5G通讯技术将云端服务器的全景图像拼接结果，快速快递给手机终端达到实时性显示全景拼接的图像，提高了无人机的全景拼接的实时性。
本发明无人机用于按照全景指令获取若干张图像是采集的360度视野的景色，提高了无人机全景获取的空间及视野，能够带给用户更多的有用信息。由于云端服务器进行全景拼接的算法，寻找图像拼接中图像间重叠部分的接缝线使用的算法是动态规划算法，提高了全景拼接的实时性和速度；根据接缝线参数将所有图像间重叠部分进行融合使用的算法是多频段和小波变换融合算法，能够去掉拼接中的各种阴影重叠区域，达到一个完美的拼接效果。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明实施例1中，一种基于无人机云端服务器计算的全景拼接方法流程图；
图2是本发明实施例1中，云端服务器拼接图片流程图。
具体实施方式
实施例1
本实施例公开了一种基于无人机云端服务器计算的全景拼接方法，包括：
S100、移动终端通过无线传输方式向无人机发送全景拼接指令；在一些实施例中，移动终端包括手机终端和遥控器终端；手机终端和遥控器终端用于通过无线电信号连接无人机；手机终端向无人机发送启动全景拼接指令；
S200、无人机接收全景拼接指令，通过无人机自带的云台相机获取待拼接的若干张图像；
具体的，全景指令是控制所述无人机保持水平状态自动旋转8次，所述8次旋转是顺时针旋转且旋转角度为45度，所述8次顺时针旋转一共累计旋转360度。通过全景控制指令获取24张待拼接图片。
S300、无人机将获取的待拼接的若干张图像通过无线传输发送给云端服务器；在一些优选实施例中，无线传输方式采用5G无线传输方式，通过使用快速的5G通讯技术将无人机端获取的图像传递给云端服务器。
S400云端服务器接收无人机发送的若干张图像，通过全景拼接算法，计算得出全景图像；
具体的，云端服务器对图像进行拼接，具体步骤为：
S401.提取云端服务器接收的带拼接图像的特征点；在一些优选实施例中，云端服务器对无人机传输的24张图像进行拼接得到全景图像包括：提取24张图像的特征点，S21提取特征点的算法是按照图像分组进行提取的，图像分组是指将获取的24张图像进行编码标号，一共分为8组，每组取3张图像，分组进行提取图像特征点。
S402、将提取到的特征点进行匹配，得到图像的重叠区域；在优选的实施例中，S402特征点匹配是按照分块进行匹配的，将24张图片，每张图片进行平均分为大小相同的4小块图像，将相邻图像间按照相似特征块进行匹配。
S403、根据图像的重叠区域的特征点计算图像间的单应矩阵；所述S403中，计算图像间的单应矩阵公式为公式1-7：
Hp＝p' (1)；
Figure BDA0002482518250000051
A＝U∑VT (3)；
Figure BDA0002482518250000061
Figure BDA0002482518250000062
Figure BDA0002482518250000063
其中p为图像A中的某点齐次坐标(u，v，1)，p’为p在图像B中的匹配点的齐次坐标p’为(u’，v’，1)；
Figure BDA0002482518250000064
是坐标平均值；n为匹配点对；su，sv，su”sv’是坐标归一化后的坐标尺度；T，T’是构成的坐标变换矩阵；需要用坐标变换后的4个匹配点对计算单应矩阵，得到
Figure BDA0002482518250000065
从而计算出单应矩阵H；
S404.根据单应矩阵估计相机的旋转矩阵参数和焦距参数；
S405、根据相机的参数和单应矩阵将24张图像进行图像投影变换；
S406、根据图像投影变换的结果进行图像曝光补偿；
S407、寻找图像拼接中图像间重叠部分的接缝线；具体的，S407使用的算法是动态规划算法，寻找图像间重叠部分的接缝线方法，根据公式(8)-(9)可以找到最优接缝线；
e＝||I1，I2||(8)；
Ei，j＝ei，j+min(Ei-1，j-1，Ei-1，j，Ei-1，j+1) (9)；
其中，e是若干图像之间有重叠部分的误差表面函数；I1，I2表示两幅图像各自的重叠部分；E为当前像素(i，j)的路径的累积最小误差；
S408、根据接缝线参数将所有图像间重叠部分进行融合，拼接成一张完整的全景图像。
S408中，使用多频段和小波变换融合算法，根据公式(10)-(11)可以将图像间重叠部分进行融合；
Ln＝Gn-expand(Gn+1) (10)；
Sn＝Rn-expand(Sn+1) (11)；
其中，L和G分别表示拉普拉斯和高斯金字塔；n表示的是金字塔的层数，expand表示扩展运算；R为合并金字塔，S为融合金字塔；
S500、云端服务器将所述全景图像通过无线传输方式传输给移动终端；
S600、移动终端将接收到无人机拼接的全景图像展示给用户。
本实施例提供的一种基于无人机云端服务器计算的全景拼接方法，云端服务器的硬件配置和处理器计算能力都比无人机端优秀，使用云端服务器去拼接大量的图像数据，解决了无人机端计算能力不足而不能完成图像拼接的任务问题，提高了无人机处理器的计算能力，改善了无人机的计算性能；通过使用快速的5G通讯技术将云端服务器的全景图像拼接结果，快速快递给手机终端达到实时性显示全景拼接的图像，提高了无人机的全景拼接的实时性。
本实施例中的无人机用于按照全景指令获取若干张图像是采集的360度视野的景色，提高了无人机全景获取的空间及视野，能够带给用户更多的有用信息。由于云端服务器进行全景拼接的算法，寻找图像拼接中图像间重叠部分的接缝线使用的算法是动态规划算法，提高了全景拼接的实时性和速度；根据接缝线参数将所有图像间重叠部分进行融合使用的算法是多频段和小波变换融合算法，能够去掉拼接中的各种阴影重叠区域，达到一个完美的拼接效果。
实施例2
本实施例公开了10.一种基于无人机云端服务器计算的全景拼接系统,包括：移动终端、无人机、天线阵列发射装置、云端服务器；其中，
移动终端，用于向所述无人机发送全景拼接指令；还用于接收云端服务器通过全景拼接算法计算得出全景图像；在一些优选实施例中，移动终端包括手机终端和遥控器终端；手机终端和遥控器终端用于通过无线电信号连接无人机；手机终端向无人机发送启动全景拼接指令；
无人机，用于接收移动终端全景拼接指令，按照所述全景指令控制无人机上自带的云台相机，获取目标若干张图像；
在一些优选实施例中，全景指令是控制所述无人机保持水平状态自动旋转8次，所述8次旋转是顺时针旋转且旋转角度为45度，所述8次顺时针旋转一共累计旋转360度。通过全景控制指令获取24张待拼接图片。
天线阵列发射装置，用于将获取到的若干张图像发送给云端服务器；在一线优选实施例中，采用5G天线阵列发射装置,通过使用快速的5G通讯技术将无人机端获取的图像传递给云端服务器；通过使用快速的5G通讯技术将云端服务器的全景图像拼接结果，快速快递给手机终端达到实时性显示全景拼接的图像，提高了无人机的全景拼接的实时性。
云端服务器，通过天线阵列发射装置获取若干张图像，对所述若干张图像通过全景拼接算法计算得出全景图像；还用于将计算得出的全景图像发送给移动终端。
具体的，对所述若干张图像通过全景拼接算法计算得出全景图像，具体为：
S401.提取云端服务器接收的带拼接图像的特征点；在一些优选实施例中，云端服务器对无人机传输的24张图像进行拼接得到全景图像包括：提取24张图像的特征点，S21提取特征点的算法是按照图像分组进行提取的，图像分组是指将获取的24张图像进行编码标号，一共分为8组，每组取3张图像，分组进行提取图像特征点。
S402、将提取到的特征点进行匹配，得到图像的重叠区域；在优选的实施例中，S402特征点匹配是按照分块进行匹配的，将24张图片，每张图片进行平均分为大小相同的4小块图像，将相邻图像间按照相似特征块进行匹配。
S403、根据图像的重叠区域的特征点计算图像间的单应矩阵；所述S403中，计算图像间的单应矩阵公式为公式1-7：
Hp＝p' (1)；
Figure BDA0002482518250000081
A＝U∑VT (3)；
Figure BDA0002482518250000082
Figure BDA0002482518250000091
Figure BDA0002482518250000092
其中p为图像A中的某点齐次坐标(u，v，1)，p’为p在图像B中的匹配点的齐次坐标p’为(u’，v’，1)；
Figure BDA0002482518250000093
是坐标平均值；n为匹配点对；是坐标归一化后的坐标尺度；T，T’是构成的坐标变换矩阵；需要用坐标su，sv，su”sv’变换后的4个匹配点对计算单应矩阵，得到
Figure BDA0002482518250000094
从而计算出单应矩阵H；
S404.根据单应矩阵估计相机的旋转矩阵参数和焦距参数；
S405、根据相机的参数和单应矩阵将24张图像进行图像投影变换；
S406、根据图像投影变换的结果进行图像曝光补偿；
S407、寻找图像拼接中图像间重叠部分的接缝线；具体的，S407使用的算法是动态规划算法，寻找图像间重叠部分的接缝线方法，根据公式(8)-(9)可以找到最优接缝线；
e＝||I1，I2|| (8)；
Ei，j＝ei，j+min(Ei-1，j-1，Ei-1，j，Ei-1，j+1) (9)；
其中，e是若干图像之间有重叠部分的误差表面函数；I1，I2表示两幅图像各自的重叠部分；E为当前像素(i，j)的路径的累积最小误差；
S408、根据接缝线参数将所有图像间重叠部分进行融合，拼接成一张完整的全景图像。
S408中，使用多频段和小波变换融合算法，根据公式(10)-(11)可以将图像间重叠部分进行融合；
Ln＝Gn-expand(Gn+1) (10)；
Sn＝Rn-expand(Sn+1) (11)；
其中，L和G分别表示拉普拉斯和高斯金字塔；n表示的是金字塔的层数，expand表示扩展运算；R为合并金字塔，S为融合金字塔；
本实施例提供的一种基于无人机云端服务器计算的全景拼接方法，云端服务器的硬件配置和处理器计算能力都比无人机端优秀，使用云端服务器去拼接大量的图像数据，解决了无人机端计算能力不足而不能完成图像拼接的任务问题，提高了无人机处理器的计算能力，改善了无人机的计算性能；通过使用快速的5G通讯技术将云端服务器的全景图像拼接结果，快速快递给手机终端达到实时性显示全景拼接的图像，提高了无人机的全景拼接的实时性。
本实施例中的无人机用于按照全景指令获取若干张图像是采集的360度视野的景色，提高了无人机全景获取的空间及视野，能够带给用户更多的有用信息。由于云端服务器进行全景拼接的算法，寻找图像拼接中图像间重叠部分的接缝线使用的算法是动态规划算法，提高了全景拼接的实时性和速度；根据接缝线参数将所有图像间重叠部分进行融合使用的算法是多频段和小波变换融合算法，能够去掉拼接中的各种阴影重叠区域，达到一个完美的拼接效果。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示非排它性的“或者”。

Claims (10)

1.一种基于无人机云端服务器计算的全景拼接方法，其特征在于，包括：
S100、移动终端通过无线传输方式向无人机发送全景拼接指令；
S200、无人机接收全景拼接指令，通过无人机自带的云台相机获取待拼接的图像；
S300、无人机将获取的待拼接的图像通过无线传输发送给云端服务器；
S400云端服务器接收无人机发送的图像，通过全景拼接算法，计算得出全景图像；
S500、云端服务器将所述全景图像通过无线传输方式传输给移动终端；
S600、移动终端将接收到无人机拼接的全景图像展示给用户。
2.如权利要求1所述的一种基于无人机云端服务器计算的全景拼接方法，其特征在于，所述S200具体方法为：全景指令控制无人机保持水平状态自动旋转8次，且旋转角度为45度，获取24张待拼接图片。
3.如权利要求1所述的一种基于无人机云端服务器计算的全景拼接方法，其特征在于，S400中，云端服务器对待拼接的若干张图像，进行全景拼接算法，具体为：
S401.提取云端服务器接收的带拼接图像的特征点；
S402、将提取到的特征点进行匹配，得到图像的重叠区域；
S403、根据图像的重叠区域的特征点计算图像间的单应矩阵；
S404.根据单应矩阵估计相机的旋转矩阵参数和焦距参数；
S405、根据相机的参数和单应矩阵将24张图像进行图像投影变换；
S406、根据图像投影变换的结果进行图像曝光补偿；
S407、寻找图像拼接中图像间重叠部分的接缝线；
S408、根据接缝线参数将所有图像间重叠部分进行融合，拼接成一张完整的全景图像。
4.如权利要求3所述的一种基于无人机云端服务器计算的全景拼接方法，其特征在于，S401提取特征点的算法是按照图像分组进行提取的，图像分组是指将获取的24张图像进行编码标号，一共分为8组，每组取3张图像，分组进行提取图像特征点。
5.如权利要求3所述的一种基于无人机云端服务器计算的全景拼接方法，其特征在于，S402特征点匹配是按照分块进行匹配的，将24张图片，每张图片进行平均分为大小相同的4小块图像，将相邻图像间按照相似特征块进行匹配。
6.如权利要求3所述的一种基于无人机云端服务器计算的全景拼接方法，其特征在于，所述S403中，计算图像间的单应矩阵公式为公式1-7：
Hp＝p’ (1)；
Figure FDA0002482518240000021
A＝U∑VT (3)；
Figure FDA0002482518240000022
Figure FDA0002482518240000023
Figure FDA0002482518240000024
其中p为图像A中的某点齐次坐标(u，v，1)，p′为p在图像B中的匹配点的齐次坐标p′为(u′，v′，1)；
Figure FDA0002482518240000025
是坐标平均值；n为匹配点对；Su，Sv，Su″Sv′是坐标归一化后的坐标尺度；T，T’是构成的坐标变换矩阵；需要用坐标变换后的4个匹配点对计算单应矩阵，得到
Figure FDA0002482518240000026
从而计算出单应矩阵H。
7.如权利要求3所述的一种基于无人机云端服务器计算的全景拼接方法，其特征在于，S407中，寻找图像间重叠部分的接缝线方法，根据公式(8)-(9)可以找到最优接缝线；
e＝||I1，I2|| (8)；
Ei，j＝ei，j+min(Ei-1，j-1，Ei-1，j，Ei-1，j+1) (9)；
其中，e是若干图像之间有重叠部分的误差表面函数；I1，I2表示两幅图像各自的重叠部分；E为当前像素(i，j)的路径的累积最小误差。
8.如权利要求3所述的一种基于无人机云端服务器计算的全景拼接方法，其特征在于，S408中，使用多频段和小波变换融合算法，根据公式(10)-(11)可以将图像间重叠部分进行融合；
Ln＝Gn-expand(Gn+1) (10)；
Sn＝Rn-expand(Sn+1) (11)；
其中，L和G分别表示拉普拉斯和高斯金字塔；n表示的是金字塔的层数，expand表示扩展运算；R为合并金字塔，S为融合金字塔。
9.如权利要求1所述的一种基于无人机云端服务器计算的全景拼接方法，其特征在于，所述无线通信方式为5G移动通信方式。
10.一种基于无人机云端服务器计算的全景拼接系统，包括：移动终端、无人机、天线阵列发射装置、云端服务器；其中，
移动终端，用于向所述无人机发送全景拼接指令；还用于接收云端服务器通过全景拼接算法计算得出全景图像；
无人机，用于接收移动终端全景拼接指令，按照所述全景指令控制无人机上自带的云台相机，获取目标若干张图像；
天线阵列发射装置，用于将获取到的若干张图像发送给云端服务器；
云端服务器，通过天线阵列发射装置获取若干张图像，多所述若干张图像通过全景拼接算法计算得出全景图像；还用于将计算得出的全景图像发送给移动终端。
CN202010381995.6A 2020-05-08 2020-05-08 一种基于无人机云端服务器计算的全景拼接方法和系统 Pending CN111738918A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010381995.6A CN111738918A (zh) 2020-05-08 2020-05-08 一种基于无人机云端服务器计算的全景拼接方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010381995.6A CN111738918A (zh) 2020-05-08 2020-05-08 一种基于无人机云端服务器计算的全景拼接方法和系统

Publications (1)

Publication Number Publication Date
CN111738918A true CN111738918A (zh) 2020-10-02

Family

ID=72647043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010381995.6A Pending CN111738918A (zh) 2020-05-08 2020-05-08 一种基于无人机云端服务器计算的全景拼接方法和系统

Country Status (1)

Country Link
CN (1) CN111738918A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113329191A (zh) * 2021-05-28 2021-08-31 广州极飞科技股份有限公司 图像处理方法及装置
CN113409549A (zh) * 2021-06-11 2021-09-17 中铁西南科学研究院有限公司 一种高山峡谷地区的滑坡监测预警系统
CN113978410A (zh) * 2021-11-11 2022-01-28 南京市德赛西威汽车电子有限公司 一种基于车载环视摄像头的移动设备端互联方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105282526A (zh) * 2015-12-01 2016-01-27 北京时代拓灵科技有限公司 一种全景视频拼接的处理方法及系统
CN105608667A (zh) * 2014-11-20 2016-05-25 深圳英飞拓科技股份有限公司 一种全景拼接的方法及装置
CN107123090A (zh) * 2017-04-25 2017-09-01 无锡中科智能农业发展有限责任公司 一种基于图像拼接技术的自动合成农田全景图系统及方法
CN109076193A (zh) * 2017-11-07 2018-12-21 深圳市大疆创新科技有限公司 全景图像显示方法和系统、全景图像处理方法和地面站
CN208522891U (zh) * 2018-08-17 2019-02-19 郑州丰嘉科技有限公司 一种区域监控全景摄像系统
CN109961399A (zh) * 2019-03-15 2019-07-02 西安电子科技大学 基于图像距离变换的最佳缝合线搜寻方法
CN109978760A (zh) * 2017-12-27 2019-07-05 杭州海康威视数字技术股份有限公司 一种图像拼接方法及装置
CN209526821U (zh) * 2019-01-11 2019-10-22 红微(北京)文化传播有限公司 一种拍摄设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608667A (zh) * 2014-11-20 2016-05-25 深圳英飞拓科技股份有限公司 一种全景拼接的方法及装置
CN105282526A (zh) * 2015-12-01 2016-01-27 北京时代拓灵科技有限公司 一种全景视频拼接的处理方法及系统
CN107123090A (zh) * 2017-04-25 2017-09-01 无锡中科智能农业发展有限责任公司 一种基于图像拼接技术的自动合成农田全景图系统及方法
CN109076193A (zh) * 2017-11-07 2018-12-21 深圳市大疆创新科技有限公司 全景图像显示方法和系统、全景图像处理方法和地面站
CN109978760A (zh) * 2017-12-27 2019-07-05 杭州海康威视数字技术股份有限公司 一种图像拼接方法及装置
CN208522891U (zh) * 2018-08-17 2019-02-19 郑州丰嘉科技有限公司 一种区域监控全景摄像系统
CN209526821U (zh) * 2019-01-11 2019-10-22 红微(北京)文化传播有限公司 一种拍摄设备
CN109961399A (zh) * 2019-03-15 2019-07-02 西安电子科技大学 基于图像距离变换的最佳缝合线搜寻方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
何志伟: "喀斯特地貌多视角倾斜航空影像拼接算法研究", 中国优秀硕士学位论文全文数据库 基础科学辑, no. 09, 15 September 2019 (2019-09-15), pages 008 - 9 *
李超峰: "路面裂缝图像拼接技术研究", 中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑, no. 02, 15 February 2020 (2020-02-15), pages 034 - 103 *
毛峡，李亚豪: "光伏阵列故障检测中的无人机红外图像拼接", 太阳能学报, vol. 41, no. 3, 31 March 2020 (2020-03-31), pages 262 - 269 *
王雅萍: "UAV影像自动配准与拼接方法研究", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 2012, 15 March 2012 (2012-03-15), pages 140 - 1036 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113329191A (zh) * 2021-05-28 2021-08-31 广州极飞科技股份有限公司 图像处理方法及装置
CN113329191B (zh) * 2021-05-28 2022-09-13 广州极飞科技股份有限公司 图像处理方法及装置
CN113409549A (zh) * 2021-06-11 2021-09-17 中铁西南科学研究院有限公司 一种高山峡谷地区的滑坡监测预警系统
CN113978410A (zh) * 2021-11-11 2022-01-28 南京市德赛西威汽车电子有限公司 一种基于车载环视摄像头的移动设备端互联方法及系统

Similar Documents

Publication Publication Date Title
US11107275B2 (en) System and methods for improved aerial mapping with aerial vehicles
US10586352B2 (en) Camera calibration
CN111738918A (zh) 一种基于无人机云端服务器计算的全景拼接方法和系统
CN105611170A (zh) 一种无人机及其全景拼接方法、装置和系统
CN109003311B (zh) 一种鱼眼镜头的标定方法
WO2020014909A1 (zh) 拍摄方法、装置和无人机
KR102382868B1 (ko) 표본점을 매핑하는 계획 방법, 장치, 제어 단말기 및 기억 매체
CN107660337A (zh) 用于从鱼眼摄像机产生组合视图的系统及方法
CN112634370A (zh) 一种无人机打点方法、装置、设备及存储介质
WO2019100219A1 (zh) 输出影像生成方法、设备及无人机
US20240029297A1 (en) Visual positioning method, storage medium and electronic device
WO2021212445A1 (zh) 拍摄方法、可移动平台、控制设备和存储介质
CN105262949A (zh) 一种多功能全景视频实时拼接方法
CN115641401A (zh) 一种三维实景模型的构建方法及相关装置
CN111815672B (zh) 动态跟踪控制方法、装置及控制设备
CN114143528A (zh) 多视频流融合方法、电子设备、存储介质
US20200007794A1 (en) Image transmission method, apparatus, and device
CN108737743B (zh) 基于图像拼接的视频拼接装置及视频拼接方法
CN115330594A (zh) 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法
CN111862240B (zh) 全景相机及其标定方法、全景图像的拼接方法及存储介质
CN108195359B (zh) 空间数据的采集方法及系统
CN111429529B (zh) 一种坐标转换的标定方法、电子设备以及计算机存储介质
WO2019205103A1 (zh) 云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机
CN114445583A (zh) 数据处理方法、装置、电子设备及存储介质
CN113454980A (zh) 全景拍摄方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination