CN105959576A - 无人机拍摄全景图的方法及装置 - Google Patents

无人机拍摄全景图的方法及装置 Download PDF

Info

Publication number
CN105959576A
CN105959576A CN201610552295.2A CN201610552295A CN105959576A CN 105959576 A CN105959576 A CN 105959576A CN 201610552295 A CN201610552295 A CN 201610552295A CN 105959576 A CN105959576 A CN 105959576A
Authority
CN
China
Prior art keywords
image
unmanned aerial
aerial vehicle
shooting
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610552295.2A
Other languages
English (en)
Inventor
高鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Alrobot Technology Development Co Ltd
Original Assignee
Beijing Alrobot Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Alrobot Technology Development Co Ltd filed Critical Beijing Alrobot Technology Development Co Ltd
Priority to CN201610552295.2A priority Critical patent/CN105959576A/zh
Publication of CN105959576A publication Critical patent/CN105959576A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明涉及无人机拍摄全景图的方法及装置。该方法包括：在接收到拍摄全景图的请求信息的情况下，确定单次旋转角度；根据所述单次旋转角度控制无人机旋转，并在每次所述无人机旋转后通过拍摄装置拍摄图像；对拍摄的所有所述图像进行拼接处理，得到全景图。通过在接收到拍摄全景图的请求信息的情况下，确定单次旋转角度，并根据单次旋转角度控制无人机旋转并拍摄图像，根据本发明的无人机拍摄全景图的方法及装置能够控制无人机自动旋转并拍摄图像，从而在不采用全景相机的前提下大大提高了拍摄全景图的操作便捷性。

Description

无人机拍摄全景图的方法及装置
技术领域
本发明涉及无人机技术领域，尤其涉及一种无人机拍摄全景图的方法及装置。
背景技术
现有技术中，采用无人机进行全景拍摄一般使用两种方法。第一种是在无人机上搭载一个全景相机进行拍摄；第二种是遥控无人机使用常规镜头拍摄多张图片，再进行拼接得到全景图片。第一种方法虽然容易得到质量较好的全景图片，但全景相机的价格昂贵，不适用于低端消费型无人机。第二种方法虽然可以使用低端相机拍摄得到全景图片，但对拍摄者要求较高：既要求拍摄者能够熟练地操作无人机，又要去拍摄者熟悉全景拍摄的流程，还要花费很长时间操作拍摄。
发明内容
技术问题
有鉴于此，本发明要解决的技术问题是，现有的无人机拍摄全景图的方式对相机要求较高或者操作便捷性较低。
解决方案
为了解决上述技术问题，根据本发明的一实施例，提供了一种无人机拍摄全景图的方法，包括：
在接收到拍摄全景图的请求信息的情况下，确定单次旋转角度；
根据所述单次旋转角度控制无人机旋转，并在每次所述无人机旋转后通过拍摄装置拍摄图像；
对拍摄的所有所述图像进行拼接处理，得到全景图。
对于上述方法，在一种可能的实现方式中，在接收到拍摄全景图的请求信息的情况下，确定单次旋转角度，包括：
在接收到拍摄全景图的请求信息的情况下，拍摄第一张图像，并记录所述第一张图像对应的所述无人机的初始方位角；
控制所述无人机旋转，并在所述无人机旋转的过程中获取预览图；
当检测到所述预览图与所述第一张图像的重叠度小于第一预设值时，拍摄第二张图像，并记录所述第二张图像对应所述无人机的第二方位角；
将所述第二方位角与所述初始方位角的差值确定为单次旋转角度。
对于上述方法，在一种可能的实现方式中，在接收到拍摄全景图的请求信息的情况下，确定单次旋转角度，包括：
在接收到拍摄全景图的请求信息的情况下，获取镜头在水平方向的视场角；
根据所述水平方向的视场角确定单次旋转角度。
对于上述方法，在一种可能的实现方式中，在根据所述单次旋转角度控制无人机旋转的过程中，所述方法包括：
在所述无人机旋转的总角度大于或等于预先设置的全景拍摄角度的情况下，或者在接收到停止旋转的请求信息的情况下，控制所述无人机停止旋转。
对于上述方法，在一种可能的实现方式中，根据所述单次旋转角度控制无人机旋转的过程中，所述方法包括：
计算相邻的两张所述图像之间的高度差，根据所述高度差调整所述无人机的飞行姿态。
对于上述方法，在一种可能的实现方式中，对拍摄的所有所述图像进行拼接处理，包括：
根据所述无人机每次拍摄所述图像时所述拍摄装置的x轴确定Xi向量，其中，i＝1,2,……,n，n表示所述无人机拍摄所述图像的次数；
采用式1计算第一向量u；
其中，为Xi的协方差矩阵；
根据所述第一向量u对所有所述图像进行水平校正；
对水平校正后的所有图像进行拼接处理。
对于上述方法，在一种可能的实现方式中，对拍摄的所有所述图像进行拼接处理，得到全景图，包括：
获取所述拍摄装置的内参数，并根据所述拍摄装置的内参数以及相邻的所述图像之间的单应性矩阵计算每张所述图像的旋转矩阵；
根据每张所述图像的旋转矩阵以及所述拍摄装置的内参数对所有所述图像进行坐标变换，得到全景图。
为了解决上述技术问题，根据本发明的另一实施例，提供了一种无人机拍摄全景图的装置，包括：
单次旋转角度确定模块，用于在接收到拍摄全景图的请求信息的情况下，确定单次旋转角度；
旋转与拍摄模块，用于根据所述单次旋转角度控制无人机旋转，并在每次所述无人机旋转后通过拍摄装置拍摄图像；
拼接模块，用于对拍摄的所有所述图像进行拼接处理，得到全景图。
对于上述装置，在一种可能的实现方式中，所述单次旋转角度确定模块包括第一单次旋转角度确定子模块，所述第一单次旋转角度确定子模块用于：
在接收到拍摄全景图的请求信息的情况下，拍摄第一张图像，并记录所述第一张图像对应的所述无人机的初始方位角；
控制所述无人机旋转，并在所述无人机旋转的过程中获取预览图；
当检测到所述预览图与所述第一张图像的重叠度小于第一预设值时，拍摄第二张图像，并记录所述第二张图像对应所述无人机的第二方位角；
将所述第二方位角与所述初始方位角的差值确定为单次旋转角度。
对于上述装置，在一种可能的实现方式中，单次旋转角度确定模块包括第二单次旋转角度确定子模块，所述第二单次旋转角度确定子模块用于：
在接收到拍摄全景图的请求信息的情况下，获取镜头在水平方向的视场角；
根据所述水平方向的视场角确定单次旋转角度。
对于上述装置，在一种可能的实现方式中，所述装置包括：
停止旋转模块，用于在所述无人机旋转的总角度大于或等于预先设置的全景拍摄角度的情况下，或者在接收到停止旋转的请求信息的情况下，控制所述无人机停止旋转。
对于上述装置，在一种可能的实现方式中，所述装置包括：
飞行姿态调整模块，用于计算相邻的两张所述图像之间的高度差，根据所述高度差调整所述无人机的飞行姿态。
对于上述装置，在一种可能的实现方式中，所述拼接模块包括：
水平校正子模块，用于：
根据所述无人机每次拍摄所述图像时所述拍摄装置的x轴确定Xi向量，其中，i＝1,2,……,n，n表示所述无人机拍摄所述图像的次数；
采用式1计算第一向量u；
其中，为Xi的协方差矩阵；
根据所述第一向量u对所有所述图像进行水平校正；
拼接子模块，用于对水平校正后的所有图像进行拼接处理。
对于上述装置，在一种可能的实现方式中，所述拼接模块包括：
旋转矩阵计算子模块，用于获取所述拍摄装置的内参数，并根据所述拍摄装置的内参数以及相邻的所述图像之间的单应性矩阵计算每张所述图像的旋转矩阵；
坐标变换子模块，用于根据每张所述图像的旋转矩阵以及所述拍摄装置的内参数对所有所述图像进行坐标变换，得到全景图。
有益效果
通过在接收到拍摄全景图的请求信息的情况下，确定单次旋转角度，并根据单次旋转角度控制无人机旋转并拍摄图像，根据本发明实施例的无人机拍摄全景图的方法及装置能够控制无人机自动旋转并拍摄图像，从而在不采用全景相机的前提下大大提高了拍摄全景图的操作便捷性。
根据下面参考附图对示例性实施例的详细说明，本发明的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面，并且用于解释本发明的原理。
图1示出根据本发明一实施例的无人机拍摄全景图的方法的实现流程图；
图2示出根据本发明一实施例的无人机拍摄全景图的方法步骤S101的一示例性的具体实现流程图；
图3示出根据本发明一实施例的无人机拍摄全景图的方法步骤S101的另一示例性的具体实现流程图；
图4示出根据本发明一实施例的无人机拍摄全景图的方法步骤S103的一示例性的具体实现流程图；
图5a示出根据本发明一实施例的无人机拍摄全景图的方法得到的球状全景图的一示意图；
图5b示出根据本发明一实施例的无人机拍摄全景图的方法得到的球状全景图的另一示意图；
图6示出根据本发明一实施例的无人机拍摄全景图的方法得到的立方体全景图的一示意图；
图7示出根据本发明另一实施例的无人机拍摄全景图的装置的结构框图；
图8示出根据本发明另一实施例的无人机拍摄全景图的装置的一示例性的结构框图；
图9示出了本发明的另一个实施例的一种无人机拍摄全景图的设备的结构框图。
具体实施方式
以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。
实施例1
图1示出根据本发明一实施例的无人机拍摄全景图的方法的实现流程图。如图1所示，该方法主要包括：
在步骤S101中，在接收到拍摄全景图的请求信息的情况下，确定单次旋转角度。
需要说明的是，本发明实施例的执行主体可以为内置于无人机的拍摄装置(例如：相机、摄像头等)内的控制单元，也可以为无人机的控制单元，还可以为其他无人机拍摄全景图的装置，在此不作限定。
作为本发明实施例的一个示例，在接收到地面站发送的拍摄全景图的请求信息的情况下，确定单次旋转角度。该地面站与无人机可以通过无线网络连接。例如，该地面站可以为手机、平板电脑或者笔记本电脑等。
作为本发明实施例的一个示例，单次旋转角度可以由用户预先设置或者由系统默认，在此不作限定。
在步骤S102中，根据单次旋转角度控制无人机旋转，并在每次无人机旋转后通过拍摄装置拍摄图像。
作为本发明实施例的一个示例，在每次无人机旋转后、下一次旋转前通过拍摄装置拍摄图像。
需要说明的是，在另一种可能的实现方式中，也可以根据单次旋转角度控制无人机上的拍摄装置旋转，并在每次拍摄装置旋转后通过拍摄装置拍摄图像。
在步骤S103中，对拍摄的所有图像进行拼接处理，得到全景图。
作为本发明实施例的一个示例，在对拍摄的所有图像进行拼接处理之前，可以缩小所有图像的尺寸，从而提高拼接处理的速度。
作为本发明实施例的一个示例，对拍摄的所有图像进行拼接处理，可以包括：采用Surf算法对所有图像进行特征提取。Surf算法具有旋转不变性、尺度不变性和亮度不变性，且运算速度较快，能提高拼接处理的速度。为了进一步加快拼接处理的速度，还可以利用图像的特征点构建多维查找树，然后可以用NN(Nearest Neighbor，最近邻)算法找到最近的匹配点。
需要说明的是，对拍摄的所有图像进行拼接处理的步骤，可以在拍摄装置中执行，也可以在无人机中执行，或者可以在地面站中执行，在此不作限定。
在本发明实施例中，用户只需通过地面站向无人机发送拍摄全景图的请求信息，就可以完成全景图的拍摄，大大提高了用户体验。
图2示出根据本发明一实施例的无人机拍摄全景图的方法步骤S101的一示例性的具体实现流程图。如图2所示，在接收到拍摄全景图的请求信息的情况下，确定单次旋转角度，包括：
在步骤S201中，在接收到拍摄全景图的请求信息的情况下，拍摄第一张图像，并记录第一张图像对应的无人机的初始方位角。
在步骤S202中，控制无人机旋转，并在无人机旋转的过程中获取预览图。
在步骤S203中，当检测到预览图与第一张图像的重叠度小于第一预设值时，拍摄第二张图像，并记录第二张图像对应无人机的第二方位角。
其中，第一预设值可以为30％或者40％，也可以为其他数值，在此不作限定。
作为本发明实施例的一个示例，预览图与第一张图像的重叠度可以通过计算预览图与第一张图像之间匹配的置信度C来确定，举例而言其中，N表示预览图与第一张图像之间匹配的特征点的个数，I表示预览图与第一张图像之间正确的匹配点的个数。C越大，则预览图与第一张图像之间的匹配程度越高。在本示例中，可以预先设置第一映射列表，用于记录匹配的置信度与重叠度的映射关系，从而可以根据计算得到的预览图与第一张图像之间匹配的置信度确定预览图与第一张图像的重叠度。
在步骤S204中，将第二方位角与初始方位角的差值确定为单次旋转角度。
图3示出根据本发明一实施例的无人机拍摄全景图的方法步骤S101的另一示例性的具体实现流程图。如图3所示，在接收到拍摄全景图的请求信息的情况下，确定单次旋转角度，包括：
在步骤S301中，在接收到拍摄全景图的请求信息的情况下，获取镜头在水平方向的视场角。
在步骤S302中，根据水平方向的视场角确定单次旋转角度。
作为本发明实施例的一个示例，根据镜头在水平方向的视场角确定单次旋转角度，以使相邻的两张图像的重叠度接近第一预设值。
在一种可能的实现方式中，在根据单次旋转角度控制无人机旋转的过程中，该方法包括：在无人机旋转的总角度大于或等于预先设置的全景拍摄角度的情况下，或者在接收到停止旋转的请求信息的情况下，控制无人机停止旋转。在该实现方式中，预先设置的全景拍摄角度可以为用户预先设置的，也可以为系统预先设置的，在此不作限定。例如，系统可以预先设置全景拍摄角度为360度。在该实现方式中，在接收到用户通过地面站发出的停止旋转的请求信息的情况下，控制无人机停止旋转。
在一种可能的实现方式中，根据单次旋转角度控制无人机旋转的过程中，该方法包括：计算相邻的两张图像之间的高度差，根据高度差调整无人机的飞行姿态。在该实现方式中，可以通过式2计算相邻的两张图像的匹配的特征点之间的高度差，从而根据计算得到的高度差来调整无人机的飞行姿态，使无人机处于同一水平高度拍摄图像。
其中，diff表示相邻的两张图像的匹配的特征点之间的平均高度差，n表示匹配的特征点的数量，y1i表示相邻的两张图像的其中一张图像的第i个特征点，y2i表示另一张图像的第i个特征点。
在一种可能的实现方式中，对拍摄的所有图像进行拼接处理，包括：根据无人机每次拍摄图像时拍摄装置的x轴确定Xi向量，其中，i＝1,2,……,n，n表示无人机拍摄图像的次数；采用式1计算第一向量u；
其中，为Xi的协方差矩阵；根据第一向量u对所有图像进行水平校正；对水平校正后的所有图像进行拼接处理。
由于在拍摄图像时很难保证图像之间匹配的特征点都处于同一水平线上，因此，作为本发明实施例的一个示例，可以计算第一向量u，再使用全局旋转矩阵使第一向量u垂直于图像，从而可以有效消除全景图的波浪效果，实现波形的水平校正。
图4示出根据本发明一实施例的无人机拍摄全景图的方法步骤S103的一示例性的具体实现流程图。如图4所示，对拍摄的所有图像进行拼接处理，得到全景图，包括：
在步骤S401中，获取拍摄装置的内参数，并根据拍摄装置的内参数以及相邻的图像之间的单应性矩阵计算每张图像的旋转矩阵；
在步骤S402中，根据每张图像的旋转矩阵以及拍摄装置的内参数对所有图像进行坐标变换，得到全景图。
作为本发明实施例的一个示例，在无人机使用的是定焦的拍摄装置的情况下，可以通过对该拍摄装置进行标定来确定该拍摄装置的内参数，从而可以根据式3计算每张图像的旋转矩阵。
其中，Ri表示第i张图像的旋转矩阵，K表示拍摄装置的内参数，Hji表示第j张图像和第i张图像之间的单应性矩阵。
由于将多个成对的单应性矩阵合成全景图时，容易忽略全局的限制，造成累计误差，因此，作为本发明实施例的一个示例，可以采用光束平差法建立映射误差的平方和函数，也就是说，将每一个特征点映射到其他的图像中，然后采用Levenberg-Marquardt(列文伯格-麦夸特)算法计算出使误差的平方和最小的拍摄装置的参数，从而通过光束平差法修正拍摄装置的参数，例如旋转矩阵的参数。
作为本发明实施例的一个示例，根据每张图像的旋转矩阵以及拍摄装置的内参数对所有图像进行坐标变换，得到全景图，可以为：采用式4将图像中的坐标(x,y,z)变换为全景图中的坐标(x1,y1,z1)，再通过式5、式6和式7映射到球坐标系中，从而得到球状全景图。图5a示出根据本发明一实施例的无人机拍摄全景图的方法得到的球状全景图的一示意图；图5b示出根据本发明一实施例的无人机拍摄全景图的方法得到的球状全景图的另一示意图。
其中，R表示图像的旋转矩阵，K表示拍摄装置的内参数；
V＝scale×(π-acos(W))； 式7
其中，scale表示比例。
作为本发明实施例的另一个示例，根据每张图像的旋转矩阵以及拍摄装置的内参数对所有图像进行坐标变换，得到全景图，可以为：根据每张图像的旋转矩阵以及拍摄装置的内参数对所有图像进行坐标变换，得到立方体全景图。图6示出根据本发明一实施例的无人机拍摄全景图的方法得到的立方体全景图的一示意图。
由于相邻的图像之间的重叠区域可能出现亮度差，因此，作为本发明实施例的一个示例，对拍摄的所有图像进行拼接处理可以包括：对图像进行光照补偿，以使相邻的图像之间的重叠区域的亮度一致，从而提高全景图的图像质量。
作为本发明实施例的一个示例，对拍摄的所有图像进行拼接处理还可以包括：采用多波段融合的方法去除拼接的图像中的重影和缝隙，从而提高全景图的图像质量。
这样，通过在接收到拍摄全景图的请求信息的情况下，确定单次旋转角度，并根据单次旋转角度控制无人机旋转并拍摄图像，根据本发明实施例的无人机拍摄全景图的方法能够控制无人机自动旋转并拍摄图像，从而在不采用全景相机的前提下大大提高了拍摄全景图的操作便捷性。
实施例2
图7示出根据本发明另一实施例的无人机拍摄全景图的装置的结构框图。该装置可以用于运行图1至图4所示的无人机拍摄全景图的方法。该装置可以为内置于无人机的拍摄装置，也可以为无人机，还可以为其他无人机拍摄全景图的装置，在此不作限定。为了便于说明，仅示出了与本发明实施例相关的部分。
如图7所示，该装置包括：单次旋转角度确定模块71，用于在接收到拍摄全景图的请求信息的情况下，确定单次旋转角度；旋转与拍摄模块72，用于根据所述单次旋转角度控制无人机旋转，并在每次所述无人机旋转后通过拍摄装置拍摄图像；拼接模块73，用于对拍摄的所有所述图像进行拼接处理，得到全景图。
图8示出根据本发明另一实施例的无人机拍摄全景图的装置的一示例性的结构框图。图8中标号与图7相同的组件具有相同的功能，为简明起见，省略对这些组件的详细说明。为了便于说明，仅示出了与本发明实施例相关的部分。
在一种可能的实现方式中，所述单次旋转角度确定模块71包括第一单次旋转角度确定子模块711，所述第一单次旋转角度确定子模块711用于：在接收到拍摄全景图的请求信息的情况下，拍摄第一张图像，并记录所述第一张图像对应的所述无人机的初始方位角；控制所述无人机旋转，并在所述无人机旋转的过程中获取预览图；当检测到所述预览图与所述第一张图像的重叠度小于第一预设值时，拍摄第二张图像，并记录所述第二张图像对应所述无人机的第二方位角；将所述第二方位角与所述初始方位角的差值确定为单次旋转角度。
在一种可能的实现方式中，所述单次旋转角度确定模块71包括第二单次旋转角度确定子模块712，所述第二单次旋转角度确定子模块712用于：在接收到拍摄全景图的请求信息的情况下，获取镜头在水平方向的视场角；根据所述水平方向的视场角确定单次旋转角度。
在一种可能的实现方式中，所述装置包括：停止旋转模块74，用于在所述无人机旋转的总角度大于或等于预先设置的全景拍摄角度的情况下，或者在接收到停止旋转的请求信息的情况下，控制所述无人机停止旋转。
在一种可能的实现方式中，所述装置包括：飞行姿态调整模块75，用于计算相邻的两张所述图像之间的高度差，根据所述高度差调整所述无人机的飞行姿态。
在一种可能的实现方式中，所述拼接模块73包括：
水平校正子模块731，用于：根据所述无人机每次拍摄所述图像时所述拍摄装置的x轴确定Xi向量，其中，i＝1,2,……,n，n表示所述无人机拍摄所述图像的次数；采用式1计算第一向量u；根据所述第一向量u对所有所述图像进行水平校正；
其中，为Xi的协方差矩阵；
拼接子模块732，用于对水平校正后的所有图像进行拼接处理。
在一种可能的实现方式中，所述拼接模块73包括：旋转矩阵计算子模块733，用于获取所述拍摄装置的内参数，并根据所述拍摄装置的内参数以及相邻的所述图像之间的单应性矩阵计算每张所述图像的旋转矩阵；坐标变换子模块734，用于根据每张所述图像的旋转矩阵以及所述拍摄装置的内参数对所有所述图像进行坐标变换，得到全景图。
需要说明的是，这样，通过在接收到拍摄全景图的请求信息的情况下，确定单次旋转角度，并根据单次旋转角度控制无人机旋转并拍摄图像，根据本发明实施例的无人机拍摄全景图的装置能够控制无人机自动旋转并拍摄图像，从而在不采用全景相机的前提下大大提高了拍摄全景图的操作便捷性。
实施例3
图9示出了本发明的另一个实施例的一种无人机拍摄全景图的设备的结构框图。所述无人机拍摄全景图的设备1100可以是具备计算能力的主机服务器、个人计算机PC、或者可携带的便携式计算机或终端等。本发明具体实施例并不对计算节点的具体实现做限定。
所述无人机拍摄全景图的设备1100包括处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和总线1140。其中，处理器1110、通信接口1120、以及存储器1130通过总线1140完成相互间的通信。
通信接口1120用于与网络设备通信，其中网络设备包括例如虚拟机管理中心、共享存储等。
处理器1110用于执行程序。处理器1110可能是一个中央处理器CPU，或者是专用集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器1130用于存放文件。存储器1130可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1130也可以是存储器阵列。存储器1130还可能被分块，并且所述块可按一定的规则组合成虚拟卷。
在一种可能的实施方式中，上述程序可为包括计算机操作指令的程序代码。该程序具体可用于：实现实施例1中各步骤的操作。
本领域普通技术人员可以意识到，本文所描述的实施例中的各示例性单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件形式来实现，取决于技术方案的特定应用和设计约束条件。专业技术人员可以针对特定的应用选择不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
如果以计算机软件的形式来实现所述功能并作为独立的产品销售或使用时，则在一定程度上可认为本发明的技术方案的全部或部分(例如对现有技术做出贡献的部分)是以计算机软件产品的形式体现的。该计算机软件产品通常存储在计算机可读取的非易失性存储介质中，包括若干指令用以使得计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各实施例方法的全部或部分步骤。而前述的存储介质包括U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种无人机拍摄全景图的方法，其特征在于，包括：
在接收到拍摄全景图的请求信息的情况下，确定单次旋转角度；
根据所述单次旋转角度控制无人机旋转，并在每次所述无人机旋转后通过拍摄装置拍摄图像；
对拍摄的所有所述图像进行拼接处理，得到全景图。
2.根据权利要求1所述的方法，其特征在于，在接收到拍摄全景图的请求信息的情况下，确定单次旋转角度，包括：
在接收到拍摄全景图的请求信息的情况下，拍摄第一张图像，并记录所述第一张图像对应的所述无人机的初始方位角；
控制所述无人机旋转，并在所述无人机旋转的过程中获取预览图；
当检测到所述预览图与所述第一张图像的重叠度小于第一预设值时，拍摄第二张图像，并记录所述第二张图像对应所述无人机的第二方位角；
将所述第二方位角与所述初始方位角的差值确定为单次旋转角度。
3.根据权利要求1所述的方法，其特征在于，在接收到拍摄全景图的请求信息的情况下，确定单次旋转角度，包括：
在接收到拍摄全景图的请求信息的情况下，获取镜头在水平方向的视场角；
根据所述水平方向的视场角确定单次旋转角度。
4.根据权利要求1所述的方法，其特征在于，在根据所述单次旋转角度控制无人机旋转的过程中，所述方法包括：
在所述无人机旋转的总角度大于或等于预先设置的全景拍摄角度的情况下，或者在接收到停止旋转的请求信息的情况下，控制所述无人机停止旋转。
5.根据权利要求1所述的方法，其特征在于，根据所述单次旋转角度控制无人机旋转的过程中，所述方法包括：
计算相邻的两张所述图像之间的高度差，根据所述高度差调整所述无人机的飞行姿态。
6.根据权利要求1所述的方法，其特征在于，对拍摄的所有所述图像进行拼接处理，包括：
根据所述无人机每次拍摄所述图像时所述拍摄装置的x轴确定Xi向量，其中，i＝1,2,……,n，n表示所述无人机拍摄所述图像的次数；
采用式1计算第一向量u；
其中，为Xi的协方差矩阵；
根据所述第一向量u对所有所述图像进行水平校正；
对水平校正后的所有图像进行拼接处理。
7.根据权利要求1所述的方法，其特征在于，对拍摄的所有所述图像进行拼接处理，得到全景图，包括：
获取所述拍摄装置的内参数，并根据所述拍摄装置的内参数以及相邻的所述图像之间的单应性矩阵计算每张所述图像的旋转矩阵；
根据每张所述图像的旋转矩阵以及所述拍摄装置的内参数对所有所述图像进行坐标变换，得到全景图。
8.一种无人机拍摄全景图的装置，其特征在于，包括：
单次旋转角度确定模块，用于在接收到拍摄全景图的请求信息的情况下，确定单次旋转角度；
旋转与拍摄模块，用于根据所述单次旋转角度控制无人机旋转，并在每次所述无人机旋转后通过拍摄装置拍摄图像；
拼接模块，用于对拍摄的所有所述图像进行拼接处理，得到全景图。
9.根据权利要求8所述的装置，其特征在于，所述单次旋转角度确定模块包括第一单次旋转角度确定子模块，所述第一单次旋转角度确定子模块用于：
在接收到拍摄全景图的请求信息的情况下，拍摄第一张图像，并记录所述第一张图像对应的所述无人机的初始方位角；
控制所述无人机旋转，并在所述无人机旋转的过程中获取预览图；
当检测到所述预览图与所述第一张图像的重叠度小于第一预设值时，拍摄第二张图像，并记录所述第二张图像对应所述无人机的第二方位角；
将所述第二方位角与所述初始方位角的差值确定为单次旋转角度。
10.根据权利要求8所述的装置，其特征在于，所述单次旋转角度确定模块包括第二单次旋转角度确定子模块，所述第二单次旋转角度确定子模块用于：
在接收到拍摄全景图的请求信息的情况下，获取镜头在水平方向的视场角；
根据所述水平方向的视场角确定单次旋转角度。
11.根据权利要求8所述的装置，其特征在于，所述装置包括：
停止旋转模块，用于在所述无人机旋转的总角度大于或等于预先设置的全景拍摄角度的情况下，或者在接收到停止旋转的请求信息的情况下，控制所述无人机停止旋转。
12.根据权利要求8所述的装置，其特征在于，所述装置包括：
飞行姿态调整模块，用于计算相邻的两张所述图像之间的高度差，根据所述高度差调整所述无人机的飞行姿态。
13.根据权利要求8所述的装置，其特征在于，所述拼接模块包括：
水平校正子模块，用于：根据所述无人机每次拍摄所述图像时所述拍摄装置的x轴确定Xi向量，其中，i＝1,2,……,n，n表示所述无人机拍摄所述图像的次数；采用式1计算第一向量u；根据所述第一向量u对所有所述图像进行水平校正；
其中，为Xi的协方差矩阵；
拼接子模块，用于对水平校正后的所有图像进行拼接处理。
14.根据权利要求8所述的装置，其特征在于，所述拼接模块包括：
旋转矩阵计算子模块，用于获取所述拍摄装置的内参数，并根据所述拍摄装置的内参数以及相邻的所述图像之间的单应性矩阵计算每张所述图像的旋转矩阵；
坐标变换子模块，用于根据每张所述图像的旋转矩阵以及所述拍摄装置的内参数对所有所述图像进行坐标变换，得到全景图。
CN201610552295.2A 2016-07-13 2016-07-13 无人机拍摄全景图的方法及装置 Pending CN105959576A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610552295.2A CN105959576A (zh) 2016-07-13 2016-07-13 无人机拍摄全景图的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610552295.2A CN105959576A (zh) 2016-07-13 2016-07-13 无人机拍摄全景图的方法及装置

Publications (1)

Publication Number Publication Date
CN105959576A true CN105959576A (zh) 2016-09-21

Family

ID=56901355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610552295.2A Pending CN105959576A (zh) 2016-07-13 2016-07-13 无人机拍摄全景图的方法及装置

Country Status (1)

Country Link
CN (1) CN105959576A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107770496A (zh) * 2017-11-03 2018-03-06 中国民用航空总局第二研究所 全景视频上的飞机智能监视方法、装置及系统
CN109155820A (zh) * 2017-12-29 2019-01-04 深圳市大疆创新科技有限公司 球形全景图的合成方法、无人机系统、无人机、终端及其控制方法
CN109769104A (zh) * 2018-10-26 2019-05-17 西安科锐盛创新科技有限公司 无人机全景图像传输方法及装置
CN109819169A (zh) * 2019-02-13 2019-05-28 上海闻泰信息技术有限公司 全景拍摄方法、装置、设备和介质
WO2019100219A1 (zh) * 2017-11-21 2019-05-31 深圳市大疆创新科技有限公司 输出影像生成方法、设备及无人机
WO2019119410A1 (zh) * 2017-12-22 2019-06-27 深圳市大疆创新科技有限公司 全景拍照方法、拍照设备及机器可读存储介质
CN109995993A (zh) * 2018-01-02 2019-07-09 广州亿航智能技术有限公司 飞行器及其拍摄控制方法、装置及终端系统
CN110717861A (zh) * 2019-12-12 2020-01-21 成都纵横大鹏无人机科技有限公司 图像拼接方法、装置、电子设备和计算机可读存储介质
CN111062341A (zh) * 2019-12-20 2020-04-24 广州市鑫广飞信息科技有限公司 视频图像区域的分类方法、装置、设备及存储介质
CN111295874A (zh) * 2017-10-30 2020-06-16 株式会社OPTiM 长条图像生成系统、方法以及程序
CN111667405A (zh) * 2019-03-06 2020-09-15 西安邮电大学 图像拼接方法及装置
CN111698412A (zh) * 2019-03-12 2020-09-22 杭州海康机器人技术有限公司 双光谱全景图像采集方法、装置、无人机及客户端
CN112585555A (zh) * 2020-01-21 2021-03-30 深圳市大疆创新科技有限公司 基于可通行空域判断的飞行控制方法、装置及设备
US11153535B2 (en) 2017-01-21 2021-10-19 Microsoft Technology Licensing, Llc Low-cost, long-term aerial imagery

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100245571A1 (en) * 2006-04-24 2010-09-30 Northrop Grumman Corporation Global hawk image mosaic
CN102207674A (zh) * 2010-03-30 2011-10-05 鸿富锦精密工业（深圳）有限公司 全景图像拍摄装置及方法
CN102495522A (zh) * 2011-12-01 2012-06-13 天津曙光敬业科技有限公司 基于无人直升机航拍的360°空中全景互动漫游系统的制作方法
CN103795924A (zh) * 2014-02-07 2014-05-14 宇龙计算机通信科技(深圳)有限公司 全景拍照装置及方法
CN205263655U (zh) * 2015-08-03 2016-05-25 余江 一种用于自动生成全景照片的系统、无人飞行器及地面站

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100245571A1 (en) * 2006-04-24 2010-09-30 Northrop Grumman Corporation Global hawk image mosaic
CN102207674A (zh) * 2010-03-30 2011-10-05 鸿富锦精密工业（深圳）有限公司 全景图像拍摄装置及方法
CN102495522A (zh) * 2011-12-01 2012-06-13 天津曙光敬业科技有限公司 基于无人直升机航拍的360°空中全景互动漫游系统的制作方法
CN103795924A (zh) * 2014-02-07 2014-05-14 宇龙计算机通信科技(深圳)有限公司 全景拍照装置及方法
CN205263655U (zh) * 2015-08-03 2016-05-25 余江 一种用于自动生成全景照片的系统、无人飞行器及地面站

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3896675A1 (en) * 2017-01-21 2021-10-20 Microsoft Technology Licensing, LLC Low-cost, long-term aerial imagery
US11153535B2 (en) 2017-01-21 2021-10-19 Microsoft Technology Licensing, Llc Low-cost, long-term aerial imagery
CN111295874A (zh) * 2017-10-30 2020-06-16 株式会社OPTiM 长条图像生成系统、方法以及程序
CN107770496B (zh) * 2017-11-03 2019-08-20 中国民用航空总局第二研究所 全景视频上的飞机智能监视方法、装置及系统
CN107770496A (zh) * 2017-11-03 2018-03-06 中国民用航空总局第二研究所 全景视频上的飞机智能监视方法、装置及系统
WO2019100219A1 (zh) * 2017-11-21 2019-05-31 深圳市大疆创新科技有限公司 输出影像生成方法、设备及无人机
WO2019119410A1 (zh) * 2017-12-22 2019-06-27 深圳市大疆创新科技有限公司 全景拍照方法、拍照设备及机器可读存储介质
CN109155820A (zh) * 2017-12-29 2019-01-04 深圳市大疆创新科技有限公司 球形全景图的合成方法、无人机系统、无人机、终端及其控制方法
WO2019127402A1 (zh) * 2017-12-29 2019-07-04 深圳市大疆创新科技有限公司 球形全景图的合成方法、无人机系统、无人机、终端及其控制方法
CN109995993A (zh) * 2018-01-02 2019-07-09 广州亿航智能技术有限公司 飞行器及其拍摄控制方法、装置及终端系统
CN109769104B (zh) * 2018-10-26 2021-02-05 江苏四友信息技术有限公司 无人机全景图像传输方法及装置
CN109769104A (zh) * 2018-10-26 2019-05-17 西安科锐盛创新科技有限公司 无人机全景图像传输方法及装置
CN109819169A (zh) * 2019-02-13 2019-05-28 上海闻泰信息技术有限公司 全景拍摄方法、装置、设备和介质
CN111667405A (zh) * 2019-03-06 2020-09-15 西安邮电大学 图像拼接方法及装置
CN111698412A (zh) * 2019-03-12 2020-09-22 杭州海康机器人技术有限公司 双光谱全景图像采集方法、装置、无人机及客户端
CN111698412B (zh) * 2019-03-12 2022-02-01 杭州海康机器人技术有限公司 双光谱全景图像采集方法、装置、无人机及客户端
CN110717861B (zh) * 2019-12-12 2020-03-20 成都纵横大鹏无人机科技有限公司 图像拼接方法、装置、电子设备和计算机可读存储介质
CN110717861A (zh) * 2019-12-12 2020-01-21 成都纵横大鹏无人机科技有限公司 图像拼接方法、装置、电子设备和计算机可读存储介质
CN111062341A (zh) * 2019-12-20 2020-04-24 广州市鑫广飞信息科技有限公司 视频图像区域的分类方法、装置、设备及存储介质
CN111062341B (zh) * 2019-12-20 2024-03-19 广州市鑫广飞信息科技有限公司 视频图像区域的分类方法、装置、设备及存储介质
CN112585555A (zh) * 2020-01-21 2021-03-30 深圳市大疆创新科技有限公司 基于可通行空域判断的飞行控制方法、装置及设备

Similar Documents

Publication Publication Date Title
CN105959576A (zh) 无人机拍摄全景图的方法及装置
US20200288059A1 (en) Image processor, image processing method and program, and imaging system
US10412302B2 (en) Image processing apparatus, image processing method, and imaging system
EP3786894A1 (en) Method, device and apparatus for repositioning in camera orientation tracking process, and storage medium
CN107911621B (zh) 一种全景图像的拍摄方法、终端设备以及存储介质
US8441541B2 (en) Control apparatus and control method therefor
CN110675458B (zh) 用于摄像头标定的方法、装置及存储介质
KR102236222B1 (ko) 중첩영역의 제어점들을 이용한 시차 최소화 스티칭 장치 및 방법
CN111062881A (zh) 图像处理方法及装置、存储介质、电子设备
CN104639832A (zh) 一种全景拍照方法及终端
CN111385461B (zh) 全景拍摄方法及装置、相机、移动终端
CN109785390B (zh) 一种用于图像矫正的方法和装置
WO2021022989A1 (zh) 标定参数的获取方法、装置、处理器及电子设备
CN109257540B (zh) 多摄镜头组的摄影校正方法及摄影装置
CN109785225B (zh) 一种用于图像矫正的方法和装置
US20090059018A1 (en) Navigation assisted mosaic photography
CN116320765B (zh) 生成全景图像的方法、装置、设备、介质和程序产品
CN112116530B (zh) 鱼眼图像畸变矫正方法、装置和虚拟显示系统
CN115278064B (zh) 一种全景图像生成方法、装置、终端设备及存储介质
CN115174878B (zh) 投影画面校正方法、装置和存储介质
CN112532886B (zh) 全景拍摄方法、装置及计算机可读存储介质
WO2021208630A1 (zh) 标定方法、标定装置及应用其的电子设备
CN110930303A (zh) 全景图形成方法及系统
CN112640420B (zh) 电子装置的控制方法、装置、设备及系统
CN111260729B (zh) 用于车载环视系统中鱼眼镜头标定的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: The seat number 10 Ubp B36-B 100015 in Beijing City, Chaoyang District Jiuxianqiao road 3 hall 1 floor

Applicant after: Beijing Borui Yunfei Technology Development Co. Ltd.

Address before: The seat number 10 Ubp B36-B 100015 in Beijing City, Chaoyang District Jiuxianqiao road 3 hall 1 floor

Applicant before: BEIJING ALROBOT TECHNOLOGY DEVELOPMENT CO., LTD.

COR Change of bibliographic data
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160921