CN110647005B - 用于获得球面全景图像的系统和方法 - Google Patents

用于获得球面全景图像的系统和方法 Download PDF

Info

Publication number
CN110647005B
CN110647005B CN201910857570.5A CN201910857570A CN110647005B CN 110647005 B CN110647005 B CN 110647005B CN 201910857570 A CN201910857570 A CN 201910857570A CN 110647005 B CN110647005 B CN 110647005B
Authority
CN
China
Prior art keywords
image
received
images
processors
composite image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910857570.5A
Other languages
English (en)
Other versions
CN110647005A (zh
Inventor
暴林超
胡攀
曹子晟
王铭钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to CN201910857570.5A priority Critical patent/CN110647005B/zh
Publication of CN110647005A publication Critical patent/CN110647005A/zh
Application granted granted Critical
Publication of CN110647005B publication Critical patent/CN110647005B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/142—Adjusting of projection optics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

提供了一种用于球面全景成像和拼接的系统及其制造和使用方法。该系统可以基于成像参数设计用于获取全景图像的成像方案，可以根据成像方案自动捕获多个图像，并可以基于实时姿态信息以增量方式拼接图像。

Description

用于获得球面全景图像的系统和方法
本申请是申请号为201680084994.7，申请日为2016年04月28日，发明名称为用于获得球面全景图像的系统和方法的分案申请。
版权声明
本专利文件的公开的一部分包含受到版权保护的材料。版权所有人不反对任何人对专利文档或专利公开(如其在专利和商标局中的专利文件或记录中出现的原样)进行复制再现，但是在其他情况下版权所有人保留所有版权。
技术领域
所公开的实施例总体上涉及成像，更具体地但不排他地涉及一种用于基于成像参数自动获得球面全景图像的设计。
背景技术
球面全景，也被称三百六十度球面全景，是指在水平面上覆盖三百六十度且在垂直面上至少覆盖一百八十度的全景图像。
近年来，球面全景图像越来越受欢迎。然而，目前可用的球面全景成像方法需要手动控制成像装置和/或与成像装置耦接的装置，例如，云台和无人机(“UAV”)。
鉴于上述原因，需要一种用于自动捕获形成全景图像的图像并将所捕获的图像拼接在一起的系统和方法。
发明内容
根据这里公开的第一方面，提出了一种用于支持成像的方法，所述方法包括：
收集至少一个成像参数；以及
基于所述成像参数设计用于获得全景图像的成像方案。
在所公开的方法的示例性实施例中，收集成像参数包括获取成像装置的至少一个成像参数。
在所公开的方法的另一示例性实施例中，设计成像方案包括基于成像装置的视场(“FOV”)来构建成像方案。
在所公开的方法的另一示例性实施例中，设计成像方案包括基于FOV的水平角度和/或FOV的垂直角度来构建成像方案。
在所公开的方法的另一示例性实施例中，收集至少一个成像参数包括获取用于与成像装置耦接的云台的至少一个参数。
在所公开的方法的另一示例性实施例中，设计成像方案包括基于云台的最大航向角来构建成像方案。
在所公开的方法的另一示例性实施例中，设计成像方案包括基于云台的最大俯仰角来构建成像方案。
在所公开的方法的另一示例性实施例中，收集至少一个成像参数包括获取与成像装置和/或云台相关联的移动平台的至少一个参数。
在所公开的方法的另一示例性实施例中，设计成像方案包括基于移动平台的最大俯仰角来构建成像方案。
在所公开的方法的另一示例性实施例中，设计成像方案包括确定用于形成球面全景图像的图像的数量。
在所公开的方法的另一示例性实施例中，确定图像的数量包括确定图像行的数量，每个图像行与预选的俯仰角相关联。
在所公开的方法的另一示例性实施例中，确定图像的数量包括确定每个图像行中的图像的数量，每个图像具有预定的航向角。
在所公开的方法的另一示例性实施例中，确定图像的数量包括决定相邻图像之间的重叠区域。
在所公开的方法的另一示例性实施例中，决定重叠区域包括确定图像的行数以确保在经度方向上相邻的两个图像之间的垂直重叠区域。
在所公开的方法的另一示例性实施例中，确定行数包括确保垂直重叠区域的重叠高度相对所述两个相邻图像中的任何一个的高度不小于预定比率。
在所公开的方法的另一示例性实施例中，决定重叠区域包括基于相对于水平方向的向上方向和/或向下方向的最大俯仰角来决定每个图像行的俯仰角。
在所公开的方法的另一示例性实施例中，决定俯仰角包括以水平方向上的俯仰角选择图像行。
在所公开的方法的另一示例性实施例中，决定俯仰角包括在俯仰角高于水平方向的向上方向上决定行。
在所公开的方法的另一示例性实施例中，决定俯仰角包括在俯仰角低于水平方向的向下方向上决定行。
在所公开的方法的另一示例性实施例中，决定重叠区域包括决定每个图像行中的图像的数量以确保在纬度方向上相邻的两个图像之间的水平重叠区域。
在所公开的方法的另一示例性实施例中，决定图像的数量包括确保水平重叠区域的宽度相对所述相邻图像中的任一图像的宽度不小于预定比率。
所公开的方法的示例性实施例还包括：基于完整的水平旋转和每个图像行中的图像的数量来决定图像行中的每个图像的航向角。
在所公开的方法的另一示例性实施例中，移动平台是无人机(“UAV”)或手持设备。
所公开的方法的示例性实施例还包括针对球面全景图像选择锚图像。
在所公开的方法的另一示例性实施例中，选择锚图像包括选择锚图像作为球面全景图像的顶部图像或底部图像。
根据在此公开的另一方面，提出了一种计算机程序产品，包括用于构建成像方案的指令，被配置为执行根据所公开方法的在先实施例中的任一实施例的构建过程。
根据这里公开的另一方面，提出了一种用于支持成像的设备，所述设备包括：
一个或多个处理器，单独或共同地被配置为：
收集至少一个成像参数；以及
基于所述成像参数设计用于获得全景图像的成像方案。
在所公开的设备的示例性实施例中，所述一个或多个处理器被配置为获取成像装置的至少一个成像参数。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为基于成像装置的视场(“FOV”)来构建成像方案。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为基于FOV的水平角度和/或FOV的垂直角度来构建成像方案。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为获取用于与成像装置耦接的云台的至少一个参数。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为基于云台的最大航向角来构建成像方案。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为基于云台的最大俯仰角来构建成像方案。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为获取与成像装置和/或云台相关联的移动平台的至少一个参数。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为基于移动平台的最大俯仰角来构建成像方案。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为确定用于形成球面全景图像的图像的数量。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为确定图像行的数量，每个图像行与预选的俯仰角相关联。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为确定每个图像行中的图像的数量，每个图像具有预定的航向角。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为决定相邻图像之间的重叠区域。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为确定图像的行数以确保在经度方向上相邻的两个图像之间的垂直重叠区域。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为确保垂直重叠区域的重叠高度相对所述两个相邻图像中的任何一个的高度不小于预定比率。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为基于相对于水平方向的向上方向和/或向下方向的最大俯仰角来决定每个图像行的俯仰角。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为以水平方向上的俯仰角选择第一图像行。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为在俯仰角高于水平方向的向上方向上决定行。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为在俯仰角低于水平方向的向下方向上决定行。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为决定每个图像行中的图像的数量以确保在纬度方向上相邻的两个图像之间的水平重叠区域。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为确保水平重叠区域的宽度相对所述相邻图像中的任一图像的宽度不小于预定比率。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为基于完整的水平旋转和每个图像行中的图像的数量来决定图像行中的每个图像的航向角。
在所公开的设备的另一示例性实施例中，移动平台是无人机(“UAV”)或手持设备。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为选择针对球面全景图像的锚图像。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为选择锚图像作为球面全景图像的顶部图像或底部图像。
根据本文公开的另一方面，提出了一种成像方法，包括：
获取用于捕获全景图像的图像的成像方案；以及
根据所述成像方案自动捕获多个图像。
在所公开的方法的示例性实施例中，捕获多个图像包括将移动平台导航到期望的成像位置和/或高度。
在所公开的方法的另一示例性实施例中，捕获多个图像包括远程配置与移动平台相关联的成像装置的可配置参数，所述可配置参数包括成像装置的曝光设置和/或输出格式。
所公开的方法的示例性实施例还包括：将球面全景成像命令发送给成像装置和/或移动平台。
在所公开的方法的另一示例性实施例中，捕获多个图像包括根据成像方案将成像装置定向到期望姿态。
在所公开的方法的另一示例性实施例中，定向成像装置包括将移动平台定向到和/或将云台定向到期望姿态，其中云台与成像装置和/或移动平台相关联。
在所公开的方法的另一示例性实施例中，定向移动平台包括根据成像方案将移动平台引导到期望的航向-俯仰角。
在所公开的方法的另一示例性实施例中，定向云台包括根据成像方案将云台定向到期望的航向-俯仰角。
在所公开的方法的另一示例性实施例中，捕获多个图像包括获取针对每个图像的实时姿态信息。
在所公开的方法的另一示例性实施例中，获取实时姿态信息包括当捕获每个图像时获取实时姿态信息。
在所公开的方法的另一示例性实施例中，获取实时姿态信息包括经由惯性测量单元获取实时姿态信息。
在所公开的方法的另一示例性实施例中，获取实时姿态信息包括经由陀螺仪、加速度计、全球定位系统(“GPS”)和/或磁力计获取实时姿态信息。
在所公开的方法的另一示例性实施例中，捕获多个图像包括将图像和实时姿态信息存储到存储装置。
在所公开的方法的另一示例性实施例中，存储图像和实时姿态信息包括将图像和实时姿态信息存储到安全数字(“SD”)卡。
在所公开的方法的另一示例性实施例中，捕获多个图像包括将图像和姿态信息发送给地面站。
在所公开的方法的另一示例性实施例中，将图像和姿态信息发送给地面站包括在捕获或存储图像时将图像和姿态信息发送给地面站。
在所公开的方法的另一示例性实施例中，捕获多个图像包括：根据成像方案将成像装置定向到另一期望的姿态位置，并在另一期望的姿态位置处捕获下一图像，直到成像方案中限定的每个图像被捕获。
在所公开的方法的另一示例性实施例中，捕获多个图像包括：
将成像装置指向垂直于水平方向的预选俯仰角；以及
根据成像方案捕获锚图像。
在所公开的方法的另一示例性实施例中，捕获多个图像包括：
将成像装置指向水平方向上的预选俯仰角；以及
以预选的航向角根据成像方案捕获图像。
在所公开的方法的另一示例性实施例中，捕获多个图像包括：
将所述成像装置依次指向第一俯仰角的其余航向角中的每一个；以及
根据所述成像方案以所述其余航向角中的每一个捕获相应图像，以获取第一俯仰角的数个图像。
在所公开的方法的另一示例性实施例中，捕获多个图像包括：
将成像装置指向依次选择的向上俯仰角；以及
以预选的航向角根据成像方案捕获图像。
在所公开的方法的另一示例性实施例中，捕获多个图像包括：
以所选的向上俯仰角将成像装置指向其余航向角；以及
根据所述成像方案以所述其余航向角中的每一个捕获相应图像，以获取所述所选的向上俯仰角的数个图像。
在所公开的方法的另一示例性实施例中，针对所选的向上俯仰角的数个图像包括关于针对第一俯仰角的数个图像的附加图像。
在所公开的方法的另一示例性实施例中，捕获多个图像包括：
将成像装置指向依次选择的向下俯仰角；以及
以预选的航向角根据成像方案捕获图像。
在所公开的方法的另一示例性实施例中，捕获多个图像包括：
以所选的向下俯仰角使成像装置定向到其余航向角；以及
根据所述成像方案以所述其余航向角中的每一个捕获相应图像，以获取所述所选的向下俯仰角的数个图像。
在所公开的方法的另一示例性实施例中，针对所选的向下俯仰角的数个图像包括关于针对第一俯仰角的数个图像的附加图像。
在所公开的方法的另一示例性实施例中，发送图像包括降低每个图像的分辨率。
在所公开的方法的另一示例性实施例中，降低分辨率包括降低图像的水平方向上的分辨率和/或降低图像的垂直方向上的分辨率。
根据在此公开的另一方面，提出了一种计算机程序产品，包括用于根据成像方案捕获图像的指令，被配置为执行根据所公开方法的在先实施例中的任一实施例的成像过程。
根据本文公开的另一方面，提出了一种成像系统，包括：
一个或多个处理器，单独或共同地被配置为：
获取用于捕获全景图像的图像的成像方案；以及
引导成像装置根据所述成像方案捕获多个图像。
所公开的系统的示例性实施例还包括与成像装置相关联的移动平台。
在所公开的系统的示例性实施例中，所述一个或多个处理器被配置为将移动平台导航到期望的成像位置和/或高度。
所公开的系统的示例性实施例还包括控制器，操作用于远程配置成像装置的可配置参数，所述可配置参数包括成像装置的曝光设置和/或输出格式。
在所公开的系统的另一示例性实施例中，所述控制器被配置为将球面全景成像命令发送给成像装置和/或移动平台。
在所公开的系统的示例性实施例中，所述一个或多个处理器被配置为根据成像方案将成像装置定向到期望姿态。
所公开的系统的示例性实施例还包括与成像装置和/或移动平台相关联的云台，其中所述云台操作用于定向成像装置。
在所公开的系统的另一示例性实施例中，所述一个或多个处理器被配置为将移动平台定向到和/或将云台定向到期望姿态。
在所公开的系统的另一示例性实施例中，所述期望姿态包括根据成像方案的移动平台的期望航向-俯仰角。
在所公开的系统的另一示例性实施例中，所述期望姿态包括根据成像方案的云台的期望航向-俯仰角。
在所公开的系统的另一示例性实施例中，所述一个或多个处理器被配置为获取针对每个图像的实时姿态信息。
在所公开的系统的另一示例性实施例中，所述一个或多个处理器被配置为当捕获每个图像时获取实时姿态信息。
在所公开的系统的另一示例性实施例中，经由惯性测量单元获取所述实时姿态信息。
在所公开的系统的另一示例性实施例中，经由陀螺仪、加速度计、全球定位系统(“GPS”)和/或磁力计来获取所述实时姿态信息。
所公开的系统的示例性实施例还包括被配置为存储图像和实时姿态信息的存储装置。
在所公开的系统的另一示例性实施例中，所述存储装置是安全数字(“SD”)卡。
在所公开的系统的示例性实施例中，所述一个或多个处理器被配置为将图像和姿态信息发送给地面站。
在所公开的系统的示例性实施例中，所述一个或多个处理器被配置为当捕获或存储图像时将图像和姿态信息发送给地面站。
在所公开的系统的另一示例性实施例中，所述一个或多个处理器被配置为根据成像方案将成像装置定向到另一期望的姿态位置，并在另一期望的姿态位置处捕获下一图像，直到成像方案中限定的每个图像被捕获。
在所公开的系统的另一示例性实施例中，所述一个或多个处理器被配置为：
将成像装置指向垂直于水平方向的预选俯仰角；以及
根据成像方案捕获锚图像。
在所公开的系统的另一示例性实施例中，所述一个或多个处理器被配置为：
将成像装置指向水平方向上的预选俯仰角；以及
以预选的航向角根据成像方案捕获图像。
在所公开的系统的另一示例性实施例中，所述一个或多个处理器被配置为：
将所述成像装置依次指向第一俯仰角的其余航向角中的每一个；以及
根据所述成像方案以所述其余航向角中的每一个捕获相应图像，以获取第一俯仰角的数个图像。
在所公开的系统的另一示例性实施例中，所述一个或多个处理器被配置为：
将成像装置指向依次选择的向上俯仰角；以及
以预选的航向角根据成像方案捕获图像。
在所公开的系统的另一示例性实施例中，所述一个或多个处理器被配置为：
以所选的向上俯仰角将成像装置指向其余航向角；以及
根据所述成像方案以所述其余航向角中的每一个捕获相应图像，以获取所述所选的向上俯仰角的数个图像。
在所公开的系统的另一示例性实施例中，针对所选的向上俯仰角的数个图像包括关于针对第一俯仰角的数个图像的附加图像。
在所公开的系统的另一示例性实施例中，所述一个或多个处理器被配置为：
将成像装置指向依次选择的向下俯仰角；以及
以预选的航向角根据成像方案捕获图像。
在所公开的系统的另一示例性实施例中，所述一个或多个处理器被配置为：
以所选的向下俯仰角使成像装置定向到其余航向角；以及
根据所述成像方案以所述其余航向角中的每一个捕获相应图像，以获取所述所选的向下俯仰角的数个图像。
在所公开的系统的另一示例性实施例中，针对所选的向下俯仰角的数个图像包括关于针对第一俯仰角的数个图像的附加图像。
在所公开的系统的另一示例性实施例中，所述一个或多个处理器被配置为降低图像的分辨率。
在所公开的系统的另一示例性实施例中，所述一个或多个处理器被配置为降低图像的水平方向上的分辨率和/或降低图像的垂直方向上的分辨率。
根据本文公开的另一方面，提出了一种用于合成全景图像的方法，包括：
接收图像和成像装置用来捕获所述图像的姿态信息；以及
基于姿态信息将所接收的图像拼接到合成图像。
在所公开的方法的示例性实施例中，接收图像包括接收场景的图像，
其中合成图像是在合成表面上构造的场景的全景图像。
在所公开的方法的另一示例性实施例中，拼接所接收的图像包括将所接收的图像转换为等矩形(equirectangular)投影。
在所公开的方法的另一示例性实施例中，转换所接收的图像包括确定所接收的图像是用直线(rectilinear)镜头捕获的。
在所公开的方法的另一示例性实施例中，转换所接收的图像包括将所接收的图像从直线投影变换成等矩形投影。
在所公开的方法的另一示例性实施例中，变换所接收的图像包括：
将直线投影变换成球面投影；以及
将球面投影变换成等矩形投影。
在所公开的方法的另一示例性实施例中，球面投影是基于与成像装置的镜头的焦距相等的球面半径。
在所公开的方法的另一示例性实施例中，转换所接收的图像包括确定所接收的图像是用鱼眼镜头捕获的。
在所公开的方法的另一示例性实施例中，转换所接收的图像包括将所接收的图像从鱼眼投影变换成等矩形投影。
在所公开的方法的另一示例性实施例中，变换所接收的图像包括：
将鱼眼投影变换成球面投影；以及
将球面投影变换成等矩形投影。
在所公开的方法的另一示例性实施例中，球面投影是基于与成像装置的镜头的焦距相等的球面半径。
所公开的方法的示例性实施例还包括用锚图像开始合成图像。
在所公开的方法的另一示例性实施例中，开始合成图像包括用针对锚图像的相应姿态信息定位锚图像。
在所公开的方法的另一示例性实施例中，拼接所接收的图像包括将所接收的图像拼接到合成图像，所述合成图像以锚图像开始,以增量地构建全景图像。
在所公开的方法的另一示例性实施例中，拼接所接收的图像包括：基于姿态信息，相对于合成图像对准所接收的图像。
在所公开的方法的另一示例性实施例中，拼接所接收的图像包括相对于合成图像微调所接收的图像。
在所公开的方法的另一示例性实施例中，微调所接收的图像包括微调所接收的图像与合成图像之间的至少一个重叠区域。
在所公开的方法的另一示例性实施例中，微调重叠区域包括通过将所接收的图像的一部分和合成图像的一部分进行匹配来形成所接收的图像与合成图像之间的重叠区域。
在所公开的方法的另一示例性实施例中，微调重叠区域包括确定在航向方向、俯仰方向和/或横滚方向上的搜索范围。
在所公开的方法的另一示例性实施例中，确定搜索范围包括确定搜索步长。
在所公开的方法的另一示例性实施例中，确定搜索范围包括针对航向方向、俯仰方向和横滚方向中的每一个决定搜索步骤的数量。
在所公开的方法的另一示例性实施例中，确定步骤的数量包括分别基于俯仰偏差、航向偏差和横滚偏差的控制误差、延迟误差和/或振动幅度来确定步骤的数量。
在所公开的方法的另一示例性实施例中，微调包括针对在俯仰方向、航向方向和横滚方向中的每一方向上的搜索步骤和步骤数量的每个组合确定匹配成本。
在所公开的方法的另一示例性实施例中，确定匹配成本包括经由绝对差和(“SAD”)测量或归一化互相关(“NCC”)测量来计算匹配成本。
在所公开的方法的另一示例性实施例中，微调包括确定航向-俯仰-横滚角的最优组合。
在所公开的方法的另一示例性实施例中，拼接所接收的图像包括基于航向-俯仰-横滚角的最优组合将所接收的图像融合到合成图像。
在所公开的方法的另一示例性实施例中，融合所接收的图像包括经由混合算法将所接收的图像融合到合成图像。
在所公开的方法的另一示例性实施例中，拼接所接收的图像包括对合成图像的重叠区域的至少一部分进行全局优化。
在所公开的方法的另一示例性实施例中，所接收的图像是根据球面全景成像方案捕获的。
在所公开的方法的另一示例性实施例中，经由混合算法来构建所述合成图像的至少一部分。
所公开的方法的示例性实施例还包括混合算法是拉普拉斯金字塔混合算法。
所公开的方法的示例性实施例还包括降低所接收的图像的分辨率和/或降低全景的分辨率。
在所公开的方法的另一示例性实施例中，降低所接收的图像的分辨率包括减小所接收的图像的水平方向上的分辨率和/或降低所接收的图像的垂直方向上的分辨率。
在所公开的方法的另一示例性实施例中，降低球面全景图像的分辨率包括减小合成图像的水平方向上的分辨率和/或降低合成图像的垂直方向上的分辨率。
根据在此公开的另一方面，提出了一种计算机程序产品，包括用于构建全景图像的指令，被配置为执行根据所公开方法的在先实施例中的任一实施例的构建过程。
根据本文公开的另一方面，提出了一种用于构建全景图像的系统，包括：
接收单元，操作用于：
接收图像和成像装置用来捕获所述图像的姿态信息；以及
处理单元，操作用于：
将所接收的图像转换为等矩形投影，
基于姿态信息相对于合成图像对准所接收的图像，
相对于合成图像微调所接收的图像，以获取所接收的图像和合成图像之间的至少一个重叠区域，以及
将所接收的图像拼接到合成图像，
其中合成图像是在合成表面上构造的全景图像。
根据本文公开的另一方面，提出了一种用于构建全景图像的设备，包括：
一个或多个处理器，单独或共同地被配置为：
接收图像和成像装置用来捕获所述图像的姿态信息；以及
基于姿态信息将所接收的图像拼接到合成图像。
在所公开的设备的示例性实施例中，
所接收的图像是场景的图像；以及
合成图像是在合成表面上构造的场景的全景图像。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为将所接收的图像转换为等矩形投影。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为确定所接收的图像是用直线镜头捕获的。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为将所接收的图像从直线投影变换成等矩形投影。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为将直线投影变换成球面投影并将球面投影变换成等矩形投影。
在所公开的设备的另一示例性实施例中，球面投影是基于与成像装置的镜头的焦距相等的球面半径。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为确定所接收的图像是用鱼眼镜头捕获的。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为将所接收的图像从鱼眼投影变换成等矩形投影。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为将鱼眼投影变换成球面投影并将球面投影变换成等矩形投影。
在所公开的设备的另一示例性实施例中，球面投影是基于与成像装置的镜头的焦距相等的球面半径。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为用锚图像开始合成图像。
在所公开的设备的另一示例性实施例中，所述锚图像是用针对锚图像的相应姿态信息定位在合成图像处。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为将所接收的图像拼接到合成图像，所述合成图像以锚图像开始，以增量地构建全景图像。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为基于姿态信息相对于合成图像对准所接收的图像。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为相对于合成图像微调所接收的图像。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为微调所接收的图像与合成图像之间的至少一个重叠区域。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为通过将所接收的图像的一部分和合成图像的一部分进行匹配来获取在所接收的图像与合成图像之间的重叠区域。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为确定在航向方向、俯仰方向和/或横滚方向上的搜索范围。
在所公开的设备的另一示例性实施例中，搜索范围包括在航向方向、俯仰方向和横滚方向上的搜索步长。
在所公开的设备的另一示例性实施例中，搜索范围包括针对航向方向、俯仰方向和横滚方向中的每一个的搜索步骤的数量。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为分别基于俯仰偏差、航向偏差和横滚偏差的控制误差、延迟误差和/或振动幅度来确定步骤的数量。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为针对在俯仰方向、航向方向和横滚方向中的每一方向上的搜索步骤和步骤数量的每个组合确定匹配成本。
在所公开的设备的另一示例性实施例中，经由绝对差和(“SAD”)测量或归一化互相关(“NCC”)测量来计算匹配成本。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为确定航向-俯仰-横滚角的最优组合。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为基于航向-俯仰-横滚角的最优组合将所接收的图像融合到合成图像。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为经由混合算法将所接收的图像融合到合成图像。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为对合成图像的重叠区域的至少一部分进行全局优化。
在所公开的设备的另一示例性实施例中，所述设备被布置在移动平台上或地面站中。
在所公开的设备的另一示例性实施例中，所接收的图像是根据球面全景成像方案捕获的。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为经由混合算法混合合成图像以基于合成图像的至少一部分形成球面全景图像。
在所公开的设备的另一示例性实施例中，混合算法是拉普拉斯金字塔混合算法。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为降低所接收的图像的分辨率和/或合成图像的分辨率。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为减小所接收的图像的水平方向上的分辨率和/或所接收的图像的垂直方向上的分辨率。
在所公开的设备的另一示例性实施例中，所述一个或多个处理器被配置为减小合成图像的水平方向上的分辨率和/或合成图像的垂直方向上的分辨率。
根据本文公开的另一方面，提出了一种成像方法，包括：
基于至少一个成像参数设计用于获得球面全景图像的成像方案；以及
根据所述成像方案自动捕获多个图像。
在所公开的方法的示例性实施例中，设计成像方案包括基于成像装置、用于与成像装置相耦接的云台或与成像装置相关联的移动平台的至少一个参数构建成像方案。
在所公开的方法的另一示例性实施例中，捕获多个图像包括配置成像装置的至少一个可配置参数。
在所公开的方法的另一示例性实施例中，捕获多个图像包括根据成像方案将成像装置定向到期望姿态；以及当捕获每个图像时获取实时姿态信息。
所公开的方法的示例性实施例还包括当捕获图像时将每个图像和实时姿态信息发送给地面站。
所公开的方法的示例性实施例还包括在地面站接收图像和实时姿态信息。
所公开的方法的示例性实施例还包括基于姿态信息将图像拼接为全景图像。
在所公开的方法的另一示例性实施例中，拼接包括当捕获或接收图像时增量地拼接所述图像。
在所公开的方法的另一示例性实施例中，拼接包括基于姿态信息相对于全景图像对准图像；以及基于俯仰偏差、航向偏差和/或横滚偏差相对于全景图像微调图像。
在所公开的方法的另一示例性实施例中，发送图像包括降低图像的分辨率。
所公开的方法的示例性实施例还包括：重新配置成像装置的至少一个可配置参数；以及重新捕获图像和实时姿态信息。
根据本文公开的另一方面，提出了一种成像系统，包括：
一个或多个处理器，单独或共同地被配置为：
基于至少一个成像参数设计用于获得球面全景图像的成像方案；以及
引导成像装置根据所述成像方案捕获多个图像。
在所公开的系统的示例性实施例中，所述一个或多个处理器被配置为基于成像装置、用于与成像装置相耦接的云台或与成像装置相关联的移动平台的至少一个参数构建成像方案。
在所公开的系统的另一示例性实施例中，所述一个或多个处理器被配置为接收用于配置成像装置的至少一个可配置参数的命令。
在所公开的系统的另一示例性实施例中，所述一个或多个处理器被配置为：
根据成像方案将成像装置定向到期望姿态；以及
当捕获每个图像时获取实时姿态信息。
在所公开的系统的示例性实施例中，所述一个或多个处理器被配置为当捕获图像时将图像和实时姿态信息发送给地面站。
所公开的系统的示例性实施例还包括被配置为接收图像和实时姿态信息的地面站。
在所公开的系统的另一示例性实施例中，所述地面站被配置为基于姿态信息将图像拼接为全景图像。
在所公开的系统的另一示例性实施例中，所述地面站被配置为当接收图像时增量拼接图像。
在所公开的系统的另一示例性实施例中，所述地面站被配置为基于姿态信息相对于全景图像对准图像，并且基于俯仰偏差、航向偏差和/或横滚偏差相对于全景图像微调图像。
在所公开的系统的另一示例性实施例中，所述一个或多个处理器被配置为在发送图像之前降低图像的分辨率。
在所公开的系统的另一示例性实施例中，所述一个或多个处理器被配置为接收用于重新配置成像装置的至少一个可配置参数以及重新捕获图像和实时姿态信息的命令。
本公开下的示例性实施例可以有利地基于某些成像参数自动设计成像方案。此外，根据本公开内容的示例性实施例可以根据成像方案有利地捕获多个图像并获取用于形成全景图像的相应姿态信息。本公开下的示例性实施例还可以基于所获取的相应姿态信息增量地拼接多个图像。由此，示例性实施例可以自动执行用于获得全景图像的完整过程，包括但不限于设计成像方案、捕获图像并拼接图像以形成全景图像。备选地和/或附加地，示例性实施例还可以包括预览功能，其允许操作者基于预览重新配置成像装置的某些可配置参数或重新构建成像方案。
附图说明
图1是示出了用于基于成像参数来设计用于获得全景图像的成像方案的方法的实施例的示例性顶层流程图。
图2是示出了图1的方法的备选实施例的示例性流程图，其中成像参数包括成像装置的参数以及云台和/或移动平台的参数。
图3是示出了图1的方法的另一备选实施例的示例性流程图，其中在确定形成全景图像的图像的数量的同时决定相邻图像之间的重叠区域。
图4是示出了图1的方法的另一备选实施例的另一示例性流程图，其中通过确定图像行的数量和每个图像行中的图像的数量来设计成像方案。
图5是示出了图4的方法的实施例的示例性流程图，其中在俯仰水平、俯仰向上和俯仰向下的位置确定每个图像行中的图像的数量。
图6是示出了实现图1的方法的成像装置的实施例的示意图，其中所述成像方案与具有视场(“FOV”)的镜头相耦接。
图7是示出了图6的方法的备选实施例的示意图，其中所述成像装置被示出为能够以零度的俯仰在水平方向上进行完整旋转。
图8是示出了图6的方法的另一备选实施例的示意图，其中成像装置被示出为具有最大可允许俯仰角。
图9是示出了直线投影下的图像的示例性图像，其中所述图像是在向上俯仰角下被捕获的。
图10是示出了等矩形投影下的图9的图像的示例性图像。
图11是示出了直线投影下的图像的示例性图像，其中所述图像是在俯仰水平方向下被捕获的。
图12是示出了等矩形投影下的图11的图像的示例性图像。
图13是示出了直线投影下的图像的示例性图像，其中所述图像是在向下俯仰角下被捕获的。
图14是示出了等矩形投影下的图13的图像的示例性图像。
图15是示出了图6的方法的另一备选实施例的示意性图像，其中三个图像相互重叠以在等矩形投影下形成全景图像。
图16是示出了图6的方法的备选实施例的示意图，其中在全局视图中示出了由成像装置捕获的图像的角度覆盖范围。
图17是示出了图6的方法的另一备选实施例的示意图，其中成像装置的空间成像平面示出为所述成像装置处于向上俯仰角。
图18是示出了图6的方法的另一备选实施例的另一示意图，其中经由推导确定两个投影角。
图19是示出了图6的方法的另一备选实施例的另一示意图，其中具有球面坐标的点被转换为三维坐标。
图20是示出了执行图1或图6的方法的成像装置的实施例的示例性示意图，其中经由云台将所述成像装置定位在移动平台上。
图21是示出了用于捕获全景图像的图像的方法的实施例的示例性顶层流程图，其中获取并自动执行用于捕获全景图像的图像的成像方案。
图22是示出了图21的方法的备选实施例的示例性流程图，其中成像参数包括成像装置的参数以及云台和/或移动平台的参数。
图23是示出了图21的方法的备选实施例的示例性细节流程图，其中根据成像方案来导航移动平台并自动捕获所述图像。
图24是示出了图21的方法的备选实施例的示例性细节流程图，其中根据成像方案执行自动图像捕获过程。
图25是示出了用于拼接图像以形成全景图像的方法的实施例的示例性顶层流程图，其中接收图像和相应姿态信息并将其拼接到合成图像。
图26是示出了图25的方法的备选实施例的示例性流程图，其中可以通过转换、对准、微调和融合所接收的图像来将所接收的图像拼接到合成图像。
图27是示出了图25的方法的另一备选实施例的示例性流程图，其中经由两个变换将所接收的图像转换为等矩形投影。
图28是示出了图25的方法的另一备选实施例的示例性流程图，其中基于姿态信息相对于合成图像对准所接收的图像。
图29是示出了图25的方法的备选实施例的示例性流程图，其中可以通过确定搜索范围、匹配重叠区域、匹配成本和确定最优组合来微调所接收的图像。
图30是示出了图29的方法的备选实施例的示例性流程图，其中分别基于偏差来确定搜索范围。
图31是示出了图30的方法的备选实施例的示例性流程图，其中搜索范围是不同的。
图32是示出了图25的方法的备选实施例的详细示例性流程图，其中开始锚图像并拼接其他图像以形成全景图像。
图33是示出了用于获得全景图像的方法的实施例的示例性顶层流程图，其中可以根据被设计用于获得全景图像的成像方案来捕获多个图像。
图34是示出了图33的方法的备选实施例的详细示例性流程图，其中将所捕获图像发送并拼接以用于重新配置至少一个可配置参数。
应该注意的是，附图并未按比率绘制，并且出于说明目的，在整个附图中类似结构或功能的元件通常用类似的附图标记来表示。还应该注意的是，附图只是为了便于描述优选实施例。附图没有示出所描述的实施例的每个方面，并且不限制本公开的范围。
具体实施方式
在当前可用的方法中，操作者手动控制云台和/或UAV以将成像装置定向到各个方向，以便捕获用于构建全景图像的图像。捕获的图像可以经由软件工具通过匹配每个图像上的特征点和/或通过估计成像装置的姿态信息来进行拼接。
目前可用的球面全景成像方法存在若干缺点。首先，手动控制在各方向上的成像可能导致较大偏差留边(margin)，从而引起相邻图像之间无法控制的重叠区域。因为稳定的重叠区域对于确保图像可以正确拼接在一起是至关重要的，所以较大偏差留边可能是有问题的。其次，使用软件工具匹配特征点通常引起姿态信息的估计失败，从而使人工干预成为矫正所必需的。第三，目前可用的球面全景成像方法通常需要使用全局优化的束调整(bundle adjustment)以估计成像装置的姿态信息。因此，这些方法可能导致较大的计算量和存储需求。
由于当前可用的球面全景生成方法需要在成像和拼接过程中进行手动操作并且需要全局最优化，因此可以证明用于自动捕获用于获得全景图像的图像并自动拼接所述图像以形成全景图像的系统和方法是备受期望的，其提供用于自动构建全景图像的基础。根据如图1所示的一个实施例，可以实现该结果。
图1示出了用于设计成像方案的方法100的示例性实施例。转到图1，用于获得全景图像的成像方案被示出为是基于成像参数而设计的。在图1中，在120处，可以收集至少一个成像参数，优选地，多个成像参数。成像参数可以包括例如成像装置580的参数、与成像装置580耦接的云台560的参数和/或与成像装置580和/或云台560耦接的移动平台500(整体示出在图20中)的参数。
可以通过任何适用的方式收集成像参数，例如通过手动输入和/或自动检测。在一些实施例中，例如，可以通过检测与成像装置580耦接的镜头的类型来获取成像装置580的参数。在其他实施例中，可以通过用户输入来获取云台560的参数和/或成像装置580的参数。全景图像可以是球面全景图像，具体地，三百六十度球面全景图像。例如，球面全景图像可以在水平面内覆盖三百六十度并在垂直面内覆盖至少一百八十度而无盲点。
在150处，可以基于收集的成像参数来确定用于获得全景图像的成像方案。成像方案可以包括用于形成全景图像的图像的数量以及用于捕获每个图像的姿态。所述姿态可以包括例如俯仰角和/或航向角。可以实现成像方案，以便自动和/或手动地获取用于形成全景图像的图像。
尽管仅出于说明目的示出并描述为使用成像参数，但是可以基于其他合适参数(诸如，场景的特征、环境条件等)来设计成像方案。
成像方案可以有利地被设计为部分或整体以自动方式执行。成像方案可以单独的方式或组合的方式以自动过程实现全景成像和全景图像拼接。成像方案的实施可以有利地避免人工干预，从而可以解决由背景技术中描述的人工干预引起的问题。
尽管仅出于说明目的示出和描述为自动过程，但是所述过程(例如，成像过程)可以涉及人工干预，诸如，配置成像装置580的可配置参数。
图2示出了示例性方法100的备选实施例。转到图2，在122处，成像参数可以包括成像装置580的参数。成像参数还可以与成像装置580耦接的云台560的参数和/或与成像装置580和/或云台560耦接的移动平台500的参数。
在图2中，成像装置580的参数可以包括附接到成像装置580的镜头589(在图6中示出)的参数。在一些实施例中，镜头589可以是定焦镜头(或定焦镜头)。成像装置580的参数122可以包括镜头560的视场(“FOV”)角度。FOV可以至少包括在132处的FOV的垂直角度和/或在134处的FOV的水平角度。在一些实施例中，可以基于镜头的类型和对应的参数来自动获取所述两个角度132、134。在其他实施例中，可以通过用户输入来获取角度132、134。
尽管仅出于说明的目的示出和描述为定焦镜头，但是所述镜头可以包括任何其他类型的镜头，例如，变焦镜头。在一些实施例中，当使用变焦镜头时，成像装置580的成像参数可以包括反映所述镜头589的变焦长度的参数。变焦长度可以是能够改变的并且可以影响镜头589的FOV。因此，在变焦镜头的情况下，可以基于一组参数来获取FOV角度132、134，其中所述一组参数包括但不限于最大水平FOV角、最小水平FOV角、最大垂直FOV角、最小水平FOV角度、变焦范围、变焦长度等。
云台560和/或移动平台500的参数126例如可以包括关于俯仰角135和/或航向角137的参数。可选地，参数126可以包括横滚角139。在一些实施例中，云台560可以使成像装置580能够进行部分和/或完整的水平旋转。俯仰角135可以被分成由俯仰水平方向分开的向上俯仰角和/或向下俯仰角。在一些实施例中，云台560可以受在至少一个方向上的最大俯仰角的限制，例如，向上俯仰角。这种限制可以有多个原因，例如，云台560的机械限制和/或避开移动平台500的机身等。
在其他实施例中，例如，当不提供云台560时，可以使用移动平台500来提供俯仰角135和/或航向角137。在这种实施例中，成像装置580可以不具有水平的限制，即，移动平台500可以使成像装置580能够进行完整的水平旋转。然而，与云台560一样，移动平台500可以在至少一个方向上具有提供俯仰角135的限制，即，在向上或向下方向上可能存在最小俯仰角和/或最大俯仰角。这种限制的原因可以包括但不限于移动平台500的机械限制。
尽管为了说明的目的示出和描述为通过云台560或移动平台500提供俯仰角135和/或航向角137，然而云台560和移动平台500的操作组合也可以用于提供更宽范围或不同范围的俯仰角135。尽管为了说明的目的示出和描述为获取俯仰角135和航向角137，但是可以在设计成像方案时获取其他参数126，诸如关于横滚角139的可选参数139、场景的特征、环境条件等。
图3示出了示例性方法100的另一备选实施例。转向图3，通过决定水平方向和/或垂直方向上的重叠区域并确定用于形成全景图像的图像的数量来设计成像方案。如图3所示，在150处，设计用于获得全景图像的成像方案可包括在151处决定水平方向和/或垂直方向上的重叠区域。
如背景部分所述，足够的重叠区域对于将图像拼接在一起以形成全景图像会是必要的。可以设计成像方案以在151处在水平方向和/或垂直方向上在相邻的任何两个图像之间保持足够的重叠区域。为了决定图像之间的重叠区域，可以在水平方向和/或垂直方向上获取足够数量的图像。
可以以这种方式确保两个垂直相邻图像之间的重叠区域，使得重叠区域的高度不小于相邻两个图像中的任何一个的高度的预定比率。可以以这种方式确保两个水平相邻图像之间的重叠区域，使得重叠区域的宽度相对相邻图像中的任何一个的宽度不小于预定比率。针对两个垂直相邻图像和/或两个水平相邻图像使用的预定比率可以在百分之十到百分之四十的范围内，优选范围是百分之二十到百分之三十，优选值为百分之二十五。
尽管为了说明的目的示出并描述为使用两个垂直相邻图像的高度来确定重叠区域，但是也可以使用图像的其他特征，例如，垂直相邻图像中的任一图像的区域。尽管为了说明的目的示出并描述为使用两个水平相邻图像的宽度来确定所述两个图像之间的重叠区域，但是也可以使用图像的其他特征，例如，水平相邻图像中的任一图像的区域。
如图3所示，在150处设计成像方案可以包括在153处确定用于形成全景图像的图像的数量。基本上，可以有两个概念来设计成像方案：一个是决定相邻图像之间的充足重叠区域，且另一个是保持图像的数量尽可能少以降低拼接到本。因此，在153处，可以将该数量确定为用于保持相邻图像之间的最小预定重叠区域的最小图像数量。
尽管为了说明的目的示出和描述为确定相邻图像之间的预定重叠区域，但是可以基于某些因素(包括但不限于地域特征和/或俯仰角参数等)来减少和/或增加重叠区域。实际上，为了提供一定的留边，可以增加和/或减少理论上确定的图像的数量。
图4示出了示例性方法100的备选实施例。转向图4，通过确定图像行的数量以及每个图像行中的图像的数量来设计图1的成像方案。图像的数量在所选图像行之间可以是相同的和/或不同的。如图4所示，在152处，可以确定图像行的数量。每个图像行可以与相应的俯仰角相关联。在一些实施例中，可以将俯仰水平方向上的图像行确定为第一行。可以基于第一行确定俯仰角大于俯仰水平方向的行，以至少覆盖第一行上方的部分区域。下面将参考图16、17提供关于确定图像行的数量的附加详情。可以基于第一行确定俯仰角小于俯仰水平方向的行，以至少覆盖第一行下方的部分区域。
尽管仅出于说明的目的示出和描述为在确定第一行上方的行之后确定第一行下方的行，但是可以以任何顺序确定第一行下方的图像行和第一行上方的图像行，而没有限制。尽管仅出于说明的目的示出和描述为用第一行下方的充足图像行覆盖第一行下方的区域，但是可以提供锚图像以覆盖全景图像的底部或顶部。
在155处可以确定每个图像行中的图像的数量。在一些实施例中，一旦确定图像行，就可以确定每个图像行的图像的数量。在一些其他实施例中，当确定图像行时，可以确定每个图像行的图像的数量。在一些优选实施例中，在确定至少部分图像行和图像的数量之后，可以利用全局优化来完成成像方案。
虽然仅出于说明的目的示出并描述为每个图像行处于水平方向，但是图像行也可以放置在垂直方向上。在这种情况下，每个图像行可以对应于航向角，且任何图像行中的每个图像可以对应于俯仰角。
图5示出了示例性方法100的备选实施例。转向图5，在俯仰水平、俯仰向上和俯仰向下的位置处确定每个图像行中的图像的数量。如图5所示，当在152处确定了多个图像行时，可以在155处确定每个图像行中的图像的数量。
可以以图像行的任何顺序来确定每个图像行中的图像的数量。在一些优选实施例中，基于成像装置580的参数，可以在161处首先确定在俯仰水平方向上的第一行(或第一俯仰位置)中的图像的数量。第一行中的图像的数量可以在第一行的相邻图像之间保证参照图3定义的预定重叠区域。由于对于第一行可以存在水平相邻图像，因此可以决定水平重叠区域。当确定第一行中的图像的数量时，所述图像可以沿着俯仰水平方向均匀分布，并且可以为每个图像分配对应的航向角。
在163处，可以决定在第一行上方的每个图像行中的图像的数量。在165处，可以决定在第一行下方的每个图像行中的图像的数量。下面将参考图16、17示出并描述关于确定每个图像行中的图像的数量的附加详情。在一些实施例中，对于在第一行上方或下方的任何图像行中的每个图像，需要以参照图3所示和所述的方式来决定水平相邻图像之间的重叠区域。当确定第一行上方或下方的任一所选图像行中的图像的数量时，所述图像可以沿着所选图像行的维度圈均匀分布，并且可以为每个图像分配对应的航向角。
尽管仅出于说明的目的示出和描述为决定水平相邻图像之间的重叠区域，但是在一些实施例中，可以决定垂直相邻图像之间的重叠区域。
如参考图2所示和所述，可以基于成像参数来构建成像方案。这种成像参数可以包括但不限于成像装置580的参数以及与成像装置580耦接的云台560的参数和/或与成像装置580和/或云台560耦接的移动平台500的参数。成像装置580的参数可以包括与成像装置580耦接的镜头的FOV。图6-19示出了图1的方法实现的示例性方法200的实施例。
图6示出了示例性方法200的实施例。转到图6，成像装置580与具有FOV的镜头589相耦接。在图6中，镜头589的FOV可以具有水平FOV θhor 181和垂直FOVθv□r 182。通过镜头589捕获的图像可以具有任何预定形状，例如，矩形。矩形形状的图像可以被转换成等矩形投影以拼接在一起从而形成全景图像。等矩形投影可以变形为如本文所示和所述的示例性形状。
将镜头589的水平FOV 181和垂直FOV 182称为沿水平方向定向的成像装置580。当成像装置580被定向在其他方向上时，水平FOV 181可以不在水平方向上和/或垂直FOV 182可以不在垂直方向上。
图7示出了示例性方法100的备选实施例。转向图7，成像装置580可以在水平方向上围绕垂直轴线193(即，当俯仰角为零度时)进行完整旋转191。成像装置580可以以其他俯仰角围绕轴线193旋转。
可以用诸如云台560和/或移动平台500的载体来完成围绕垂直轴线193的旋转。在一些实施例中，云台560可以与成像装置580耦接以向成像装置580提供可控的定向能力。在这种实施例中，云台560可以独自将成像装置580定向成以任意俯仰角围绕轴线191的任意航向角。换言之，云台560可以将成像装置580定向成期望姿态，包括期望俯仰角和/或期望航向角。
尽管仅出于说明目的示出并描述为使用云台560，但是移动平台500也可以单独使用或与云台560结合使用，以提供围绕轴线193的水平旋转。
尽管仅出于说明的目的示出和描述为围绕垂直轴线193旋转，但是成像装置580可以围绕任何航向轴(未示出)旋转，所述航向轴可以是垂直轴线或非垂直轴线。在一些实施例中，由于移动平台580本身可能是不平整的，所以航向轴可以相对于移动平台500是垂直的，但不垂直于地面。在这种情况下，俯仰角的零度可以是指垂直于航向轴的平面。成像装置580可以以所选的俯仰角围绕航向轴旋转。每个所选的俯仰角可以是相对于所述平面的。
为了确保预定的水平重叠区域，可以基于水平FOVθhor 181(图6中所示)来计算在零度俯仰角下的完全旋转的图像的数量M0：
Figure GDA0002286463530000281
其中，σ表示重叠区域与两个水平相邻图像中的任意一个的比率。σ可以是例如两个水平相邻图像中的任何一个的宽度的四分之一，或是两个水平相邻图像中的任何一个的面积的四分之一。在一些实施例中，可以减小或增大σ以调整预定的水平重叠区域。例如，σ可以是在八分之一到二分之一的范围内的值。当σ是四分之一时，等式(1)可以是：
Figure GDA0002286463530000282
可以将对于大于零度的俯仰角的图像行(即，在水平方向上向上俯仰)的图像的数量计算为：
M1i(i∈(0,N1)) 等式(3)
图8示出了示例性方法100的成像设置的备选实施例。
在一些实施例中，成像装置580可以在向上方向上俯仰九十度和/或在向下方向下俯仰九十度。在这种情况下，对于向上俯仰方向或向下俯仰方向，可以基于垂直FOVθver 182(如图6所示)计算图像行的数量N：
Figure GDA0002286463530000291
然而，成像装置580的俯仰角可以在至少一个方向上被限制。转到图8，成像装置580具有最大可允许俯仰角195。在图8中，最大可允许俯仰角可以是向上俯仰角。向上俯仰角可以是成像装置580的光轴与垂直于垂直轴线560的平面之间的角度，所述垂直轴线560可以相对于移动平台500是垂直的但不垂直于地面。
这种限制的目的可以是避免在全景图像中包括移动平台500的机身520和/或螺旋桨550的任何部分。因此，最大可允许俯仰角195的限制可以是机身520和/或螺旋桨550。假设最大可允许俯仰角195由
Figure GDA0002286463530000292
表示。
为了确保预定的垂直重叠区域，可以基于最大俯仰角φ和垂直FOVθver 182(如图6所示)来计算针对向上俯仰的图像行的数量N1：
Figure GDA0002286463530000293
类似地，当俯仰向下方向受到例如机身520和/或螺旋桨550的限制时，也可以经由等式(4)来计算针对向下俯仰的图像行的数量N1，其中，俯仰角
Figure GDA0002286463530000294
表示在向下方向上的最大可允许俯仰角。
在一些实施例中，可以在等矩形投影下执行图像拼接，其中球体的表面可以展开到平面。投影将子午圈映射为恒定间距的垂直直线(经度线)，并将纬度圈映射到恒定间距的水平直线。当将图像映射到等矩形投影时可能会出现形状失真。
图9-14示出了在各种俯仰角下用直线镜头捕获并分别被转换成等矩形投影的图像。例如，图9示出了以俯仰向上方向捕获的图像，且图10示出了图9的等矩形投影。图11示出了以俯仰水平方向捕获的图像，且图12示出了图11的等矩形投影。图13示出了以俯仰向下方向捕获的图像，且图14示出了图13的等矩形投影。
图10示出了图10的直线投影下的图像的示例性等矩形投影。转到图9，图像301可以是通过直线镜头(未示出)沿俯仰向上方向捕获的图像。在一些实施例中，所捕获的图像可以包括一些失真。图像301可以是通过修正所捕获的图像而获得的修正图像。因此，图像301可以处于能够将直线映射到直线的直线投影中。
转到图10，图9的图像301被转换成等矩形投影下的图像302。在图10中，图像302表示可以以向上俯仰角(即，大于零度的俯仰角)捕获图像301。在图9中，例如，俯仰角可以是三十度。在这种情况下，图像301的顶部306可以对应于相较于底部305具有较小间距的经度线，因此，顶部306可以比底部305覆盖更多的经度线。因此，在图10中，等矩形投影中的图像302可以具有失真，其中图像302的顶部308可以比图像302的底部307更宽。
图12示出了图11的直线投影下的图像的示例性等矩形投影。转到图11，图像311可以是通过直线镜头(未示出)沿俯仰水平方向捕获的图像。在一些实施例中，所捕获的图像可以包括某些失真。可以对图像311进行修正以校正失真。
转到图12，图11的图像311被转换成等矩形投影下的图像312。在图12中，图像312表示可以以第一俯仰位置(或水平方向)(即，零度的俯仰角)捕获图像311。在这种情况下，图像311的底部315可以对应于与顶部316具有基本相同间距的经度线，因此，底部215可以与顶部覆盖基本相同数量的经度线。因此，等矩形投影下的图像312可以在图像312的底部317和图像312的顶部318两者上具有相似或相同的宽度。
图14示出了图13的直线投影下的图像的示例性等矩形投影。转到图13，图像321可以是通过直线镜头(未示出)以俯仰向下角度捕获的图像。在一些实施例中，经由直线镜头捕获的图像可以包括一些失真。可以对图像321进行修正以校正失真。
转到图14，图13的图像322被转换成等矩形投影下的图像322。在图14中，图像322表示可以以向下俯仰角(即，小于零度的俯仰角)捕获图像321。在图13中，例如，俯仰角可以是负三十度。在这种情况下，图像321的底部325可以对应于相较于顶部326具有较小间距的经度线，因此，底部325可以比顶部326覆盖更多的经度线。因此，等矩形投影中的图像322可以具有失真，其中图像322的底部327比图像322的顶部328更宽。
图15示出了示例性方法200的实施例。转向图15，三个图像331、332、333被重叠以在等矩形投影下形成全景图像330。在图15中，全景图像330被示出为部分构建的。一个或多个图像可以以增量方式定位到全景图像330。三个图像中的第一图像331可以是定位在全景图像330的底部的锚图像。第二图像332和第三图像333可以被捕获用于彼此拼接和/或各自拼接到第一图像331。
为了确保满意的拼接效果，图像332、333可以具有不小于预定测量值的重叠区域，例如，重叠区域336。在一些实施例中，在垂直相邻图像331、332之间，可以用不小于两个相邻图像331、332中的任一项的高度的预定测量值来确保重叠高度。在两个水平相邻图像332、333之间，可以用不小于两个相邻图像332、333中的任一项的宽度的预定比率来确保重叠宽度。对于重叠高度和重叠宽度两者，预定比率可以是例如四分之一。在一些实施例中，预定比率对于重叠高度和重叠宽度可以是不同的。
在一些其他实施例中，可以通过重叠区域与相邻图像中的任一图像的面积比率来确保预定测量值。例如，任何两个相邻图像(水平地例如332、333，或垂直地例如331、33)之间的重叠区域(诸如，336、339)可以不小于重叠区域与所述两个图像中的任一图像的预定面积比率。例如，这种预定面积比率对于两个水平相邻的图像(例如332、333)和垂直相邻的图像(例如331、332)可以是四分之一。在一些其他实施例中，对于水平相邻的图像(诸如332、333)和垂直相邻的图像(诸如331、332)，预定比率可以是不同的。
为了全景成像，尤其是球面全景成像，可以在设计成像方案时决定在俯仰方向和航向方向两者上的角度覆盖。在常见的成像设置中，图6的成像装置580可以水平地完全旋转。
为了确定所需的图像的数量，例如纬度圈中的图像的数量，可能需要图像的角度覆盖。
图16示出了示例性方法200的备选实施例。转向图16，以全局视图示出了由图6的成像装置580捕获的图像的角度覆盖范围。如图16所示，成像装置580可以定位在球体705的中心。将球体示出为具有半径r。球体705的表面可以用经度线和纬度线(或圈)来分段。
第一经度线可以表示为longitude_1，且第二经度线可以表示为longitude_2。第一经度线和第二经度线能够分隔经度角β，其中所述经度角β可以是在从零度到一百八十度的范围内的任何值。第一经度线和第二经度线之间的弧段可以具有长度L。当光线以俯仰角α进入成像装置580时，俯仰角α可以对应于水平截面圆707。水平截面圆707可以具有半径r’。第一经度线和第二经度线之间的水平截面圆707的弧段可以具有长度L'。可以存在以下关系：
r’＝rcosα 等式(6)
因为三角形OA’B’和三角形O’A’B’是两个具有相同底边的等腰三角形，所以有以下关系：
Figure GDA0002286463530000321
那么，从以上关系可推导出以下关系：
Figure GDA0002286463530000322
等价地，可以存在以下关系：
Figure GDA0002286463530000323
图17示出了示例性方法200的另一备选实施例。转到图17，图6的成像装置580的空间成像平面被示出为成像装置580处于向上俯仰角。在图17中，可以将空间成像平面示出为阴影区域ABCD，其中四个点在球体705的球面上。相应的空间球面区域可以是由球面表面上的四个点限定的弯曲区域。
根据等式(1)，向上俯仰角所需的图像的数量可以被确定为：
Figure GDA0002286463530000324
其中β1是指截面中两条线之间的角度，对应于阴影区域ABCD的上方两侧；以及
β2是指截面中两条线之间的角度，对应于阴影区域ABCD的下方两侧。
图18示出了示例性方法200的另一备选实施例。转向图18，等式(8)的两个投影角度β1和β2可以经过推导确定。在图18中，O表示图6的成像装置580的镜头589的光学中心。假设与镜头589相关联的传感器(未示出)被表示为ABCD，测量值为W x H，其中W表示传感器的宽度，而H表示传感器的高度。可以存在以下关系：AD＝BC＝W且AB＝DC＝H.
在图18中，FOVhor/2表示成像装置580可以捕获的“水平FOV的一半”179；FOVver/2表示成像装置580可以捕获的“垂直FOV的一半”178。E、F和G分别表示区域ABCD的边的中点。f表示成像装置580的镜头589的焦距。传感器的FOV具有第一水平方向(宽度方向)基线
Figure GDA0002286463530000331
177和第二水平方向(宽度方向)基线
Figure GDA0002286463530000332
176。
根据成像装置580的投影模型，以直线镜头为例，可以存在以下关系：
Figure GDA0002286463530000333
可以通过以下关系将图像的点的物理坐标(xi,yi)转换为统一的三维坐标：
Figure GDA0002286463530000334
当成像装置580以航向、俯仰和/或横滚方向旋转时，可以计算三维坐标的转换或旋转矩阵。航向、俯仰和横滚的顺序可以取决于承载成像装置580的装置(诸如云台)的具体机械配置。这种顺序可以是航向-俯仰-横滚、俯仰-航向-横滚、航向-横滚-俯仰等，该顺序可以导致各种旋转矩阵。在一些实施例中，例如，序列顺序可以被设置为航向-横滚-俯仰。在这种情况下，可以使用以下旋转矩阵来计算三维坐标的旋转矩阵：
Figure GDA0002286463530000341
在其他实施例中，序列顺序可以不是航向-横滚-俯仰，因此旋转矩阵可以是不同的。
利用旋转矩阵，可以将转换后的三维坐标(x′w,y′w，z′w)计算如下：
Figure GDA0002286463530000342
图19示出了针对示例性方法200的备选实施例。转到图19，具有球坐标的点被转换成三维坐标。在图19中，点188可以具有球坐标(r,θ,γ)。从球坐标到三维坐标的转换可以如下所示：
Figure GDA0002286463530000343
基于等式(8)，可以存在以下关系：
Figure GDA0002286463530000344
此外，根据等式(7)，可以通过下面的关系式计算β1和β2：
Figure GDA0002286463530000351
返回参考图18，在备选实施例中，当传感器的W:H比率为4:3时，水平FOVhor 179为84°，垂直FOVver 178为66°，且向上俯仰角为45°，可以将β1和β2如下计算：
Figure GDA0002286463530000352
然后，可以计算在四十五度的向上俯仰角下的理论图像数量：
Figure GDA0002286463530000353
为了确保任何垂直相邻图像的高度的四分之一的预定重叠区域，针对向下俯仰角的图像行数量可以被计算为：
Figure GDA0002286463530000354
当成像装置580处于向下俯仰角时，即，当俯仰角小于零度时，覆盖图像行所需的图像的数量可以是M2i(∈(1,N2))。根据对称性原理，可以在每个图像顶部处确保预定重叠区域。预定重叠区域可以是任何两个水平相邻图像的上部的宽度的四分之一。当成像装置580的俯仰角处于-的俯仰角下时，覆盖全纬度圈(完整的水平旋转)所需的图像的数量可以与在成像装置580处于的俯仰角下时的图像的数量相同。
现在返回参考图9，当成像装置580以第一俯仰角(零度的俯仰角或沿水平方向)定向时，可能需要预定数量M0的图像来覆盖完整的水平旋转。为了捕获图像，成像装置580可以在以下航向位置处依次捕获图像：0度、360/M0度、2x360/M0度、3x360/M0度、…(M0-1)*360/M0度。
现在返回参考图8，为了以
Figure GDA0002286463530000355
的向上俯仰角覆盖完整旋转，可能需要在第一俯仰角位置处的图像的数量的附加图像，以确保在水平方向上有足够的重叠区域。在一些实施例中，可能需要比在第一俯仰位置处的图像的数量多两个图像，即，可能在俯仰角-90/N1下需要M0+2个图像。
当N1>1时，可以存在多个向上俯仰角，例如，
Figure GDA0002286463530000361
...和
Figure GDA0002286463530000362
度的俯仰角。还可能需要第一俯仰位置处的图像的数量的附加图像，以确保在水平方向上有足够的重叠区域。
为了以-90/N1的向下俯仰角覆盖完整旋转，可能需要在第一俯仰角位置处的图像的数量的附加图像，以确保在水平方向上有足够的重叠区域。在一些实施例中，可能需要比在第一俯仰位置处的图像的数量多两个图像，即，可能在俯仰角-90/N1下需要M0+2个图像。
当N2>2时，可以存在多个向上俯仰角，例如，
Figure GDA0002286463530000363
...和
Figure GDA0002286463530000364
度的俯仰角。还可能需要在第一俯仰位置处的图像的数量的附加图像，以确保在水平方向上有足够的重叠区域。
尽管出于说明的目的示出和描述为在两个相邻图像之间恒定地间隔开，但是只要在相邻图像之间可以确保充足的重叠区域，两个相邻图像之间的间隔可以是均匀的和/或变化的。
备选地和/或附加地，可能需要锚图像来覆盖全景图像的底部或顶部。在锚图像覆盖底部的情况下，成像装置580可以以负九十度的俯仰角捕获锚图像，即，将成像装置580直接指向地面。
下表1示出了示例性方法200的实际实施例。在表(1)中，列出了四个图像行和每行中的相应图像的数量。
Figure GDA0002286463530000365
表格(1)
如表1中所列，图6的成像装置580的FOV可以被推定为具有水平FOV角θhor＝84°和垂直FOV角θver＝66°。最大向上俯仰角可以推定为
Figure GDA0002286463530000371
根据在此示出和描述的方法，分别可以在以下俯仰角处确定四个图像行：0°、30°、-45°和-90°。在四个俯仰角中，0°是指水平方向的第一俯仰位置，30°是指在第一俯仰位置上方的俯仰角(向上俯仰角)，而-45°和-90°是指在第一俯仰位置下方的俯仰角(向下俯仰角)。为了增强所得的全景图像的拼接效果，可以应用比理论上推导的图像的数量更多的图像以提供某些重叠留边。
如表1中所列，M0可以是六，即，可以使用六个图像来覆盖在第一俯仰位置处的全纬度圈(完整的水平旋转)。可以用任何两个相邻的图像之间的恒定角度间隔捕获图像。角度间隔可以是六十度，导致航向位置在：0度、60度、120度、180度、240度和300度。
可以将在三十度的向上俯仰角的图像的数量确定为八。类似地，可以在三十度的向上俯仰角下沿着完整旋转来均匀分布图像。任意相邻图像之间的角度间隔可以是四十五度，导致航向位置在：0度、45度、90度、135度、180度、225度、270度和315度。
在负四十五度的向下俯仰角下的图像的数量可以是八。类似地，可以在负四十五度的向上俯仰角下沿着完整旋转来均匀分布图像。任意相邻图像之间的角度间隔可以是四十五度，导致航向位置在：0度、45度、90度、135度、180度、225度、270度和315度。
可以在负九十度的向下俯仰角下提供一个锚图像，即，成像装置580直接瞄准地面。尽管仅出于说明的目的示出和描述为负九十度，但锚图像可以定位在任何其他合适的位置，例如全景图像的顶部位置。
图20示出了用于实现图1的方法100的示例性成像系统300的实施例。转向图20，成像装置580耦接到与移动平台500耦接的云台560。移动平台500可以是任何常规类型的移动平台，诸如，如图20所示的可以具有四个螺旋桨550以提供提升力的无人机(“UAV”)。
移动平台500可以具有机身520，其可以容纳用于执行本文所示和所述的方法的控制器(未示出)。机身520可以容纳能够与控制器相关联的一个或多个非暂时性计算机可读存储介质(未示出)。存储介质可以针对实现在此示出和描述的方法的指令提供存储设备以形成计算机程序产品。
云台560可以是三维云台，其可以使成像装置580在水平面内旋转，诸如旋转551。云台560的旋转可以将成像装置580定向成各种航向角。虽然仅出于说明的目的示出为以逆时针方向旋转551，但是云台560可以以顺时针方向旋转以使成像装置580定位在任何预定的航向角。
备选地和/或附加地，云台560可以在两个方向552、553中的至少一个方向上围绕水平轴线555旋转。优选地，云台560可以在两个方向552、553二者上围绕水平轴线555旋转，以向成像装置580提供各种俯仰位置(或俯仰角)。云台560可以在每个俯仰位置处进行完整的水平旋转。当成像装置580水平定向时，成像装置580的俯仰位置可以被称为第一俯仰位置(或者零度的俯仰角)。当成像装置580定向在第一俯仰位置上方时，成像装置580的俯仰位置可以被称为处于向上俯仰位置(或正俯仰角)处。当成像装置580定向在第一俯仰位置下方时，成像装置580的俯仰位置可以被称为处于向下俯仰位置(或负俯仰角)处。
在一些实施例中，云台560可以是可增稳的云台以向成像装置580提供当捕获图像时减轻振动的能力。在一些实施例中，惯性测量单元(“IMU”)(未示出)可以布置在机身520的内部或外部以获取实时姿态信息。备选地和/或附加地，可以在机身520的内部或外部布置任何其他装置和/或设备。为了说明的目的，可以提供陀螺仪、加速度计、全球定位系统(“GPS”)和/或磁力计(未示出)以获取实时姿态信息。
图21示出了用于自动捕获全景图像的图像的示例性方法500的实施例。转向图21，获取并自动执行用于捕获全景图像的图像的成像方案。在图21中，在220处，可以获取设计用于捕获全景图像的图像的成像方案。该成像方案可以包括例如用于形成全景图像的图像的数量，每个图像对应于俯仰角和/或航向角(或姿态状态)。该成像方案可以进一步包括捕获图像的顺序。
该成像方案可以有利地包括多个图像以形成全景图像。在250处，可以根据成像方案自动捕获多个图像。可以根据用于以由成像方案定义的预定顺序逐个捕获多个图像的成像方案来调整成像装置580(图20中所示)的姿态状态。为了调整成像装置580的姿势状态，可以协调与成像装置580耦接的云台560和与成像装置580和/或云台560耦接的移动平台500，以提供成像装置580的姿态状态。
虽然仅出于说明的目的示出和描述为以由成像方案限定的预定顺序捕获多个图像，但是成像方案可以被重新排序以适应成像装置580的要求。
图22示出了示例性方法500的备选实施例。转向图22，通过确定锚图像和其他图像行来获取图1的成像方案。在图22中，在221，可以将锚图像定位在全景图像的顶部或全景图像的底部。成像方案可以定义锚图像的位置，或可以当执行成像方案时决定位置。
在223处，可以确定成像方案的一个或多个其他图像行。其他图像行可以包括例如沿着俯仰水平方向的图像行、在俯仰水平方向上方的一个或多个图像行和/或在俯仰水平方向下方的一个或多个图像行。可以获取成像方案以确定行的数量和其相应的俯仰角以及每一行中的图像的数量和其相应的航向角。
图23示出了示例性方法500的备选实施例。转到图23，移动平台500被导航，并且根据成像方案自动捕获多个图像。在图23中，在261处，可以将与成像装置580耦接的移动平台500导航到期望的成像位置和/或期望的高度。在一些实施例中，期望的成像位置和/或期望的高度可以由成像方案来定义，并且移动平台500可以被自动地导航到期望的成像位置和/或期望的高度。在一些其他实施例中，移动平台500可以被手动导航到期望的成像位置和/或期望的高度。
在262处，成像装置580可以被配置为设置某些可配置参数以便于捕获图像。可以基于环境条件来设置可配置参数，所述环境条件包括但不限于地理特征、光线、光线的方向、时间、颜色和/或操作者的期望效果。可配置参数可以包括但不限于输出格式和/或曝光设置，诸如光圈、快门速度等。可以自动配置或从远程位置手动配置可配置参数。备选地或附加地，可以以任何顺序、任何组合、单独地和/或可选地执行步骤261、262。
在263处，可以发出用于全景成像的命令。该命令可以被发送到能够控制移动平台500、云台560和/或成像装置580的某些控制机构(未示出)。在一些实施例中，可以远程发出全景成像命令以启动全景成像过程。在一些其他实施例中，当设置可配置参数并且移动平台500导航到期望位置和期望高度时，可以由控制机构自动发出所述命令。
在250处，成像装置580可以根据成像方案开始自动捕获多个图像。在265处，成像装置580可以根据成像方案被定向成图像的姿态。图像可以是例如锚图像或任何其他图像。通过改变俯仰角和/或航向角，可以将成像装置580指向期望的姿态。可以通过操作云台560和/或移动平台500来改变成像装置580的俯仰角和/或航向角。
当被定向到期望姿态时，在266处，成像装置580可以以任何适当格式自动捕获图像。当成像装置580正捕获图像时，在267处，还可以获取实时姿态信息。在一些实施例中，实时姿态信息可以经由IMU来捕获。在其他实施例中，实时姿态信息可以经由任何其它合适的装置单独地或以任何组合来捕获，所述装置包括但不限于陀螺仪、加速度计、GPS和/或磁力计。尽管仅出于说明的目的示出并描述为在捕获图像时捕获实时姿态信息，但是可以在捕获图像之前或之后捕获实时姿态信息。
所捕获的图像和所获取的姿态信息可以被存储到存储设备(未示出)中。存储设备可以是任何类型的合适存储装置，包括但不限于安全数字卡(“SD”)、嵌入式多媒体卡(“eMMC”)、固态驱动器(“SSD”)、USB盘或任何其他类型的移动盘等。存储设备可以附接到成像装置580或可以与成像装置580通信关联。存储设备可以保存所捕获的图像和/或所获取的姿态信息，直到所捕获的图像和/或所获取的姿态信息被传输用于诸如拼接处理的其他处理为止。
可选地，在269处，可以将所捕获的图像和相应的姿态信息从存储设备发送或传送到地面站(未示出)。地面站可以是具有处理图像能力的装置，诸如拼接图像以形成全景图像。可以通过任何通信连接将图像和相应的姿态信息传送到地面站，包括但不限于有线连接、无线连接和/或网络连接。所述传送可以根据任何合适的传输协议进行。
尽管仅出于说明的目的示出和描述为在存储之后立即发送所捕获的图像和姿态信息，但是可以以任何预定顺序发送图像和姿态信息。在一些实施例中，当成像装置580不捕获图像时，可以在成像装置580的帮助下发送所捕获的图像和姿态信息。因此，可以随时将所捕获的图像发送到地面站，并且优选地以图像被捕获的顺序将其发送到地面站。
当所捕获的图像和姿态信息被存储到存储设备中时，在265处，可以根据成像方案将成像装置580定位到其余图像之一的姿态信息，而无论所捕获的图像和姿态信息是否被发送到地面站。可以在266处捕获另一图像，并且可以在267处获取相应的姿态信息。可以在268处将所捕获的图像和姿态信息存储到存储设备中，以在269处将其发送到地面站。该过程可以继续，直到捕获了成像方案中定义的所有图像为止。
在250处，捕获过程可以涉及其他可选步骤。这些步骤可以包括但不限于调整成像装置580的配置和/或降低分辨率。
图24示出了示例性方法500的备选实施例。转到图24，通过流程图示出根据成像方案的自动图像捕获过程。在图24中，在271处，可以根据成像方案，将成像装置580指向针对锚图像的预选俯仰角。锚图像的预选俯仰角可以在全景图像的顶部或底部。可以通过操作与成像装置580耦接的云台560(如图20所示)来将成像装置580指向所选的俯仰角。
如图24所示，可以在272处捕获锚图像。可以以合适的传统方式捕获该图像。所捕获的图像可以被存储到存储设备(未示出)中以用于传送到用于拼接的位置。
当捕获锚图像时，在275处，可以检查成像方案以确定是否还有留下需要处理的图像行。当存在至少一个图像行可用时，在273处，可以通过指向与所选图像行相对应的俯仰角来将成像装置580移动到另一所选图像行。
在273处，成像装置580可以指向所选的俯仰角，例如，俯仰水平方向。在280处，可以获取处于预选俯仰角的图像行的图像。为了捕获图像行的图像，在281处，可以将成像装置580指向在水平方向上针对预选的俯仰角定义的每个航向角。在282处，成像装置580可以在每个航向角下捕获图像。当捕获每个图像时，所述图像可以被存储在存储设备中和/或被传送到用于拼接的位置。
类似地，当捕获预选俯仰角的图像时，在275处，可以检查成像方案以确定是否还有留下需要处理的图像行(即，是否完成每个图像行)。当存在至少一个图像行可用时，可以将成像装置580移动到另一所选图像行。在280处，可以捕获处于所选俯仰角的图像行的图像。成像装置580可以在281处被依次指向水平方向上针对所选的俯仰角定义的每个航向角，并且在282处捕获每个航向角的图像。当捕获每个图像时，所述图像可以被存储在存储设备中和/或被传送到用于拼接的位置。可以重复执行步骤275、273、281和282，直到捕获了成像方案中定义的图像为止。
尽管出于说明的目的示出和描述为捕获每个航向角的图像，但是可以在以参照图23所示和描述的类似方式捕获图像时、在此之前或在此之后，获取实时姿态信息。实时姿态信息可以被存储到与每个捕获图像对应的存储设备中。当每个图像被存储到存储设备中时，所述图像可以在任何时间和/或以任何合适方式被传送到地面站以进行进一步处理。
图25示出了用于拼接图像以形成全景图像的示例性方法600的实施例。转向图25，接收图像和相应的姿态信息并将其拼接为合成图像。在图25中，可以在520处接收图像以及针对该图像的相应姿态信息。该图像可以是为了形成全景图像而捕获的场景的图像。姿态信息可以包括在捕获所述图像时、在此之前或在此之后获取的实时姿态信息。姿态信息可以指示图像应布置在全景图像中的哪个位置。
在550处，所接收的图像可以被拼接到合成图像上。合成图像可以是场景的全景图像。合成图像可以是正在构建的全景图像。在一些实施例中，合成图像可以例如以锚图像开始，以增量地构建全景图像。
可以基于每个所接收的图像的相应姿态信息来执行拼接过程。可以以增量方式自动执行拼接过程。姿态信息可以为对准所接收的图像和限制微调范围提供基础，使得可以减小计算量。
图26示出了示例性方法600的备选实施例。转到图26，可以通过转换、对齐、微调和融合所接收的图像来将所接收的图像拼接到合成图像。在图26中，在560处，可以将所接收的图像转换成等矩形投影。等矩形投影(或等距圆柱投影或地理投影)可以是将子午线映射为恒定间距的垂直直线和将纬度圈形映射到恒定间距的水平直线的投影。所接收的图像可以通过任何合适的常规方式转换成等矩形投影。
在570处，可以基于能够连同图像接收的姿态信息来相对于合成图像对准所接收的图像。姿态信息可以反映所接收的图像相对于合成图像应被定位的位置。
基于姿态信息的位置可能缺少所需的准确度，这是因为例如姿态信息可能与用于获取姿态信息的测量装置存在偏差。在一些实施例中，在580处，可以相对于合成图像微调所接收的图像，以获得令人满意的匹配。所述微调可以取决于姿态信息的测量偏差的可用参数，诸如，俯仰偏差、航向偏差和/或横滚偏差。可以通过将所接收的图像的一部分与合成图像的一部分进行匹配，来微调所接收的图像。可以通过匹配所接收的图像和合成图像上的共同特征点来获取这种匹配。由于所接收的图像可以基于姿态信息近似定位，所以匹配的范围可以受到例如偏差的限制。
当确定相对位置时，在590处，可以将所接收的图像融合到合成图像，以进一步获得全景图像。可以通过能够导致平滑的混合结果的任何传统方法来将所接收的图像融合到合成图像。在一些实施例中，可以使用混合算法将所接收的图像融合到合成图像，以减少重叠区域处的伪影。这种混合算法可以包括例如拉普拉斯金字塔混合算法。
其他合适的混合算法可以应用于将所接收的图像融合到合成图像，包括但不限于任何金字塔混合、羽化或中心称量图像混合算法等。
由于当对准和微调所接收的图像时可以将所接收的图像拼接到合成图像，所以可以以增量的方式构建或拼接全景图像。然而，尽管显示和描述为增量地拼接所接收的图像，但是可以在接收并微调至少一部分图像之后对图像进行全局优化。可以在有限的范围内执行全局优化，以用另一层微调完成全景图像。
图27示出了示例性方法600的另一实施例。转向图27，通过两次变换将所接收的图像转换成等矩形投影。在图27中，在561处，可以确定所接收的图像的投影。在一些实施例中，可以经由直线镜头来获取所接收的图像。在这种情况下，所接收的图像可以包括直线投影。在一些其他实施例中，可以用鱼眼镜头(例如圆形鱼眼镜头)来获取所接收的图像。在这种情况下，所接收的图像可以包括鱼眼投影。可以通过用于拼接的配置或通过与图像一起传送的参数来确定用于获取所接收的图像的镜头的类型。
当被确定为由直线镜头获取时，在562处，可以将所接收的图像从直线投影转换成球面投影。球面投影可以是将球投影到平面上的投影，包括但不限于正射投影、球心投影，立体投影和等面积投影。可以以任何传统的方式进行从直线投影到球面投影的转换。球面投影的球面半径可以等于用于捕获所接收的图像的直线镜头的焦距。
当被确定为由鱼眼镜头获取时，在563处，可以将所接收的图像从鱼眼投影转换成球面投影。可以以任何传统的方式进行从鱼眼投影到球面投影的转换。球面投影的球面半径可以等于用于捕获所接收的图像的鱼眼镜头的焦距。
在565处，球面投影中的所接收的图像可以从球面投影转换为等矩形投影。可以以任何适合的传统方式进行从球面投影到等矩形投影的转换。
尽管仅出于说明的目的示出和描述为使用直线镜头或鱼眼镜头捕获所接收的图像，但是可以使用其他合适类型的镜头来捕获所接收的图像。尽管出于说明的目的显示和描述为通过球面投影转换成等矩形投影，但是可以以直接方式或通过任何其它合适的投影将所接收的图像转换为等矩形投影。
图28示出了示例性方法600的另一实施例。转到图28，基于图25的姿态信息575，相对于合成图像对准所接收的图像。在图28中，姿态信息575可以包括俯仰角571、航向角572和/或横滚角573。由于姿态信息575可以反映用于捕获所接收的图像的成像装置580(图20所示)的姿势状态，所以可以使用俯仰角571、航向角和/或横滚角573来决定所接收的图像的图像位置585。
所接收的图像的图像位置585可以是相对于合成图像的位置。在一些实施例中，可以在合成平面上构建合成图像。形成合成图像的每个图像可以具有对应的姿态信息，包括俯仰角、航向角和/或横滚角。因此，所接收的图像可以基于姿态信息与形成合成图像的图像对准。
尽管出于说明的目的示出和描述为包括俯仰角571、航向角572和横滚角573，但是姿态信息可以包括其他信息，诸如成像装置580的镜头类型和高度等。
图29示出了示例性方法600的备选实施例。转到图29，可以通过确定搜索范围、匹配重叠区域、匹配成本和确定最优组合来微调所接收的图像。在图29中，在581处，可以在俯仰方向、航向方向和/或横滚方向上确定搜索范围。可以基于三个方向中的每一个的偏差来确定每个搜索范围。
在582处，通过所确定的搜索范围可以匹配所接收的图像和合成图像之间的至少一个重叠区域。重叠区域可以指的是当所接收的图像被定位时所接收的图像和合成图像二者上的公共区域。对于一个所接收的图像，有可能在所接收的图像和合成图像之间不存在重叠区域，例如对于锚图像或不是锚图像的第一图像。当不存在重叠区域时，不需要微调。然而，当所接收的图像与合成图像重叠时，可以在水平方向和/或垂直方向上存在一个或多个重叠区域。在这种情况下，可以微调至少一个重叠区域，以便精确定位所接收的图像。
可以使用重叠区域的微调来找到重叠区域的匹配像素。由于可以基于姿态信息定位所接收的图像，所以微调可以限制在搜索范围内，这样可以大大减少计算量。
通过针对搜索范围的每个组合计算出的匹配成本，可以发现所接收的图像和合成图像匹配。匹配成本可以是指针对俯仰角、航向角和横滚角的某个组合的像素值差的累积。可以在583处确定每个组合的匹配成本。
在585处，可以确定俯仰角、航向角和横滚角的最优组合。通过比较每个组合的匹配成本可以确定最优组合。在一些实施例中，最优组合可以是具有最小匹配成本的组合。在其他实施例中，当匹配成本小于预定阈值成本值时，可以选择最优组合。
虽然仅出于说明的目的示出和描述为使用匹配成本来确定最优组合，但是可以使用其他计算值来确定最优组合。
图30示出了示例性方法600的备选实施例。转到图30，分别基于偏差595确定搜索范围599。在图30中，偏差595可以包括俯仰偏差591、航向偏差592和/或横滚偏差593。偏差595可以是由成像装置580、与成像装置580耦接的云台560和/或与成像装置580和/或云台560耦接的移动平台500(整体示出在图20中)的多种因素引起的。
例如，俯仰偏差591可以是成像装置580的俯仰方向上的偏差。引起俯仰偏差591的各种因素可以包括但不限于俯仰方向上的控制误差、延迟误差和振动幅度。俯仰偏差591可以是成像装置580、云台560和移动装置500的组合的已知因素。
航向偏差592可以是成像装置580在航向方向上的偏差。引起航向偏差592的各种因素可以包括但不限于航向方向上的控制误差、延迟误差和振动幅度。航向偏差591可以是成像装置580、云台560和移动装置500的组合的已知因素。类似地，横滚偏差592可以是成像装置580在横滚方向上的偏差。引起横滚偏差592的各种因素可以包括但不限于横滚方向上的控制误差、延迟误差和振动幅度。横滚偏差591可以是成像装置580、云台560和移动装置500的组合的已知因素。
可以基于偏差595来决定搜索范围599。例如，可以基于俯仰偏差591来决定俯仰方向上的搜索范围596。类似地，可以基于航向偏差592来决定航向方向上的搜索范围597，并且可以基于横滚偏差593来决定横滚方向上的搜索范围598。
搜索范围599中的每一个可以包括步长δ和步数n。如图30所示，当捕获所接收的图像时，俯仰偏差591、航向偏差592和/或横滚偏差593可以存在于姿态信息中。在一些实施例中，为了简化确定过程，可以将步长δ决定为公共步长。仅出于说明的目的，针对俯仰方向、航向方向和横滚方向的步数可以是n。假定所接收的图像具有俯仰角αi、航向角βi和横滚角γi，搜索范围可以是：俯仰方向上，αi±nδ；航向方向上，βi±nδ；以及γi±nδ。然后，可以总共有(2n+1)3个搜索组合。
在一些实施例中，俯仰偏差591、航向偏差592和/或横滚偏差593可以是不同的，这可以导致不同的搜索范围599。图31示出了示例性方法600的备选实施例，其中图30的搜索范围599是不同的。在图31中，俯仰方向的搜索范围596、航向方向的搜索范围597和横滚方向的搜索范围598可以是不同的。
假设步长可以决定为δ。为了反映偏差591、592和593之间的差异，三个方向上的步数可以是不同的。假设np、ny和nr分别是俯仰方向、航向方向和横滚方向的步数，对于所接收的图像，搜索范围可以是：俯仰方向上，αi±npδ；航向方向上，βi±nyδ；以及γi±nrδ。可以确定总共(2np+1)(2ny+1)(2nr+1)个搜索组合601。
尽管出于说明的目的示出并描述为将公共的δ作为用于确定搜索范围的步长δ，但是可以分别应用不同步长来确定俯仰、航向和横滚方向上的搜索范围。
在一些实施例中，可以确定针对在航向方向、俯仰方向和横滚方向中的每一方向上的搜索步骤和步骤数量的每个组合601的匹配成本。可以通过绝对差和(“SAD”)度量或归一化互相关(“NCC”)度量来计算匹配成本。
在图31中，可以基于每个组合601的匹配成本来确定最优组合602。通过比较每个组合601的匹配成本可以确定最优组合602。在一些实施例中，最优组合602可以是具有最小匹配成本的组合。在其他实施例中，当匹配成本小于预定阈值成本值时，可以选择最优组合602。
虽然仅出于说明的目的示出和描述为使用匹配成本来确定最优组合，但是可以使用其他计算值来确定最优组合。
图32示出了示例性方法600的备选实施例。转向图32，锚图像被初始化并且将其他图像进行拼接以形成全景图像。在图32中，可以在522处接收锚图像。可以连同姿态信息(未示出)或没有姿态信息来接收锚图像。当在没有姿态信息的情况下接收到锚图像时，可以将锚图像定位在默认位置，例如全景图像的底部。
在560处，锚图像可以被转换成等矩形投影。锚图像可以以本文所示和所述的方式转换成等矩形投影。基于所接收的姿态信息或默认位置，在591处，可以将等矩形投影中的锚图像初始化在合成图像的适当位置处。由于锚图像是所接收的第一图像，因此不需要针对锚图像进行拼接或合并。在一些实施例中，锚图像可以是合成图像的起始图像。
在588处，可以检查拼接过程是否完成。由于现在只定位锚图像，所以可以有更多的图像用于拼接。在520处，可以接收其他图像和对应的姿态信息。在一些实施例中，除锚图像之外的任何图像可以具有姿态信息，姿态信息可以识别该图像相对于合成图像应对准的位置。姿态信息可以包括俯仰角、航向角和/或横滚角。
在560处，所接收的图像可以以本文所示和所述的方式转换成等矩形投影。接下来，在570处，可以相对于合成图像对准所接收的图像。可以基于所接收的图像的相应姿态信息来对准所接收的图像。
由于姿态信息可能存在偏差等原因，所以基于姿态信息的对准可能不能令人满意。为了解决对准精度的目的，在580处，可以相对于合成图像微调所接收的图像。可以通过匹配所接收的图像和合成图像之间的至少一个重叠中的特征点来执行微调。在一个优选实施例中，可以在水平方向或垂直方向上对所接收的图像和合成图像之间的每个现有重叠区域进行微调，以确保所接收的图像的位置精度。
微调的结果可以是某个搜索范围内的俯仰-航向-横滚角组合中的最优组合，例如，该组合中的最小匹配成本。当获得最优组合时，在590处，可以通过任何合适的混合算法将所接收的图像与合成图像合并。合并的结果可以减少重叠区域处的任何伪影。
在591处，所接收的图像可以形成合成图像。换言之，所接收的图像可以通过合并到合成图像来进一步合成图像。所接收的图像的每次合并可以使合成图像更接近全景图像。由于所接收的图像可以逐个拼接到合成图像上，所以可以增量调用拼接所接收的图像以形成全景图像。因为增量拼接方法可以显着减少计算量，所以增量拼接方法比其他方法(如全局优化方法)更有优势。
在588处，可以再次检查拼接过程是否完成。如果否，则可以在520处接收另一图像，并且在590处将其处理并合并到合成图像。如果是，则拼接过程结束，且合成图像可以成为全景图像。
尽管仅出于说明的目的示出并描述使用增量拼接方法，但是增量拼接的全景图像可以是部分或完全优化的。在这种情况下，由于可以精确定位图像，所以可以限制优化。这种优化可以从全局角度进一步优化所述图像在全景图像内的位置。
图33示出了用于获得全景图像的示例性方法700的实施例。转到图33，可以根据被设计用于获得全景图像的成像方案来捕获多个图像。在图33中，在710处，可以设计用于获得全景图像的成像方案。全景图像可以是球面全景图像。成像方案可以定义能够形成全景图像的图像的数量。
可以基于至少一个成像参数来设计成像方案。成像参数可以包括成像装置580、用于与成像装置580耦接的云台560和/或与成像装置580相关联的移动平台500(整体示出在图20中)的至少一个参数。成像装置580可以用于捕获成像方案中定义的多个图像。云台560和移动平台500可以用于根据成像方案提供成像装置580针对每个图像的俯仰角和/或航向角。
在730处，可以根据成像方案自动捕获多个图像。可以自动地和/或手动地配置成像装置580的一个或多个可配置参数。可配置参数可以包括但不限于输出格式和/或曝光设置，诸如光圈、快门速度等。可以基于环境条件来设置可配置参数，所述环境条件包括但不限于地理特征、光线、光线的方向、时间、颜色和/或操作者的期望效果。当捕获每个图像时，可以根据成像方案将成像装置580定向到期望的姿态。当成像装置580令人满意地定向时，可以捕获图像并可以在捕获图像时获取相应的实时姿态信息。
尽管出于说明的目的示出和描述为自动捕获图像，但是操作员介入可以被引入到成像过程中，诸如配置和/或调整某些成像参数。
所捕获的图像和实时姿态信息可以被存储在存储介质(未示出)中以供稍后拼接。备选地和/或附加地，每个图像可以被传送(或发送)到处理站(未示出)，用于以增量方式或全局方式进行拼接。
图34示出了示例性方法700的备选实施例。转向图34，发送所捕获的图像和对其进行拼接以重新配置图33的至少一个可配置参数。在图34中，在710处，可以设计用于获得全景图像的成像方案。可以基于至少一个成像参数来设计成像方案。在730处，可以根据成像方案自动捕获多个图像。此外，当捕获每个图像时，可以获取实时的姿态信息。所捕获的图像和所获取的实时姿态信息可以被存储在存储介质(未示出)中以供稍后拼接。
备选地和/或附加地，在750处可以将所捕获的图像和所获取的实时姿态信息发送到地面站。可以发送所捕获的图像，以便预览所捕获的图像与至少一部分全景图像的拼接效果。可以以高分辨率的原始分辨率发送所捕获的图像。然而，当通过无线通信连接传输所捕获的图像时，无线通信连接可能成为传输高分辨率图像的瓶颈。备选地和/或附加地，高分辨率图像可以比低分辨率图像占用更多的计算资源。为了便于图像传递和拼接，可以在发送所捕获的图像以进行拼接之前降低所捕获的图像的分辨率。
可以由地面站接收所捕获的图像。在770处，可以将所接收的图像拼接到全景图像。如果所接收的图像是第一图像，则所接收的图像可以被用作锚图像以初始化全景图像。可以预览单独接收的图像的效果。如果所接收的图像不是第一个图像，则可以将所接收的图像拼接到全景图像。可以预览所述图像与全景图像合并的效果。为了预览目的，可以优选地以降低的分辨率拼接所接收的图像。
可以通过相对于全景图像定位所接收的图像并将所接收的图像合并到全景图像来拼接所接收的图像。可以通过基于姿态信息相对于全景图像对准所接收的图像，并且基于俯仰偏差、航向偏差和/或横滚偏差相对于全景图像微调所接收的图像，来定位所接收的图像。所接收的图像可以通过任何合适的混合算法合并到全景图像，以减少合并结果的伪影。
在780处，所接收的图像的效果可以被用作用于重构或调整成像装置580的至少一个可配置参数的基础。可以远程调整可配置参数。在一些实施例中，可以利用调整后的可配置参数重新捕获任何所捕获的图像。在一些实施例中，可以控制预览和重新配置过程，直到获得令人满意的结果为止。在一些备选实施例中，可以预览每个所捕获的图像以保证全景图像的令人满意的结果。
当用令人满意的可配置参数捕获多个图像中的至少一部分时，可以传送所述图像和对其进行拼接以获得全景图像的最终结果。优选地，用于最终结果的图像可以具有自然分辨率以提高全景质量。可以通过存储介质或通过任何合适的通信连接(例如有线或无线连接)传送最终结果的图像。可以通过本文所示和描述的任何方式拼接图像。
尽管仅出于说明目的示出和描述为重新配置成像装置580的可配置参数，但预览结果可以用作改变其他设置的基础，例如，改变成像方案等。在一些实施例中，预览结果可以用于修改成像方案。例如，为了分别在水平方向和/或垂直方向上增加或减少重叠区域，可以在水平方向和/或垂直方向上增加或减少图像的数量。
所述实施例存在各种修改和备选形式，附图中示例性示出了所述实施例的具体示例，且本文将对其进行详细描述。然而，应该理解的是，所描述的实施例不限于所公开的特定形式或方法，与之相反，本公开将覆盖所有修改、等同物和备选方案。

Claims (71)

1.一种用于合成全景图像的方法，包括：
接收图像和成像装置用来捕获所述图像的姿态信息；以及
基于姿态信息将所接收的图像拼接到合成图像；
所述基于姿态信息将所接收的图像拼接到合成图像包括：基于所述姿态信息相对于合成图像对准所接收的图像，其中，所述姿态信息指示所述所接收的图像相对于所述合成图像应被定位的位置。
2.根据权利要求1所述的方法，其中所述接收图像包括接收场景的图像；以及
其中合成图像是在合成表面上构造的场景的全景图像。
3.根据权利要求1或权利要求2所述的方法，其中所述拼接所接收的图像包括将所接收的图像转换为等矩形投影。
4.根据权利要求3所述的方法，其中所述转换所接收的图像包括确定所接收的图像是用直线镜头捕获的。
5.根据权利要求4所述的方法，其中所述转换所接收的图像包括将所接收的图像从直线投影变换成等矩形投影。
6.根据权利要求5所述的方法，其中所述变换所接收的图像包括：
将直线投影变换成球面投影；以及
将球面投影变换成等矩形投影。
7.根据权利要求6所述的方法，其中所述球面投影基于与成像装置的镜头的焦距相等的球面半径。
8.根据权利要求4所述的方法，其中所述转换所接收的图像包括确定所接收的图像是用鱼眼镜头捕获的。
9.根据权利要求8所述的方法，其中所述转换所接收的图像包括将所接收的图像从鱼眼投影变换成等矩形投影。
10.根据权利要求9所述的方法，其中所述变换所接收的图像包括：
将鱼眼投影变换成球面投影；以及
将球面投影变换成等矩形投影。
11.根据权利要求10所述的方法，其中所述球面投影基于与成像装置的镜头的焦距相等的球面半径。
12.根据权利要求1-2、4-11中的任一项所述的方法，还包括：用锚图像开始合成图像。
13.根据权利要求12所述的方法，其中所述开始合成图像包括用针对锚图像的相应姿态信息定位锚图像。
14.根据权利要求12所述的方法，其中所述拼接所接收的图像包括将所接收的图像拼接到合成图像，所述合成图像以锚图像开始，以增量地构建全景图像。
15.根据权利要求14所述的方法，其中所述拼接所接收的图像包括：基于姿态信息，相对于合成图像对准所接收的图像。
16.根据权利要求15所述的方法，其中所述拼接所接收的图像包括相对于合成图像微调所接收的图像。
17.根据权利要求16所述的方法，其中所述微调所接收的图像包括微调所接收的图像与合成图像之间的至少一个重叠区域。
18.根据权利要求17所述的方法，其中所述微调重叠区域包括通过将所接收的图像的一部分和合成图像的一部分进行匹配来形成所接收的图像与合成图像之间的重叠区域。
19.根据权利要求17或权利要求18所述的方法，其中所述微调重叠区域包括确定在航向方向、俯仰方向和/或横滚方向上的搜索范围。
20.根据权利要求19所述的方法，其中所述确定搜索范围包括决定搜索步长。
21.根据权利要求19所述的方法，其中所述确定搜索范围包括针对航向方向、俯仰方向和横滚方向中的每一个决定搜索步骤的数量。
22.根据权利要求21所述的方法，其中所述确定步骤的数量包括分别基于俯仰偏差、航向偏差和横滚偏差上的控制误差、延迟误差和/或振动幅度来确定步骤的数量。
23.根据权利要求22所述的方法，其中所述微调包括针对在俯仰方向、航向方向和横滚方向中的每一方向上的搜索步骤和步骤数量的每个组合确定匹配成本。
24.根据权利要求23所述的方法，其中所述确定匹配成本包括经由绝对差和（“SAD”）测量或归一化互相关（“NCC”）测量来计算匹配成本。
25.根据权利要求23所述的方法，其中所述微调包括确定航向-俯仰-横滚角的最优组合。
26.根据权利要求23-25中的任一项所述的方法，其中所述拼接所接收的图像包括基于航向-俯仰-横滚角的最优组合将所接收的图像融合到合成图像。
27.根据权利要求26所述的方法，其中所述融合所接收的图像包括经由混合算法将所接收的图像融合到合成图像。
28.根据权利要求26所述的方法，其中所述拼接所接收的图像包括对合成图像的重叠区域的至少一部分进行全局优化。
29.根据权利要求2、4-11、13-18、20-25、27-28中的任一项所述的方法，其中所接收的图像是根据球面全景成像方案捕获的。
30.根据权利要求29所述的方法，其中经由混合算法来构建所述合成图像的至少一部分。
31.根据权利要求27或权利要求30所述的方法，其中所述混合算法是拉普拉斯金字塔混合算法。
32.根据权利要求10-11、13-18、20-25、27-28、30中的任一项所述的方法，还包括：降低所接收的图像的分辨率和/或降低全景的分辨率。
33.根据权利要求32所述的方法，其中所述降低所接收的图像的分辨率包括减小所接收的图像的水平方向上的分辨率和/或降低所接收的图像的垂直方向上的分辨率。
34.根据权利要求32所述的方法，其中所述降低球面全景图像的分辨率包括减小合成图像的水平方向上的分辨率和/或降低合成图像的垂直方向上的分辨率。
35.一种计算机可读存储介质，其上存储有用于构建全景图像的指令，所述指令被配置为执行根据权利要求1-34中的任一项所述的方法。
36.一种用于构建全景图像的系统，包括：
接收单元，其操作用于：
接收图像和成像装置用来捕获所述图像的姿态信息；以及
处理单元，其操作用于：
将所接收的图像转换为等矩形投影，
基于姿态信息，相对于合成图像对准所接收的图像，其中，所述姿态信息指示所述所接收的图像相对于所述合成图像应被定位的位置，
相对于合成图像微调所接收的图像，以获取所接收的图像和合成图像之间的至少一个重叠区域，以及
将所接收的图像拼接到合成图像，
其中合成图像是在合成表面上构造的全景图像。
37.一种用于构建全景图像的设备，包括：
一个或多个处理器，单独或共同地被配置为：
接收图像和成像装置用来捕获所述图像的姿态信息；以及
基于姿态信息将所接收的图像拼接到合成图像；
所述基于姿态信息将所接收的图像拼接到合成图像包括：基于所述姿态信息相对于合成图像对准所接收的图像，其中，所述姿态信息指示所述所接收的图像相对于所述合成图像应被定位的位置。
38.根据权利要求37所述的设备，
其中所接收的图像是场景的图像；以及
其中合成图像是在合成表面上构造的场景的全景图像。
39.根据权利要求37或权利要求38所述的设备，其中所述一个或多个处理器被配置为将所接收的图像转换为等矩形投影。
40.根据权利要求39所述的设备，其中所述一个或多个处理器被配置为确定所接收的图像是用直线镜头捕获的。
41.根据权利要求40所述的设备，其中所述一个或多个处理器被配置为将所接收的图像从直线投影变换成等矩形投影。
42.根据权利要求41所述的设备，其中所述一个或多个处理器被配置为将直线投影变换成球面投影并将球面投影变换成等矩形投影。
43.根据权利要求42所述的设备，其中所述球面投影基于与成像装置的镜头的焦距相等的球面半径。
44.根据权利要求43所述的设备，其中所述一个或多个处理器被配置为确定所接收的图像是用鱼眼镜头捕获的。
45.根据权利要求44所述的设备，其中所述一个或多个处理器被配置为将所接收的图像从鱼眼投影变换成等矩形投影。
46.根据权利要求45所述的设备，其中所述一个或多个处理器被配置为将鱼眼投影变换成球面投影并将球面投影变换成等矩形投影。
47.根据权利要求46所述的设备，其中所述球面投影基于与成像装置的镜头的焦距相等的球面半径。
48.根据权利要求37-38、40-47中的任一项所述的设备，其中所述一个或多个处理器被配置为用锚图像开始合成图像。
49.根据权利要求48所述的设备，其中用针对锚图像的相应姿态信息将所述锚图像定位在合成图像处。
50.根据权利要求48所述的设备，其中所述一个或多个处理器被配置为将所接收的图像拼接到合成图像，所述合成图像以锚图像开始，以增量地构建全景图像。
51.根据权利要求50所述的设备，其中所述一个或多个处理器被配置为：基于姿态信息，相对于合成图像对准所接收的图像。
52.根据权利要求51所述的设备，其中所述一个或多个处理器被配置为相对于合成图像微调所接收的图像。
53.根据权利要求52所述的设备，其中所述一个或多个处理器被配置为微调所接收的图像与合成图像之间的至少一个重叠区域。
54.根据权利要求53所述的设备，其中所述一个或多个处理器被配置为通过将所接收的图像的一部分和合成图像的一部分进行匹配来获取所接收的图像与合成图像之间的重叠区域。
55.根据权利要求53或权利要求54所述的设备，其中所述一个或多个处理器被配置为确定在航向方向、俯仰方向和/或横滚方向上的搜索范围。
56.根据权利要求55所述的设备，其中所述搜索范围包括在航向方向、俯仰方向和/或横滚方向上的搜索步长。
57.根据权利要求55所述的设备，其中所述搜索范围包括针对航向方向、俯仰方向和横滚方向中的每一个的搜索步骤的数量。
58.根据权利要求57所述的设备，其中所述一个或多个处理器被配置为分别基于俯仰偏差、航向偏差和横滚偏差上的控制误差、延迟误差和/或振动幅度来确定步骤的数量。
59.根据权利要求58所述的设备，其中所述一个或多个处理器被配置为针对在俯仰方向、航向方向和横滚方向中的每一方向上的搜索步骤和步骤数量的每个组合确定匹配成本。
60.根据权利要求59所述的设备，其中经由绝对差和（“SAD”）测量或归一化互相关（“NCC”）测量来计算匹配成本。
61.根据权利要求59所述的设备，其中所述一个或多个处理器被配置为确定航向-俯仰-横滚角的最优组合。
62.根据权利要求59-61中的任一项所述的设备，其中所述一个或多个处理器被配置为基于航向-俯仰-横滚角的最优组合将所接收的图像融合到合成图像。
63.根据权利要求62所述的设备，其中所述一个或多个处理器被配置为经由混合算法将所接收的图像融合到合成图像。
64.根据权利要求62所述的设备，其中所述一个或多个处理器被配置为对合成图像的重叠区域的至少一部分进行全局优化。
65.根据权利要求52-54、56-61、63-64中的任一项所述的设备，其中所述设备布置在移动平台上或地面站中。
66.根据权利要求52-54、56-61、63-64中的任一项所述的设备，其中所接收的图像是根据球面全景成像方案捕获的。
67.根据权利要求66所述的设备，其中所述一个或多个处理器被配置为经由混合算法混合合成图像以基于合成图像的至少一部分形成球面全景图像。
68.根据权利要求63或权利要求67所述的设备，其中所述混合算法是拉普拉斯金字塔混合算法。
69.根据权利要求44-47、49-54、56-61、63-64、67中的任一项所述的设备，其中所述一个或多个处理器被配置为降低所接收的图像的分辨率和/或合成图像的分辨率。
70.根据权利要求69所述的设备，其中所述一个或多个处理器被配置为减小所接收的图像的水平方向上的分辨率和/或所接收的图像的垂直方向上的分辨率。
71.根据权利要求69所述的设备，其中所述一个或多个处理器被配置为减小合成图像的水平方向上的分辨率和/或合成图像的垂直方向上的分辨率。
CN201910857570.5A 2016-04-28 2016-04-28 用于获得球面全景图像的系统和方法 Expired - Fee Related CN110647005B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910857570.5A CN110647005B (zh) 2016-04-28 2016-04-28 用于获得球面全景图像的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910857570.5A CN110647005B (zh) 2016-04-28 2016-04-28 用于获得球面全景图像的系统和方法
PCT/CN2016/080559 WO2017185309A1 (en) 2016-04-28 2016-04-28 System and method for obtaining spherical panorama image
CN201680084994.7A CN109362234B (zh) 2016-04-28 2016-04-28 用于获得球面全景图像的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680084994.7A Division CN109362234B (zh) 2016-04-28 2016-04-28 用于获得球面全景图像的系统和方法

Publications (2)

Publication Number Publication Date
CN110647005A CN110647005A (zh) 2020-01-03
CN110647005B true CN110647005B (zh) 2022-03-04

Family

ID=60160512

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201910862292.2A Pending CN110460779A (zh) 2016-04-28 2016-04-28 用于获得球面全景图像的系统和方法
CN201910857570.5A Expired - Fee Related CN110647005B (zh) 2016-04-28 2016-04-28 用于获得球面全景图像的系统和方法
CN201680084994.7A Expired - Fee Related CN109362234B (zh) 2016-04-28 2016-04-28 用于获得球面全景图像的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910862292.2A Pending CN110460779A (zh) 2016-04-28 2016-04-28 用于获得球面全景图像的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201680084994.7A Expired - Fee Related CN109362234B (zh) 2016-04-28 2016-04-28 用于获得球面全景图像的系统和方法

Country Status (4)

Country Link
US (2) US10805532B2 (zh)
EP (1) EP3443416A4 (zh)
CN (3) CN110460779A (zh)
WO (1) WO2017185309A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10848668B2 (en) 2016-05-19 2020-11-24 Avago Technologies International Sales Pte. Limited 360 degree video recording and playback with object tracking
US10681326B2 (en) * 2016-05-19 2020-06-09 AVAGO TECHNOLOGlES INTERNATIONAL SALES PTE. LIMITED 360 degree video system with coordinate compression
US11019257B2 (en) 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback
US9961261B2 (en) * 2016-06-20 2018-05-01 Gopro, Inc. Image alignment using a virtual gyroscope model
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US20190182462A1 (en) * 2017-12-08 2019-06-13 Gopro, Inc. Methods and apparatus for projection conversion decoding for applications eco-systems
WO2020012072A1 (en) * 2018-07-11 2020-01-16 Nokia Technologies Oy Method and apparatus for virtual reality content stitching control with network based media processing
CN110083174B (zh) * 2019-04-12 2022-09-09 上海歌尔泰克机器人有限公司 无人机控制方法、装置及系统
JP6880380B2 (ja) * 2019-11-01 2021-06-02 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像処理装置、画像処理方法、及びプログラム
TWI769782B (zh) * 2021-04-13 2022-07-01 中華電信股份有限公司 用於影像縫合優化之方法及電腦可讀儲存媒介
CN113438416B (zh) * 2021-06-21 2022-12-09 北京小米移动软件有限公司 图像数量获取方法和装置、电子设备、存储介质
CN114615410B (zh) * 2022-03-09 2023-05-02 张磊 一种自然灾害全景头盔及其影像的拍摄姿态确定方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4046973B2 (ja) * 2001-10-31 2008-02-13 キヤノン株式会社 情報処理方法および画像混合装置
US7436438B2 (en) * 2004-03-16 2008-10-14 Creative Technology Ltd. Digital still camera and method of forming a panoramic image
WO2006004043A1 (ja) * 2004-07-07 2006-01-12 Nec Corporation 広視野画像入力方法及び装置
US20100245571A1 (en) * 2006-04-24 2010-09-30 Northrop Grumman Corporation Global hawk image mosaic
CN101226058B (zh) * 2008-01-31 2010-10-06 航天东方红卫星有限公司 一种卫星侧摆机动图像实时传输的实现方法
US8350892B2 (en) * 2008-05-20 2013-01-08 Sony Corporation Image pickup apparatus, image pickup method, playback control apparatus, playback control method, and program
CN101370127A (zh) * 2008-10-14 2009-02-18 北京中星微电子有限公司 一种校准云台偏差的方法、装置和视频监控系统
CN101782713B (zh) * 2009-01-21 2014-12-10 北京华旗资讯数码科技有限公司 全景影像拍摄装置
US9237317B2 (en) * 2009-05-02 2016-01-12 Steven J. Hollinger Throwable camera and network for operating the same
IL199230A0 (en) * 2009-06-08 2011-07-31 Elta Systems Ltd Air vehicle
US20110115916A1 (en) * 2009-11-16 2011-05-19 Eiji Yafuso System for mosaic image acquisition
CN201637409U (zh) * 2010-03-11 2010-11-17 陈向宁 数码航空全景测量相机平台
CN102279515A (zh) * 2010-06-09 2011-12-14 鸿富锦精密工业（深圳）有限公司 全景拍照装置及方法
CN101916452B (zh) * 2010-07-26 2012-04-25 中国科学院遥感应用研究所 一种基于飞行控制信息的无人机遥感影像自动拼接方法
CN103135332B (zh) * 2011-11-23 2016-08-03 苏州信达光电科技有限公司 全景环拍托架的自动拍摄方法
US20140009570A1 (en) * 2012-07-03 2014-01-09 Tourwrist, Inc. Systems and methods for capture and display of flex-focus panoramas
CN102982515A (zh) * 2012-10-23 2013-03-20 中国电子科技集团公司第二十七研究所 一种无人机图像实时拼接的方法
CN102984453B (zh) * 2012-11-01 2015-10-28 深圳大学 利用单摄像机实时生成半球全景视频图像的方法及系统
CN103118230B (zh) * 2013-02-28 2016-06-22 腾讯科技（深圳）有限公司 一种全景图像采集方法、装置以及系统
US9313429B1 (en) * 2013-04-29 2016-04-12 Lockheed Martin Corporation Reducing roll-induced smear in imagery
US10068334B2 (en) * 2013-05-29 2018-09-04 Capsovision Inc Reconstruction of images from an in vivo multi-camera capsule
CN103927739B (zh) * 2014-01-10 2016-11-23 北京航天飞行控制中心 一种基于拼接图像的巡视器定位方法
CN104777701A (zh) * 2014-01-15 2015-07-15 光宝科技股份有限公司 具全景投影功能的投影装置及其控制方法
CN103942273B (zh) * 2014-03-27 2017-03-15 北京空间机电研究所 一种空中快速响应动态监测系统及其动态监测方法
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US10547825B2 (en) * 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
CN204481394U (zh) * 2015-03-31 2015-07-15 广东电网有限责任公司东莞供电局 一种输电线路无人机视频监控系统
CN104796618B (zh) * 2015-05-04 2018-05-15 江苏省无线电科学研究所有限公司 基于球型摄像机自动采集农作物全景图像序列的方法
CN104859857A (zh) * 2015-06-02 2015-08-26 宋南 一种单镜头全景无人机系统
CN105045279A (zh) * 2015-08-03 2015-11-11 余江 一种利用无人飞行器航拍自动生成全景照片的系统及方法
CN105139350A (zh) * 2015-08-12 2015-12-09 北京航空航天大学 一种无人机侦察图像地面实时重建处理系统

Also Published As

Publication number Publication date
CN109362234B (zh) 2021-11-30
CN109362234A (zh) 2019-02-19
WO2017185309A1 (en) 2017-11-02
CN110647005A (zh) 2020-01-03
CN110460779A (zh) 2019-11-15
EP3443416A1 (en) 2019-02-20
EP3443416A4 (en) 2019-03-20
US20190068879A1 (en) 2019-02-28
US10805532B2 (en) 2020-10-13
US20210014419A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
CN110647005B (zh) 用于获得球面全景图像的系统和方法
CN107492069B (zh) 基于多镜头传感器的图像融合方法
WO2020233683A1 (zh) 云台控制方法、装置、控制终端及飞行器系统
CN105447850A (zh) 一种基于多视点图像的全景图拼接合成方法
CN104796672B (zh) 一种无人机应急监控云台装置
CN105571570B (zh) 一种航空摄影外业的方法及装置
JP5748561B2 (ja) 航空写真撮像方法及び航空写真撮像装置
JP7251474B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム
WO2018035764A1 (zh) 广角照片拍摄方法、装置、云台、无人飞行器及机器人
US20070264004A1 (en) Multiple image mosaic photograph camera mount and method
CN103198487A (zh) 一种用于视频监控系统中的自动定标方法
WO2018113256A1 (zh) 光电遥感系统的扫描方法
US11138706B2 (en) Voronoi cropping of images for post field generation
CN111247389B (zh) 关于拍摄设备的数据处理方法、装置及图像处理设备
CN109859267B (zh) 一种高精度相机拍照定位的方法
CN112710311A (zh) 一种地形自适应无人机三维实景重建航摄点自动规划方法
CN108955642B (zh) 一种大幅面等效中心投影影像无缝拼接方法
AU2020104135B4 (en) Method and System for Collection of Photographic Data
CN107635096B (zh) 一种增加照相重叠率的全景航空相机倾斜成像方法
US11216943B2 (en) Method for producing a two-dimensional whole image
WO2019100214A1 (zh) 输出影像生成方法、设备及无人机
CN104019800A (zh) 大侧摆线阵ccd遥感图像对地定位的方法
CN108596852A (zh) 面阵相机大姿态角成像镜像几何畸变的物像映射还原方法
US20210341922A1 (en) Optical object tracking on focal plane with dynamic focal length
CN113703465B (zh) 大倾角高空对地成像的航向重叠率控制方法、装置及载机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220304

CF01 Termination of patent right due to non-payment of annual fee