CN106464811A - 用于自适应全景图像生成的系统及方法 - Google Patents

用于自适应全景图像生成的系统及方法 Download PDF

Info

Publication number
CN106464811A
CN106464811A CN201580031564.4A CN201580031564A CN106464811A CN 106464811 A CN106464811 A CN 106464811A CN 201580031564 A CN201580031564 A CN 201580031564A CN 106464811 A CN106464811 A CN 106464811A
Authority
CN
China
Prior art keywords
image
capture location
stitching position
image capture
methods
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580031564.4A
Other languages
English (en)
Other versions
CN106464811B (zh
Inventor
曹子晟
张沾利
陈俊杰
王铭钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN106464811A publication Critical patent/CN106464811A/zh
Application granted granted Critical
Publication of CN106464811B publication Critical patent/CN106464811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种用于自适应地生成全景图像的成像系统以及其制造和使用方法。所述系统包括用于在多个图像捕捉位置处捕捉数字图像的成像装置。所述系统进一步包括处理器，所述处理器用于：识别在相应的第一图像捕捉位置和第二图像捕捉位置处捕捉的第一图像与第二图像的重叠部分；针对所述第一图像与所述第二图像的所述重叠部分中的多个拼接位置确定拼接位置品质度量；以及基于所述第一图像和所述第二图像的所述多个拼接位置的所述确定的拼接位置品质度量来选择第一拼接位置。所述处理器还用于在所述选择的第一拼接位置处将所述第一图像与所述第二图像拼接在一起以生成第一全景图像；并且基于所述拼接位置品质度量来确定第三图像捕捉位置。

Description

用于自适应全景图像生成的系统及方法
技术领域
.本公开涉及单透镜式全景数据采集，并且更具体地但不排他地涉及用于自适应全景图像生成的系统及方法。
背景技术
.许多数码相机与智能手机装置目前均已配备全景图像捕捉模式，但是利用这些模式拍摄时仍需手动旋转所述装置。此外，用户只能够在图像捕捉速度及相机级别状态处于严格参数之内时操作才能生成高品质图像。
.在全景图像采集期间，所述相机需要旋转一整圈并且在多个图像捕捉位置捕捉一系列重叠的图像。然后，这些图像被拼接在一起以形成单个连续的全景图像。取决于拼接在一起的图像的内容以及序列图像的重叠量，要找到所述图像的合适的拼接位置可能比较困难。
.一种解决方案是拍摄许多图像并且使图像之间具有较大重叠，但是这会导致不合要求地较慢的图像捕捉和处理。因此，本领域需要实现全景图像的动态图像捕捉，所述动态图像捕捉会使图像捕捉及处理时间最小化，同时还会使连续图像的拼接品质最大化。
.鉴于上述内容，为了努力克服常规全景成像系统和方法的上述障碍和缺陷，有必要提供一种用于自适应全景图像生成的改进的成像系统及方法。
发明内容
.一方面包括一种图像生成系统，所述系统包括成像装置，所述成像装置用于在多个图像捕捉位置处捕捉数字图像，以及处理器，所述处理器可操作地与所述成像装置耦合，所述处理器用于：针对第一图像与第二图像的重叠部分中的多个拼接位置确定拼接位置品质度量，其中所述第一图像是在第一图像捕捉位置捕捉的，并且其中所述第二图像是在第二图像捕捉位置捕捉的。
.在一个实施例中，所述处理器还用于基于所述第一图像和第二图像的多个拼接位置的确定的拼接位置品质度量来选择第一拼接位置，并且在所选择的第一拼接位置处将所述第一图像与第二图像拼接在一起以生成第一全景图像。在另一个实施例中，所述处理器还用于基于第一选择的第一拼接位置的拼接位置品质度量来确定第三图像捕捉位置。
.在另一实施例中，选择第一拼接位置包括将重叠部分划分为多个小部分；计算每个小部分的差平方的联合总和；选择所述小部分中具有最小联合总和的一个小部分；以及从所选择的小部分中选择具有最小组合像素与梯度最小差平方总和的拼接位置，其中最小差平方和用于选择所述拼接位置。
.仍然在另一实施例中，控制器用于生成控制指令以及发送所述控制指令到一个放置所述成像装置的移动平台的移动控制器，并且所述移动控制器使用所述控制指令来将所述成像装置从第一图像捕捉位置移动至第二图像捕捉位置，或从第二图像捕捉位置移动至第三图像捕捉位置。
.在另一个实施例中，所述处理器还用于识别所述第一图像与第二图像的所述重叠部分。另一实施例包括控制模块，所述控制模块用于将所述成像装置从所述第一图像捕捉位置移动至所述第二图像捕捉位置并且从所述第二图像捕捉位置移动至所述第三图像捕捉位置。
.仍然在另一实施例中，所述控制器用于使所述成像装置绕预定轴旋转，所述预定轴是所述第一图像捕捉位置、第二图像捕捉位置和第三图像捕捉位置的中心。在一个实施例中，所述控制器用于使所述成像装置沿着圆的圆周移动。在另一个实施例中，所述成像装置定位在云台上。
.在另一实施例中，所述系统定位在移动平台上。仍然在另一实施例中，所述移动平台包括飞行器。在又另一个实施例中，所述系统用于向用户装置无线地传送生成的全景图像。
.在一个实施例中，所述处理器进一步用于：接收在所述第三图像捕捉位置处捕捉的第三图像；识别第一全景图像和所述第三图像的重叠部分；针对第一全景图像和第三图像的重叠部分中的多个拼接位置确定拼接位置品质度量；基于所述第一全景图像和第三图像的多个拼接位置的确定的拼接位置品质度量来选择第二拼接位置；在第二选择的拼接位置处将所述第一全景图像和第三图像拼接在一起以生成第二全景图像；以及基于用于生成第二全景图像的所述选择的拼接位置的拼接位置品质度量来确定第四图像捕捉位置。
.在另一个实施例中，所述拼接位置是垂直线。在另一实施例中，FAST算法用于所述第一图像和第二图像中的角点检测以识别一个或多个特殊的特征点。仍然在另一实施例中，BRIEF算法用于识别所述第一图像和第二图像的特征描述子。
.在一个实施例中，所述第一图像和第二图像的识别的描述子之间的汉明距离用于识别所述第一图像与第二图像的所述重叠部分。在另一个实施例中，基于组合最小像素与梯度最小差平方总和的计算来选择拼接位置。在另一实施例中，所述成像装置包括红绿蓝(RGB)感测相机。仍然在另一实施例中，所述处理器进一步用于确定第一选择的拼接位置的所述拼接位置品质度量是大于还是小于阈值。
.在一个实施例中，所述阈值包括值范围。在另一个实施例中，所述阈值是单一值。在另一实施例中，所述第一图像捕捉位置与第二图像捕捉位置之间的距离通过默认角度来限定，其中所述第二图像捕捉位置与第三图像捕捉位置之间的角度通过第二角度来限定，并且其中确定所述第三图像捕捉位置包括确定所述第二角度。
.在一个实施例中，如果所述第一选择的拼接位置的品质度量小于所述阈值，那么为第二角度选择大于默认角度的角度。在另一个实施例中，如果所述第一选择的拼接位置的品质度量大于所述阈值，那么为第二角度选择小于所述默认角度的角度。在另一实施例中，如果所述第一选择的拼接位置的品质度量既不大于所述阈值也不小于所述阈值，那么为第二角度选择等于所述默认角度的角度。
.另一方面包括一种用于自适应全景图像生成的方法，所述方法包括针对在第一图像捕捉位置处捕捉的第一图像与在第二图像捕捉位置处捕捉的第二图像的重叠部分中的多个拼接位置确定拼接位置品质度量。
.在一个实施例中，所述方法还包括基于所述第一图像和第二图像的多个拼接位置的确定的拼接位置品质度量来选择第一拼接位置，并且在所选择的第一拼接位置处将所述第一图像与第二图像拼接在一起以生成第一全景图像。另一个实施例包括基于第一选择的拼接位置的拼接位置品质度量来确定第三图像捕捉位置。另一实施例包括通过基于第一选择的拼接位置的拼接位置品质度量确定第三图像拼接位置来生成全景图像。
.在另一个实施例中，所述方法还包括识别在第一图像捕捉位置处捕捉的第一图像与在第二图像捕捉位置处捕捉的第二图像的重叠部分。在另一实施例中，所述方法还包括通过成像装置获得在所述第一图像捕捉位置处捕捉的第一图像。
.仍然在另一实施例中，所述方法还包括将所述成像装置移动至所述第二图像捕捉位置；以及通过所述成像装置获得在所述第二图像捕捉位置处捕捉的所述第二图像。
.在一个实施例中，所述方法还包括将所述成像装置移动至所述第三图像捕捉位置。在另一个实施例中，所述方法包括生成控制指令以及将所述控制指令发送至放置有所述成像装置的移动平台的移动控制器，其中所述移动控制器使用所述控制指令来将所述成像装置从所述第一图像捕捉位置移动至所述第二图像捕捉位置，或从所述第二图像捕捉位置移动至所述第三图像捕捉位置。
.在另一个实施例中，将所述成像装置移动至所述第二图像捕捉位置包括使所述成像装置绕轴旋转。在另一实施例中，将所述成像装置移动至所述第二图像捕捉位置包括使所述成像装置绕圆的圆周移动。仍然在另一实施例中，将所述成像装置移动至所述第二图像捕捉位置包括在云台上移动所述成像装置。
.在一个实施例中，将所述成像装置移动至所述第二图像捕捉位置包括移动一个移动平台。在另一个实施例中，移动平台包括飞行器。仍然在另一实施例中，所述方法还包括向用户装置无线地传送生成的全景图像。
.在一个实施例中，所述方法还包括通过所述成像装置获得在第三图像捕捉位置处捕捉的第三图像；识别所述第一全景图像和第三图像的重叠部分；针对第一全景图像和第三图像的重叠部分中的多个拼接位置确定拼接位置品质度量；基于所述第一全景图像和第三图像的多个拼接位置的确定的拼接位置品质度量来选择第二拼接位置；在第二选择的拼接位置处将所述全景图像和第三图像拼接在一起以生成第二全景图像；以及基于用于生成第二全景图像的所述选择的拼接位置的所述拼接位置品质度量来确定第四图像捕捉位置。
.在另一个实施例中，所述拼接位置是垂直线。在另一实施例中，所述方法还包括将FAST算法用于所述第一图像和第二图像中的角点检测以识别一个或多个特殊的特征点。仍然在另一实施例中，所述方法还包括使用BRIEF算法来识别所述第一图像和第二图像的特征描述子。
.在一个实施例中，所述方法还包括使用所述第一图像和第二图像的识别的描述子之间的汉明距离来识别所述第一图像与第二图像的所述重叠部分。在另一个实施例中，所述方法还包括基于组合最小像素与梯度最小差平方总和的计算来选择所述第一拼接位置。在另一实施例中，所述成像装置包括RGB相机。
.在一个实施例中，所述方法还包括确定所述第一选择的拼接位置的所述拼接位置品质度量是大于还是小于阈值。在另一个实施例中，所述阈值包括值范围。在另一实施例中，所述阈值是单一值。
.在一个实施例中，所述第一图像捕捉位置与第二图像捕捉位置之间的距离通过默认角度来限定；其中所述第二图像捕捉位置与第三图像捕捉位置之间的角度通过第二角度来限定，并且其中确定所述第三图像捕捉位置包括确定所述第二角度。
.在另一个实施例中，所述方法还包括如果所述第一选择的拼接位置的品质度量小于所述阈值，那么为第二角度选择大于所述默认角度的角度。在另一实施例中，所述方法还包括如果所述第一选择的拼接位置的品质度量大于所述阈值，那么为第二角度选择小于所述默认角度的角度。仍然在另一实施例中，所述方法还包括如果所述第一选择的拼接位置的品质度量既不大于所述阈值也不小于所述阈值，那么为第二角度选择等于所述默认角度的角度。
.另一方面包括处理器，所述处理器用于针对第一图像与第二图像的重叠部分中的多个拼接位置确定拼接位置品质度量，其中所述第一图像是在第一图像捕捉位置处捕捉的，并且其中所述第二图像是在第二图像捕捉位置处捕捉的。
.在一个实施例中，所述处理器进一步地用于基于所述第一图像和第二图像的多个拼接位置的确定的拼接位置品质度量来选择第一拼接位置，并且在所选择的第一拼接位置处将所述第一图像与第二图像拼接在一起以生成第一全景图像。
.在另一个实施例中，所述处理器进一步地用于基于第一选择的拼接位置的拼接位置品质度量来确定第三图像捕捉位置。在另一实施例中，所述处理器进一步地用于通过基于第一选择的拼接位置的拼接位置品质度量确定第三图像捕捉位置来生成全景图像。
.在一个实施例中，所述处理器进一步地用于将所述重叠部分划分为多个小部分；计算每个小部分的差平方的联合总和；选择所述小部分中具有最小联合总和的一个小部分；以及从所选择的小部分中选择具有组合最小像素与梯度最小差平方总和的拼接位置，其中最小差平方和用于选择所述拼接位置。
.在另一个实施例中，所述处理器进一步地用于识别在第一图像捕捉位置处捕捉的第一图像与在第二图像捕捉位置处捕捉的第二图像的重叠部分。
.在另一实施例中，所述处理器进一步地用于通过所述成像装置获得在第一图像捕捉位置处捕捉的所述第一图像。仍然在另一实施例中，所述处理器进一步的用于将所述成像装置移动至第二图像捕捉位置，并且通过所述成像装置获得在所述第二图像捕捉位置处捕捉的第二图像。在又另一个实施例中，所述处理器进一步地用于将所述成像装置移动至第三图像捕捉位置。
.在一个实施例中，所述处理器进一步地用于生成控制指令以及将所述控制指令发送至一个放置所述成像装置的移动平台的移动控制器，其中所述移动控制器使用所述控制指令来将所述成像装置从第一图像捕捉位置移动至第二图像捕捉位置，或从第二图像捕捉位置移动至第三图像捕捉位置。
.在另一个实施例中，所述处理器进一步地用于通过使所述成像装置绕轴旋转来将所述成像装置移动至第二图像捕捉位置。在另一实施例中，所述处理器进一步地用于通过使所述成像装置绕圆的圆周移动来将所述成像装置移动至第二图像捕捉位置。
.在另一实施例中，所述处理器进一步地用于通过在云台上移动成像装置来将所述成像装置移动至所述第二图像捕捉位置。仍然在另一实施例中，所述处理器进一步地用于通过移动一个移动平台来将所述成像装置移动至所述第二图像捕捉位置。
.在一个实施例中，所述移动平台包括飞行器。在另一个实施例中，所述处理器进一步地用于向用户装置无线地传送生成的全景图像。在另一实施例中，所述处理器进一步地用于通过所述成像装置获得在第三图像捕捉位置处捕捉的第三图像；识别第一全景图像和第三图像的重叠部分；针对第一全景图像和第三图像的重叠部分中的多个拼接位置确定拼接位置品质度量；基于第一全景图像和第三图像的多个拼接位置的确定的拼接位置品质度量来选择第二拼接位置；在第二选择的拼接位置处将所述全景图像和第三图像拼接在一起以生成第二全景图像；以及基于用于生成第二全景图像的所述选择的拼接位置的所述拼接位置品质度量来确定第四图像捕捉位置。
.在一个实施例中，所述拼接位置是垂直线。在另一个实施例中，所述处理器进一步地用于将FAST算法用于所述第一图像和第二图像中的角点检测以识别一个或多个特殊的特征点。在另一个实施例中，所述处理器进一步地用于使用BRIEF算法来识别所述第一图像和第二图像的特征描述子。
.在另一实施例中，所述处理器进一步地用于使用所述第一图像和第二图像的识别的描述子之间的汉明距离来识别所述第一图像与第二图像的所述重叠部分。在又另一个实施例中，所述处理器进一步地用于基于组合最小像素与梯度最小差平方总和的计算来选择所述第一拼接位置。
.在一个实施例中，所述成像装置包括RGB相机。在另一个实施例中，所述处理器进一步地用于确定所述第一选择的拼接位置的拼接位置品质度量是大于还是小于阈值。在另一实施例中，所述阈值包括值范围。仍然在另一实施例中，所述阈值是单一值。
.在一个实施例中，所述第一图像捕捉位置与第二图像捕捉位置之间的距离通过默认角度来限定，其中所述第二图像捕捉位置与第三图像捕捉位置之间的角度通过第二角度来限定，并且其中确定所述第三图像捕捉位置包括确定所述第二角度。
.在另一个实施例中，所述处理器进一步用于在所述第一选择的拼接位置的品质度量小于所述阈值的情况下为第二角度选择大于所述默认角度的角度。在另一实施例中，所述处理器进一步用于在所述第一选择的拼接位置的品质度量大于所述阈值的情况下为第二角度选择小于所述默认角度的角度。在另一实施例中，所述处理器进一步用于在所述第一选择的拼接位置的品质度量既不大于所述阈值也不小于所述阈值的情况下为第二角度选择等于所述默认角度的角度。
.一方面包括一种设备，所述设备包括图像传感器以及根据上述任一个实施例的处理器。
.另一方面包括用于自适应全景图像生成的计算机程序产品，所述计算机程序产品编码在一个或多个机器可读存储介质上并且包括用于执行上述方法的指令。另一方面包括计算机程序产品，其中上述自适应全景图像生成方法被提供为存储于非暂时性存储介质上的一系列指令。
.仍然另一方面包括用于自适应全景图像生成的计算机程序产品，所述计算机程序产品编码在非暂时性机器可读存储介质上并且包括：用于通过计算机识别在第一图像捕捉位置处捕捉的第一图像与在第二图像捕捉位置处捕捉的第二图像的重叠部分的指令；用于通过计算机针对所述第一图像与第二图像的重叠部分中的多个拼接位置确定拼接位置品质度量的指令；用于通过计算机基于第一图像和第二图像的多个拼接位置的确定的拼接位置品质度量来选择第一拼接位置的指令；用于通过计算机在所选择的第一拼接位置处将第一图像与第二图像拼接在一起以生成第一全景图像的指令；以及用于通过计算机基于第一选择的拼接位置的拼接位置品质度量来确定第三图像捕捉位置的指令。
附图说明
.图1是示出包括飞行器的全景成像系统的实施例的示例性网络图。
.图2是示出图1的飞行器的实施例的示例性方框图。
.图3是示出生成和发送全景图像的方法的实施例的示意性流程图。
.图4是与定位在图1的飞行器上的成像装置相关联的轴的示意性图示。
.图5示出了图1的飞行器依照由多个图像捕捉位置限定的图像捕捉顺序进行的移动。
.图6示出了图1的飞行器依照由多个图像捕捉位置限定的另一个图像捕捉顺序进行的移动。
.图7是示出生成全景图像的方法的实施例的示例性流程图。
.图8示出了用于最后生成全景图像的示例性第一图像和第二图像。
.图9示出了图8的示例性第一图像与第二图像的重叠部分以及所述重叠部分之内的选择的拼接位置。
.图10示出了通过将图8的示例性第一图像与第二图像拼接在一起而生成的示例性全景图像。
.图11示出了示例性风景图的图像以及对应于所述图像之上和/或之内的潜在垂直线拼接位置的多个拼接品质度量的曲线图。
.图12示出了通过数轴上的值范围限定的阈值。
.图13示出了通过数轴上的单一值限定的阈值。
.图14示出了根据实施例的自适应全景图像生成的方法的实施例。
.应当注意，附图并未按比例绘制，并且为了说明目的，在所有附图中，具有相似结构或功能的元件通常由相似的参考号表示。还应当注意，附图仅仅旨在方便描述优选实施例。附图并未说明所描述的实施例的每个方面并且不限制本公开的范围。
具体实施方式
.由于目前可用的全景成像系统及方法无法在不牺牲品质的情况下通过最大化速度来优化图像捕捉，提供用于自适应生成全景图像的成像系统可以证明是希望的并且为广泛范围的成像应用诸如航拍提供了基础。根据本文所揭示的一个实施例，通过如图1所示的全景成像系统100可以实现这样的结果。
.转到图1，全景成像系统100被示出为包括通过网络130可操作地连接的飞行器110和用户装置120。所述飞行器110被描绘成四旋翼飞行器；然而，任何合适类型的飞行器都可以用于另外的实施例中，包括旋翼式飞行器、飞机、喷气机、气球、滑翔机等。此外，飞行器110可以是任何合适的大小，包括大的和小的飞行器。另外，在另外的实施例中，本文所述的系统和方法可以应用于任何常规类型的移动平台，诸如非飞行器式移动平台和/或可以应用于任何合适类型的成像系统，包括数码相机、智能手机、头戴式计算机、游戏装置、膝上型计算机、平板计算机等。
.所述飞行器110被描绘成包括成像装置111，所述成像装置111在不同实施例中可以是任何类型合适的数字RGB相机等。在一些实施例中，成像装置111可以是摄影机、智能手机、网络摄像头、三维相机、红外相机等。所述成像装置111可以可去除地耦合至所述飞行器110或可以至少部分地与所述飞行器110整合在一起。
.图2是飞行器110的示例性实施例的方框图，所述飞行器110被示出包括成像装置111、处理模块112、存储器113以及控制模块114。如本文更详细所论述，部件111、112、113和114可以适当地用于执行生成和发送全景图像的不同的方法。在一些实施例中，所述全景成像系统100可以包括多个飞行器110。
.返回图1，所述用户装置120被描绘成智能手机，但在另外的实施例中，所述用户装置120可以是任何合适的装置，包括膝上型计算机、头戴式计算机、平板计算机、游戏装置等。在一些实施例中，所述全景成像系统100可以包括多个用户装置120，或者可以不包括所述用户装置120。
.在不同的实施例中，所述网络130可以包括任何合适的有线或无线网络，包括WiFi网络、蓝牙网络、局域网(LAN)、广域网(WAN)、蜂窝网络、短消息服务(SMS)网络、卫星网络、因特网等。如本文更详细所论述，所述飞行器110可用于从多个图像生成全景图像并且将所生成的全景图像传送给用户装置120，所述用户装置120可以用于显示所述全景图像。
.图3是示出用于生成和发送全景图像的方法200的实施例的示意性流程图。所述方法200开始于方框210，在其中接收到全景图像采集指令；以及子方法方框400，在其中生成全景图像。在方框230中，向用户装置120发送所生成的全景图像。例如，在一个实施例中，所述用户装置120可以向飞行器110发送图像采集指令，并且所述飞行器110可以如本文进一步详细所论述生成全景图像。所生成的全景图像可以从所述飞行器110发送至所述用户装置120，在其中可以显示、处理或另外以任何希望的方式使用所述全景图像。
.在不同的实施例中，可以从所述用户装置120接收全景图像采集指令，但在另外的实施例中，可以从所述飞行器110接收所述全景图像采集指令。例如，所述飞行器110可以基于计时器或基于某种标准来生成这种指令，所述标准包括识别的物体、环境条件等。在用户装置120发送全景图像采集指令的实施例中，可以向同一个用户装置120和/或一个或多个其他用户装置120发送所生成的全景图像。
.在不同的实施例中，所述飞行器110可操作来通过在所述成像装置111的旋转或其他移动期间捕捉一系列图像并将所捕捉的图像拼接在一起以形成全景图像来生成全景图像。例如，参考图4，所述成像装置111可以在所述成像装置111绕Y轴旋转时捕捉多个图像。在一些实施例中，可能希望将旋转或移动基本上限制于单一轴以生成旋转期间捕捉的均匀性增强的图像。例如，如果图像是如图4所示通过绕着Y轴旋转来捕捉的，那么可以抑制所述成像装置111绕其他轴诸如X轴等的移动。
.所述成像装置111的旋转可以通过所述飞行器110整体的旋转和/或通过所述飞行器110的特定部分的旋转来进行。例如，所述成像装置111可以定位在云台205、轴、或其他装置上，它们可以独立于所述飞行器110的任何运动来使所述成像装置111移动、转动或旋转。旋转和/或旋转增量可以包括任何合适的旋转量，包括1°、2°、3°、4°、5°、45°、90°、180°、270°、360°、450°、540°、720°、3600°等。此外，捕捉图像的旋转可以沿着任何预先选择的轴(例如，X轴)进行，或所述成像装置111的旋转、移动或平移可以沿着不统一的路径进行。
.例如，如图5所描画，所述飞行器110可以绕圈旋转并且在不同的图像捕捉位置305捕捉多个图像。换言之，所述成像装置111可以在第一图像捕捉位置305A拍摄图像，并且所述飞行器110可以旋转θ1A的量到达第二图像捕捉位置305B，在所述位置上，通过所述成像装置111捕捉第二图像。所述飞行器110可以旋转θ2A的量到达第三图像捕捉位置305C，在所述位置上，通过所述成像装置111捕捉第三图像。
.另外地和/或可替代地，如图6所示，所述飞行器110可以沿着圆的圆周以基本上呈圆形的飞行模式310移动，并且在基本上垂直于圆形飞行模式310的切线的图像捕捉位置305处捕捉图像。换言之，所述成像装置111可以在第一图像捕捉位置305C拍摄图像，并且所述飞行器110可以沿着圆形飞行模式310移动θ1B的量到达第二图像捕捉位置305D，在所述位置上，通过所述成像装置111捕捉第二图像。所述飞行器110可以沿着圆形飞行模式310移动θ2B的量到达第三图像捕捉位置305E，在所述位置上，通过所述成像装置111捕捉第三图像。
.在不同的实施例中，相邻图像捕捉位置305之间的旋转角度θ可以是一致的和/或不一致的，并且图像捕捉位置305和旋转角度θ可以如本文更详细所描述通过识别全景图像的希望的图像拼接位置以及拼接成全景图像的图像的希望的重叠来确定。另外地，尽管图5和图6示出了圆形的图像捕捉飞行模式，但是任何其他合适的飞行模式也可以用于捕捉多个图像，包括矩形、椭圆形、直线形或不规那么的形状。另外地，飞行模式可以在高度上变化并且不必要限制于单一平面。
.图7是示出用于生成全景图像的方法400的实施例的示例性流程图。所述方法400开始于方框405，在其中变量N设置为1。在方框410中，捕捉图像N，并且在方框415，所述成像装置111移动至下一个图像捕捉位置305。例如，移动可以包括如图5和/或图6所示和上文参考图5和/或图6更详细所描述呈圆形模式的旋转和/或移动。
.在方框420中，捕捉图像N+1，并且在方框425中，识别希望的图像拼接位置。在方框430中，将图像N+1拼接到当前的全景图像中。例如，在N最初为1的情况下，所捕捉的第一图像为图像1，并且捕捉的下一个图像为图像2。图像1是基础全景图像，因此图像1和2一起拼接成全景图像。图8-10中示出了这种拼接。
.所述方法400继续到判决方框435，在其中就图像捕捉是否完成进行确定。如果是，那么在方框499中，最终完成所述全景图像。然而，如果图像捕捉没有完成，那么在方框440中如本文更详细地论述确定下一个图像捕捉位置。在方框445中，将变量N设置为N+1并且所述方法400循环回到方框415。
.图8描画了均包括山脉501的第一图像505和第二图像510。在这个示例中，通过成像装置111(如图1所示)在第一图像捕捉位置305(如图5和图6所示)捕捉所述第一图像505，并且所述成像装置111移动或旋转至在上面捕捉第二图像510的第二图像捕捉位置305。明显给出的是，所述第一图像505和第二图像510包括重叠部分515，以及相应图像中如图9所描画的不重叠的部分516、517。考虑到所述图像505、510具有重叠部分，可以将所述图像拼接到一起以形成如图10所描画的连续的全景图像530。
.为了将图像505、510拼接在一起，可以识别所述重叠部分515，并且可以将基本上冗余的重叠部分中的一部分去除和/或组合。例如，参考图9，可以识别和/或确定位于重叠部分515内的拼接位置520。在一些实施例中，可以去除所述第二图像510中位于拼接线520左侧的部分，并且可以去除所述第一图像505中位于所述拼接线520右侧的部分，以生成连续的全景图像530。换言之，通过将所述第一图像505和第二图像510的剩余部分在所述拼接线520处进行组合可以生成全景图像530。在不同的实施例中，可以围绕拼接线520进行任何合适的图像拼接。例如，可以将所述第一图像505和第二图像510接近所述拼接线的部分进行平均、组合或以其他方式合并以形成单一图像。在另外的实施例中，可以沿着不垂直于所述图像的长度的线或沿着合适的曲线拼接图像。
.在不同的实施例中，可能希望在发生任何拼接误差时图像的拼接将最不明显的位置处选择拼接线520。例如，参考图11，在包括多个建筑物611A、611B、611C、611D、天空615以及植被613的图像610中，可能希望在高度不规那么和/或高度统一的但不包括带有重复的图案或直线的区域(在所述区域内，拼接误差将更为明显)的区域内选择拼接位置。
.在不同的实施例中，可以为给定图像分析拼接位置的范围，并且可以基于这种分析来选择一个或多个希望的拼接位置。例如，图11描画了拼接位置分析数据620的曲线图，其中，所述位置分析数据620的每一个点对应于与所述点一致的潜在垂直拼接点。所述位置分析数据620对应于所述图像610在边界630A、630B内的一部分。
.所述位置分析数据620在这个示例中包括对应于拼接可能不太希望的区域的波峰以及拼接可能更为希望的波谷。例如，拼接位置631、632与位置分析数据620中相应的波谷对应并且还对应于延伸穿过建筑物611A的阴影612、植被613和天空615的垂直剖面。位置分析数据620中对应的波谷指示相较于其他周围的拼接位置，这些拼接位置631、632将是更为希望的预期的拼接位置。在这个示例中，延伸穿过建筑物611A的阴影612、植被613和天空615的拼接位置可能是希望的，因为拼接误差会被建筑物611A的阴影612、植被613和天空615中的每一个所掩盖。换言之，由于植被613的随机性质、阴影612的均匀的深颜色和不规那么的形状并且由于天空615的相对一致性，所述拼接误差不会太明显。
.在另一个示例中，相较于相邻的拼接位置，拼接位置633还对应于位置分析数据620中的波谷。在此，拼接位置633介于建筑物611D与建筑物611B之间并且主要延伸穿过所述图像610中被天空615和植被613占据的一部分。由于拼接误差会被植被613和天空615中的每一个掩盖，延伸穿过植被613和天空615的拼接位置可能是希望的。然而，如果拼接位置包括建筑物611D、611B的一部分，那么拼接误差会更为明显。换言之，由于植被613的随机性质并且由于天空615的相对一致性，所述拼接误差不会太明显。另一方面，由于对于观察者来说，损坏的图案与断线有可能会更为明显，因此建筑物611D、611B的图案化性质以及建筑物611D、611B的直线更有可能会使拼接误差更为明显。
.类似地，所述图像610的部分614中介于拼接位置634与635之间的拼接位置也对应于位置分析数据620中的波谷。在此，拼接位置614介于建筑物611B与建筑物611C之间并且主要延伸穿过图像610中被天空615和植被613占据的一部分。因为拼接误差会被植被613和天空615中的每一个掩盖，延伸穿过植被613和天空615的拼接位置可能是希望的，然而，如果拼接位置包括建筑物611B、611C的一部分，那么拼接误差会更为明显。换言之，由于植被613的随机性质并且由于所述天空615的相对一致性，所述拼接误差不会太明显。另一方面，由于对于观察者来说，损坏的图案与断线有可能会更为明显，因此建筑物611B、611C的图案化性质以及建筑物611B、611C的直线更有可能会使拼接误差更为明显。
.基于任何合适的标准，可以对拼接位置分级，包括周围区域的随机性(例如，颜色和/或纹理)、周围区域的均匀性(例如，颜色和/或纹理)、图案的存在、一致的线或曲线的存在等。可以在拼接位置分析之前对图像进行预处理，包括将图像转换为二进制、修改所述图像的颜色(例如，转换为L*a*b色彩空间)、膨胀和/或腐蚀、开操作和/或闭操作、一个或多个纹理滤波器的应用、去模糊、对象识别、特征检测、图像分割、边缘检测、形态学算子的应用、阈值分割、对比度和/或亮度的修改、直方图均衡化、几何变换的应用等。
.在一个实施例中，将第一图像与第二图像(例如，图8与图9的图像505、510)拼接可以包括自动地剪切所述第二图像以匹配所述第一图像，所述第一图像可以是先前组合过的图像或者不为图像的组合的初始图像。加速分割检测特征算法(FAST算法)可以用于图像中的角点检测以识别一个或多个特殊的特征点。二进制稳健基元独立特征算法(BRIEF算法)可以用于识别图像的特征描述子。两个图像的所识别的描述子之间的汉明距离可以用于识别第一图像与第二图像的重叠区域。
.可以各种合适的方法识别最优拼接线、位置或列。一种合适的方法包括组合最小像素与梯度最小差平方总和计算。例如，假设两个图像之间重叠的区域中的像素为P1i，j与P2i，j。可以使用索贝尔算子分别确定两个图像的重叠区域的梯度G1i，j与G2i，j的幅值，确定如下：
.Gx＝P*Hx
.Gy＝P*Hy
.G＝√(Gx 2 +Gy 2)
.其中：
.
.所述重叠区域的联合像素与梯度的差平方可以如下计算：
.SDi，j＝(P1i，j–P2i，j)2+α(G1i，j–G2i，j)2
.其中，α是加权因子。
.在此，在现实世界中还会考虑许多其他状况。例如，考虑到水平线或曲线的存在，SD函数可以作出如下改变：
.如果G>TH(固定阈值)并且
.那么SDi，
.其中，
.而且通过添加更多对应的方程式，所述SD函数任选地可以包括更多状况。
.所述重叠区域的每一列的差平方和可以如下计算：
.SSDj＝∑iSDi,j
.在一些实施例中，可以选择具有最小或最低差平方和(SSD)的拼接列作为最优拼接列(即，min(SSDj))。
.然而，在另外的实施例中，也可以使用一个区域内的最小差平方的联合总和来选择拼接位置。例如，首先通过将所述重叠区域划分为n个小部分(例如，每一个小部分可以具有10列，等等)，并且之后分别计算每一个小部分的SSD的联合总和：
.
.然后可以选择具有最小总和(min(SSSDk))的区域作为最优拼接区域，其中这个选择区域中最小的列将会被选为拼接列。
.因此，在一些实施例中，SSSD(取代SSD)考虑了沿着垂直轴以水平梯度为中心的梯度之间的总差异。为了避免拼接缝或拼接误差出现在这种水平线和边缘上，这可能是希望的。由于如果拼接缝或拼接误差位于一个不具有或具有较少水平线和/或边缘的位置，那么对于观察者来说所述拼接缝或拼接误差不会太明显，因此避免拼接缝或拼接误差出现在这种水平线和边缘上可能是希望的。
.识别的SSD、SSSD等的最小值(例如，min(SSDj)或min(SSSDk))可以与一个阈值相比较并且用于确定所述飞行器110在捕捉后续图像时的转动速率或转动角度。如果最小的误差值小于这个阈值，那么可以增加所述飞行器的转动速率或角度。然而，如果所述最小的误差值大于这个阈值，那么可以减少所述飞行器的转动速率或角度。
.如图12和图13分别所描画，可以通过第一值702与第二值703之间的值范围来限定阈值703，其中第一组值701低于阈值范围703并且第二组值705高于阈值范围703。可替代地，阈值707可以是单一值，其中值范围706低于阈值707并且值范围708高于阈值707。阈值或阈值范围可以根据经验确定和限定，并且可以基于希望的图像品质来改变。
.使用min(SSDj)、min(SSSDk)等作为反馈用以确定旋转速率或角度可能是希望的，因为这可以提高由如本文所述的旋转的飞行器110(图1所示)生成的全景图像的品质。
.例如，参考图5、图6、图8、图9和图10，图像重叠515的大小取决于所述飞行器110在连续的图像捕捉位置305之间移动或旋转的量。如果飞行器110旋转或以其他方式移动一小段距离，那么所述重叠515会大于所述飞行器110旋转或以其他方式移动一大段距离情况下出现的重叠。相较于重叠部分较小的情况，较大的重叠部分515为拼接位置提供更多的选择，并且因此可以增加找到较小min(SSDj)、min(SSSDk)等的机会。
.尽可能快地生成全景图像但不牺牲图像品质可能是希望的。另外地，在广泛范围的视觉环境中尽可能快地生成高品质全景图像也可能是希望的。在一些视觉环境中，可能更为容易找到提供希望的全景图像品质的拼接位置，并且因此大的图像重叠515可能就不是必要的。因此，所捕捉的图像之间的较大角度(以及因此较小的图像重叠515)可能是合适的，这可以加速生成全景图像的过程。
.在其他视觉环境中，可能更难以找到提供希望的全景图像品质的拼接位置，并且因此大的图像重叠515可能是有必要的以提供合适数目的拼接位置的选择。因此，所捕捉的图像之间的较小角度(以及因此较大的图像重叠515)可能是合适的，这会放慢生成全景图像的过程，但会提高所得的全景图像的品质。
.另外地，由于视觉环境在捕捉图像时可能会大幅度地改变，因此，在生成全景图像的同时可能有必要增加和/或减少所述旋转角度以便于使速度最大化而不用牺牲所得的全景图像的品质。
.图14描画了根据一个实施例使用拼接位置品质反馈来生成全景图像的方法800。所述方法800开始于805，在其中变量N设置为1，并且旋转角度设置为默认值。例如，参考图5和图6，旋转角度可以是指诸如θ的角度，包括θ1A、θ2A、θ1B、θ2B等。换言之，旋转角度可以是指所述飞行器110和/或成像装置111在连续的图像捕捉事件之间移动或旋转的角度。一个或多个默认值可以根据经验确定并且可以基于所希望的速度和/或全景图像品质设置来设置。例如，如果用户希望尽快地捕捉全景图像而不太关心所述全景图像的品质，那么与用于使全景图像品质最大化而不顾图像捕捉速度的默认角度设置相比较，所述默认设置可以是较大的角度θ。
.在方框810中，捕捉图像N(即，图像1)，所述图像N是全景图像的第一图像或基础图像。在方框815处，成像装置111(和/或飞行器110)旋转所设置的角度。例如，所述旋转角度可以是在805处限定的默认值，或者可以是如本文所描述的较大值或较小值。在820处，捕捉图像N+1。例如，在捕捉基础图像1之后，所捕捉的下一个图像将是图像2。在方框825处，将图像N+1拼接到既有的全景图像中。例如，如果存在基础全景图像1，那么将图像1和图像2拼接在一起以生成全景图像。然而，如果已经有多个图像拼接在一起，那么如本文所述，将图像N+1拼接到这个全景图像中以使全景进一步扩展。例如，如果图像1和图像2已经拼接在一起形成全景图像，那么会将图像N+1(即，图像3)与包括图像1和图像2的全景图像拼接在一起。
.在判决方框830处，就所述全景图像是否完成进行确定。例如，在不同的实施例中，获得全景图像的指令可以包括飞行器110和/或成像装置111的总旋转(例如，180°、270°、360°等)。在这种实施例中，关于所述全景图像是否完成的确定可以包括相较于所限定的总旋转，从第一捕捉图像确定当前的总旋转。
.如果确定所述全景图像已完成，那么所述方法800继续到方框899，在其中最终完成所述全景图像。然而，如果确定所述全景图像并未完成，那么所述方法800继续到方框835，在其中将拼接位置品质度量与阈值进行比较。例如，如本文所述，第一图像与第二图像的拼接可以包括对min(SSDj)、min(SSSDk)或所选择的拼接位置的品质的其他度量的识别。如本文所述，这个阈值可以是基于全景图像的希望的图像品质的值。
.在判决方框840中，就当前品质度量值是否大于阈值范围或阈值(参见，例如，图12和图13)进行确定。如果当前品质度量值大于所述阈值范围或阈值，那么在方框845中，减少旋转角度设置。然而，如果所述当前品质度量值不大于所述阈值范围或阈值，那么在判决方框850中，就所述当前品质度量值是否小于所述阈值范围或阈值进行确定。如果所述当前品质度量值小于所述阈值范围或阈值，那么在方框855中，增加旋转角度设置。然而，如果所述当前品质度量值不小于所述阈值范围或阈值，那么在方框860中，维持所述旋转角度设置(即，不改变)。
.如果增加、减少或维持旋转角度设置，那么所述方法800继续到方框865，在其中将所述变量N设置为N+1。换言之，N的值增加1。然后所述方法800循环回到方框815，在其中成像装置111和/或飞行器110旋转或移动所设置的角度。
.因此，所述方法800可以提供用于在成像装置111和/或飞行器110的移动或旋转模式的顺序位置上捕捉一系列图像。所述图像在从一个位置移动至另一个位置的同时拼接在一起以形成全景图像。所述旋转模式的每一个连续位置可以是基于与图像拼接在一起相关的数据来实时地确定。如本文所述，在连续的图像捕捉位置之间移动的角度或量可以是基于最近的图像拼接列的品质。然而，在另外的实施例中，连续的图像捕捉位置之间移动的角度或量可以是基于所得的全景图像的分析、一个或多个捕捉到的图像的分析、环境条件的分析等。
.所描述的实施例可容许各种修改和替代形式，并且其特定示例已通过举例在附图中示出并在本文中进行了详细描述。然而，应当理解的是，所描述的实施例并不限制于所揭示的特殊形式或方法，恰恰相反，本公开覆盖所有修改、等效形式和替代方案。另外地，本文所述的任何步骤或动作可以在不存在用户交互的情况下自动地执行，或者可以在存在用户交互或指令的情况下或基于用户交互或指令来执行。

Claims (90)

1.一种图像生成系统，包括：
成像装置，用于在多个图像捕捉位置处捕捉数字图像；以及
处理器可操作地与所述成像装置耦合，所述处理器用于：
为第一图像与第二图像的重叠部分中的多个拼接位置确定拼接位置品质度量，
其中所述第一图像是在第一图像捕捉位置处捕捉的，并且其中所述第二图像是在第二图像捕捉位置处捕捉的。
2.如权利要求1所述的系统，其中所述处理器进一步地用于根据所述确定的拼接位置品质度量来生成全景图像。
3.如权利要求1或2所述的系统，其中所述处理器进一步地用于通过如下方式生成全景图像：
基于所述第一图像和所述第二图像的所述多个拼接位置的所述确定的拼接位置品质度量来选择第一拼接位置；并且
在所述选择的第一拼接位置处将所述第一图像与所述第二图像拼接在一起以生成第一全景图像。
4.如权利要求3所述的系统，其中所述处理器进一步地用于通过基于所述第一选择的拼接位置的所述拼接位置品质度量确定第三图像捕捉位置来生成全景图像。
5.如权利要求4所述的系统，其中所述处理器进一步地用于：
将所述重叠部分划分为多个小部分；
计算每一个小部分的差平方的联合总和；
选择所述小部分中具有最小联合总和的一个小部分；并且
从所述选择的小部分中选择具有最小组合像素与梯度最小差平方总和的拼接位置，其中最小差平方和用于选择所述拼接位置。
6.如权利要求4所述的系统，其中所述控制器用于：
生成控制指令；并且
发送所述控制指令至放置所述成像装置的移动平台的移动控制器，
其中所述移动控制器使用所述控制指令来将所述成像装置从所述第一图像捕捉位置移动至所述第二图像捕捉位置，或从所述第二图像捕捉位置移动至所述第三图像捕捉位置。
7.如权利要求1-6中任一项所述的系统，其中所述处理器进一步地用于识别所述第一图像与所述第二图像的所述重叠部分。
8.如权利要求1-7中任一项所述的系统，所述系统进一步包括控制器，所述控制器用于将所述成像装置从所述第一图像捕捉位置移动至所述第二图像捕捉位置并且从所述第二图像捕捉位置移动至所述第三图像捕捉位置。
9.如权利要求8所述的系统，其中所述控制器用于使所述成像装置绕预定轴旋转，所述预定轴是所述第一图像捕捉位置、所述第二图像捕捉位置和所述第三图像捕捉位置的中心。
10.如权利要求8所述的系统，其中所述控制器用于使所述成像装置沿着圆的圆周移动。
11.如权利要求1-10中任一项所述的系统，其中所述成像装置定位在云台上。
12.如权利要求1-11中任一项所述的系统，其中所述自适应全景图像生成系统定位在移动平台上。
13.如权利要求12所述的系统，其中所述移动平台包括飞行器。
14.如权利要求1-13中任一项所述的系统，其中所述自适应全景图像生成系统用于向用户装置无线地传送生成的全景图像。
15.如权利要求1-14中任一项所述的系统，其中所述处理器进一步地用于：
接收在所述第三图像捕捉位置处捕捉的第三图像；
识别所述第一全景图像与所述第三图像的重叠部分；
针对所述第一全景图像与所述第三图像的所述重叠部分中的多个拼接位置确定拼接位置品质度量；
基于所述第一全景图像与所述第三图像的所述多个拼接位置的所述确定的拼接位置品质度量来选择第二拼接位置；
在所述第二选择的拼接位置处将所述第一全景图像与所述第三图像拼接在一起以生成第二全景图像；并且
基于用于生成所述第二全景图像的所述选择的拼接位置的所述拼接位置品质度量来确定第四图像捕捉位置。
16.如权利要求1-15中任一项所述的系统，其中所述拼接位置是垂直线。
17.如权利要求1-16中任一项所述的系统，其中FAST算法用于所述第一图像和所述第二图像中的角点检测以识别一个或多个特殊的特征点。
18.如权利要求1-17中任一项所述的系统，其中BRIEF算法用于识别所述第一图像和所述第二图像的特征描述子。
19.如权利要求1-18中任一项所述的系统，其中所述第一图像和所述第二图像的识别的描述子之间的汉明距离用于识别所述第一图像与所述第二图像的所述重叠部分。
20.如权利要求1-19中任一项所述的系统，其中基于组合最小像素与梯度最小差平方总和的计算来选择所述拼接位置。
21.如权利要求1-20中任一项所述的系统，其中所述成像装置包括一个红绿蓝(RGB)感测相机。
22.如权利要求1-21中任一项所述的系统，其中所述处理器进一步地用于确定所述第一选择的拼接位置的所述拼接位置品质度量是大于阈值还是小于所述阈值。
23.如权利要求22所述的系统，其中所述阈值包括值范围。
24.如权利要求22所述的系统，其中所述阈值是单一值。
25.如权利要求23或24所述的系统，其中所述第一图像捕捉位置与所述第二图像捕捉位置之间的距离通过默认角度来限定，
其中所述第二图像捕捉位置与所述第三图像捕捉位置之间的角度通过第二角度来限定，以及
其中确定所述第三图像捕捉位置包括确定所述第二角度。
26.如权利要求25所述的系统，其中如果所述第一选择的拼接位置的所述品质度量小于所述阈值，那么为所述第二角度选择大于所述默认角度的角度。
27.如权利要求25或权利要求26所述的系统，其中如果所述第一选择的拼接位置的所述品质度量大于所述阈值，那么为所述第二角度选择小于所述默认角度的角度。
28.如权利要求25-27中任一项所述的系统，其中如果所述第一选择的拼接位置的所述品质度量既不大于所述阈值也不小于所述阈值，那么为所述第二角度选择等于所述默认角度的角度。
29.一种图像生成方法，所述方法包括：
为第一图像与第二图像的重叠部分中的多个拼接位置确定拼接位置品质度量，
其中所述第一图像是在第一图像捕捉位置处捕捉的，并且其中所述第二图像是在第二图像捕捉位置处捕捉的。
30.如权利要求29所述的方法，所述方法进一步包括：
基于所述第一图像和所述第二图像的所述多个拼接位置的所述确定的拼接位置品质度量来选择第一拼接位置，以及
在所述选择的第一拼接位置处将所述第一图像与所述第二图像拼接在一起以生成第一全景图像。
31.如权利要求30所述的方法，所述方法进一步包括基于所述第一选择的拼接位置的所述拼接位置品质度量来确定第三图像捕捉位置。
32.如权利要求30所述的方法，所述方法进一步包括通过基于所述第一选择的拼接位置的所述拼接位置品质度量确定第三图像捕捉位置来生成全景图像。
33.如权利要求30所述的方法，其中所述选择第一拼接位置包括：
将所述重叠部分划分为多个小部分；
计算每一个小部分的差平方的联合总和；
选择所述小部分中具有最小联合总和的一个小部分；以及
从所述选择的小部分中选择具有最小组合像素与梯度最小差平方总和的拼接位置，其中最小差平方和用于选择所述拼接位置。
34.如权利要求29-33中任一项所述的方法，所述方法进一步包括：
识别在第一图像捕捉位置处捕捉的第一图像与在第二图像捕捉位置处捕捉的第二图像的重叠部分。
35.如权利要求29-34中任一项所述的方法，所述方法进一步包括通过成像装置获得在所述第一图像捕捉位置处捕捉的所述第一图像。
36.如权利要求29-35中任一项所述的方法，所述方法进一步包括：
将所述成像装置移动至所述第二图像捕捉位置；以及
通过所述成像装置获得在所述第二图像捕捉位置处捕捉的所述第二图像。
37.如权利要求29-36中任一项所述的方法，所述方法进一步包括将所述成像装置移动至所述第三图像捕捉位置。
38.如权利要求29-37中任一项所述的方法，所述方法进一步包括：
生成控制指令；以及
将所述控制指令发送至放置所述成像装置的移动平台的移动控制器，以及
其中所述移动控制器使用所述控制指令来使所述成像装置从所述第一图像捕捉位置移动至所述第二图像捕捉位置，或从所述第二图像捕捉位置移动至所述第三图像捕捉位置。
39.如权利要求29-38中任一项所述的方法，其中所述将所述成像装置移动至第二图像捕捉位置包括使所述成像装置绕轴旋转。
40.如权利要求29-39中任一项所述的方法，其中所述将所述成像装置移动至第二图像捕捉位置包括使所述成像装置绕圆的圆周移动。
41.如权利要求29-40中任一项所述的方法，其中所述将所述成像装置移动至所述第二图像捕捉位置包括在云台上移动所述成像装置。
42.如权利要求29-41中任一项所述的方法，其中所述将所述成像装置移动至所述第二图像捕捉位置包括移动一个移动平台。
43.如权利要求42所述的方法，其中所述移动平台包括飞行器。
44.如权利要求29-43中任一项所述的方法，所述方法进一步包括向用户装置无线地传送生成的全景图像。
45.如权利要求29-44中任一项所述的方法，所述方法进一步包括：
通过所述成像装置获得在第三图像捕捉位置处捕捉的第三图像；
识别所述第一全景图像与所述第三图像的重叠部分；
针对所述第一全景图像与所述第三图像的所述重叠部分中的多个拼接位置确定拼接位置品质度量；
基于所述第一全景图像和所述第三图像的所述多个拼接位置的所述确定的拼接位置品质度量来选择第二拼接位置；
在所述第二选择的拼接位置处将所述全景图像与所述第三图像拼接在一起以生成第二全景图像；以及
基于用于生成所述第二全景图像的所述选择的拼接位置的所述拼接位置品质度量来确定第四图像捕捉位置。
46.如权利要求29-45中任一项所述的方法，其中所述拼接位置是垂直线。
47.如权利要求29-46中任一项所述的方法，所述方法进一步包括将FAST算法用于所述第一图像和所述第二图像中的角点检测以识别一个或多个特殊的特征点。
48.如权利要求29-47中任一项所述的方法，所述方法进一步包括将BRIEF算法用于识别所述第一图像和所述第二图像的特征描述子。
49.如权利要求29-48中任一项所述的方法，所述方法进一步包括将所述第一图像和所述第二图像的识别的描述子之间的汉明距离用于识别所述第一图像与所述第二图像的所述重叠部分。
50.如权利要求29-49中任一项所述的方法，所述方法进一步包括基于组合最小像素与梯度最小差平方总和的计算来选择所述第一拼接位置。
51.如权利要求29-50中任一项所述的方法，其中所述成像装置包括RGB相机。
52.如权利要求29-51中任一项所述的方法，所述方法进一步包括确定所述第一选择的拼接位置的所述拼接位置品质度量是大于阈值还是小于所述阈值。
53.如权利要求52所述的方法，其中所述阈值包括值范围。
54.如权利要求52所述的方法，其中所述阈值是单一值。
55.如权利要求53或54所述的方法，其中所述第一图像捕捉位置与所述第二图像捕捉位置之间的距离通过默认角度来限定；
其中所述第二图像捕捉位置与所述第三图像捕捉位置之间的角度通过第二角度来限定，以及
其中确定所述第三图像捕捉位置包括确定所述第二角度。
56.如权利要求55所述的方法，所述方法进一步包括如果所述第一选择的拼接位置的所述品质度量小于所述阈值，那么为所述第二角度选择大于所述默认角度的角度。
57.如权利要求55所述的方法，所述方法进一步包括如果所述第一选择的拼接位置的所述品质度量大于所述阈值，那么为所述第二角度选择小于所述默认角度的角度。
58.如权利要求55所述的方法，所述方法进一步包括如果所述第一选择的拼接位置的所述品质度量既不大于所述阈值也不小于所述阈值，那么为所述第二角度选择等于所述默认角度的角度。
59.一种用于自适应全景图像生成的计算机程序产品，所述计算机程序产品被编码在一个或多个机器可读存储介质上并且包括用于执行如权利要求29-58中任一项所述的方法的指令。
60.一种处理器，所述处理器用于：
针对第一图像与第二图像的重叠部分中的多个拼接位置确定拼接位置品质度量，
其中所述第一图像是在第一图像捕捉位置处捕捉的，并且其中所述第二图像是在第二图像捕捉位置处捕捉的。
61.如权利要求60所述的处理器，所述处理器进一步地用于：
基于所述第一图像和所述第二图像的所述多个拼接位置的所述确定的拼接位置品质度量来选择第一拼接位置；并且
在所述选择的第一拼接位置处将所述第一图像与所述第二图像拼接在一起以生成第一全景图像。
62.如权利要求61所述的处理器，所述处理器进一步地用于基于所述第一选择的拼接位置的所述拼接位置品质度量来确定第三图像捕捉位置。
63.如权利要求61所述的处理器，所述处理器进一步用于基于所述第一选择的拼接位置的所述拼接位置品质度量确定第三图像捕捉位置来生成全景图像。
64.如权利要求61所述的处理器，其中所述处理器进一步地用于：
将所述重叠部分划分为多个小部分；
计算每一个小部分的差平方的联合总和；
选择所述小部分中具有最小联合总和的一个小部分；并且
从所述选择的小部分中选择具有最小组合像素与梯度最小差平方总和的拼接位置，其中最小差平方和用于选择所述拼接位置。
65.如权利要求60-64中任一项所述的处理器，所述处理器进一步用于：
识别在第一图像捕捉位置处捕捉的第一图像与在第二图像捕捉位置处捕捉的第二图像的重叠部分。
66.如权利要求60-65中任一项所述的处理器，所述处理器进一步地用于通过成像装置获得在所述第一图像捕捉位置处捕捉的所述第一图像。
67.如权利要求60-66中任一项所述的处理器，所述处理器进一步地用于：
将所述成像装置移动至所述第二图像捕捉位置；并且
通过所述成像装置获得在所述第二图像捕捉位置处捕捉的所述第二图像。
68.如权利要求60-67中任一项所述的处理器，所述处理器进一步地用于将所述成像装置移动至所述第三图像捕捉位置。
69.如权利要求68所述的处理器，其中所述处理器进一步地用于：
生成控制指令；以及
将所述控制指令发送至放置所述成像装置的移动平台的移动控制器，
其中所述移动控制器使用所述控制指令来将所述成像装置从所述第一图像捕捉位置移动至所述第二图像捕捉位置，或从所述第二图像捕捉位置移动至所述第三图像捕捉位置。
70.如权利要求60-69中任一项所述的处理器，所述处理器进一步用于通过使所述成像装置绕轴旋转来将所述成像装置移动至第二图像捕捉位置。
71.如权利要求60-70中任一项所述的处理器，所述处理器进一步用于通过使所述成像装置沿着圆的圆周移动来将所述成像装置移动至第二图像捕捉位置。
72.如权利要求60-71中任一项所述的处理器，所述处理器进一步用于通过在云台上移动所述成像装置来将所述成像装置移动至所述第二图像捕捉位置。
73.如权利要求60-72中任一项所述的处理器，所述处理器进一步用于通过移动一个移动平台来将所述成像装置移动至所述第二图像捕捉位置。
74.如权利要求73所述的处理器，其中所述移动平台包括飞行器。
75.如权利要求60-74中任一项所述的处理器，所述处理器进一步地用于向用户装置无线地传送生成的全景图像。
76.如权利要求60-75中任一项所述的处理器，所述处理器进一步地用于：
通过所述成像装置获得在第三图像捕捉位置处捕捉的第三图像；
识别所述第一全景图像与所述第三图像的重叠部分；
针对所述第一全景图像与所述第三图像的所述重叠部分中的多个拼接位置确定拼接位置品质度量；
基于所述第一全景图像和所述第三图像的所述多个拼接位置的所述确定的拼接位置品质度量来选择第二拼接位置；
在所述第二选择的拼接位置处将所述全景图像与所述第三图像拼接在一起以生成第二全景图像；并且
基于用于生成所述第二全景图像的所述选择的拼接位置的所述拼接位置品质度量来确定第四图像捕捉位置。
77.如权利要求60-76中任一项所述的处理器，其中所述拼接位置是垂直线。
78.如权利要求60-77中任一项所述的处理器，所述处理器进一步地用于将FAST算法用于所述第一图像和所述第二图像中的角点检测以识别一个或多个特殊的特征点。
79.如权利要求60-78中任一项所述的处理器，所述处理器进一步地用于将BRIEF算法用于识别所述第一图像和所述第二图像的特征描述子。
80.如权利要求60-79中任一项所述的处理器，所述处理器进一步地用于将所述第一图像和所述第二图像的识别的描述子之间的汉明距离用于识别所述第一图像与所述第二图像的所述重叠部分。
81.如权利要求60-80中任一项所述的处理器，所述处理器进一步地用于基于组合最小像素与梯度最小差平方总和的计算来选择所述第一拼接位置。
82.如权利要求60-81中任一项所述的处理器，其中所述成像装置包括RGB相机。
83.如权利要求60-82中任一项所述的处理器，所述处理器进一步地用于确定所述第一选择的拼接位置的所述拼接位置品质度量是大于阈值还是小于所述阈值。
84.如权利要求83所述的处理器，其中所述阈值包括值范围。
85.如权利要求83所述的处理器，其中所述阈值是单一值。
86.如权利要求84或85所述的处理器，其中所述第一图像捕捉位置与所述第二图像捕捉位置之间的距离通过默认角度来限定；
其中所述第二图像捕捉位置与所述第三图像捕捉位置之间的角度通过第二角度来限定，以及
其中确定所述第三图像捕捉位置包括确定所述第二角度。
87.如权利要求86所述的处理器，所述处理器进一步地用于如果所述第一选择的拼接位置的所述品质度量小于所述阈值，那么为所述第二角度选择大于所述默认角度的角度。
88.如权利要求86所述的处理器，所述处理器进一步地用于如果所述第一选择的拼接位置的所述品质度量大于所述阈值，那么为所述第二角度选择小于所述默认角度的角度。
89.如权利要求86所述的处理器，所述处理器进一步地用于：如果所述第一选择的拼接位置的所述品质度量既不大于所述阈值也不小于所述阈值，那么为所述第二角度选择等于所述默认角度的角度。
90.一种包括图像传感器和根据权利要求60-89中任一项所述的处理器的设备。
CN201580031564.4A 2015-03-10 2015-03-10 用于自适应全景图像生成的系统及方法 Active CN106464811B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/073916 WO2016141543A1 (en) 2015-03-10 2015-03-10 System and method for adaptive panoramic image generation

Publications (2)

Publication Number Publication Date
CN106464811A true CN106464811A (zh) 2017-02-22
CN106464811B CN106464811B (zh) 2021-03-26

Family

ID=56878732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580031564.4A Active CN106464811B (zh) 2015-03-10 2015-03-10 用于自适应全景图像生成的系统及方法

Country Status (3)

Country Link
US (1) US10685426B2 (zh)
CN (1) CN106464811B (zh)
WO (1) WO2016141543A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107018335A (zh) * 2017-03-14 2017-08-04 上海小蚁科技有限公司 图像拼接方法、装置及终端
CN107371040A (zh) * 2017-08-28 2017-11-21 荆门程远电子科技有限公司 一种无人机影像高效处理系统
CN108156386A (zh) * 2018-01-11 2018-06-12 维沃移动通信有限公司 一种全景拍照方法及移动终端
WO2019062173A1 (zh) * 2017-09-29 2019-04-04 深圳市大疆创新科技有限公司 视频处理方法、设备、无人机及系统
CN110175011A (zh) * 2019-05-06 2019-08-27 长春理工大学 一种全景影像无缝拼接方法
CN110520893A (zh) * 2017-04-19 2019-11-29 卡普索影像公司 对通过胶囊相机所撷取的图像进行图像处理并显示的方法
CN112967183A (zh) * 2021-01-30 2021-06-15 惠州华阳通用电子有限公司 一种全景画面拼接方法及存储介质
CN114500971A (zh) * 2022-02-12 2022-05-13 北京蜂巢世纪科技有限公司 基于数据共享的场馆3d全景视频生成方法、装置、头戴式显示设备和介质
US11611811B2 (en) 2017-09-29 2023-03-21 SZ DJI Technology Co., Ltd. Video processing method and device, unmanned aerial vehicle and system

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD843266S1 (en) 2016-01-26 2019-03-19 SZ DJI Technology Co., Ltd. Aerial vehicle
US10373360B2 (en) 2017-03-02 2019-08-06 Qualcomm Incorporated Systems and methods for content-adaptive image stitching
CN110998657B (zh) * 2017-08-01 2023-12-12 索尼公司 图像处理设备、图像处理方法和程序
CN109064397B (zh) * 2018-07-04 2023-08-01 广州希脉创新科技有限公司 一种基于摄像耳机的图像拼接方法及系统
TWI696147B (zh) * 2018-09-05 2020-06-11 宅妝股份有限公司 全景圖形成方法及系統
WO2020056613A1 (en) * 2018-09-19 2020-03-26 Shenzhen Xpectvision Technology Co., Ltd. An imaging method
WO2021016487A1 (en) * 2019-07-23 2021-01-28 Broadspot Imaging Corp Carousel guidance for optical imaging devices
USD883141S1 (en) * 2019-11-11 2020-05-05 Qi Lin Unmanned remote control aircraft

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1280312A (zh) * 1999-07-09 2001-01-17 金云龙 全景/倾斜摄影机
CN1751321A (zh) * 2003-02-13 2006-03-22 索尼株式会社 信号处理装置、方法及程序
CN101867720A (zh) * 2009-04-17 2010-10-20 索尼公司 高质量合成全景图像的相机内生成
EP2315075A1 (en) * 2009-10-22 2011-04-27 Samsung Electronics Co., Ltd. Method for Navigation in Panoramic Image, Machine-Readable Storage and Portable Device
CN102207674A (zh) * 2010-03-30 2011-10-05 鸿富锦精密工业（深圳）有限公司 全景图像拍摄装置及方法
CN102289144A (zh) * 2011-06-30 2011-12-21 浙江工业大学 基于全方位视觉传感器的智能3d摄像设备
CN102420898A (zh) * 2011-09-27 2012-04-18 惠州Tcl移动通信有限公司 一种基于手机的全景照相实现方法及手机
US20120263397A1 (en) * 2011-04-12 2012-10-18 Sony Corporation Image processing device, image processing method, and program
CN103618881A (zh) * 2013-12-10 2014-03-05 深圳英飞拓科技股份有限公司 多镜头全景拼接控制方法及装置
CN103685956A (zh) * 2013-12-11 2014-03-26 宇龙计算机通信科技(深圳)有限公司 一种全景照片拍摄方法及装置
CN103763479A (zh) * 2013-12-31 2014-04-30 深圳英飞拓科技股份有限公司 实时高速高清全景视频的拼接装置及其方法
US20140118481A1 (en) * 2012-10-30 2014-05-01 Donald S. Rimai System for making a panoramic print
CN103813089A (zh) * 2012-11-13 2014-05-21 联想(北京)有限公司 一种获得图像的方法、电子设备以及辅助旋转装置
US20140139622A1 (en) * 2011-03-11 2014-05-22 Sony Corporation Image synthesizing apparatus, image synthesizing method, and image synthesizing program
US20140307045A1 (en) * 2013-04-16 2014-10-16 Disney Enterprises, Inc. Stereoscopic panoramas
US20140375760A1 (en) * 2013-06-20 2014-12-25 Haeju LEE Mobile terminal and method of controlling the mobile terminal
CN204116803U (zh) * 2014-10-28 2015-01-21 天津豪世达科技有限公司 一种全景三维模拟系统
CN104376548A (zh) * 2014-11-07 2015-02-25 中国电子科技集团公司第二十八研究所 一种基于改进型surf算法的图像快速拼接方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618511B1 (en) * 1999-12-31 2003-09-09 Stmicroelectronics, Inc. Perspective correction for panoramic digital camera with remote processing
US8041147B2 (en) * 2007-07-18 2011-10-18 3DHISTECH Kft; Method for realistic stitching image blocks of an electronically recorded multipart image
US9129438B2 (en) * 2011-01-18 2015-09-08 NedSense Loft B.V. 3D modeling and rendering from 2D images
US9215448B2 (en) * 2013-01-31 2015-12-15 Here Global B.V. Stereo panoramic images
CN103279939B (zh) * 2013-04-27 2016-01-20 北京工业大学 一种图像拼接处理系统
CN103679674B (zh) * 2013-11-29 2017-01-11 航天恒星科技有限公司 一种无人飞行器实时图像拼接方法及系统
US10021296B2 (en) * 2013-12-31 2018-07-10 Futurewei Technologies, Inc. Automatic rotatable camera for panorama taking in mobile terminals
US9208668B1 (en) * 2014-09-16 2015-12-08 Geovision Inc. Camera system with a full view monitoring function

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1280312A (zh) * 1999-07-09 2001-01-17 金云龙 全景/倾斜摄影机
CN1751321A (zh) * 2003-02-13 2006-03-22 索尼株式会社 信号处理装置、方法及程序
CN101867720A (zh) * 2009-04-17 2010-10-20 索尼公司 高质量合成全景图像的相机内生成
EP2315075A1 (en) * 2009-10-22 2011-04-27 Samsung Electronics Co., Ltd. Method for Navigation in Panoramic Image, Machine-Readable Storage and Portable Device
CN102207674A (zh) * 2010-03-30 2011-10-05 鸿富锦精密工业（深圳）有限公司 全景图像拍摄装置及方法
US20140139622A1 (en) * 2011-03-11 2014-05-22 Sony Corporation Image synthesizing apparatus, image synthesizing method, and image synthesizing program
US20120263397A1 (en) * 2011-04-12 2012-10-18 Sony Corporation Image processing device, image processing method, and program
CN102289144A (zh) * 2011-06-30 2011-12-21 浙江工业大学 基于全方位视觉传感器的智能3d摄像设备
CN102420898A (zh) * 2011-09-27 2012-04-18 惠州Tcl移动通信有限公司 一种基于手机的全景照相实现方法及手机
US20140118481A1 (en) * 2012-10-30 2014-05-01 Donald S. Rimai System for making a panoramic print
CN103813089A (zh) * 2012-11-13 2014-05-21 联想(北京)有限公司 一种获得图像的方法、电子设备以及辅助旋转装置
US20140307045A1 (en) * 2013-04-16 2014-10-16 Disney Enterprises, Inc. Stereoscopic panoramas
US20140375760A1 (en) * 2013-06-20 2014-12-25 Haeju LEE Mobile terminal and method of controlling the mobile terminal
CN103618881A (zh) * 2013-12-10 2014-03-05 深圳英飞拓科技股份有限公司 多镜头全景拼接控制方法及装置
CN103685956A (zh) * 2013-12-11 2014-03-26 宇龙计算机通信科技(深圳)有限公司 一种全景照片拍摄方法及装置
CN103763479A (zh) * 2013-12-31 2014-04-30 深圳英飞拓科技股份有限公司 实时高速高清全景视频的拼接装置及其方法
CN204116803U (zh) * 2014-10-28 2015-01-21 天津豪世达科技有限公司 一种全景三维模拟系统
CN104376548A (zh) * 2014-11-07 2015-02-25 中国电子科技集团公司第二十八研究所 一种基于改进型surf算法的图像快速拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
傅军栋，姚孝明: "《实景图像拼接及其漫游控制技术》", 30 June 2011, 成都：西南交通大学出版社 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107018335A (zh) * 2017-03-14 2017-08-04 上海小蚁科技有限公司 图像拼接方法、装置及终端
CN110520893A (zh) * 2017-04-19 2019-11-29 卡普索影像公司 对通过胶囊相机所撷取的图像进行图像处理并显示的方法
CN110520893B (zh) * 2017-04-19 2023-05-05 卡普索影像公司 对通过胶囊相机所撷取的图像进行图像处理并显示的方法
CN107371040A (zh) * 2017-08-28 2017-11-21 荆门程远电子科技有限公司 一种无人机影像高效处理系统
CN107371040B (zh) * 2017-08-28 2020-05-15 荆门程远电子科技有限公司 一种无人机影像高效处理系统
WO2019062173A1 (zh) * 2017-09-29 2019-04-04 深圳市大疆创新科技有限公司 视频处理方法、设备、无人机及系统
US11611811B2 (en) 2017-09-29 2023-03-21 SZ DJI Technology Co., Ltd. Video processing method and device, unmanned aerial vehicle and system
CN108156386A (zh) * 2018-01-11 2018-06-12 维沃移动通信有限公司 一种全景拍照方法及移动终端
CN110175011A (zh) * 2019-05-06 2019-08-27 长春理工大学 一种全景影像无缝拼接方法
CN110175011B (zh) * 2019-05-06 2022-06-03 长春理工大学 一种全景影像无缝拼接方法
CN112967183A (zh) * 2021-01-30 2021-06-15 惠州华阳通用电子有限公司 一种全景画面拼接方法及存储介质
CN114500971A (zh) * 2022-02-12 2022-05-13 北京蜂巢世纪科技有限公司 基于数据共享的场馆3d全景视频生成方法、装置、头戴式显示设备和介质

Also Published As

Publication number Publication date
CN106464811B (zh) 2021-03-26
WO2016141543A1 (en) 2016-09-15
US10685426B2 (en) 2020-06-16
US20180012336A1 (en) 2018-01-11

Similar Documents

Publication Publication Date Title
CN106464811A (zh) 用于自适应全景图像生成的系统及方法
US11070725B2 (en) Image processing method, and unmanned aerial vehicle and system
JP6730690B2 (ja) シーン内に存在する不要なオブジェクトの除去に基づくシーンの画像の動的生成
JP6948175B2 (ja) 画像処理装置およびその制御方法
CN107169924B (zh) 三维全景图像的建立方法和系统
WO2020192706A1 (zh) 物体三维模型重建方法及装置
US20140152875A1 (en) Guided video wizard for item video listing
US11290692B2 (en) Unmanned aerial vehicle imaging control method, unmanned aerial vehicle imaging method, control terminal, unmanned aerial vehicle control device, and unmanned aerial vehicle
CN110663246B (zh) 用于处理图像的方法和系统
CN105144687A (zh) 图像处理装置、图像处理方法及程序
US11741571B2 (en) Voronoi cropping of images for post field generation
CN104881869A (zh) 一种移动平台上的实时全景跟踪与拼接方法
US20210241422A1 (en) Image processing for reducing artifacts caused by removal of scene elements from images
CN111105351B (zh) 一种视频序列影像拼接方法及装置
CN112514366A (zh) 图像处理方法、图像处理装置和图像处理系统
CN107995408A (zh) 一种360°全景拍摄系统及方法
CN113454980A (zh) 全景拍摄方法、电子设备及存储介质
CN110880159A (zh) 图像拼接方法、装置、存储介质及电子装置
TWI696147B (zh) 全景圖形成方法及系統
CN111698412B (zh) 双光谱全景图像采集方法、装置、无人机及客户端
CN109658360B (zh) 图像处理的方法、装置、电子设备和计算机存储介质
CN110930303A (zh) 全景图形成方法及系统
CN106713741B (zh) 全景视频的质量诊断方法及装置
US20240140625A1 (en) Techniques For Previewing And Composing Panoramic Photographs Using UAV Navigation Cameras
CN109413329B (zh) 一种车辆全景展示方法、装置及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant