CN107123136B - 基于多路图像的全景图像对齐方法、装置及便携式终端 - Google Patents

基于多路图像的全景图像对齐方法、装置及便携式终端 Download PDF

Info

Publication number
CN107123136B
CN107123136B CN201710295870.XA CN201710295870A CN107123136B CN 107123136 B CN107123136 B CN 107123136B CN 201710295870 A CN201710295870 A CN 201710295870A CN 107123136 B CN107123136 B CN 107123136B
Authority
CN
China
Prior art keywords
ball image
hand component
road
panoramic picture
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710295870.XA
Other languages
English (en)
Other versions
CN107123136A (zh
Inventor
尹程龙
姜文杰
刘靖康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Arashi Vision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arashi Vision Co Ltd filed Critical Arashi Vision Co Ltd
Priority to CN201710295870.XA priority Critical patent/CN107123136B/zh
Publication of CN107123136A publication Critical patent/CN107123136A/zh
Priority to EP18790252.3A priority patent/EP3617996A4/en
Priority to PCT/CN2018/084653 priority patent/WO2018196818A1/zh
Priority to JP2019558756A priority patent/JP6961717B2/ja
Priority to US16/609,202 priority patent/US11055818B2/en
Application granted granted Critical
Publication of CN107123136B publication Critical patent/CN107123136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于图像处理领域，提供了一种基于多路图像的全景图像对齐方法、装置及便携式终端。所述方法包括：获取多路球图像；分别根据每路球图像的中间部分、左边部分和右边部分计算每路球图像与相邻球图像中的中间部分、左边部分和右边部分旋转欧拉角，得到第一左边部分旋转矩阵和第一右边部分旋转矩阵；并得到第一左全景图像、第一右全景图像、第二左全景图像和第二右全景图像；将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵，然后得到左全景图的旋转矩阵；将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵，然后得到右全景图的旋转矩阵。本发明实现了基于多路图像的全景图像对齐，全景图像的立体效果好。

Description

基于多路图像的全景图像对齐方法、装置及便携式终端
技术领域
本发明属于图像处理领域，尤其涉及一种基于多路图像的全景图像对齐方法、装置及便携式终端。
背景技术
现有技术在拼接全景图像的时候，对于左图像和右图像，通常使用同一个旋转矩阵来拼接，但会造成左图像和右图像拼接缝隙都比较大。为了克服用同一个旋转矩阵来拼接导致的拼接缝隙都比较大的问题，现有技术采用左图像和右图像分别单独进行拼接，然而会造成左图像和右图像在全景图像里面，有些视差小，有些视差大，从而影响全景图像的立体效果。
发明内容
本发明的目的在于提供一种基于多路图像的全景图像对齐方法、装置及便携式终端，旨在解决采用左图像和右图像分别单独进行拼接，造成左图像和右图像在全景图像里面，有些视差小，有些视差大，从而影响全景图像的立体效果的问题。
第一方面，本发明提供了一种基于多路图像的全景图像对齐方法，所述方法包括：
获取多路球图像，所述多路球图像是用于拼接全景图像的多路图像分别映射到单位球上的多路球图像；
截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角；截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角，得到第一左边部分旋转矩阵；截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角，得到第一右边部分旋转矩阵；
使用所有路图像的中间部分旋转欧拉角拼接左边部分图像，得到第一左全景图像；使用所有路图像的中间部分旋转欧拉角拼接右边部分图像，得到第一右全景图像；使用所有路图像的左边部分旋转欧拉角拼接左边部分图像，得到第二左全景图像；使用所有路图像的右边部分旋转欧拉角拼接右边部分图像，得到第二右全景图像；
将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵，则左全景图的旋转矩阵等于第一左边部分旋转矩阵与第二左边部分旋转矩阵相乘，从而得到左全景图对齐后的旋转欧拉角；将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵，则右全景图的旋转矩阵等于第一右边部分旋转矩阵与第二右边部分旋转矩阵相乘，从而得到右全景图对齐后的旋转欧拉角。
第二方面，本发明提供了一种基于多路图像的全景图像对齐装置，所述装置包括：
获取模块，用于获取多路球图像，所述多路球图像是用于拼接全景图像的多路图像分别映射到单位球上的多路球图像；
计算模块，用于截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角；截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角，得到第一左边部分旋转矩阵；截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角，得到第一右边部分旋转矩阵；
拼接模块，用于使用所有路图像的中间部分旋转欧拉角拼接左边部分图像，得到第一左全景图像；使用所有路图像的中间部分旋转欧拉角拼接右边部分图像，得到第一右全景图像；使用所有路图像的左边部分旋转欧拉角拼接左边部分图像，得到第二左全景图像；使用所有路图像的右边部分旋转欧拉角拼接右边部分图像，得到第二右全景图像；
对齐模块，用于将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵，则左全景图的旋转矩阵等于第一左边部分旋转矩阵与第二左边部分旋转矩阵相乘，从而得到左全景图对齐后的旋转欧拉角；将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵，则右全景图的旋转矩阵等于第一右边部分旋转矩阵与第二右边部分旋转矩阵相乘，从而得到右全景图对齐后的旋转欧拉角。
第三方面，本发明提供了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，所述计算机程序使得计算机执行如上述的基于多路图像的全景图像对齐方法。
第四方面，本发明提供了一种便携式终端，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行以下步骤的指令：
获取多路球图像，所述多路球图像是用于拼接全景图像的多路图像分别映射到单位球上的多路球图像；
截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角；截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角，得到第一左边部分旋转矩阵；截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角，得到第一右边部分旋转矩阵；
使用所有路图像的中间部分旋转欧拉角拼接左边部分图像，得到第一左全景图像；使用所有路图像的中间部分旋转欧拉角拼接右边部分图像，得到第一右全景图像；使用所有路图像的左边部分旋转欧拉角拼接左边部分图像，得到第二左全景图像；使用所有路图像的右边部分旋转欧拉角拼接右边部分图像，得到第二右全景图像；
将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵，则左全景图的旋转矩阵等于第一左边部分旋转矩阵与第二左边部分旋转矩阵相乘，从而得到左全景图对齐后的旋转欧拉角；将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵，则右全景图的旋转矩阵等于第一右边部分旋转矩阵与第二右边部分旋转矩阵相乘，从而得到右全景图对齐后的旋转欧拉角。
在本发明中，由于将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵，则左全景图的旋转矩阵等于第一左边部分旋转矩阵与第二左边部分旋转矩阵相乘，从而得到左全景图对齐后的旋转欧拉角；将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵，则右全景图的旋转矩阵等于第一右边部分旋转矩阵与第二右边部分旋转矩阵相乘，从而得到右全景图对齐后的旋转欧拉角。因此实现了基于多路图像的全景图像对齐，全景图像的立体效果好。
附图说明
图1是本发明实施例一提供的基于多路图像的全景图像对齐方法流程图。
图2是本发明实施例二提供的基于多路图像的全景图像对齐装置的示意图。
图3是本发明实施例四提供的便携式终端的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
请参阅图1，本发明实施例一提供的基于多路图像的全景图像对齐方法包括以下步骤：
S101、获取多路球图像，所述多路球图像是用于拼接全景图像的多路图像分别映射到单位球上的多路球图像。
S102、截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角rollmid、pitchmid、yawmid；截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角rollleft0、pitchleft0、yawleft0，得到第一左边部分旋转矩阵Rleft0；截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角rollright0、pitchright0、yawright0，得到第一右边部分旋转矩阵Rright0。
在本发明实施例一中，所述分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角rollmid、pitchmid、yawmid具体可以包括以下步骤：
截取每路球图像的中间部分；
针对每路球图像的中间部分提取多个特征点；
将每路球图像的中间部分的多个特征点分别与相邻球图像的中间部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的中间部分旋转欧拉角rollmid、pitchmid、yawmid。
在本发明实施例一中，所述分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角rollleft0、pitchleft0、yawleft0具体可以包括以下步骤：
截取每路球图像的左边部分；
针对每路球图像的左边部分提取多个特征点；
将每路球图像的左边部分的多个特征点分别与相邻球图像的左边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的左边部分旋转欧拉角rollleft0、pitchleft0、yawleft0。
在本发明实施例一中，所述分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角rollright0、pitchright0、yawright0具体可以包括以下步骤：
截取每路球图像的右边部分；
针对每路球图像的右边部分提取多个特征点；
将每路球图像的右边部分的多个特征点分别与相邻球图像的右边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的右边部分旋转欧拉角rollright0、pitchright0、yawright0。
S103、使用所有路图像的中间部分旋转欧拉角rollmid、pitchmid、yawmid拼接左边部分图像，得到第一左全景图像Ileft0；使用所有路图像的中间部分旋转欧拉角rollmid、pitchmid、yawmid拼接右边部分图像，得到第一右全景图像Iright0；使用所有路图像的左边部分旋转欧拉角rollleft0、pitchleft0、yawleft0拼接左边部分图像，得到第二左全景图像Ileft1；使用所有路图像的右边部分旋转欧拉角rollright0、pitchright0、yawright0拼接右边部分图像，得到第二右全景图像Iright1。
其中，拼接的方法可以采用申请公布日为2016年10月12日，公布号为CN106023070A公开的实时全景拼接方法，或者是现有技术常用的拼接方法等，在此不再赘述。
S104、将第二左全景图像Ileft1对齐到第一左全景图像Ileft0，计算得到第二左边部分旋转矩阵为Rleft1，则左全景图的旋转矩阵Rleft2＝Rleft0*Rleft1，从而得到左全景图对齐后的旋转欧拉角rollleft1、pitchleft1、yawleft1；将第二右全景图像Iright1对齐到第一右全景图像Iright0，计算得到第二右边部分旋转矩阵为Rright1，则右全景图的旋转矩阵Rright2＝Rright0*Rright1，从而得到右全景图对齐后的旋转欧拉角rollright1、pitchright1、yawright1。
在本发明实施例一中，所述将第二左全景图像Ileft1对齐到第一左全景图像Ileft0，计算得到第二左边部分旋转矩阵为Rleft1具体包括以下步骤：
将第一左全景图像Ileft0映射到第一立方体Cle f t0，将第二左全景图像Ileft1映射到第二立方体Cleft1上；
分别提取第一立方体Cleft0和第二立方体Cleft1的每个面上的特征点对F；
计算最优的第二左边部分旋转矩阵Rleft1，使得F的距离和最小。
所述将第二右全景图像Iright1对齐到第一右全景图像Iright0，计算得到第二右边部分旋转矩阵为Rright1具体包括以下步骤：
将第一右全景图像Iright0映射到第三立方体Cright0，将第二右全景图像Iright1映射到第四立方体Cright1上；
分别提取第三立方体Cright0和第四立方体Cright1的每个面上的特征点对F；
计算最优的第二右边部分旋转矩阵Rright1，使得F的距离和最小。
实施例二：
请参阅图2，本发明实施例二提供的基于多路图像的全景图像对齐装置包括：
获取模块11，用于获取多路球图像，所述多路球图像是用于拼接全景图像的多路图像分别映射到单位球上的多路球图像；
计算模块12，用于截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角；截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角，得到第一左边部分旋转矩阵；截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角，得到第一右边部分旋转矩阵；
拼接模块13，用于使用所有路图像的中间部分旋转欧拉角拼接左边部分图像，得到第一左全景图像；使用所有路图像的中间部分旋转欧拉角拼接右边部分图像，得到第一右全景图像；使用所有路图像的左边部分旋转欧拉角拼接左边部分图像，得到第二左全景图像；使用所有路图像的右边部分旋转欧拉角拼接右边部分图像，得到第二右全景图像；
对齐模块14，用于将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵，则左全景图的旋转矩阵等于第一左边部分旋转矩阵与第二左边部分旋转矩阵相乘，从而得到左全景图对齐后的旋转欧拉角；将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵，则右全景图的旋转矩阵等于第一右边部分旋转矩阵与第二右边部分旋转矩阵相乘，从而得到右全景图对齐后的旋转欧拉角。
在本发明实施例二中，所述分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角具体可以包括：
截取每路球图像的中间部分；
针对每路球图像的中间部分提取多个特征点；
将每路球图像的中间部分的多个特征点分别与相邻球图像的中间部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的中间部分旋转欧拉角；
所述分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角具体可以包括：
截取每路球图像的左边部分；
针对每路球图像的左边部分提取多个特征点；
将每路球图像的左边部分的多个特征点分别与相邻球图像的左边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的左边部分旋转欧拉角；
所述分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角具体可以包括：
截取每路球图像的右边部分；
针对每路球图像的右边部分提取多个特征点；
将每路球图像的右边部分的多个特征点分别与相邻球图像的右边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的右边部分旋转欧拉角。
在本发明实施例二中，所述将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵具体可以包括：
将第一左全景图像映射到第一立方体，将第二左全景图像映射到第二立方体上；
分别提取第一立方体和第二立方体的每个面上的特征点对；
计算最优的第二左边部分旋转矩阵，使得特征点对的距离和最小；
所述将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵具体可以包括：
将第一右全景图像映射到第三立方体，将第二右全景图像映射到第四立方体上；
分别提取第三立方体和第四立方体的每个面上的特征点对；
计算最优的第二右边部分旋转矩阵，使得特征点对的距离和最小。
本发明实施例三还提供了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，所述计算机程序使得计算机执行如本发明实施例一的基于多路图像的全景图像对齐方法。
实施例四：
图3示出了本发明实施例四提供的便携式终端的具体结构框图，该便携式终端100，包括：
一个或多个处理器102；
存储器101；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器101中，并且被配置成由所述一个或多个处理器102执行，所述程序包括用于执行以下步骤的指令：
获取多路球图像，所述多路球图像是用于拼接全景图像的多路图像分别映射到单位球上的多路球图像；
截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角；截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角，得到第一左边部分旋转矩阵；截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角，得到第一右边部分旋转矩阵；
使用所有路图像的中间部分旋转欧拉角拼接左边部分图像，得到第一左全景图像；使用所有路图像的中间部分旋转欧拉角拼接右边部分图像，得到第一右全景图像；使用所有路图像的左边部分旋转欧拉角拼接左边部分图像，得到第二左全景图像；使用所有路图像的右边部分旋转欧拉角拼接右边部分图像，得到第二右全景图像；
将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵，则左全景图的旋转矩阵等于第一左边部分旋转矩阵与第二左边部分旋转矩阵相乘，从而得到左全景图对齐后的旋转欧拉角；将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵，则右全景图的旋转矩阵等于第一右边部分旋转矩阵与第二右边部分旋转矩阵相乘，从而得到右全景图对齐后的旋转欧拉角。
在本发明实施例四中，所述截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角具体可以包括以下步骤：
截取每路球图像的中间部分；
针对每路球图像的中间部分提取多个特征点；
将每路球图像的中间部分的多个特征点分别与相邻球图像的中间部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的中间部分旋转欧拉角；
所述截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角具体包括：
截取每路球图像的左边部分；
针对每路球图像的左边部分提取多个特征点；
将每路球图像的左边部分的多个特征点分别与相邻球图像的左边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的左边部分旋转欧拉角；
所述截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角具体包括：
截取每路球图像的右边部分；
针对每路球图像的右边部分提取多个特征点；
将每路球图像的右边部分的多个特征点分别与相邻球图像的右边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的右边部分旋转欧拉角。
在本发明实施例四中，所述将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵具体可以包括以下步骤：
将第一左全景图像映射到第一立方体，将第二左全景图像映射到第二立方体上；
分别提取第一立方体和第二立方体的每个面上的特征点对；
计算最优的第二左边部分旋转矩阵，使得特征点对的距离和最小；
所述将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵具体包括：
将第一右全景图像映射到第三立方体，将第二右全景图像映射到第四立方体上；
分别提取第三立方体和第四立方体的每个面上的特征点对；
计算最优的第二右边部分旋转矩阵，使得特征点对的距离和最小。
在本发明实施例中，由于将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵，则左全景图的旋转矩阵等于第一左边部分旋转矩阵与第二左边部分旋转矩阵相乘，从而得到左全景图对齐后的旋转欧拉角；将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵，则右全景图的旋转矩阵等于第一右边部分旋转矩阵与第二右边部分旋转矩阵相乘，从而得到右全景图对齐后的旋转欧拉角。因此实现了基于多路图像的全景图像对齐，全景图像的立体效果好。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多路图像的全景图像对齐方法，其特征在于，所述方法包括：
获取多路球图像，所述多路球图像是用于拼接全景图像的多路图像分别映射到单位球上的多路球图像；
截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角；截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角，得到第一左边部分旋转矩阵；截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角，得到第一右边部分旋转矩阵；
使用所有路图像的中间部分旋转欧拉角拼接左边部分图像，得到第一左全景图像；使用所有路图像的中间部分旋转欧拉角拼接右边部分图像，得到第一右全景图像；使用所有路图像的左边部分旋转欧拉角拼接左边部分图像，得到第二左全景图像；使用所有路图像的右边部分旋转欧拉角拼接右边部分图像，得到第二右全景图像；
将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵，则左全景图的旋转矩阵等于第一左边部分旋转矩阵与第二左边部分旋转矩阵相乘，从而得到左全景图对齐后的旋转欧拉角；将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵，则右全景图的旋转矩阵等于第一右边部分旋转矩阵与第二右边部分旋转矩阵相乘，从而得到右全景图对齐后的旋转欧拉角。
2.如权利要求1所述的方法，其特征在于，所述截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角具体包括：
截取每路球图像的中间部分；
针对每路球图像的中间部分提取多个特征点；
将每路球图像的中间部分的多个特征点分别与相邻球图像的中间部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的中间部分旋转欧拉角；
所述截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角具体包括：
截取每路球图像的左边部分；
针对每路球图像的左边部分提取多个特征点；
将每路球图像的左边部分的多个特征点分别与相邻球图像的左边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的左边部分旋转欧拉角；
所述截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角具体包括：
截取每路球图像的右边部分；
针对每路球图像的右边部分提取多个特征点；
将每路球图像的右边部分的多个特征点分别与相邻球图像的右边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的右边部分旋转欧拉角。
3.如权利要求1所述的方法，其特征在于，所述将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵具体包括：
将第一左全景图像映射到第一立方体，将第二左全景图像映射到第二立方体上；
分别提取第一立方体和第二立方体的每个面上的特征点对；
计算最优的第二左边部分旋转矩阵，使得特征点对的距离和最小；
所述将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵具体包括：
将第一右全景图像映射到第三立方体，将第二右全景图像映射到第四立方体上；
分别提取第三立方体和第四立方体的每个面上的特征点对；
计算最优的第二右边部分旋转矩阵，使得特征点对的距离和最小。
4.一种基于多路图像的全景图像对齐装置，其特征在于，所述装置包括：
获取模块，用于获取多路球图像，所述多路球图像是用于拼接全景图像的多路图像分别映射到单位球上的多路球图像；
计算模块，用于截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角；截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角，得到第一左边部分旋转矩阵；截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角，得到第一右边部分旋转矩阵；
拼接模块，用于使用所有路图像的中间部分旋转欧拉角拼接左边部分图像，得到第一左全景图像；使用所有路图像的中间部分旋转欧拉角拼接右边部分图像，得到第一右全景图像；使用所有路图像的左边部分旋转欧拉角拼接左边部分图像，得到第二左全景图像；使用所有路图像的右边部分旋转欧拉角拼接右边部分图像，得到第二右全景图像；
对齐模块，用于将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵，则左全景图的旋转矩阵等于第一左边部分旋转矩阵与第二左边部分旋转矩阵相乘，从而得到左全景图对齐后的旋转欧拉角；将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵，则右全景图的旋转矩阵等于第一右边部分旋转矩阵与第二右边部分旋转矩阵相乘，从而得到右全景图对齐后的旋转欧拉角。
5.如权利要求4所述的装置，其特征在于，所述截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角具体包括：
截取每路球图像的中间部分；
针对每路球图像的中间部分提取多个特征点；
将每路球图像的中间部分的多个特征点分别与相邻球图像的中间部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的中间部分旋转欧拉角；
所述截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角具体包括：
截取每路球图像的左边部分；
针对每路球图像的左边部分提取多个特征点；
将每路球图像的左边部分的多个特征点分别与相邻球图像的左边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的左边部分旋转欧拉角；
所述截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角具体包括：
截取每路球图像的右边部分；
针对每路球图像的右边部分提取多个特征点；
将每路球图像的右边部分的多个特征点分别与相邻球图像的右边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的右边部分旋转欧拉角。
6.如权利要求4所述的装置，其特征在于，所述将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵具体包括：
将第一左全景图像映射到第一立方体，将第二左全景图像映射到第二立方体上；
分别提取第一立方体和第二立方体的每个面上的特征点对；
计算最优的第二左边部分旋转矩阵，使得特征点对的距离和最小；
所述将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵具体包括：
将第一右全景图像映射到第三立方体，将第二右全景图像映射到第四立方体上；
分别提取第三立方体和第四立方体的每个面上的特征点对；
计算最优的第二右边部分旋转矩阵，使得特征点对的距离和最小。
7.一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其特征在于，所述计算机程序使得计算机执行如权利要求1至3任一项所述的基于多路图像的全景图像对齐方法。
8.一种便携式终端，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行以下步骤的指令：
获取多路球图像，所述多路球图像是用于拼接全景图像的多路图像分别映射到单位球上的多路球图像；
截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角；截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角，得到第一左边部分旋转矩阵；截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角，得到第一右边部分旋转矩阵；
使用所有路图像的中间部分旋转欧拉角拼接左边部分图像，得到第一左全景图像；使用所有路图像的中间部分旋转欧拉角拼接右边部分图像，得到第一右全景图像；使用所有路图像的左边部分旋转欧拉角拼接左边部分图像，得到第二左全景图像；使用所有路图像的右边部分旋转欧拉角拼接右边部分图像，得到第二右全景图像；
将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵，则左全景图的旋转矩阵等于第一左边部分旋转矩阵与第二左边部分旋转矩阵相乘，从而得到左全景图对齐后的旋转欧拉角；将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵，则右全景图的旋转矩阵等于第一右边部分旋转矩阵与第二右边部分旋转矩阵相乘，从而得到右全景图对齐后的旋转欧拉角。
9.如权利要求8所述的便携式终端，其特征在于，所述截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角具体包括：
截取每路球图像的中间部分；
针对每路球图像的中间部分提取多个特征点；
将每路球图像的中间部分的多个特征点分别与相邻球图像的中间部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的中间部分旋转欧拉角；
所述截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角具体包括：
截取每路球图像的左边部分；
针对每路球图像的左边部分提取多个特征点；
将每路球图像的左边部分的多个特征点分别与相邻球图像的左边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的左边部分旋转欧拉角；
所述截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角具体包括：
截取每路球图像的右边部分；
针对每路球图像的右边部分提取多个特征点；
将每路球图像的右边部分的多个特征点分别与相邻球图像的右边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的右边部分旋转欧拉角。
10.如权利要求8所述的便携式终端，其特征在于，所述将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵具体包括：
将第一左全景图像映射到第一立方体，将第二左全景图像映射到第二立方体上；
分别提取第一立方体和第二立方体的每个面上的特征点对；
计算最优的第二左边部分旋转矩阵，使得特征点对的距离和最小；
所述将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵具体包括：
将第一右全景图像映射到第三立方体，将第二右全景图像映射到第四立方体上；
分别提取第三立方体和第四立方体的每个面上的特征点对；
计算最优的第二右边部分旋转矩阵，使得特征点对的距离和最小。
CN201710295870.XA 2017-04-28 2017-04-28 基于多路图像的全景图像对齐方法、装置及便携式终端 Active CN107123136B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201710295870.XA CN107123136B (zh) 2017-04-28 2017-04-28 基于多路图像的全景图像对齐方法、装置及便携式终端
EP18790252.3A EP3617996A4 (en) 2017-04-28 2018-04-26 PANORAMIC IMAGE ALIGNMENT METHOD AND DEVICE ON THE BASIS OF MULTI-PATH IMAGES AND PORTABLE TERMINAL DEVICE
PCT/CN2018/084653 WO2018196818A1 (zh) 2017-04-28 2018-04-26 基于多路图像的全景图像对齐方法、装置及便携式终端
JP2019558756A JP6961717B2 (ja) 2017-04-28 2018-04-26 マルチパスの画像に基づくパノラマ画像のアライメント方法、装置および携帯端末
US16/609,202 US11055818B2 (en) 2017-04-28 2018-04-26 Panorama image alignment method and device based on multipath images, and portable terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710295870.XA CN107123136B (zh) 2017-04-28 2017-04-28 基于多路图像的全景图像对齐方法、装置及便携式终端

Publications (2)

Publication Number Publication Date
CN107123136A CN107123136A (zh) 2017-09-01
CN107123136B true CN107123136B (zh) 2019-05-24

Family

ID=59725525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710295870.XA Active CN107123136B (zh) 2017-04-28 2017-04-28 基于多路图像的全景图像对齐方法、装置及便携式终端

Country Status (5)

Country Link
US (1) US11055818B2 (zh)
EP (1) EP3617996A4 (zh)
JP (1) JP6961717B2 (zh)
CN (1) CN107123136B (zh)
WO (1) WO2018196818A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107123136B (zh) 2017-04-28 2019-05-24 深圳岚锋创视网络科技有限公司 基于多路图像的全景图像对齐方法、装置及便携式终端
US11055835B2 (en) 2019-11-19 2021-07-06 Ke.com (Beijing) Technology, Co., Ltd. Method and device for generating virtual reality data
CN111105347B (zh) * 2019-11-19 2020-11-13 贝壳找房(北京)科技有限公司 一种生成带深度信息的全景图的方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877140A (zh) * 2009-12-18 2010-11-03 北京邮电大学 一种基于全景图的全景虚拟游方法
CN104333675A (zh) * 2014-10-20 2015-02-04 长春理工大学 一种基于球面投影的全景电子稳像方法
CN106530214A (zh) * 2016-10-21 2017-03-22 微景天下（北京）科技有限公司 图像拼接系统和图像拼接方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001512252A (ja) * 1997-08-01 2001-08-21 サーノフ コーポレイション モザイク画像を構成するためのローカル／グローバルマルチフレームアライメントを実行する方法および装置
US6486908B1 (en) * 1998-05-27 2002-11-26 Industrial Technology Research Institute Image-based method and system for building spherical panoramas
US7259715B1 (en) * 2002-01-08 2007-08-21 Science Applications International Corporation Method for developing and using an image reconstruction algorithm for multipath scattering
KR20140112909A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 파노라마 영상을 생성하는 전자 장치 및 방법
US9900505B2 (en) * 2014-07-23 2018-02-20 Disney Enterprises, Inc. Panoramic video from unstructured camera arrays with globally consistent parallax removal
US9626589B1 (en) * 2015-01-19 2017-04-18 Ricoh Co., Ltd. Preview image acquisition user interface for linear panoramic image stitching
CN105389845B (zh) * 2015-10-19 2017-03-22 北京旷视科技有限公司 三维重建的图像获取方法和系统、三维重建方法和系统
CN106023070B (zh) 2016-06-14 2017-10-03 北京岚锋创视网络科技有限公司 实时全景拼接方法和装置
US10136055B2 (en) * 2016-07-29 2018-11-20 Multimedia Image Solution Limited Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama
US9978120B2 (en) * 2016-09-16 2018-05-22 Adobe Systems Incorporated Warping panoramic images to fit a boundary
US20180295293A1 (en) * 2017-04-11 2018-10-11 Nokia Technologies Oy Method and apparatus for generating a panoramic image having one or more spatially altered portions
CN107123136B (zh) * 2017-04-28 2019-05-24 深圳岚锋创视网络科技有限公司 基于多路图像的全景图像对齐方法、装置及便携式终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877140A (zh) * 2009-12-18 2010-11-03 北京邮电大学 一种基于全景图的全景虚拟游方法
CN104333675A (zh) * 2014-10-20 2015-02-04 长春理工大学 一种基于球面投影的全景电子稳像方法
CN106530214A (zh) * 2016-10-21 2017-03-22 微景天下（北京）科技有限公司 图像拼接系统和图像拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
全景图生成技术研究;李艳丽;《中国优秀硕士学位论文全文数据库信息科技辑》;20070915(第3期);全文

Also Published As

Publication number Publication date
JP6961717B2 (ja) 2021-11-05
CN107123136A (zh) 2017-09-01
EP3617996A4 (en) 2021-01-27
US20200058097A1 (en) 2020-02-20
WO2018196818A1 (zh) 2018-11-01
EP3617996A1 (en) 2020-03-04
US11055818B2 (en) 2021-07-06
JP2020518913A (ja) 2020-06-25

Similar Documents

Publication Publication Date Title
CN107123136B (zh) 基于多路图像的全景图像对齐方法、装置及便携式终端
CN107945112B (zh) 一种全景图像拼接方法及装置
US10726580B2 (en) Method and device for calibration
US9984662B2 (en) Virtual reality system, and method and apparatus for displaying an android application image therein
EP3376762B1 (en) Depth image composition method and apparatus
CN108846796B (zh) 图像拼接方法及电子设备
CN103035016B (zh) 投影机球形显示及旋转输出图像的处理方法
CN103369192A (zh) 多通道视频图像全硬件拼接方法及装置
CN109040736A (zh) 一种人眼空间位置的标定方法、装置、设备和存储介质
WO2014110954A1 (en) Method, device and computer-readable storage medium for panoramic image completion
CN105809729A (zh) 一种虚拟场景的球形全景渲染方法
Jiang et al. Self-calibration of Varying Internal Camera Parameters Algorithm Based on Quasi-affine Reconstruction.
DE102022111321A1 (de) Intelligentes lecksensorsystem für rechenzentrumskühlsysteme
US10264238B2 (en) Stereoscopic mapping
Se et al. Computational thinking leads to computational learning: Flipped class room experiments in linear algebra
US20130127995A1 (en) Preprocessing apparatus in stereo matching system
CN113077541A (zh) 一种虚拟天空画面的渲染方法及相关设备
CN111862240A (zh) 全景相机及其标定方法、全景图像的拼接方法及存储介质
CN105488764A (zh) 鱼眼图像校正方法及装置
Takahashi et al. Performance evaluation of a geometric correction method for multi-projector display using SIFT and phase-only correlation
CN114285564A (zh) 密钥确定方法及装置
Stojakovic et al. Distortion minimization: A framework for the design of plane geometric anamorphosis
Wang et al. Paracatadioptric camera calibration based on the projecting relationship of the relative position between two spheres
CN103676169B (zh) 立体显示装置
Liao et al. 19‐5L: Late‐News Paper: Perceptually Optimized Dual‐layer Light Field 3D Display Using a Moiré‐aware Compressive Factorization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 6, building 518000, block A, Liuzhou light Century Towers, Shenzhen, Baoan District, Guangdong Province, 601

Patentee after: Yingshi Innovation Technology Co., Ltd

Address before: 6, building 518000, block A, Liuzhou light Century Towers, Shenzhen, Baoan District, Guangdong Province, 601

Patentee before: SHENZHEN ARASHI VISION Co.,Ltd.

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20170901

Assignee: Yingshi innovation (Zhongshan) Technology Co.,Ltd.

Assignor: Yingshi Innovation Technology Co.,Ltd.

Contract record no.: X2021980003408

Denomination of invention: Panoramic image alignment method, device and portable terminal based on multi-channel image

Granted publication date: 20190524

License type: Common License

Record date: 20210510