CN107123136A - 基于多路图像的全景图像对齐方法、装置及便携式终端 - Google Patents

基于多路图像的全景图像对齐方法、装置及便携式终端 Download PDF

Info

Publication number
CN107123136A
CN107123136A CN201710295870.XA CN201710295870A CN107123136A CN 107123136 A CN107123136 A CN 107123136A CN 201710295870 A CN201710295870 A CN 201710295870A CN 107123136 A CN107123136 A CN 107123136A
Authority
CN
China
Prior art keywords
ball image
hand component
panoramic picture
image
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710295870.XA
Other languages
English (en)
Other versions
CN107123136B (zh
Inventor
尹程龙
姜文杰
刘靖康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Arashi Vision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arashi Vision Co Ltd filed Critical Arashi Vision Co Ltd
Priority to CN201710295870.XA priority Critical patent/CN107123136B/zh
Publication of CN107123136A publication Critical patent/CN107123136A/zh
Priority to JP2019558756A priority patent/JP6961717B2/ja
Priority to EP18790252.3A priority patent/EP3617996A4/en
Priority to US16/609,202 priority patent/US11055818B2/en
Priority to PCT/CN2018/084653 priority patent/WO2018196818A1/zh
Application granted granted Critical
Publication of CN107123136B publication Critical patent/CN107123136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于图像处理领域，提供了一种基于多路图像的全景图像对齐方法、装置及便携式终端。所述方法包括：获取多路球图像；分别根据每路球图像的中间部分、左边部分和右边部分计算每路球图像与相邻球图像中的中间部分、左边部分和右边部分旋转欧拉角，得到第一左边部分旋转矩阵和第一右边部分旋转矩阵；并得到第一左全景图像、第一右全景图像、第二左全景图像和第二右全景图像；将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵，然后得到左全景图的旋转矩阵；将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵，然后得到右全景图的旋转矩阵。本发明实现了基于多路图像的全景图像对齐，全景图像的立体效果好。

Description

基于多路图像的全景图像对齐方法、装置及便携式终端
技术领域
本发明属于图像处理领域，尤其涉及一种基于多路图像的全景图像对齐方法、装置及便携式终端。
背景技术
现有技术在拼接全景图像的时候，对于左图像和右图像，通常使用同一个旋转矩阵来拼接，但会造成左图像和右图像拼接缝隙都比较大。为了克服用同一个旋转矩阵来拼接导致的拼接缝隙都比较大的问题，现有技术采用左图像和右图像分别单独进行拼接，然而会造成左图像和右图像在全景图像里面，有些视差小，有些视差大，从而影响全景图像的立体效果。
发明内容
本发明的目的在于提供一种基于多路图像的全景图像对齐方法、装置及便携式终端，旨在解决采用左图像和右图像分别单独进行拼接，造成左图像和右图像在全景图像里面，有些视差小，有些视差大，从而影响全景图像的立体效果的问题。
第一方面，本发明提供了一种基于多路图像的全景图像对齐方法，所述方法包括：
获取多路球图像，所述多路球图像是用于拼接全景图像的多路图像分别映射到单位球上的多路球图像；
截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角；截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角，得到第一左边部分旋转矩阵；截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角，得到第一右边部分旋转矩阵；
使用所有路图像的中间部分旋转欧拉角拼接左边部分图像，得到第一左全景图像；使用所有路图像的中间部分旋转欧拉角拼接右边部分图像，得到第一右全景图像；使用所有路图像的左边部分旋转欧拉角拼接左边部分图像，得到第二左全景图像；使用所有路图像的右边部分旋转欧拉角拼接右边部分图像，得到第二右全景图像；
将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵，则左全景图的旋转矩阵等于第一左边部分旋转矩阵与第二左边部分旋转矩阵相乘，从而得到左全景图对齐后的旋转欧拉角；将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵，则右全景图的旋转矩阵等于第一右边部分旋转矩阵与第二右边部分旋转矩阵相乘，从而得到右全景图对齐后的旋转欧拉角。
第二方面，本发明提供了一种基于多路图像的全景图像对齐装置，所述装置包括：
获取模块，用于获取多路球图像，所述多路球图像是用于拼接全景图像的多路图像分别映射到单位球上的多路球图像；
计算模块，用于截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角；截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角，得到第一左边部分旋转矩阵；截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角，得到第一右边部分旋转矩阵；
拼接模块，用于使用所有路图像的中间部分旋转欧拉角拼接左边部分图像，得到第一左全景图像；使用所有路图像的中间部分旋转欧拉角拼接右边部分图像，得到第一右全景图像；使用所有路图像的左边部分旋转欧拉角拼接左边部分图像，得到第二左全景图像；使用所有路图像的右边部分旋转欧拉角拼接右边部分图像，得到第二右全景图像；
对齐模块，用于将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵，则左全景图的旋转矩阵等于第一左边部分旋转矩阵与第二左边部分旋转矩阵相乘，从而得到左全景图对齐后的旋转欧拉角；将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵，则右全景图的旋转矩阵等于第一右边部分旋转矩阵与第二右边部分旋转矩阵相乘，从而得到右全景图对齐后的旋转欧拉角。
第三方面，本发明提供了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，所述计算机程序使得计算机执行如上述的基于多路图像的全景图像对齐方法。
第四方面，本发明提供了一种便携式终端，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行以下步骤的指令：
获取多路球图像，所述多路球图像是用于拼接全景图像的多路图像分别映射到单位球上的多路球图像；
截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角；截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角，得到第一左边部分旋转矩阵；截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角，得到第一右边部分旋转矩阵；
使用所有路图像的中间部分旋转欧拉角拼接左边部分图像，得到第一左全景图像；使用所有路图像的中间部分旋转欧拉角拼接右边部分图像，得到第一右全景图像；使用所有路图像的左边部分旋转欧拉角拼接左边部分图像，得到第二左全景图像；使用所有路图像的右边部分旋转欧拉角拼接右边部分图像，得到第二右全景图像；
将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵，则左全景图的旋转矩阵等于第一左边部分旋转矩阵与第二左边部分旋转矩阵相乘，从而得到左全景图对齐后的旋转欧拉角；将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵，则右全景图的旋转矩阵等于第一右边部分旋转矩阵与第二右边部分旋转矩阵相乘，从而得到右全景图对齐后的旋转欧拉角。
在本发明中，由于将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵，则左全景图的旋转矩阵等于第一左边部分旋转矩阵与第二左边部分旋转矩阵相乘，从而得到左全景图对齐后的旋转欧拉角；将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵，则右全景图的旋转矩阵等于第一右边部分旋转矩阵与第二右边部分旋转矩阵相乘，从而得到右全景图对齐后的旋转欧拉角。因此实现了基于多路图像的全景图像对齐，全景图像的立体效果好。
附图说明
图1是本发明实施例一提供的基于多路图像的全景图像对齐方法流程图。
图2是本发明实施例二提供的基于多路图像的全景图像对齐装置的示意图。
图3是本发明实施例四提供的便携式终端的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
请参阅图1，本发明实施例一提供的基于多路图像的全景图像对齐方法包括以下步骤：
S101、获取多路球图像，所述多路球图像是用于拼接全景图像的多路图像分别映射到单位球上的多路球图像。
S102、截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角rollmid、pitchmid、yawmid；截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角rollleft0、pitchleft0、yawleft0，得到第一左边部分旋转矩阵Rleft0；截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角rollright0、pitchright0、yawright0，得到第一右边部分旋转矩阵Rright0。
在本发明实施例一中，所述分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角rollmid、pitchmid、yawmid具体可以包括以下步骤：
截取每路球图像的中间部分；
针对每路球图像的中间部分提取多个特征点；
将每路球图像的中间部分的多个特征点分别与相邻球图像的中间部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的中间部分旋转欧拉角rollmid、pitchmid、yawmid。
在本发明实施例一中，所述分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角rollleft0、pitchleft0、yawleft0具体可以包括以下步骤：
截取每路球图像的左边部分；
针对每路球图像的左边部分提取多个特征点；
将每路球图像的左边部分的多个特征点分别与相邻球图像的左边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的左边部分旋转欧拉角rollleft0、pitchleft0、yawleft0。
在本发明实施例一中，所述分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角rollright0、pitchright0、yawright0具体可以包括以下步骤：
截取每路球图像的右边部分；
针对每路球图像的右边部分提取多个特征点；
将每路球图像的右边部分的多个特征点分别与相邻球图像的右边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的右边部分旋转欧拉角rollright0、pitchright0、yawright0。
S103、使用所有路图像的中间部分旋转欧拉角rollmid、pitchmid、yawmid拼接左边部分图像，得到第一左全景图像Ileft0；使用所有路图像的中间部分旋转欧拉角rollmid、pitchmid、yawmid拼接右边部分图像，得到第一右全景图像Iright0；使用所有路图像的左边部分旋转欧拉角rollleft0、pitchleft0、yawleft0拼接左边部分图像，得到第二左全景图像Ileft1；使用所有路图像的右边部分旋转欧拉角rollright0、pitchright0、yawright0拼接右边部分图像，得到第二右全景图像Iright1。
其中，拼接的方法可以采用申请公布日为2016年10月12日，公布号为CN106023070A公开的实时全景拼接方法，或者是现有技术常用的拼接方法等，在此不再赘述。
S104、将第二左全景图像Ileft1对齐到第一左全景图像Ileft0，计算得到第二左边部分旋转矩阵为Rleft1，则左全景图的旋转矩阵Rleft2＝Rleft0*Rleft1，从而得到左全景图对齐后的旋转欧拉角rollleft1、pitchleft1、yawleft1；将第二右全景图像Iright1对齐到第一右全景图像Iright0，计算得到第二右边部分旋转矩阵为Rright1，则右全景图的旋转矩阵Rright2＝Rright0*Rright1，从而得到右全景图对齐后的旋转欧拉角rollright1、pitchright1、yawright1。
在本发明实施例一中，所述将第二左全景图像Ileft1对齐到第一左全景图像Ileft0，计算得到第二左边部分旋转矩阵为Rleft1具体包括以下步骤：
将第一左全景图像Ileft0映射到第一立方体Cle f t0，将第二左全景图像Ileft1映射到第二立方体Cleft1上；
分别提取第一立方体Cleft0和第二立方体Cleft1的每个面上的特征点对F；
计算最优的第二左边部分旋转矩阵Rleft1，使得F的距离和最小。
所述将第二右全景图像Iright1对齐到第一右全景图像Iright0，计算得到第二右边部分旋转矩阵为Rright1具体包括以下步骤：
将第一右全景图像Iright0映射到第三立方体Cright0，将第二右全景图像Iright1映射到第四立方体Cright1上；
分别提取第三立方体Cright0和第四立方体Cright1的每个面上的特征点对F；
计算最优的第二右边部分旋转矩阵Rright1，使得F的距离和最小。
实施例二：
请参阅图2，本发明实施例二提供的基于多路图像的全景图像对齐装置包括：
获取模块11，用于获取多路球图像，所述多路球图像是用于拼接全景图像的多路图像分别映射到单位球上的多路球图像；
计算模块12，用于截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角；截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角，得到第一左边部分旋转矩阵；截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角，得到第一右边部分旋转矩阵；
拼接模块13，用于使用所有路图像的中间部分旋转欧拉角拼接左边部分图像，得到第一左全景图像；使用所有路图像的中间部分旋转欧拉角拼接右边部分图像，得到第一右全景图像；使用所有路图像的左边部分旋转欧拉角拼接左边部分图像，得到第二左全景图像；使用所有路图像的右边部分旋转欧拉角拼接右边部分图像，得到第二右全景图像；
对齐模块14，用于将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵，则左全景图的旋转矩阵等于第一左边部分旋转矩阵与第二左边部分旋转矩阵相乘，从而得到左全景图对齐后的旋转欧拉角；将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵，则右全景图的旋转矩阵等于第一右边部分旋转矩阵与第二右边部分旋转矩阵相乘，从而得到右全景图对齐后的旋转欧拉角。
在本发明实施例二中，所述分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角具体可以包括：
截取每路球图像的中间部分；
针对每路球图像的中间部分提取多个特征点；
将每路球图像的中间部分的多个特征点分别与相邻球图像的中间部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的中间部分旋转欧拉角；
所述分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角具体可以包括：
截取每路球图像的左边部分；
针对每路球图像的左边部分提取多个特征点；
将每路球图像的左边部分的多个特征点分别与相邻球图像的左边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的左边部分旋转欧拉角；
所述分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角具体可以包括：
截取每路球图像的右边部分；
针对每路球图像的右边部分提取多个特征点；
将每路球图像的右边部分的多个特征点分别与相邻球图像的右边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的右边部分旋转欧拉角。
在本发明实施例二中，所述将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵具体可以包括：
将第一左全景图像映射到第一立方体，将第二左全景图像映射到第二立方体上；
分别提取第一立方体和第二立方体的每个面上的特征点对；
计算最优的第二左边部分旋转矩阵，使得特征点对的距离和最小；
所述将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵具体可以包括：
将第一右全景图像映射到第三立方体，将第二右全景图像映射到第四立方体上；
分别提取第三立方体和第四立方体的每个面上的特征点对；
计算最优的第二右边部分旋转矩阵，使得特征点对的距离和最小。
本发明实施例三还提供了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，所述计算机程序使得计算机执行如本发明实施例一的基于多路图像的全景图像对齐方法。
实施例四：
图3示出了本发明实施例四提供的便携式终端的具体结构框图，该便携式终端100，包括：
一个或多个处理器102；
存储器101；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器101中，并且被配置成由所述一个或多个处理器102执行，所述程序包括用于执行以下步骤的指令：
获取多路球图像，所述多路球图像是用于拼接全景图像的多路图像分别映射到单位球上的多路球图像；
截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角；截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角，得到第一左边部分旋转矩阵；截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角，得到第一右边部分旋转矩阵；
使用所有路图像的中间部分旋转欧拉角拼接左边部分图像，得到第一左全景图像；使用所有路图像的中间部分旋转欧拉角拼接右边部分图像，得到第一右全景图像；使用所有路图像的左边部分旋转欧拉角拼接左边部分图像，得到第二左全景图像；使用所有路图像的右边部分旋转欧拉角拼接右边部分图像，得到第二右全景图像；
将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵，则左全景图的旋转矩阵等于第一左边部分旋转矩阵与第二左边部分旋转矩阵相乘，从而得到左全景图对齐后的旋转欧拉角；将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵，则右全景图的旋转矩阵等于第一右边部分旋转矩阵与第二右边部分旋转矩阵相乘，从而得到右全景图对齐后的旋转欧拉角。
在本发明实施例四中，所述截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角具体可以包括以下步骤：
截取每路球图像的中间部分；
针对每路球图像的中间部分提取多个特征点；
将每路球图像的中间部分的多个特征点分别与相邻球图像的中间部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的中间部分旋转欧拉角；
所述截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角具体包括：
截取每路球图像的左边部分；
针对每路球图像的左边部分提取多个特征点；
将每路球图像的左边部分的多个特征点分别与相邻球图像的左边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的左边部分旋转欧拉角；
所述截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角具体包括：
截取每路球图像的右边部分；
针对每路球图像的右边部分提取多个特征点；
将每路球图像的右边部分的多个特征点分别与相邻球图像的右边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的右边部分旋转欧拉角。
在本发明实施例四中，所述将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵具体可以包括以下步骤：
将第一左全景图像映射到第一立方体，将第二左全景图像映射到第二立方体上；
分别提取第一立方体和第二立方体的每个面上的特征点对；
计算最优的第二左边部分旋转矩阵，使得特征点对的距离和最小；
所述将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵具体包括：
将第一右全景图像映射到第三立方体，将第二右全景图像映射到第四立方体上；
分别提取第三立方体和第四立方体的每个面上的特征点对；
计算最优的第二右边部分旋转矩阵，使得特征点对的距离和最小。
在本发明实施例中，由于将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵，则左全景图的旋转矩阵等于第一左边部分旋转矩阵与第二左边部分旋转矩阵相乘，从而得到左全景图对齐后的旋转欧拉角；将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵，则右全景图的旋转矩阵等于第一右边部分旋转矩阵与第二右边部分旋转矩阵相乘，从而得到右全景图对齐后的旋转欧拉角。因此实现了基于多路图像的全景图像对齐，全景图像的立体效果好。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多路图像的全景图像对齐方法，其特征在于，所述方法包括：
获取多路球图像，所述多路球图像是用于拼接全景图像的多路图像分别映射到单位球上的多路球图像；
截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角；截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角，得到第一左边部分旋转矩阵；截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角，得到第一右边部分旋转矩阵；
使用所有路图像的中间部分旋转欧拉角拼接左边部分图像，得到第一左全景图像；使用所有路图像的中间部分旋转欧拉角拼接右边部分图像，得到第一右全景图像；使用所有路图像的左边部分旋转欧拉角拼接左边部分图像，得到第二左全景图像；使用所有路图像的右边部分旋转欧拉角拼接右边部分图像，得到第二右全景图像；
将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵，则左全景图的旋转矩阵等于第一左边部分旋转矩阵与第二左边部分旋转矩阵相乘，从而得到左全景图对齐后的旋转欧拉角；将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵，则右全景图的旋转矩阵等于第一右边部分旋转矩阵与第二右边部分旋转矩阵相乘，从而得到右全景图对齐后的旋转欧拉角。
2.如权利要求1所述的方法，其特征在于，所述截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角具体包括：
截取每路球图像的中间部分；
针对每路球图像的中间部分提取多个特征点；
将每路球图像的中间部分的多个特征点分别与相邻球图像的中间部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的中间部分旋转欧拉角；
所述截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角具体包括：
截取每路球图像的左边部分；
针对每路球图像的左边部分提取多个特征点；
将每路球图像的左边部分的多个特征点分别与相邻球图像的左边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的左边部分旋转欧拉角；
所述截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角具体包括：
截取每路球图像的右边部分；
针对每路球图像的右边部分提取多个特征点；
将每路球图像的右边部分的多个特征点分别与相邻球图像的右边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的右边部分旋转欧拉角。
3.如权利要求1所述的方法，其特征在于，所述将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵具体包括：
将第一左全景图像映射到第一立方体，将第二左全景图像映射到第二立方体上；
分别提取第一立方体和第二立方体的每个面上的特征点对；
计算最优的第二左边部分旋转矩阵，使得特征点对的距离和最小；
所述将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵具体包括：
将第一右全景图像映射到第三立方体，将第二右全景图像映射到第四立方体上；
分别提取第三立方体和第四立方体的每个面上的特征点对；
计算最优的第二右边部分旋转矩阵，使得特征点对的距离和最小。
4.一种基于多路图像的全景图像对齐装置，其特征在于，所述装置包括：
获取模块，用于获取多路球图像，所述多路球图像是用于拼接全景图像的多路图像分别映射到单位球上的多路球图像；
计算模块，用于截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角；截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角，得到第一左边部分旋转矩阵；截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角，得到第一右边部分旋转矩阵；
拼接模块，用于使用所有路图像的中间部分旋转欧拉角拼接左边部分图像，得到第一左全景图像；使用所有路图像的中间部分旋转欧拉角拼接右边部分图像，得到第一右全景图像；使用所有路图像的左边部分旋转欧拉角拼接左边部分图像，得到第二左全景图像；使用所有路图像的右边部分旋转欧拉角拼接右边部分图像，得到第二右全景图像；
对齐模块，用于将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵，则左全景图的旋转矩阵等于第一左边部分旋转矩阵与第二左边部分旋转矩阵相乘，从而得到左全景图对齐后的旋转欧拉角；将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵，则右全景图的旋转矩阵等于第一右边部分旋转矩阵与第二右边部分旋转矩阵相乘，从而得到右全景图对齐后的旋转欧拉角。
5.如权利要求4所述的装置，其特征在于，所述截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角具体包括：
截取每路球图像的中间部分；
针对每路球图像的中间部分提取多个特征点；
将每路球图像的中间部分的多个特征点分别与相邻球图像的中间部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的中间部分旋转欧拉角；
所述截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角具体包括：
截取每路球图像的左边部分；
针对每路球图像的左边部分提取多个特征点；
将每路球图像的左边部分的多个特征点分别与相邻球图像的左边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的左边部分旋转欧拉角；
所述截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角具体包括：
截取每路球图像的右边部分；
针对每路球图像的右边部分提取多个特征点；
将每路球图像的右边部分的多个特征点分别与相邻球图像的右边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的右边部分旋转欧拉角。
6.如权利要求4所述的装置，其特征在于，所述将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵具体包括：
将第一左全景图像映射到第一立方体，将第二左全景图像映射到第二立方体上；
分别提取第一立方体和第二立方体的每个面上的特征点对；
计算最优的第二左边部分旋转矩阵，使得特征点对的距离和最小；
所述将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵具体包括：
将第一右全景图像映射到第三立方体，将第二右全景图像映射到第四立方体上；
分别提取第三立方体和第四立方体的每个面上的特征点对；
计算最优的第二右边部分旋转矩阵，使得特征点对的距离和最小。
7.一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其特征在于，所述计算机程序使得计算机执行如权利要求1至3任一项所述的基于多路图像的全景图像对齐方法。
8.一种便携式终端，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行以下步骤的指令：
获取多路球图像，所述多路球图像是用于拼接全景图像的多路图像分别映射到单位球上的多路球图像；
截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角；截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角，得到第一左边部分旋转矩阵；截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角，得到第一右边部分旋转矩阵；
使用所有路图像的中间部分旋转欧拉角拼接左边部分图像，得到第一左全景图像；使用所有路图像的中间部分旋转欧拉角拼接右边部分图像，得到第一右全景图像；使用所有路图像的左边部分旋转欧拉角拼接左边部分图像，得到第二左全景图像；使用所有路图像的右边部分旋转欧拉角拼接右边部分图像，得到第二右全景图像；
将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵，则左全景图的旋转矩阵等于第一左边部分旋转矩阵与第二左边部分旋转矩阵相乘，从而得到左全景图对齐后的旋转欧拉角；将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵，则右全景图的旋转矩阵等于第一右边部分旋转矩阵与第二右边部分旋转矩阵相乘，从而得到右全景图对齐后的旋转欧拉角。
9.如权利要求8所述的便携式终端，其特征在于，所述截取每路球图像的中间部分，分别根据每路球图像的中间部分计算每路球图像与相邻球图像中的中间部分旋转欧拉角具体包括：
截取每路球图像的中间部分；
针对每路球图像的中间部分提取多个特征点；
将每路球图像的中间部分的多个特征点分别与相邻球图像的中间部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的中间部分旋转欧拉角；
所述截取每路球图像的左边部分，分别根据每路球图像的左边部分计算每路球图像与相邻球图像中的左边部分旋转欧拉角具体包括：
截取每路球图像的左边部分；
针对每路球图像的左边部分提取多个特征点；
将每路球图像的左边部分的多个特征点分别与相邻球图像的左边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的左边部分旋转欧拉角；
所述截取每路球图像的右边部分，分别根据每路球图像的右边部分计算每路球图像与相邻球图像中的右边部分旋转欧拉角具体包括：
截取每路球图像的右边部分；
针对每路球图像的右边部分提取多个特征点；
将每路球图像的右边部分的多个特征点分别与相邻球图像的右边部分的多个特征点进行匹配，得到多对特征点对；
针对每路球图像，在该路球图像的旋转过程中，获取多对特征点对的距离和最小时对应的旋转欧拉角，作为每路球图像与相邻球图像中的右边部分旋转欧拉角。
10.如权利要求8所述的便携式终端，其特征在于，所述将第二左全景图像对齐到第一左全景图像，计算得到第二左边部分旋转矩阵具体包括：
将第一左全景图像映射到第一立方体，将第二左全景图像映射到第二立方体上；
分别提取第一立方体和第二立方体的每个面上的特征点对；
计算最优的第二左边部分旋转矩阵，使得特征点对的距离和最小；
所述将第二右全景图像对齐到第一右全景图像，计算得到第二右边部分旋转矩阵具体包括：
将第一右全景图像映射到第三立方体，将第二右全景图像映射到第四立方体上；
分别提取第三立方体和第四立方体的每个面上的特征点对；
计算最优的第二右边部分旋转矩阵，使得特征点对的距离和最小。
CN201710295870.XA 2017-04-28 2017-04-28 基于多路图像的全景图像对齐方法、装置及便携式终端 Active CN107123136B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201710295870.XA CN107123136B (zh) 2017-04-28 2017-04-28 基于多路图像的全景图像对齐方法、装置及便携式终端
JP2019558756A JP6961717B2 (ja) 2017-04-28 2018-04-26 マルチパスの画像に基づくパノラマ画像のアライメント方法、装置および携帯端末
EP18790252.3A EP3617996A4 (en) 2017-04-28 2018-04-26 PANORAMIC IMAGE ALIGNMENT METHOD AND DEVICE ON THE BASIS OF MULTI-PATH IMAGES AND PORTABLE TERMINAL DEVICE
US16/609,202 US11055818B2 (en) 2017-04-28 2018-04-26 Panorama image alignment method and device based on multipath images, and portable terminal
PCT/CN2018/084653 WO2018196818A1 (zh) 2017-04-28 2018-04-26 基于多路图像的全景图像对齐方法、装置及便携式终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710295870.XA CN107123136B (zh) 2017-04-28 2017-04-28 基于多路图像的全景图像对齐方法、装置及便携式终端

Publications (2)

Publication Number Publication Date
CN107123136A true CN107123136A (zh) 2017-09-01
CN107123136B CN107123136B (zh) 2019-05-24

Family

ID=59725525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710295870.XA Active CN107123136B (zh) 2017-04-28 2017-04-28 基于多路图像的全景图像对齐方法、装置及便携式终端

Country Status (5)

Country Link
US (1) US11055818B2 (zh)
EP (1) EP3617996A4 (zh)
JP (1) JP6961717B2 (zh)
CN (1) CN107123136B (zh)
WO (1) WO2018196818A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018196818A1 (zh) * 2017-04-28 2018-11-01 深圳岚锋创视网络科技有限公司 基于多路图像的全景图像对齐方法、装置及便携式终端
CN111105347A (zh) * 2019-11-19 2020-05-05 贝壳技术有限公司 一种生成带深度信息的全景图的方法、装置及存储介质
US11055835B2 (en) 2019-11-19 2021-07-06 Ke.com (Beijing) Technology, Co., Ltd. Method and device for generating virtual reality data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877140A (zh) * 2009-12-18 2010-11-03 北京邮电大学 一种基于全景图的全景虚拟游方法
US20140267593A1 (en) * 2013-03-14 2014-09-18 Snu R&Db Foundation Method for processing image and electronic device thereof
CN104333675A (zh) * 2014-10-20 2015-02-04 长春理工大学 一种基于球面投影的全景电子稳像方法
CN106530214A (zh) * 2016-10-21 2017-03-22 微景天下（北京）科技有限公司 图像拼接系统和图像拼接方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001512252A (ja) * 1997-08-01 2001-08-21 サーノフ コーポレイション モザイク画像を構成するためのローカル／グローバルマルチフレームアライメントを実行する方法および装置
US6486908B1 (en) * 1998-05-27 2002-11-26 Industrial Technology Research Institute Image-based method and system for building spherical panoramas
US7259715B1 (en) * 2002-01-08 2007-08-21 Science Applications International Corporation Method for developing and using an image reconstruction algorithm for multipath scattering
US9900505B2 (en) * 2014-07-23 2018-02-20 Disney Enterprises, Inc. Panoramic video from unstructured camera arrays with globally consistent parallax removal
US9626589B1 (en) * 2015-01-19 2017-04-18 Ricoh Co., Ltd. Preview image acquisition user interface for linear panoramic image stitching
CN105389845B (zh) * 2015-10-19 2017-03-22 北京旷视科技有限公司 三维重建的图像获取方法和系统、三维重建方法和系统
CN106023070B (zh) 2016-06-14 2017-10-03 北京岚锋创视网络科技有限公司 实时全景拼接方法和装置
US10136055B2 (en) * 2016-07-29 2018-11-20 Multimedia Image Solution Limited Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama
US9978120B2 (en) * 2016-09-16 2018-05-22 Adobe Systems Incorporated Warping panoramic images to fit a boundary
US20180295293A1 (en) * 2017-04-11 2018-10-11 Nokia Technologies Oy Method and apparatus for generating a panoramic image having one or more spatially altered portions
CN107123136B (zh) * 2017-04-28 2019-05-24 深圳岚锋创视网络科技有限公司 基于多路图像的全景图像对齐方法、装置及便携式终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877140A (zh) * 2009-12-18 2010-11-03 北京邮电大学 一种基于全景图的全景虚拟游方法
US20140267593A1 (en) * 2013-03-14 2014-09-18 Snu R&Db Foundation Method for processing image and electronic device thereof
CN104333675A (zh) * 2014-10-20 2015-02-04 长春理工大学 一种基于球面投影的全景电子稳像方法
CN106530214A (zh) * 2016-10-21 2017-03-22 微景天下（北京）科技有限公司 图像拼接系统和图像拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李艳丽: "全景图生成技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018196818A1 (zh) * 2017-04-28 2018-11-01 深圳岚锋创视网络科技有限公司 基于多路图像的全景图像对齐方法、装置及便携式终端
US11055818B2 (en) 2017-04-28 2021-07-06 Arashi Vision Inc. Panorama image alignment method and device based on multipath images, and portable terminal
CN111105347A (zh) * 2019-11-19 2020-05-05 贝壳技术有限公司 一种生成带深度信息的全景图的方法、装置及存储介质
CN111105347B (zh) * 2019-11-19 2020-11-13 贝壳找房(北京)科技有限公司 一种生成带深度信息的全景图的方法、装置及存储介质
US11055835B2 (en) 2019-11-19 2021-07-06 Ke.com (Beijing) Technology, Co., Ltd. Method and device for generating virtual reality data
US11721006B2 (en) 2019-11-19 2023-08-08 Realsee (Beijing) Technology Co., Ltd. Method and device for generating virtual reality data

Also Published As

Publication number Publication date
JP6961717B2 (ja) 2021-11-05
WO2018196818A1 (zh) 2018-11-01
US20200058097A1 (en) 2020-02-20
JP2020518913A (ja) 2020-06-25
US11055818B2 (en) 2021-07-06
EP3617996A1 (en) 2020-03-04
EP3617996A4 (en) 2021-01-27
CN107123136B (zh) 2019-05-24

Similar Documents

Publication Publication Date Title
CN108027885B (zh) 空间变换器模块
Lu et al. 2-line exhaustive searching for real-time vanishing point estimation in manhattan world
CN107123136A (zh) 基于多路图像的全景图像对齐方法、装置及便携式终端
CN102968809B (zh) 在增强现实领域实现虚拟信息标注及绘制标注线的方法
CN103369192A (zh) 多通道视频图像全硬件拼接方法及装置
CN109040736A (zh) 一种人眼空间位置的标定方法、装置、设备和存储介质
CN103617615A (zh) 径向畸变参数获取方法及获取装置
WO2014110954A1 (en) Method, device and computer-readable storage medium for panoramic image completion
CN107707899B (zh) 包含运动目标的多视角图像处理方法、装置及电子设备
CN104200454A (zh) 鱼眼图像畸变校正方法及装置
CN107832751A (zh) 人脸特征点的标注方法、装置及计算设备
CN105279268B (zh) 一种多数据源地图下载方法
US20140152650A1 (en) Method and apparatus for tile-based rendering
DE102022111321A1 (de) Intelligentes lecksensorsystem für rechenzentrumskühlsysteme
JP2017521794A (ja) 検索方法及び装置
CN113077541B (zh) 一种虚拟天空画面的渲染方法及相关设备
CN106228608A (zh) 一种基于双目的用于物体快速重构的手持装置和方法
CN106251285B (zh) 一种岩石薄片的虚拟仿真图片制作方法
CN108053492B (zh) 立体图形的展开过程呈现方法、装置、设备及存储介质
CN103824310B (zh) 一种生成光特效文字的方法及装置
CN110837297B (zh) 一种信息处理方法和ar设备
CN114119898A (zh) 一种三维重建方法、装置、设备及存储介质
Stojakovic et al. Distortion minimization: A framework for the design of plane geometric anamorphosis
US20230281852A1 (en) Methods and systems for unsupervised depth estimation for fisheye cameras using spatial-temporal consistency
CN106990838B (zh) 一种虚拟现实模式下锁定显示内容的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 6, building 518000, block A, Liuzhou light Century Towers, Shenzhen, Baoan District, Guangdong Province, 601

Patentee after: Yingshi Innovation Technology Co., Ltd

Address before: 6, building 518000, block A, Liuzhou light Century Towers, Shenzhen, Baoan District, Guangdong Province, 601

Patentee before: SHENZHEN ARASHI VISION Co.,Ltd.

CP01 Change in the name or title of a patent holder
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20170901

Assignee: Yingshi innovation (Zhongshan) Technology Co.,Ltd.

Assignor: Yingshi Innovation Technology Co.,Ltd.

Contract record no.: X2021980003408

Denomination of invention: Panoramic image alignment method, device and portable terminal based on multi-channel image

Granted publication date: 20190524

License type: Common License

Record date: 20210510

EE01 Entry into force of recordation of patent licensing contract