CN112801873B - 一种全景图像拼接建模的方法及装置 - Google Patents
一种全景图像拼接建模的方法及装置 Download PDFInfo
- Publication number
- CN112801873B CN112801873B CN202110149900.2A CN202110149900A CN112801873B CN 112801873 B CN112801873 B CN 112801873B CN 202110149900 A CN202110149900 A CN 202110149900A CN 112801873 B CN112801873 B CN 112801873B
- Authority
- CN
- China
- Prior art keywords
- wide
- angle
- characteristic point
- matching
- point pairs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000011159 matrix material Substances 0.000 claims abstract description 58
- 238000009825 accumulation Methods 0.000 claims abstract description 55
- 238000012216 screening Methods 0.000 claims abstract description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G06T3/047—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本实施例公开了一种全景图像拼接建模的方法及装置，涉及计算机视觉领域。其中，方法包括：不断累积非广角图像及其相对应的广角图像之间的第一匹配特征点对，并根据所述第一匹配特征点对生成第一单应性矩阵，直至满足第一累积结束条件；不断累积非广角图像之间的第二匹配特征点对，根据所述第一单应性矩阵将所述第二匹配特征点对中的特征点投影到对应广角图像所在广角坐标系中，筛选符合预设条件的第二匹配特征点对构成总非广角匹配特征点对，直至满足第二累积结束条件；根据所述中的匹配特征点对生成第二单应性矩阵；根据所述第二单应性矩阵获取对应非广角相机的参数，完成全景图像拼接建模。
Description
技术领域
本公开涉及计算机视觉领域，具体涉及一种全景图像拼接建模的方法及装置。
背景技术
现有技术中，全景图拼接技术通常利用各个子图之间的特征点匹配作为基础，自动化构建全景图几何结构。这种方式在各种不同的应用中达到了非常高的质量。
但是这种方法对所有参与拼接的相机进行建模的时候需要各个子相机和其视野有重合的其他子相机有足够数目和质量的匹配特征点对，如果数目或质量不足，则要么会出现部分相机视野不出现在拼接全景图中，要么会出现拼接质量差的问题。在使用此方法建模时，往往不得不对场景进行人工选择和处理(比如放置人工制造的标志物等)使得各个子相机和其视野有重合的其他子相机有足够数目和质量的匹配特征点对。然而这样的做法对于有大量(比如大于10个)子相机且各自覆盖的视野比较大的情况会造成建模难度大，场景布置成本高以及建模成功率低等问题。
发明内容
针对现有技术中的上述技术问题，本公开实施例提出了一种全景图像拼接建模的方法及装置，能够解决现有技术中存在的全景图像拼接建模难度大、质量差以及成功率低等问题。
本公开实施例的第一方面提供了一种全景图像拼接建模的方法，包括：
不断累积非广角图像及其相对应的广角图像之间的第一匹配特征点对，并根据所述第一匹配特征点对生成第一单应性矩阵，直至满足第一累积结束条件；
不断累积非广角图像之间的第二匹配特征点对，根据所述第一单应性矩阵将所述第二匹配特征点对中的特征点投影到对应广角图像所在广角坐标系中，筛选符合预设条件的第二匹配特征点对构成总非广角匹配特征点对，直至满足第二累积结束条件；
根据所述总非广角匹配特征点对生成第二单应性矩阵；
根据所述第二单应性矩阵获取对应非广角相机的参数，完成全景图像拼接建模。
在一些实施例中，第一累积结束条件具体为：所述非广角图像及其相对应的所述广角图像之间的匹配置信度不小于预置的第一置信度和/或第一内点数目不小于第一预设值和/或第一匹配特征点对数目不小于预置的第二预设值；所述第二累积结束条件具体为：所述非广角图像之间的匹配置信度不小于预置的第二置信度和/或第二内点数目不小于第三预设值和/或第二匹配特征点对数目满足第四预设值。
在一些实施例中，所述方法还包括：
在所述广角图像上提取与所述非广角图像对应的图像参考块；
对所述非广角图像执行下采样操作，生成下采样图像；
创建伪全景图，将所述下采样图像参照所述图像参考块在广角图像上的位置粘贴至所述伪全景图中，并在所述伪全景图中显示所述非广角图像及其相对应的所述广角图像之间的匹配置信度。
在一些实施例中，所述方法还包括：若不满足所述第一累积结束条件或所述第二累积结束条件时，则调整阵列相机整体并再次拍摄，使得拍摄的非广角图像上的特征点累积并增多。
在一些实施例中，所述筛选符合预设条件的第二匹配特征点对，具体包括：将第二匹配特征点对中的特征点分别投影到广角图像所在的广角坐标系中，获取对应的投影坐标；在所述广角坐标系中通过所述投影坐标计算所述特征点之间的距离；若所述距离大于误差阈值，则删除对应的第二匹配特征点对；否则，保留对应的第二匹配特征点对。
在一些实施例中，所述方法还包括：所述总非广角匹配特征点对中的特征点对先通过所述第一单应性矩阵投影到对应广角图像所在广角坐标系中，再通过所述第二单应性矩阵投影到其它任一非广角图像所在的非广角坐标系中，生成额外匹配特征点对。
在一些实施例中，所述方法还包括：所述额外匹配特征点对和所述符合预设条件的第二匹配特征点对共同组成所述总非广角匹配特征点对。
本公开实施例的第二方面提供了一种全景图像拼接建模的装置，包括：
第一累积模块，用于不断累积非广角图像及其相对应的广角图像之间的第一匹配特征点对，并根据所述第一匹配特征点对生成第一单应性矩阵，直至满足第一累积结束条件；
第二累积模块，用于不断累积非广角图像之间的第二匹配特征点对，根据所述第一单应性矩阵将所述第二匹配特征点对中的特征点投影到对应广角图像所在广角坐标系中，筛选符合预设条件的第二匹配特征点对构成总非广角匹配特征点对，直至满足第二累积结束条件；
单应性矩阵生成模块，用于根据所述总非广角匹配特征点对生成第二单应性矩阵；
拼接建模模块，用于根据所述第二单应性矩阵获取对应非广角相机的参数，完成全景图像拼接建模。
在一些实施例中，所述第一累积模块还用于：在所述广角图像上提取与所述非广角图像对应的图像参考块；
对所述非广角图像执行下采样操作，生成下采样图像；
创建伪全景图，将所述下采样图像参照所述图像参考块在广角图像上的位置粘贴至所述伪全景图中，并在所述伪全景图中显示所述非广角图像及其相对应的所述广角图像之间的匹配置信度。
在一些实施例中，所述装置还包括调整模块，用于当不满足所述第一累积结束条件或所述第二累积结束条件时，调整阵列相机整体并再次拍摄，使得拍摄的非广角图像上的特征点累积并增多。
在一些实施例中，所述第二累积模块具体用于：将第二匹配特征点对中的特征点分别投影到广角图像所在的广角坐标系中，获取对应的投影坐标；在所述广角坐标系中通过所述投影坐标计算所述特征点之间的距离；若所述距离大于误差阈值，则删除对应的第二匹配特征点对；否则，保留对应的第二匹配特征点对。
在一些实施例中，所述装置还包括额外匹配特征点对生成模块，用于将所述总非广角匹配特征点对中的特征点对先通过所述第一单应性矩阵投影到对应广角图像所在广角坐标系中，再通过所述第二单应性矩阵投影到其它任一非广角图像所在的非广角坐标系中，生成额外匹配特征点对。
本公开实施例的第三方面提供了一种电子设备，包括：
存储器以及一个或多个处理器；
其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如前述各实施例所述的方法。
本公开实施例的第四方面提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如前述各实施例所述的方法。
本公开实施例的第五方面提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，可用来实现如前述各实施例所述的方法。
本公开实施例的有益效果是：通过本公开提出的全景图像拼接建模的方法及装置，利用了与非广角图像相对应的广角图像生成第一单应型矩阵，随后应用所述第一单应型矩阵不断累积符合筛选条件的非广角图像之间的匹配特征点对生成第二单应性矩阵，进而实现全景图像的拼接建模；有效提升了拼接建模的质量及成功率，降低了全景图像拼接建模的难度。
附图说明
通过参考附图会更加清楚的理解本公开的特征和优点，附图是示意性的而不应理解为对本公开进行任何限制，在附图中：
图1是根据本公开的一些实施例所示的一种全景图像拼接建模的方法流程图；
图2是根据本公开的一些实施例展示了非广角图像与广角图像的匹配状态；
图3是根据本公开的一些实施例展示了非广角图像重合区域的匹配状态；
图4是根据本公开的一些实施例所示的一种全景图像拼接建模的装置结构框图；
图5是根据本公开的一些实施例所示的一种电子设备的结构示意图。
具体实施方式
在下面的详细描述中，通过示例阐述了本公开的许多具体细节，以便提供对相关披露的透彻理解。然而，对于本领域的普通技术人员来讲，本公开显而易见的可以在没有这些细节的情况下实施。应当理解的是，本公开中使用“系统”、“装置”、“单元”和/或“模块”术语，是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而，如果其他表达式可以实现相同的目的，这些术语可以被其他表达式替换。
应当理解的是，当设备、单元或模块被称为“在……上”、“连接到”或“耦合到”另一设备、单元或模块时，其可以直接在另一设备、单元或模块上，连接或耦合到或与其他设备、单元或模块通信，或者可以存在中间设备、单元或模块，除非上下文明确提示例外情形。例如，本公开所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。
本公开所用术语仅为了描述特定实施例，而非限制本公开范围。如本公开说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件，而该类表述并不构成一个排它性的罗列，其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。
参看下面的说明以及附图，本公开的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解，其中说明和附图形成了说明书的一部分。然而，可以清楚地理解，附图仅用作说明和描述的目的，并不意在限定本公开的保护范围。可以理解的是，附图并非按比例绘制。
本公开中使用了多种结构图用来说明根据本公开的实施例的各种变形。应当理解的是，前面或下面的结构并不是用来限定本公开。本公开的保护范围以权利要求为准。
现有技术中，全景图拼接技术通常利用各个子图之间的特征点匹配作为基础，自动化构建全景图几何结构。这种方式在各种不同的应用中达到了非常高的质量。
但是这种方法对所有参与拼接的相机进行建模的时候需要各个子相机和其视野有重合的其他子相机有足够数目和质量的匹配特征点对，如果数目或质量不足，则要么会出现部分相机视野不出现在拼接全景图中，或拼接质量差的问题。
在使用此方法建模时，往往不得不对场景进行人工选择和处理(比如放置人工制造的标志物等)使得各个子相机和其视野有重合的其他子相机有足够数目和质量的匹配特征点对。这样的做法对于有大量(比如大于10个)子相机且各自覆盖的视野比较大的情况会造成建模难度大，场景布置成本高等问题。
例如，若使用的子相机个数较多且各个子相机自覆盖的视野比较大的情况下，当一部分子相机间的匹配特征点对的数目和质量均足够的时候，另一部分子相机间的匹配特征点对的数目和质量很可能不够；而如果把阵列相机整体调整一个角度后，可能使得原本匹配特征点对不足的那些子相机的匹配特征点对足够，但是本来匹配特征点对足够的那些子相机间的匹配特征点对变得不够。
因此，为解决上述问题，本公开实施例公开了一种全景图像拼接建模的方法，如图1所示，具体包括：
S101、不断累积非广角图像及其相对应的广角图像之间的第一匹配特征点对，并根据所述第一匹配特征点对生成第一单应性矩阵，直至满足第一累积结束条件；
S102、不断累积非广角图像之间的第二匹配特征点对，根据所述第一单应性矩阵将所述第二匹配特征点对中的特征点投影到对应广角图像所在广角坐标系中，筛选符合预设条件的第二匹配特征点对构成总非广角匹配特征点对，直至满足第二累积结束条件；
S103、根据所述总非广角匹配特征点对生成第二单应性矩阵；
S104、根据所述第二单应性矩阵获取对应非广角相机的参数，完成全景图像拼接建模。
在一些实施例中，所述第一匹配特征点对是通过提取非广角图像及相对应的广角图像上的特征点进行特征点匹配而获取的，具体包括：
S101-1、获取所有非广角相机拍摄的非广角图像和覆盖所有非广角相机视野的广角相机拍摄的广角图像；
S101-2、使用特征点检测方式得到非广角图像的特征点和广角图像的特征点；优选地，所述特征点检测方法为SIFT(Scale-invariant feature transform，尺度不变特征变换匹配)算法。
S101-3、使用预设算法对各个非广角图像的特征点和广角图像的特征点进行匹配，生成第一匹配特征点对；优选地，所述预设算法为KD树算法。
在一些实施例中，所述方法还包括：根据第一匹配特征点对，计算非广角图像到广角图像的第一单应性矩阵H_i(i为大于0的自然数)，其中i为非广角相机ID号。
在一些实施例中，所述方法还进一步包括：将所述非广角图像映射到广角图像所在的广角坐标系中，获取映射坐标范围，即获取所述非广角图像坐标范围在广角图像所在的广角坐标系里的对应坐标范围。
在一些实施例中，所述方法还进一步包括：
在所述广角图像上提取与所述非广角图像对应的图像参考块；
对所述非广角图像执行下采样操作，生成下采样图像；
创建伪全景图，将所述下采样图像参照所述图像参考块在广角图像上的位置粘贴至所述伪全景图中，并在所述伪全景图中显示所述非广角图像及其相对应的所述广角图像之间的匹配置信度。
具体地，所述下采样尺寸与所述图像参考块的大小一致。
具体地，使用第一单应性矩阵H_i得到非广角图像的左上角和右下角在广角图像所在的广角坐标系里的对应坐标范围；根据所述坐标范围在所述广角图像上截取图像参考块。一般地，所述图像参考块为矩形。
具体地，所述伪全景图的尺寸大小和广角图像一致，且所有像素全为0。
如图2所示，展示了非广角图像与广角图像的匹配状态。图中各个下采样图像被粘贴到了伪全景图上，并加了边框以方便观察匹配状态。通常，在伪全景图上为了方便观察会给下采样图像增加边框；在边框内的四周还可以增加一些参数，例如：非广角相机的编号(图2中省略)、非广角到广角匹配的置信度(图2中C1-C17)，特征点的总数目(图2中省略)等等。
在一些实施例中，所述方法还进一步包括：
通过人工(例如：操作员)和/或自动检查装置(例如：自动旋转/累积装置)检查所述匹配置信度和/或第一内点数目和/或第一匹配特征点对数目；
若匹配置信度和/或第一内点数目和/或第一匹配特征点对数目满足第一累积结束条件，则结束累积；
若匹配置信度和/或第一内点数目和/或第一匹配特征点对数目不满足第一累积结束条件，则调整阵列相机整体并再次拍摄，使得拍摄的非广角图像上的特征点累积并增多。
具体地，所述第一累积结束条件具体为：所述非广角图像及其相对应的所述广角图像之间的匹配置信度不小于预置的第一置信度和/或第一内点数目不小于第一预设值和/或第一匹配特征点对数目不小于预置的第二预设值。
其中，第一内点数目是根据所述第一单应型矩阵得到的。
具体地，所述阵列相机整体包括所有的广角相机和非广角相机。
具体地，人工和/或自动检查装置旋转阵列相机使得特征点缺失或不足的非广角相机能够拍摄到内容丰富的区域(比如不是拍到天空而是拍到建筑物等)，进而使得非广角图像上的特征点增多。
进一步地，依照前述各实施例中的描述的方法，累积第一匹配特征点对并显示和检查当前累积状态直至满足第一累积结束条件。
在一些实施例中，所述第二匹配特征点对是通过提取非广角图像上的特征点进行特征点匹配而获取的，具体包括：
S102-1、获取所有非广角相机拍摄的非广角图像；
S102-2、使用特征点检测方式得到非广角图像的特征点；优选地，所述特征点检测方法为SIFT(Scale-invariant feature transform，尺度不变特征变换匹配)算法。
S102-3、遍历所有提取的特征点数目不小于预设阈值的非广角图像，使用预设算法对所述非广角图像的特征点进行匹配，生成第二匹配特征点对；优选地，所述预设算法为KD树算法。
具体地，若用SIFT算法提取非广角图像上的特征点数目大于预设阈值，则使用预设算法尝试匹配特征点，否则，直接放弃匹配。
在一些实施例中，所述方法具体包括：将第二匹配特征点对中的特征点分别投影到广角图像所在的广角坐标系中，获取对应的投影坐标；在所述广角坐标系中通过所述投影坐标计算所述特征点之间的距离；若所述距离大于误差阈值，则删除对应的第二匹配特征点对；否则，保留对应的第二匹配特征点对。
进一步地，所述方法具体包括：在所述广角坐标系中计算所述投影坐标中横坐标之间差值的绝对值和纵坐标之间差值的绝对值，判断两个差值的绝对值是否满足所述误差阈值。
进一步地，将筛选出来的、符合预设条件的第二匹配特征点对组成总非广角匹配特征点对。
在一些实施例中，所述方法还进一步包括：
通过人工(例如：操作员)和/或自动检查装置(例如：自动旋转/累积装置)检查非广角图像之间的匹配置信度和/或第二内点数目和/或第二匹配特征点对数目；
若匹配置信度和/或第二内点数目和/或第二匹配特征点对数目满足第二累积结束条件，则结束累积；
若匹配置信度和/或第二内点数目和/或第二匹配特征点对数目不满足第二累积结束条件，则调整阵列相机整体并再次拍摄，使得拍摄的非广角图像上的特征点累积并增多。
具体地，所述第二累积结束条件具体为：所述非广角图像之间的匹配置信度不小于预置的第二置信度和/或第二内点数目不小于第三预设值和/或第二匹配特征点对数目满足第四预设值。
其中，第二内点数目是根据所述第二单应型矩阵得到的。
进一步地，依照前述各实施例中的描述的方法，累积筛选出来的、符合预设条件的第二匹配特征点对并显示和检查当前累积状态直至满足第二累积结束条件。
如图3所示，展示了非广角图像重合区域的匹配状态。所述匹配状态中包括诸多参数，包括筛选过的第二匹配特征点对的数目(图3中省略)，内点数目(图3中省略)以及匹配的置信度(图3中C-a至C-h)。通常匹配状态会被记录在了一对相匹配的非广角图像的交界处。
在一些实施例中，所述方法还包括：
所述中的匹配特征点对中的特征点对先通过所述第一单应性矩阵投影到对应广角图像所在广角坐标系中，再通过所述第二单应性矩阵投影到其它任一非广角图像所在的非广角坐标系中，生成额外匹配特征点对。
具体地，将所述中的匹配特征点对中的特征点对先通过所述第一单应性矩阵投影到对应广角图像所在广角坐标系中，将投影得到的特征点用所述第二单应性矩阵的逆矩阵投影到紧邻或者其他任一非广角图像所在的非广角坐标系中，生成额外匹配特征点对。
在一些实施例中，可按照预设的比例，将额外匹配特征点对和符合预设条件的第二匹配特征点对组合起来，共同组成总非广角匹配特征点对。
具体地，在未生成额外匹配特征点之前，所述总非广角匹配特征点对仅包括符合预设条件的第二匹配特征点对；一旦生成额外匹配点对后，所述额外匹配点对与已有的符合预设条件的第二匹配特征点对共同组成总非广角匹配特征点对；持续积累额外特征点对，将最新得到的额外特征点对和之前的额外特征点及已有的符合预设条件的第二匹配特征点对共同组成总非广角匹配特征点对。
在一些实施例中，所述方法还包括：根据总非广角匹配特征点对生成第二单应性矩阵。
基于各个非广角相机对间的第二单应性矩阵初步估计各个非广角相机的内外参数。
初步估计相机参数后，用光束平差法(Bundle adjustment)对各个非广角相机的内外参数进行精细调整，修正纵横波形，并得到最终的各个非广角相机的内外参数，完成全景图像拼接建模。
本公开实施例还进一步公开了一种全景图像拼接建模的装置200，如图4所示，包括：
第一累积模块201，用于不断累积非广角图像及其相对应的广角图像之间的第一匹配特征点对，并根据所述第一匹配特征点对生成第一单应性矩阵，直至满足第一累积结束条件；
第二累积模块202，用于不断累积非广角图像之间的第二匹配特征点对，根据所述第一单应性矩阵将所述第二匹配特征点对中的特征点投影到广角图像所在广角坐标系中，筛选符合预设条件的第二匹配特征点对构成总非广角匹配特征点对，直至满足第二累积结束条件；
单应性矩阵生成模块203，用于根据所述总非广角匹配特征点对生成第二单应性矩阵；
拼接建模模块204，用于根据所述第二单应性矩阵获取对应非广角相机的参数，完成全景图像拼接建模。
在一些实施例中，所述第一累积模块还用于：在所述广角图像上提取与所述非广角图像对应的图像参考块；
对所述非广角图像执行下采样操作，生成下采样图像；
创建伪全景图，将所述下采样图像参照所述图像参考块在广角图像上的位置粘贴至所述伪全景图中，并在所述伪全景图中显示所述非广角图像及其相对应的所述广角图像之间的匹配置信度。
在一些实施例中，所述装置还包括调整模块，用于当不满足所述第一累积结束条件或所述第二累积结束条件时，调整阵列相机整体并再次拍摄，使得拍摄的非广角图像上的特征点累积并增多。
在一些实施例中，所述第二累积模块具体用于：将第二匹配特征点对中的特征点分别投影到广角图像所在的广角坐标系中，获取对应的投影坐标；在所述广角坐标系中通过所述投影坐标计算所述特征点之间的距离；若所述距离大于误差阈值，则删除对应的第二匹配特征点对；否则，保留对应的第二匹配特征点对。
在一些实施例中，所述装置还包括额外匹配特征点对生成模块，用于将所述总非广角匹配特征点对中的特征点对先通过所述第一单应性矩阵投影到对应广角图像所在广角坐标系中，再通过所述第二单应性矩阵投影到其它任一非广角图像所在的非广角坐标系中，生成额外匹配特征点对。
本公开实施例还进一步公开了一种电子设备示意图，如图5所示。其中，该电子设备300包括：
存储器330以及一个或多个处理器310；
其中，所述存储器330与所述一个或多个处理器310通信连接，所述存储器330中存储有可被所述一个或多个处理器执行的指令332，所述指令332被所述一个或多个处理器310执行，以使所述一个或多个处理器310执行本公开前述实施例中的方法。
具体地，处理器310和存储器330可以通过总线或者其他方式连接，图3中以通过总线340连接为例。处理器310可以为中央处理器(Central Processing Unit，CPU)和/或图形处理器。图形处理器(Graphics Processing Unit，GPU)。处理器310还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器330作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器310通过运行存储在存储器330中的非暂态软件程序、指令以及模块332，从而执行处理器的各种功能应用以及数据处理。
存储器330可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需要的应用程序；存储数据区可存储处理器310所创建的数据等。此外，存储器330可以包括高速随机存取存储器，还可以包括非暂态存储器，例如磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器330可选包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络(比如通过通信接口320)连接至处理器310。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本公开的一个实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被执行后执行本公开前述实施例中的方法。
前述的计算机可读取存储介质包括以存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方式或技术来实现的物理易失性和非易失性、可移动和不可移动介质。计算机可读取存储介质具体包括，但不限于，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、可擦除可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存或其他固态存储器技术、CD-ROM、数字多功能盘(DVD)、HD-DVD、蓝光(Blue-Ray)或其他光存储设备、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。
尽管此处所述的主题是在结合操作系统和应用程序在计算机系统上的执行而执行的一般上下文中提供的，但本领域技术人员可以认识到，还可结合其他类型的程序模块来执行其他实现。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。本领域技术人员可以理解，此处所述的本主题可以使用其他计算机系统配置来实践，包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等，也可使用在其中任务由通过通信网络连接的远程处理设备执行的分布式计算环境中。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备的两者中。
本领域普通技术人员可以意识到，结合本文中所本公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。
综上所述，本公开提出了一种全景图像拼接建模的方法、装置、电子设备及其计算机可读存储介质。本公开利用了与非广角图像相对应的广角图像生成第一单应型矩阵，随后应用所述第一单应型矩阵不断累积符合筛选条件的非广角图像之间的匹配特征点对生成第二单应性矩阵，进而实现全景图像的拼接建模；有效提升了拼接建模的质量及成功率，降低了全景图像拼接建模的难度。
应当理解的是，本公开的上述具体实施方式仅仅用于示例性说明或解释本公开的原理，而不构成对本公开的限制。因此，在不偏离本公开的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。此外，本公开所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (11)
1.一种全景图像拼接建模的方法，其特征在于，包括：不断累积非广角图像及其相对应的广角图像之间的第一匹配特征点对，并根据所述第一匹配特征点对生成第一单应性矩阵，直至满足第一累积结束条件，所述第一累积结束条件具体为：所述非广角图像及其相对应的所述广角图像之间的匹配置信度不小于预置的第一置信度和/或第一内点数目不小于第一预设值和/或所述第一匹配特征点对数目不小于预置的第二预设值；
不断累积非广角图像之间的第二匹配特征点对，根据所述第一单应性矩阵将所述第二匹配特征点对中的特征点投影到对应广角图像所在广角坐标系中，筛选符合预设条件的第二匹配特征点对构成总非广角匹配特征点对，直至满足第二累积结束条件，所述第二累积结束条件具体为：所述非广角图片之间的匹配置信度不小于预置的第二置信度和/或第二内点数目不小于第三预设值和/或所述第二匹配特征点对数目满足第四预设值，所述符合预设条件的第二匹配特征点对指的是距离小于或者等于误差阈值的特征点，所述距离是指投影到广角图像所在的广角坐标系中坐标的距离；
根据所述总非广角匹配特征点对生成第二单应性矩阵；
根据所述第二单应性矩阵获取对应非广角相机的参数，完成全景图像拼接建模。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述广角图片上提取与所述非广角图片对应的图像参考块；
对所述非广角图片执行下采样操作，生成下采样图像；
创建伪全景图，将所述下采样图像参照所述图像参考块在广角图像上的位置粘贴至所述伪全景图中，并在所述伪全景图中显示所述非广角图片及其相对应的所述广角图片之间的匹配置信度。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若不满足所述第一累积结束条件或所述第二累积 结束条件时，则调整阵列相机整体并再次拍摄，使得拍摄的非广角图片上的特征点累积并增多。
4.根据权利要求1所述的方法，其特征在于，所述筛选符合预设条件的第二匹配特征点对，具体包括：将第二匹配特征点对中的特征点分别投影到广角图像所在的广角坐标系中，获取对应的投影坐标；
在所述广角坐标系中通过所述投影坐标计算所述特征点之间的距离；
若所述距离大于误差阈值，则删除对应的第二匹配特征点对；否则，保留对应的第二匹配特征点对。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述总非广角匹配特征点对中的特征点对先通过所述第一单应性矩阵投影到对应广角图片所在广角坐标系中，再通过所述第二单应性矩阵投影到其它任一非广角图片所在的非广角坐标系中，生成额外匹配特征点对。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：所述额外匹配特征点对和所述符合预设条件的第二匹配特征点对共同组成所述总非广角匹配特征点对。
7.一种全景图像拼接建模的装置，其特征在于，包括：
第一累积模块，用于不断累积非广角图片及其相对应的广角图片之间的第一匹配特征点对，并根据所述第一匹配特征点对生成第一单应性矩阵，直至满足第一累积结束条件，所述第一累积结束条件具体为：所述非广角图像及其相对应的所述广角图像之间的匹配置信度不小于预置的第一置信度和/或第一内点数目不小于第一预设值和/或所述第一匹配特征点对数目不小于预置的第二预设值；
第二累积模块，用于不断累积非广角图片之间的第二匹配特征点对，根据所述第一单应性矩阵将所述第二匹配特征点对中的特征点投影到对应广角图片所在广角坐标系中，筛选符合预设条件的第二匹配特征点对构成总非广角匹配特征点对，直至满足第二累积结束条件，所述第二累积结束条件具体为：所述非广角图片之间的匹配置信度不小于预置的第二置信度和/或第二内点数目不小于第三预设值和/或所述第二匹配特征点对数目满足第四预设值，所述符合预设条件的第二匹配特征点对指的是距离小于或者等于误差阈值的特征点，所述距离是指投影到广角图像所在的广角坐标系中坐标的距离；
单应性矩阵生成模块，用于根据所述总非广角匹配特征点对生成第二单应性矩阵；
拼接建模模块，用于根据所述第二单应性矩阵获取对应非广角相机的参数，完成全景图像拼接建模。
8.根据权利要求7所述的装置，其特征在于，所述第一累积模块还用于：在所述广角图片上提取与所述非广角图片对应的图像参考块；
对所述非广角图片执行下采样操作，生成下采样图像；
创建伪全景图，将所述下采样图像参照所述图像参考块在广角图像上的位置粘贴至所述伪全景图中，并在所述伪全景图中显示所述非广角图片及其相对应的所述广角图片之间的匹配置信度。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括调整模块，用于当不满足所述第一累积结束条件或所述第二累积结束条件时，调整阵列相机整体并再次拍摄，使得拍摄的非广角图片上的特征点累积并增多。
10.根据权利要求7所述的装置，其特征在于，所述第二累积模块具体用于：将第二匹配特征点对中的特征点分别投影到广角图像所在的广角坐标系中，获取对应的投影坐标；在所述广角坐标系中通过所述投影坐标计算所述特征点之间的距离；若所述距离大于误差阈值，则删除对应的第二匹配特征点对；否则，保留对应的第二匹配特征点对。
11.根据权利要求7所述的装置，其特征在于，所述装置还包括额外匹配特征点对生成模块，用于将所述总非广角匹配特征点对中的特征点对先通过所述第一单应性矩阵投影到对应广角图片所在广角坐标系中，再通过所述第二单应性矩阵投影到其它任一非广角图片所在的非广角坐标系中，生成额外匹配特征点对。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110149900.2A CN112801873B (zh) | 2021-02-03 | 2021-02-03 | 一种全景图像拼接建模的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110149900.2A CN112801873B (zh) | 2021-02-03 | 2021-02-03 | 一种全景图像拼接建模的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112801873A CN112801873A (zh) | 2021-05-14 |
| CN112801873B true CN112801873B (zh) | 2022-02-25 |
Family
ID=75813941
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110149900.2A Active CN112801873B (zh) | 2021-02-03 | 2021-02-03 | 一种全景图像拼接建模的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112801873B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064404A (zh) * | 2018-08-10 | 2018-12-21 | 西安电子科技大学 | 一种基于多相机标定的全景拼接方法、全景拼接系统 |
-
2021
- 2021-02-03 CN CN202110149900.2A patent/CN112801873B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064404A (zh) * | 2018-08-10 | 2018-12-21 | 西安电子科技大学 | 一种基于多相机标定的全景拼接方法、全景拼接系统 |
Non-Patent Citations (2)
| Title |
|---|
| Seamless Stitching of Panoramic Image Based on Multiple Homography Matrix;Wang Tengfeng;《2018 2nd IEEE Advanced Information Management,Communicates,Electronic and Automation Control Conference (IMCEC)》;20180924;全文 * |
| 基于特征匹配的全景图像拼接算法研究;赵璐璐;《中国优秀博硕士学位论文全文数据库(硕士)》;20131215;I138-738 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112801873A (zh) | 2021-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10609282B2 (en) | Wide-area image acquiring method and apparatus | |
| JP6563609B2 (ja) | 中間ビューからの効率的なキャンバスビューの生成 | |
| CN103517041B (zh) | 基于多相机旋转扫描的实时全景监控方法和装置 | |
| US9900505B2 (en) | Panoramic video from unstructured camera arrays with globally consistent parallax removal | |
| CN109509146B (zh) | 图像拼接方法及装置、存储介质 | |
| EP3425587A1 (en) | Method and device for generating a panoramic image | |
| CN109005334B (zh) | 一种成像方法、装置、终端和存储介质 | |
| CN112686877B (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及系统 | |
| CN110689476A (zh) | 全景图像拼接方法及其装置、可读存储介质和电子设备 | |
| CN111815517B (zh) | 一种基于球机抓拍图片的自适应全景拼接方法 | |
| CN114143528A (zh) | 多视频流融合方法、电子设备、存储介质 | |
| CN111553841B (zh) | 一种基于最佳缝合线更新的实时视频拼接方法 | |
| CN109035134B (zh) | 全景图像拼接方法、装置、电子设备及存储介质 | |
| CN111866523B (zh) | 全景视频合成方法、装置、电子设备和计算机存储介质 | |
| CN108717704B (zh) | 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质 | |
| CN111105351B (zh) | 一种视频序列影像拼接方法及装置 | |
| KR101868740B1 (ko) | 파노라마 이미지 생성 방법 및 장치 | |
| US20090059018A1 (en) | Navigation assisted mosaic photography | |
| CN112801873B (zh) | 一种全景图像拼接建模的方法及装置 | |
| CN107644394B (zh) | 一种3d图像的处理方法及装置 | |
| CN108269278B (zh) | 一种场景建模的方法及装置 | |
| US20230239574A1 (en) | Systems and methods for image capture | |
| CN110930303A (zh) | 全景图形成方法及系统 | |
| CN114004839A (zh) | 全景图像的图像分割方法、装置、计算机设备和存储介质 | |
| AU2021281502A1 (en) | Systems and methods for image capture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Method and Device for Panoramic Image Mosaic Modeling Effective date of registration: 20230817 Granted publication date: 20220225 Pledgee: Jiangsu Jiangyin Rural Commercial Bank Co.,Ltd. Wuxi Branch Pledgor: Wuxi ankedi Intelligent Technology Co.,Ltd. Registration number: Y2023980052623 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |