CN110189256A - 一种全景图像拼接方法、计算机可读存储介质及全景相机 - Google Patents

一种全景图像拼接方法、计算机可读存储介质及全景相机 Download PDF

Info

Publication number
CN110189256A
CN110189256A CN201910464435.4A CN201910464435A CN110189256A CN 110189256 A CN110189256 A CN 110189256A CN 201910464435 A CN201910464435 A CN 201910464435A CN 110189256 A CN110189256 A CN 110189256A
Authority
CN
China
Prior art keywords
matching
region
credible
template
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910464435.4A
Other languages
English (en)
Other versions
CN110189256B (zh
Inventor
王果
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arashi Vision Co Ltd
Original Assignee
Arashi Vision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arashi Vision Co Ltd filed Critical Arashi Vision Co Ltd
Priority to CN201910464435.4A priority Critical patent/CN110189256B/zh
Publication of CN110189256A publication Critical patent/CN110189256A/zh
Priority to US17/615,571 priority patent/US20220237736A1/en
Priority to PCT/CN2020/092344 priority patent/WO2020238897A1/zh
Priority to EP20814063.2A priority patent/EP3982322A4/en
Priority to JP2021570386A priority patent/JP7350893B2/ja
Application granted granted Critical
Publication of CN110189256B publication Critical patent/CN110189256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明适用于全景图像领域，提供了一种全景图像拼接方法及全景相机。本发明将两个相邻的相机拍摄的鱼眼照片映射至球模型的相应拼缝区域，形成两张具有重合区域的带状图；对两张带状图进行分块模板匹配，得到初始模板匹配结果；使用基于区域扩张的匹配过滤算法，对初始模板匹配结果进行匹配过滤，得到最终的匹配结果；更新鱼眼照片到球模型相应拼缝区域的映射关系，按照更新后的映射关系进行全景拼接得到无缝的全景图。本发明的方法效率较高，能够满足移动端实时拼接全景图像的需求；特征匹配结果准确且稳定，可实现无缝拼接的良好效果；应用于视频时，匹配效果稳定，具有一定鲁棒性，能很好的适用于动态、静态、远景、近景交替多变的场景。

Description

一种全景图像拼接方法、计算机可读存储介质及全景相机
技术领域
本发明属于全景图像领域，尤其涉及一种全景图像拼接方法、计算机可读存储介质及全景相机。
背景技术
目前全景图像拼接算法大多使用基于特征点匹配的拼接算法。这类算法一般使用速度较快的特征点检测算法，具体包括：通过ORB、SURF和SIFT检测两张图像的特征点，然后利用最近邻匹配算法和RANSAC算法对特征点进行匹配和匹配过滤。然而，基于特征点匹配的拼接算法有如下缺点：(1)容易产生误匹配，有些误匹配无法被有效滤除，会影响最终拼接效果；(2)特征点检测和基于RANSAC算法的匹配过滤的算法效率较低，无法满足全景相机实时拼接全景图像的需求。
发明内容
本发明的目的在于提供一种全景图像拼接方法、计算机可读存储介质及全景相机，旨在解决基于特征点匹配的拼接算法容易产生误匹配，有些误匹配无法被有效滤除，会影响最终拼接效果；特征点检测和基于RANSAC算法的匹配过滤的算法效率较低，无法满足全景相机实时拼接全景图像的需求的问题。
第一方面，本发明提供了一种全景图像拼接方法，对于多个相机构成的全景相机拍摄的鱼眼照片，对每两个相邻的相机拍摄的鱼眼照片均执行如下步骤：
S101、将两个相邻的相机拍摄的鱼眼照片映射至球模型的相应拼缝区域，形成两张具有重合区域的带状图；
S102、对两张带状图进行分块模板匹配，得到初始模板匹配结果；
S103、使用基于区域扩张的匹配过滤算法，对初始模板匹配结果进行匹配过滤，得到最终的匹配结果；
S104、根据最终的匹配结果更新鱼眼照片到球模型相应拼缝区域的映射关系，按照更新后的映射关系进行全景拼接得到无缝的全景图。
第二方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述的全景图像拼接方法的步骤。
第三方面，本发明提供了一种全景相机，包括：一个或多个处理器；存储器、以及一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的全景图像拼接方法的步骤。
在本发明中，由于将两个相邻的相机拍摄的鱼眼照片映射至球模型的相应拼缝区域，形成两张具有重合区域的带状图；对两张带状图进行分块模板匹配，得到初始模板匹配结果；使用基于区域扩张的匹配过滤算法，对初始模板匹配结果进行匹配过滤，得到最终的匹配结果；根据最终的匹配结果更新鱼眼照片到球模型相应拼缝区域的映射关系，按照更新后的映射关系进行全景拼接得到无缝的全景图。因此本发明的方法效率较高，能够满足移动端实时拼接全景图像的需求；特征匹配结果准确且稳定，可实现无缝拼接的良好效果；应用于视频时，匹配效果稳定，具有一定鲁棒性，能很好的适用于动态、静态、远景、近景交替多变的场景。
附图说明
图1是本发明实施例一提供的全景图像拼接方法的流程图。
图2是本发明实施例一提供的全景图像拼接方法中的S102的流程图。
图3是本发明实施例一提供的全景图像拼接方法中的S103的流程图。
图4是本发明实施例一提供的全景图像拼接方法中的S102和S1031的过程示意图。
图5是本发明实施例三提供的全景相机的具体结构框图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
请参阅图1，本发明实施例一提供的全景图像拼接方法，对于多个相机构成的全景相机拍摄的鱼眼照片，对每两个相邻的相机拍摄的鱼眼照片均执行如下步骤：
S101、将两个相邻的相机拍摄的鱼眼照片映射至球模型的相应拼缝区域，形成两张具有重合区域的带状图。
S102、对两张带状图进行分块模板匹配，得到初始模板匹配结果。
在本发明实施例一中，S102之前还可以包括以下步骤：
对两张带状图进行高斯模糊，以减少照片噪声，提高匹配精度；和/或，
对两张带状图进行Canny边缘检测，得到图像梯度信息，供后续剔除无纹理区域提供数据基础。
请参阅图2和图4，在本发明实施例一中，S102具体可以包括以下步骤：
S1021、选择两个带状图中的任意一张带状图作为模板带状图，另外一张带状图作为待匹配带状图，将模板带状图分割成M行N列的方块矩阵，并将方块矩阵中的每个方块作为一个模板方块，方块矩阵中相邻行具有重叠部分，方块矩阵覆盖整张模板带状图；将待匹配带状图分割成M行方块区域，方块区域中相邻行具有重叠部分，M和N是正整数；
S1022、将每个模板方块在待匹配带状图中进行模板匹配，匹配区域为待匹配带状图中对应于模板方块的同一行的整行区域，每一个模板方块进行模板匹配之后均得到一个NCC(Normalization cross correlation，归一化互相关)矩阵，从而得到M*N个NCC矩阵；
S1023、在每一个NCC矩阵中寻找最大值，通过最大值所在NCC矩阵中的位置，计算出该模板方块在待匹配带状图中对应区域的中心位置Xs，再根据已知模板方块的中心在模板带状图中的位置Xt，计算该模板方块的视差(Disparity)D＝Xs-Xt，从而计算得到每一个模板方块的视差D，作为初始模板匹配结果。
在本发明实施例一中，S1023中的最大值可以是大于设定的NCC阈值(例如0.8)的最大值。
在本发明实施例一中，S1021中的模板方块是有效模板方块，所述有效模板方块是通过以下方式确定的：
根据Canny边缘检测得到的图像梯度信息计算每一个匹配方块的纹理丰富度，当纹理丰富度大于设定阈值时，将其标记为有效模板方块。
S103、使用基于区域扩张的匹配过滤算法，对初始模板匹配结果进行匹配过滤，得到最终的匹配结果。
请参阅图3和图4，在本发明实施例一中，S103具体可以包括以下步骤：
S1031、对每一个模板方块，利用NCC矩阵，在同一行向左和向右双向扩张，形成一个候选匹配块，对每一个候选匹配块，以视差一致性、候选匹配块的宽度和NCC值以预设的权值比例构建匹配可信度M，对每一行的候选匹配块，按照匹配可信度M进行排序，选出匹配可信度最高的候选匹配块作为该行的可信匹配块。
扩张准则为：将每一个模板方块作为一个匹配块，使用一个匹配块的视差作为另一个匹配块的视差时，另一个匹配块的NCC值仍大于设定阈值(0.8)，则将这两个匹配块合并为一个匹配块。
S1032、根据可信匹配块的视差一致性，对可信匹配块进行聚类，得到多个区域，使得同一区域内相邻行的视差的x分量之差不超过设定阈值(实验中取最小可信匹配块的宽度)，根据区域大小(例如包含的行数)对区域进行过滤，删掉小于预设行数(例如3行、4行等)的区域(包括这些行中的可信匹配块)，将所有未形成区域的行设为失败行，再次根据可信匹配块的视差一致性，对可信匹配块进行聚类，更新区域信息。
S1033、对每一个区域进行上下行扩张，具体包括以下步骤：
S10331、确定扩张起始行：对每一行根据可信匹配块的视差与区域平均值的一致性和可信匹配块的可信度以预设权值构建行可信度值，对每一行的可信度值进行排序，选取可信度值位于前面预设数量的行(例如前10的行)作为扩张起始行；
S10332、对每一个扩张起始行向上和向下进行双向扩张；对于待扩张行中的每一个候选匹配，计算当前扩张行的最优匹配与该候选匹配的视差一致性度量C，若视差一致性度量C大于设定的视差一致性阈值，则将该视差一致性度量C以预设权值更新至该候选匹配的匹配可信度M中，对待扩张行的所有候选匹配按照匹配可信度M进行排序，选取M值最大的候选匹配块纳入当前扩张区域中。若当前扩张行的最优匹配与待扩张行中的任意候选匹配的视差一致性度量C均小于设定视差一致性阈值，则中断当前区域的扩张，从而使每一个区域均可得到多个候选扩张区域。
S10333、对于每一个候选扩张区域，以区域中包含候选匹配块的平均匹配可信度和区域大小构建该区域的匹配可信度，将该区域中所有候选匹配块的匹配可信度M均使用该区域的匹配可信度赋值，将该区域中的所有候选匹配块标记为区域可信匹配块；对于每一行的多个区域可信匹配块，选取匹配可信度M最大的区域可信匹配块作为该行的最终可信匹配块，该最终可信匹配块对应的视差即为该行的最终视差。
S1034、再次执行一次S1032。
S104、根据最终的匹配结果更新鱼眼照片到球模型相应拼缝区域的映射关系，按照更新后的映射关系进行全景拼接得到无缝的全景图。
S104具体为：根据每行的最终可信匹配块和最终可信匹配块对应的视差更新鱼眼照片到球模型相应拼缝区域的映射关系，按照更新后的映射关系进行全景拼接得到无缝的全景图。
当本发明实施例一提供的全景图像拼接方法应用于全景视频拼接时，本发明实施例一提供的全景图像拼接方法适用于全景视频的第一帧，即所述鱼眼照片是全景视频的第一帧对应的鱼眼照片，对于全景视频的中间帧，在S1022之前，还包括以下步骤：
S1051、检测模板带状图中的静态区域，所述静态区域是图像画面静止或匹配状态稳定的区域。
检测模板带状图中的匹配状态稳定的区域具体为：
分析模板方块的状态队列，将验证成功次数大于设定阈值(例如8次、9次等)且NCC值变化小于设定阈值(例如0.03、0.05等)的模板方块所在行标记为静态区域。
S1052、分析上一帧的每一个最终可信匹配块的状态队列，将连续验证失败或重匹配失败次数大于设定阈值(例如3次、5次等)的最终可信匹配块所在行标记为失败行。失败行在下一个节点帧到来之前不会再次成为重匹配行。
所述最终可信匹配块的状态包括4个：验证成功、验证失败、重匹配成功和重匹配失败。
S1053、对上一帧的每一个最终可信匹配块，按照其视差找到其在待匹配带状图中的对应方块区域，计算这两个等大的区域的NCC值，若NCC大于设定阈值(例如0.8)，则将该最终可信匹配块标记为验证成功，更新最终可信匹配块的状态队列；反之，则将其标记为验证失败，更新最终可信匹配块的状态队列。
S1054、分析每一行的最终可信匹配块的状态队列，对于非节点帧，将最终可信匹配块的连续验证失败次数大于设定阈值(例如非静态区域1次，静态区域3次)的行设为重匹配行，对于节点帧，将所有非静态区域的行都设为重匹配行。节点帧是指从第一帧开始每隔n帧(例如20帧、30帧等)而设置的帧。
对于所有重匹配行按照S1022、S1023、S103和S104进行操作，并更新最终可信匹配块的状态队列，将重匹配成功的行中所包含的最终可信匹配块标记为重匹配成功，将重匹配失败行中的最终可信匹配块标记为重匹配失败。
实施例二：
本发明实施例二提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例一提供的全景图像拼接方法的步骤。
实施例三：
图5示出了本发明实施例三提供的全景相机的具体结构框图，一种全景相机100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一提供的全景图像拼接方法的步骤。
在本发明中，由于将两个相邻的相机拍摄的鱼眼照片映射至球模型的相应拼缝区域，形成两张具有重合区域的带状图；对两张带状图进行分块模板匹配，得到初始模板匹配结果；使用基于区域扩张的匹配过滤算法，对初始模板匹配结果进行匹配过滤，得到最终的匹配结果；根据最终的匹配结果更新鱼眼照片到球模型相应拼缝区域的映射关系，按照更新后的映射关系进行全景拼接得到无缝的全景图。因此本发明的方法效率较高，能够满足移动端实时拼接全景图像的需求；特征匹配结果准确且稳定，可实现无缝拼接的良好效果；应用于视频时，匹配效果稳定，具有一定鲁棒性，能很好的适用于动态、静态、远景、近景交替多变的场景。
另外，由于使用基于区域扩张的匹配过滤算法，对每一个模板方块，利用NCC矩阵，在同一行向左和向右双向扩张，根据可信匹配块的视差一致性，对可信匹配块按行聚类，得到多个区域，根据区域大小对区域进行过滤，对每一个区域进行上下行扩张，再执行一次根据可信匹配块的视差一致性，对可信匹配块按行聚类，得到多个区域，根据区域大小对区域进行过滤，大大提高了匹配过滤的准确度和算法效率。
另外，基于匹配验证的动态视频帧匹配机制：该机制下，对于视频第一帧，对整幅带状图进行分块模板匹配和匹配过滤，对于中间帧，则通过匹配验证和状态队列，动态更新重匹配行，仅对重匹配行进行分块模板匹配和匹配过滤，并实行静态区域检测和失败行标记。该机制减小了相邻帧之间的匹配波动，提高了匹配的稳定性，提高了算法的运行效率。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种全景图像拼接方法，其特征在于，对于多个相机构成的全景相机拍摄的鱼眼照片，对每两个相邻的相机拍摄的鱼眼照片均执行如下步骤：
S101、将两个相邻的相机拍摄的鱼眼照片映射至球模型的相应拼缝区域，形成两张具有重合区域的带状图；
S102、对两张带状图进行分块模板匹配，得到初始模板匹配结果；
S103、使用基于区域扩张的匹配过滤算法，对初始模板匹配结果进行匹配过滤，得到最终的匹配结果；
S104、根据最终的匹配结果更新鱼眼照片到球模型相应拼缝区域的映射关系，按照更新后的映射关系进行全景拼接得到无缝的全景图。
2.如权利要求1所述的方法，其特征在于，S102之前还包括以下步骤：
对两张带状图进行高斯模糊；和/或，
对两张带状图进行Canny边缘检测，得到图像梯度信息，供后续剔除无纹理区域提供数据基础。
3.如权利要求1或2所述的方法，其特征在于，S102具体包括以下步骤：
S1021、选择两个带状图中的任意一张带状图作为模板带状图，另外一张带状图作为待匹配带状图，将模板带状图分割成M行N列的方块矩阵，并将方块矩阵中的每个方块作为一个模板方块，方块矩阵中相邻行具有重叠部分，方块矩阵覆盖整张模板带状图；将待匹配带状图分割成M行方块区域，方块区域中相邻行具有重叠部分，M和N是正整数；
S1022、将每个模板方块在待匹配带状图中进行模板匹配，匹配区域为待匹配带状图中对应于模板方块的同一行的整行区域，每一个模板方块进行模板匹配之后均得到一个NCC矩阵，从而得到M*N个NCC矩阵；
S1023、在每一个NCC矩阵中寻找最大值，通过最大值所在NCC矩阵中的位置，计算出该模板方块在待匹配带状图中对应区域的中心位置，再根据已知模板方块的中心在模板带状图中的位置，计算该模板方块的视差，从而计算得到每一个模板方块的视差，作为初始模板匹配结果。
4.如权利要求3所述的方法，其特征在于，S1021中的模板方块是有效模板方块，所述有效模板方块是通过以下方式确定的：
根据Canny边缘检测得到的图像梯度信息计算每一个匹配方块的纹理丰富度，当纹理丰富度大于设定阈值时，将其标记为有效模板方块。
5.如权利要求3所述的方法，其特征在于，S103具体包括以下步骤：
S1031、对每一个模板方块，利用NCC矩阵，在同一行向左和向右双向扩张，形成一个候选匹配块，对每一个候选匹配块，以视差一致性、候选匹配块的宽度和NCC值以预设的权值比例构建匹配可信度M，对每一行的候选匹配块，按照匹配可信度M进行排序，选出匹配可信度最高的候选匹配块作为该行的可信匹配块；
S1032、根据可信匹配块的视差一致性，对可信匹配块进行聚类，得到多个区域，使得同一区域内相邻行的视差的x分量之差不超过设定阈值，根据区域大小对区域进行过滤，删掉小于预设行数的区域，将所有未形成区域的行设为失败行，再次根据可信匹配块的视差一致性，对可信匹配块进行聚类，更新区域信息；
S1033、对每一个区域进行上下行扩张；
S1034、再次执行一次S1032。
6.如权利要求5所述的方法，其特征在于，S1033具体包括以下步骤：
S10331、确定扩张起始行：对每一行根据可信匹配块的视差与区域平均值的一致性和可信匹配块的可信度以预设权值构建行可信度值，对每一行的可信度值进行排序，选取可信度值位于前面预设数量的行作为扩张起始行；
S10332、对每一个扩张起始行向上和向下进行双向扩张；对于待扩张行中的每一个候选匹配，计算当前扩张行的最优匹配与该候选匹配的视差一致性度量，若视差一致性度量大于设定的视差一致性阈值，则将该视差一致性度量以预设权值更新至该候选匹配的匹配可信度中，对待扩张行的所有候选匹配按照匹配可信度进行排序，选取匹配可信度值最大的候选匹配块纳入当前扩张区域中；若当前扩张行的最优匹配与待扩张行中的任意候选匹配的视差一致性度量均小于设定视差一致性阈值，则中断当前区域的扩张，从而使每一个区域均可得到多个候选扩张区域；
S10333、对于每一个候选扩张区域，以区域中包含候选匹配块的平均匹配可信度和区域大小构建该区域的匹配可信度，将该区域中所有候选匹配块的匹配可信度均使用该区域的匹配可信度赋值，将该区域中的所有候选匹配块标记为区域可信匹配块；对于每一行的多个区域可信匹配块，选取匹配可信度最大的区域可信匹配块作为该行的最终可信匹配块，该最终可信匹配块对应的视差即为该行的最终视差。
7.如权利要求6所述的方法，其特征在于，S104具体为：
根据每行的最终可信匹配块和最终可信匹配块对应的视差更新鱼眼照片到球模型相应拼缝区域的映射关系，按照更新后的映射关系进行全景拼接得到无缝的全景图。
8.如权利要求7所述的方法，其特征在于，当全景图像拼接方法应用于全景视频拼接时，所述全景图像拼接方法适用于全景视频的第一帧，即所述鱼眼照片是全景视频的第一帧对应的鱼眼照片，对于全景视频的中间帧，在S1022之前，还包括以下步骤：
S1051、检测模板带状图中的静态区域，所述静态区域是图像画面静止或匹配状态稳定的区域；
S1052、分析上一帧的每一个最终可信匹配块的状态队列，将连续验证失败或重匹配失败次数大于设定阈值的最终可信匹配块所在行标记为失败行；
S1053、对上一帧的每一个最终可信匹配块，按照其视差找到其在待匹配带状图中的对应方块区域，计算这两个等大的区域的NCC值，若NCC大于设定阈值，则将该最终可信匹配块标记为验证成功，更新最终可信匹配块的状态队列；反之，则将其标记为验证失败，更新最终可信匹配块的状态队列；
S1054、分析每一行的最终可信匹配块的状态队列，对于非节点帧，将最终可信匹配块的连续验证失败次数大于设定阈值的行设为重匹配行，对于节点帧，将所有非静态区域的行都设为重匹配行；
对于所有重匹配行按照S1022、S1023、S103和S104进行操作，并更新最终可信匹配块的状态队列，将重匹配成功的行中所包含的最终可信匹配块标记为重匹配成功，将重匹配失败行中的最终可信匹配块标记为重匹配失败。
9.如权利要求8所述的方法，其特征在于，所述检测模板带状图中的匹配状态稳定的区域具体为：
分析模板方块的状态队列，将验证成功次数大于设定阈值且NCC值变化小于设定阈值的模板方块所在行标记为静态区域。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的全景图像拼接方法的步骤。
11.一种全景相机，包括：一个或多个处理器；存储器、以及一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述的全景图像拼接方法的步骤。
CN201910464435.4A 2019-05-30 2019-05-30 一种全景图像拼接方法、计算机可读存储介质及全景相机 Active CN110189256B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910464435.4A CN110189256B (zh) 2019-05-30 2019-05-30 一种全景图像拼接方法、计算机可读存储介质及全景相机
US17/615,571 US20220237736A1 (en) 2019-05-30 2020-05-26 Panoramic image and video splicing method, computer-readable storage medium, and panoramic camera
PCT/CN2020/092344 WO2020238897A1 (zh) 2019-05-30 2020-05-26 一种全景图像、视频拼接方法、计算机可读存储介质及全景相机
EP20814063.2A EP3982322A4 (en) 2019-05-30 2020-05-26 PANORAMIC IMAGE AND VIDEO SPLICING METHOD, COMPUTER READABLE STORAGE MEDIA AND PANORAMIC CAMERA
JP2021570386A JP7350893B2 (ja) 2019-05-30 2020-05-26 パノラマ画像、ビデオ合成方法、コンピュータ読み取り可能な記録媒体及びパノラマカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910464435.4A CN110189256B (zh) 2019-05-30 2019-05-30 一种全景图像拼接方法、计算机可读存储介质及全景相机

Publications (2)

Publication Number Publication Date
CN110189256A true CN110189256A (zh) 2019-08-30
CN110189256B CN110189256B (zh) 2023-05-02

Family

ID=67719082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910464435.4A Active CN110189256B (zh) 2019-05-30 2019-05-30 一种全景图像拼接方法、计算机可读存储介质及全景相机

Country Status (5)

Country Link
US (1) US20220237736A1 (zh)
EP (1) EP3982322A4 (zh)
JP (1) JP7350893B2 (zh)
CN (1) CN110189256B (zh)
WO (1) WO2020238897A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020238897A1 (zh) * 2019-05-30 2020-12-03 影石创新科技股份有限公司 一种全景图像、视频拼接方法、计算机可读存储介质及全景相机
CN113344782A (zh) * 2021-05-31 2021-09-03 浙江大华技术股份有限公司 图像拼接方法、装置、存储介质及电子装置
CN113793281A (zh) * 2021-09-15 2021-12-14 江西格灵如科科技有限公司 一种基于gpu实现的全景图缝隙实时缝合方法及系统
CN115620181A (zh) * 2022-12-05 2023-01-17 海豚乐智科技(成都)有限责任公司 基于墨卡托坐标切片的航拍图像实时拼接方法
CN116612390A (zh) * 2023-07-21 2023-08-18 山东鑫邦建设集团有限公司 一种建筑工程用的信息管理系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114764824A (zh) * 2020-12-30 2022-07-19 安霸国际有限合伙企业 使用导引节点的视差图构建
CN114494083B (zh) * 2022-04-14 2022-07-29 杭州雄迈集成电路技术股份有限公司 一种自适应提升视频通透性方法和系统
CN116485645A (zh) * 2023-04-13 2023-07-25 北京百度网讯科技有限公司 图像拼接方法、装置、设备及存储介质
CN116563186A (zh) * 2023-05-12 2023-08-08 中山大学 一种基于专用ai感知芯片的实时全景感知系统及方法
CN116452426B (zh) * 2023-06-16 2023-09-05 广汽埃安新能源汽车股份有限公司 一种全景图拼接方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1437165A (zh) * 2003-01-24 2003-08-20 上海杰图软件技术有限公司 一种基于两张鱼眼图像的智能型全景生成方法
US20160048973A1 (en) * 2014-08-12 2016-02-18 Hirokazu Takenaka Image processing system, image processing apparatus, and image capturing system
CN105678729A (zh) * 2016-02-24 2016-06-15 段梦凡 鱼眼镜头全景图像拼接方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5428618B2 (ja) * 2009-07-29 2014-02-26 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN103971375B (zh) * 2014-05-22 2016-03-02 中国人民解放军国防科学技术大学 一种基于图像拼接的全景凝视相机空间标定方法
CN104104911B (zh) * 2014-07-04 2017-09-29 华中师范大学 全景图像生成过程中的时间戳消除和重置方法及系统
CN107666606B (zh) * 2016-07-29 2019-07-12 东南大学 双目全景图像获取方法及装置
JP2018059767A (ja) 2016-10-04 2018-04-12 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7268369B2 (ja) * 2019-01-30 2023-05-08 株式会社リコー 撮像システム、現像システム、撮像方法、及びプログラム
CN110189256B (zh) * 2019-05-30 2023-05-02 影石创新科技股份有限公司 一种全景图像拼接方法、计算机可读存储介质及全景相机

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1437165A (zh) * 2003-01-24 2003-08-20 上海杰图软件技术有限公司 一种基于两张鱼眼图像的智能型全景生成方法
US20160048973A1 (en) * 2014-08-12 2016-02-18 Hirokazu Takenaka Image processing system, image processing apparatus, and image capturing system
CN105678729A (zh) * 2016-02-24 2016-06-15 段梦凡 鱼眼镜头全景图像拼接方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHUNPING JI等: "Template matching for wide-baseline panoramic images from a vehicle-borne multi-camera rig", 《INTERNATIONAL JOURNAL OF GEO-INFORMATION》 *
TANCREDO SOUZA等: "360 stitching from dual-fisheye cameras based on feature cluster matching" *
陈丽莉: "图像配准与合成显示技术研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020238897A1 (zh) * 2019-05-30 2020-12-03 影石创新科技股份有限公司 一种全景图像、视频拼接方法、计算机可读存储介质及全景相机
CN113344782A (zh) * 2021-05-31 2021-09-03 浙江大华技术股份有限公司 图像拼接方法、装置、存储介质及电子装置
CN113793281A (zh) * 2021-09-15 2021-12-14 江西格灵如科科技有限公司 一种基于gpu实现的全景图缝隙实时缝合方法及系统
CN113793281B (zh) * 2021-09-15 2023-09-08 江西格灵如科科技有限公司 一种基于gpu实现的全景图缝隙实时缝合方法及系统
CN115620181A (zh) * 2022-12-05 2023-01-17 海豚乐智科技(成都)有限责任公司 基于墨卡托坐标切片的航拍图像实时拼接方法
CN116612390A (zh) * 2023-07-21 2023-08-18 山东鑫邦建设集团有限公司 一种建筑工程用的信息管理系统
CN116612390B (zh) * 2023-07-21 2023-10-03 山东鑫邦建设集团有限公司 一种建筑工程用的信息管理系统

Also Published As

Publication number Publication date
EP3982322A4 (en) 2023-03-22
JP2022534262A (ja) 2022-07-28
EP3982322A1 (en) 2022-04-13
WO2020238897A1 (zh) 2020-12-03
CN110189256B (zh) 2023-05-02
JP7350893B2 (ja) 2023-09-26
US20220237736A1 (en) 2022-07-28

Similar Documents

Publication Publication Date Title
CN110189256A (zh) 一种全景图像拼接方法、计算机可读存储介质及全景相机
JP5797789B2 (ja) 準複製画像検索のための方法およびシステム
CN108470354A (zh) 视频目标跟踪方法、装置和实现装置
CN102025959B (zh) 从低清晰度视频产生高清晰度视频的系统与方法
WO2019148902A1 (zh) 多边形区域检测
KR20130045242A (ko) 모핑 애니메이션을 생성하기 위한 방법 및 장치
CN110288614A (zh) 图像处理方法、装置、设备及存储介质
US9569699B2 (en) System and method for synthesizing portrait sketch from a photo
CN107566688A (zh) 一种基于卷积神经网络的视频防抖方法及装置
CN105654548A (zh) 一种基于大规模无序图像的多起点增量式三维重建方法
CN109544599A (zh) 一种基于相机位姿估计的三维点云配准方法
CN107240082A (zh) 一种拼接线优化方法及设备
CN107564063A (zh) 一种基于卷积神经网络的虚拟物显示方法及装置
CN107729848A (zh) 对象检测方法及装置
CN109829428A (zh) 基于改进YOLOv2的视频图像行人检测方法及系统
CN114299303A (zh) 一种船舶目标检测方法、终端设备及存储介质
WO2023056896A1 (zh) 清晰度的确定方法、装置及设备
CN108629809A (zh) 一种精确高效的立体匹配方法
US9317904B2 (en) Image processing system and image processing method
CN112288758B (zh) 一种电力设备红外与可见光图像配准方法
KR20190080388A (ko) Cnn을 이용한 영상 수평 보정 방법 및 레지듀얼 네트워크 구조
CN102930529B (zh) 一种基于非对称模板搜索的快速伪造区域盲检测方法
CN109859180A (zh) 融合多种度量准则的图像集质量增强评价方法
US11127199B2 (en) Scene model construction system and scene model constructing method
CN106340024A (zh) 一种图像分割方法、应用和计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518000 Guangdong, Shenzhen, Baoan District Xin'an street, Hai Xiu Road 23, 6 A 601603605, long Kong Century Towers, 601603605

Applicant after: Yingshi Innovation Technology Co.,Ltd.

Address before: 518000 Guangdong, Shenzhen, Baoan District Xin'an street, Hai Xiu Road 23, 6 A 601603605, long Kong Century Towers, 601603605

Applicant before: SHENZHEN ARASHI VISION Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant