CN110189256B - 一种全景图像拼接方法、计算机可读存储介质及全景相机 - Google Patents
一种全景图像拼接方法、计算机可读存储介质及全景相机 Download PDFInfo
- Publication number
- CN110189256B CN110189256B CN201910464435.4A CN201910464435A CN110189256B CN 110189256 B CN110189256 B CN 110189256B CN 201910464435 A CN201910464435 A CN 201910464435A CN 110189256 B CN110189256 B CN 110189256B
- Authority
- CN
- China
- Prior art keywords
- matching
- template
- area
- square
- final
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000001914 filtration Methods 0.000 claims abstract description 21
- 238000013507 mapping Methods 0.000 claims abstract description 19
- 230000003068 static effect Effects 0.000 claims abstract description 16
- 238000010586 diagram Methods 0.000 claims abstract description 9
- 238000012795 verification Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 9
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明适用于全景图像领域,提供了一种全景图像拼接方法及全景相机。本发明将两个相邻的相机拍摄的鱼眼照片映射至球模型的相应拼缝区域,形成两张具有重合区域的带状图;对两张带状图进行分块模板匹配,得到初始模板匹配结果;使用基于区域扩张的匹配过滤算法,对初始模板匹配结果进行匹配过滤,得到最终的匹配结果;更新鱼眼照片到球模型相应拼缝区域的映射关系,按照更新后的映射关系进行全景拼接得到无缝的全景图。本发明的方法效率较高,能够满足移动端实时拼接全景图像的需求;特征匹配结果准确且稳定,可实现无缝拼接的良好效果;应用于视频时,匹配效果稳定,具有一定鲁棒性,能很好的适用于动态、静态、远景、近景交替多变的场景。
Description
技术领域
本发明属于全景图像领域,尤其涉及一种全景图像拼接方法、计算机可读存储介质及全景相机。
背景技术
目前全景图像拼接算法大多使用基于特征点匹配的拼接算法。这类算法一般使用速度较快的特征点检测算法,具体包括:通过ORB、SURF和SIFT检测两张图像的特征点,然后利用最近邻匹配算法和RANSAC算法对特征点进行匹配和匹配过滤。然而,基于特征点匹配的拼接算法有如下缺点:(1)容易产生误匹配,有些误匹配无法被有效滤除,会影响最终拼接效果;(2)特征点检测和基于RANSAC算法的匹配过滤的算法效率较低,无法满足全景相机实时拼接全景图像的需求。
发明内容
本发明的目的在于提供一种全景图像拼接方法、计算机可读存储介质及全景相机,旨在解决基于特征点匹配的拼接算法容易产生误匹配,有些误匹配无法被有效滤除,会影响最终拼接效果;特征点检测和基于RANSAC算法的匹配过滤的算法效率较低,无法满足全景相机实时拼接全景图像的需求的问题。
第一方面,本发明提供了一种全景图像拼接方法,对于多个相机构成的全景相机拍摄的鱼眼照片,对每两个相邻的相机拍摄的鱼眼照片均执行如下步骤:
S101、将两个相邻的相机拍摄的鱼眼照片映射至球模型的相应拼缝区域,形成两张具有重合区域的带状图;
S102、对两张带状图进行分块模板匹配,得到初始模板匹配结果;
S103、使用基于区域扩张的匹配过滤算法,对初始模板匹配结果进行匹配过滤,得到最终的匹配结果;
S104、根据最终的匹配结果更新鱼眼照片到球模型相应拼缝区域的映射关系,按照更新后的映射关系进行全景拼接得到无缝的全景图。
第二方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如所述的全景图像拼接方法的步骤。
第三方面,本发明提供了一种全景相机,包括:一个或多个处理器;存储器、以及一个或多个计算机程序,所述处理器和所述存储器通过总线连接,其中所述一个或多个计算机程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述处理器执行所述计算机程序时实现如所述的全景图像拼接方法的步骤。
在本发明中,由于将两个相邻的相机拍摄的鱼眼照片映射至球模型的相应拼缝区域,形成两张具有重合区域的带状图;对两张带状图进行分块模板匹配,得到初始模板匹配结果;使用基于区域扩张的匹配过滤算法,对初始模板匹配结果进行匹配过滤,得到最终的匹配结果;根据最终的匹配结果更新鱼眼照片到球模型相应拼缝区域的映射关系,按照更新后的映射关系进行全景拼接得到无缝的全景图。因此本发明的方法效率较高,能够满足移动端实时拼接全景图像的需求;特征匹配结果准确且稳定,可实现无缝拼接的良好效果;应用于视频时,匹配效果稳定,具有一定鲁棒性,能很好的适用于动态、静态、远景、近景交替多变的场景。
附图说明
图1是本发明实施例一提供的全景图像拼接方法的流程图。
图2是本发明实施例一提供的全景图像拼接方法中的S102的流程图。
图3是本发明实施例一提供的全景图像拼接方法中的S103的流程图。
图4是本发明实施例一提供的全景图像拼接方法中的S102和S1031的过程示意图。
图5是本发明实施例三提供的全景相机的具体结构框图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
实施例一:
请参阅图1,本发明实施例一提供的全景图像拼接方法,对于多个相机构成的全景相机拍摄的鱼眼照片,对每两个相邻的相机拍摄的鱼眼照片均执行如下步骤:
S101、将两个相邻的相机拍摄的鱼眼照片映射至球模型的相应拼缝区域,形成两张具有重合区域的带状图。
S102、对两张带状图进行分块模板匹配,得到初始模板匹配结果。
在本发明实施例一中,S102之前还可以包括以下步骤:
对两张带状图进行高斯模糊,以减少照片噪声,提高匹配精度;和/或,
对两张带状图进行Canny边缘检测,得到图像梯度信息,供后续剔除无纹理区域提供数据基础。
请参阅图2和图4,在本发明实施例一中,S102具体可以包括以下步骤:
S1021、选择两个带状图中的任意一张带状图作为模板带状图,另外一张带状图作为待匹配带状图,将模板带状图分割成M行N列的方块矩阵,并将方块矩阵中的每个方块作为一个模板方块,方块矩阵中相邻行具有重叠部分,方块矩阵覆盖整张模板带状图;将待匹配带状图分割成M行方块区域,方块区域中相邻行具有重叠部分,M和N是正整数;
S1022、将每个模板方块在待匹配带状图中进行模板匹配,匹配区域为待匹配带状图中对应于模板方块的同一行的整行区域,每一个模板方块进行模板匹配之后均得到一个NCC(Normalization cross correlation,归一化互相关)矩阵,从而得到M*N个NCC矩阵;
S1023、在每一个NCC矩阵中寻找最大值,通过最大值所在NCC矩阵中的位置,计算出该模板方块在待匹配带状图中对应区域的中心位置Xs,再根据已知模板方块的中心在模板带状图中的位置Xt,计算该模板方块的视差(Disparity)D=Xs-Xt,从而计算得到每一个模板方块的视差D,作为初始模板匹配结果。
在本发明实施例一中,S1023中的最大值可以是大于设定的NCC阈值(例如0.8)的最大值。
在本发明实施例一中,S1021中的模板方块是有效模板方块,所述有效模板方块是通过以下方式确定的:
根据Canny边缘检测得到的图像梯度信息计算每一个匹配方块的纹理丰富度,当纹理丰富度大于设定阈值时,将其标记为有效模板方块。
S103、使用基于区域扩张的匹配过滤算法,对初始模板匹配结果进行匹配过滤,得到最终的匹配结果。
请参阅图3和图4,在本发明实施例一中,S103具体可以包括以下步骤:
S1031、对每一个模板方块,利用NCC矩阵,在同一行向左和向右双向扩张,形成一个候选匹配块,对每一个候选匹配块,以视差一致性、候选匹配块的宽度和NCC值以预设的权值比例构建匹配可信度M,对每一行的候选匹配块,按照匹配可信度M进行排序,选出匹配可信度最高的候选匹配块作为该行的可信匹配块。
扩张准则为:将每一个模板方块作为一个匹配块,使用一个匹配块的视差作为另一个匹配块的视差时,另一个匹配块的NCC值仍大于设定阈值(0.8),则将这两个匹配块合并为一个匹配块。
S1032、根据可信匹配块的视差一致性,对可信匹配块进行聚类,得到多个区域,使得同一区域内相邻行的视差的x分量之差不超过设定阈值(实验中取最小可信匹配块的宽度),根据区域大小(例如包含的行数)对区域进行过滤,删掉小于预设行数(例如3行、4行等)的区域(包括这些行中的可信匹配块),将所有未形成区域的行设为失败行,再次根据可信匹配块的视差一致性,对可信匹配块进行聚类,更新区域信息。
S1033、对每一个区域进行上下行扩张,具体包括以下步骤:
S10331、确定扩张起始行:对每一行根据可信匹配块的视差与区域平均值的一致性和可信匹配块的可信度以预设权值构建行可信度值,对每一行的可信度值进行排序,选取可信度值位于前面预设数量的行(例如前10的行)作为扩张起始行;
S10332、对每一个扩张起始行向上和向下进行双向扩张;对于待扩张行中的每一个候选匹配,计算当前扩张行的最优匹配与该候选匹配的视差一致性度量C,若视差一致性度量C大于设定的视差一致性阈值,则将该视差一致性度量C以预设权值更新至该候选匹配的匹配可信度M中,对待扩张行的所有候选匹配按照匹配可信度M进行排序,选取M值最大的候选匹配块纳入当前扩张区域中。若当前扩张行的最优匹配与待扩张行中的任意候选匹配的视差一致性度量C均小于设定视差一致性阈值,则中断当前区域的扩张,从而使每一个区域均可得到多个候选扩张区域。
S10333、对于每一个候选扩张区域,以区域中包含候选匹配块的平均匹配可信度和区域大小构建该区域的匹配可信度,将该区域中所有候选匹配块的匹配可信度M均使用该区域的匹配可信度赋值,将该区域中的所有候选匹配块标记为区域可信匹配块;对于每一行的多个区域可信匹配块,选取匹配可信度M最大的区域可信匹配块作为该行的最终可信匹配块,该最终可信匹配块对应的视差即为该行的最终视差。
S1034、再次执行一次S1032。
S104、根据最终的匹配结果更新鱼眼照片到球模型相应拼缝区域的映射关系,按照更新后的映射关系进行全景拼接得到无缝的全景图。
S104具体为:根据每行的最终可信匹配块和最终可信匹配块对应的视差更新鱼眼照片到球模型相应拼缝区域的映射关系,按照更新后的映射关系进行全景拼接得到无缝的全景图。
当本发明实施例一提供的全景图像拼接方法应用于全景视频拼接时,本发明实施例一提供的全景图像拼接方法适用于全景视频的第一帧,即所述鱼眼照片是全景视频的第一帧对应的鱼眼照片,对于全景视频的中间帧,在S1022之前,还包括以下步骤:
S1051、检测模板带状图中的静态区域,所述静态区域是图像画面静止或匹配状态稳定的区域。
检测模板带状图中的匹配状态稳定的区域具体为:
分析模板方块的状态队列,将验证成功次数大于设定阈值(例如8次、9次等)且NCC值变化小于设定阈值(例如0.03、0.05等)的模板方块所在行标记为静态区域。
S1052、分析上一帧的每一个最终可信匹配块的状态队列,将连续验证失败或重匹配失败次数大于设定阈值(例如3次、5次等)的最终可信匹配块所在行标记为失败行。失败行在下一个节点帧到来之前不会再次成为重匹配行。
所述最终可信匹配块的状态包括4个:验证成功、验证失败、重匹配成功和重匹配失败。
S1053、对上一帧的每一个最终可信匹配块,按照其视差找到其在待匹配带状图中的对应方块区域,计算这两个等大的区域的NCC值,若NCC大于设定阈值(例如0.8),则将该最终可信匹配块标记为验证成功,更新最终可信匹配块的状态队列;反之,则将其标记为验证失败,更新最终可信匹配块的状态队列。
S1054、分析每一行的最终可信匹配块的状态队列,对于非节点帧,将最终可信匹配块的连续验证失败次数大于设定阈值(例如非静态区域1次,静态区域3次)的行设为重匹配行,对于节点帧,将所有非静态区域的行都设为重匹配行。节点帧是指从第一帧开始每隔n帧(例如20帧、30帧等)而设置的帧。
对于所有重匹配行按照S1022、S1023、S103和S104进行操作,并更新最终可信匹配块的状态队列,将重匹配成功的行中所包含的最终可信匹配块标记为重匹配成功,将重匹配失败行中的最终可信匹配块标记为重匹配失败。
实施例二:
本发明实施例二提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如本发明实施例一提供的全景图像拼接方法的步骤。
实施例三:
图5示出了本发明实施例三提供的全景相机的具体结构框图,一种全景相机100包括:一个或多个处理器101、存储器102、以及一个或多个计算机程序,其中所述处理器101和所述存储器102通过总线连接,所述一个或多个计算机程序被存储在所述存储器102中,并且被配置成由所述一个或多个处理器101执行,所述处理器101执行所述计算机程序时实现如本发明实施例一提供的全景图像拼接方法的步骤。
在本发明中,由于将两个相邻的相机拍摄的鱼眼照片映射至球模型的相应拼缝区域,形成两张具有重合区域的带状图;对两张带状图进行分块模板匹配,得到初始模板匹配结果;使用基于区域扩张的匹配过滤算法,对初始模板匹配结果进行匹配过滤,得到最终的匹配结果;根据最终的匹配结果更新鱼眼照片到球模型相应拼缝区域的映射关系,按照更新后的映射关系进行全景拼接得到无缝的全景图。因此本发明的方法效率较高,能够满足移动端实时拼接全景图像的需求;特征匹配结果准确且稳定,可实现无缝拼接的良好效果;应用于视频时,匹配效果稳定,具有一定鲁棒性,能很好的适用于动态、静态、远景、近景交替多变的场景。
另外,由于使用基于区域扩张的匹配过滤算法,对每一个模板方块,利用NCC矩阵,在同一行向左和向右双向扩张,根据可信匹配块的视差一致性,对可信匹配块按行聚类,得到多个区域,根据区域大小对区域进行过滤,对每一个区域进行上下行扩张,再执行一次根据可信匹配块的视差一致性,对可信匹配块按行聚类,得到多个区域,根据区域大小对区域进行过滤,大大提高了匹配过滤的准确度和算法效率。
另外,基于匹配验证的动态视频帧匹配机制:该机制下,对于视频第一帧,对整幅带状图进行分块模板匹配和匹配过滤,对于中间帧,则通过匹配验证和状态队列,动态更新重匹配行,仅对重匹配行进行分块模板匹配和匹配过滤,并实行静态区域检测和失败行标记。该机制减小了相邻帧之间的匹配波动,提高了匹配的稳定性,提高了算法的运行效率。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,RandomAccess Memory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (11)
1.一种全景图像拼接方法,其特征在于,对于多个相机构成的全景相机拍摄的鱼眼照片,对每两个相邻的相机拍摄的鱼眼照片均执行如下步骤:
S101、将两个相邻的相机拍摄的鱼眼照片映射至球模型的相应拼缝区域,形成两张具有重合区域的带状图;
S102、对两张带状图进行分块模板匹配,得到初始模板匹配结果;
S103、使用基于区域扩张的匹配过滤算法,对初始模板匹配结果进行匹配过滤,得到最终的匹配结果;
S104、根据最终的匹配结果更新鱼眼照片到球模型相应拼缝区域的映射关系,按照更新后的映射关系进行全景拼接得到无缝的全景图;
S103具体包括以下步骤:
S1031、对每一个模板方块,利用NCC矩阵,在同一行向左和向右双向扩张,形成一个候选匹配块,对每一个候选匹配块,以视差一致性、候选匹配块的宽度和NCC值以预设的权值比例构建匹配可信度,对每一行的候选匹配块,按照匹配可信度进行排序,选出匹配可信度最高的候选匹配块作为该行的可信匹配块;
S1032、根据可信匹配块的视差一致性,对可信匹配块进行聚类,得到多个区域,使得同一区域内相邻行的视差的分量之差不超过设定阈值,根据区域大小对区域进行过滤,删掉小于预设行数的区域,将所有未形成区域的行设为失败行,再次根据可信匹配块的视差一致性,对可信匹配块进行聚类,更新区域信息;
S1033、对每一个区域进行上下行扩张。
2.如权利要求1所述的方法,其特征在于,S102之前还包括以下步骤:
对两张带状图进行高斯模糊;和/或,
对两张带状图进行Canny边缘检测,得到图像梯度信息,供后续剔除无纹理区域提供数据基础。
3.如权利要求1或2所述的方法,其特征在于,S102具体包括以下步骤:
S1021、选择两个带状图中的任意一张带状图作为模板带状图,另外一张带状图作为待匹配带状图,将模板带状图分割成M行N列的方块矩阵,并将方块矩阵中的每个方块作为一个模板方块,方块矩阵中相邻行具有重叠部分,方块矩阵覆盖整张模板带状图;将待匹配带状图分割成M行方块区域,方块区域中相邻行具有重叠部分,M和N是正整数;
S1022、将每个模板方块在待匹配带状图中进行模板匹配,匹配区域为待匹配带状图中对应于模板方块的同一行的整行区域,每一个模板方块进行模板匹配之后均得到一个NCC矩阵,从而得到M*N个NCC矩阵;
S1023、在每一个NCC矩阵中寻找最大值,通过最大值所在NCC矩阵中的位置,计算出该模板方块在待匹配带状图中对应区域的中心位置,再根据已知模板方块的中心在模板带状图中的位置,计算该模板方块的视差,从而计算得到每一个模板方块的视差,作为初始模板匹配结果。
4.如权利要求3所述的方法,其特征在于,S1021中的模板方块是有效模板方块,所述有效模板方块是通过以下方式确定的:
根据Canny边缘检测得到的图像梯度信息计算每一个匹配方块的纹理丰富度,当纹理丰富度大于设定阈值时,将其标记为有效模板方块。
5.如权利要求3所述的方法,其特征在于,S1033之后所述方法还包括以下步骤:
S1034、再次执行一次S1032。
6.如权利要求5所述的方法,其特征在于,S1033具体包括以下步骤:
S10331、确定扩张起始行:对每一行根据可信匹配块的视差与区域平均值的一致性和可信匹配块的可信度以预设权值构建行可信度值,对每一行的可信度值进行排序,选取可信度值位于前面预设数量的行作为扩张起始行;
S10332、对每一个扩张起始行向上和向下进行双向扩张;对于待扩张行中的每一个候选匹配,计算当前扩张行的最优匹配与该候选匹配的视差一致性度量,若视差一致性度量大于设定的视差一致性阈值,则将该视差一致性度量以预设权值更新至该候选匹配的匹配可信度中,对待扩张行的所有候选匹配按照匹配可信度进行排序,选取匹配可信度值最大的候选匹配块纳入当前扩张区域中;若当前扩张行的最优匹配与待扩张行中的任意候选匹配的视差一致性度量均小于设定视差一致性阈值,则中断当前区域的扩张,从而使每一个区域均可得到多个候选扩张区域;
S10333、对于每一个候选扩张区域,以区域中包含候选匹配块的平均匹配可信度和区域大小构建该区域的匹配可信度,将该区域中所有候选匹配块的匹配可信度均使用该区域的匹配可信度赋值,将该区域中的所有候选匹配块标记为区域可信匹配块;对于每一行的多个区域可信匹配块,选取匹配可信度最大的区域可信匹配块作为该行的最终可信匹配块,该最终可信匹配块对应的视差即为该行的最终视差。
7.如权利要求6所述的方法,其特征在于,S104具体为:
根据每行的最终可信匹配块和最终可信匹配块对应的视差更新鱼眼照片到球模型相应拼缝区域的映射关系,按照更新后的映射关系进行全景拼接得到无缝的全景图。
8.如权利要求7所述的方法,其特征在于,当全景图像拼接方法应用于全景视频拼接时,所述全景图像拼接方法适用于全景视频的第一帧,即所述鱼眼照片是全景视频的第一帧对应的鱼眼照片,对于全景视频的中间帧,在S1022之前,还包括以下步骤:
S1051、检测模板带状图中的静态区域,所述静态区域是图像画面静止或匹配状态稳定的区域;
S1052、分析上一帧的每一个最终可信匹配块的状态队列,将连续验证失败或重匹配失败次数大于设定阈值的最终可信匹配块所在行标记为失败行;
S1053、对上一帧的每一个最终可信匹配块,按照其视差找到其在待匹配带状图中的对应方块区域,计算这两个等大的区域的NCC值,若NCC大于设定阈值,则将该最终可信匹配块标记为验证成功,更新最终可信匹配块的状态队列;反之,则将其标记为验证失败,更新最终可信匹配块的状态队列;
S1054、分析每一行的最终可信匹配块的状态队列,对于非节点帧,将最终可信匹配块的连续验证失败次数大于设定阈值的行设为重匹配行,对于节点帧,将所有非静态区域的行都设为重匹配行;
对于所有重匹配行按照S1022、S1023 、S103和S104进行操作,并更新最终可信匹配块的状态队列,将重匹配成功的行中所包含的最终可信匹配块标记为重匹配成功,将重匹配失败行中的最终可信匹配块标记为重匹配失败。
9.如权利要求8所述的方法,其特征在于,所述检测模板带状图中的匹配状态稳定的区域具体为:
分析模板方块的状态队列,将验证成功次数大于设定阈值且NCC值变化小于设定阈值的模板方块所在行标记为静态区域。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的全景图像拼接方法的步骤。
11.一种全景相机,包括:一个或多个处理器;存储器、以及一个或多个计算机程序,所述处理器和所述存储器通过总线连接,其中所述一个或多个计算机程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述的全景图像拼接方法的步骤。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910464435.4A CN110189256B (zh) | 2019-05-30 | 2019-05-30 | 一种全景图像拼接方法、计算机可读存储介质及全景相机 |
US17/615,571 US20220237736A1 (en) | 2019-05-30 | 2020-05-26 | Panoramic image and video splicing method, computer-readable storage medium, and panoramic camera |
EP20814063.2A EP3982322A4 (en) | 2019-05-30 | 2020-05-26 | PANORAMIC IMAGE AND VIDEO SPLICING METHOD, COMPUTER READABLE STORAGE MEDIA AND PANORAMIC CAMERA |
JP2021570386A JP7350893B2 (ja) | 2019-05-30 | 2020-05-26 | パノラマ画像、ビデオ合成方法、コンピュータ読み取り可能な記録媒体及びパノラマカメラ |
PCT/CN2020/092344 WO2020238897A1 (zh) | 2019-05-30 | 2020-05-26 | 一种全景图像、视频拼接方法、计算机可读存储介质及全景相机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910464435.4A CN110189256B (zh) | 2019-05-30 | 2019-05-30 | 一种全景图像拼接方法、计算机可读存储介质及全景相机 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110189256A CN110189256A (zh) | 2019-08-30 |
CN110189256B true CN110189256B (zh) | 2023-05-02 |
Family
ID=67719082
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910464435.4A Active CN110189256B (zh) | 2019-05-30 | 2019-05-30 | 一种全景图像拼接方法、计算机可读存储介质及全景相机 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220237736A1 (zh) |
EP (1) | EP3982322A4 (zh) |
JP (1) | JP7350893B2 (zh) |
CN (1) | CN110189256B (zh) |
WO (1) | WO2020238897A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110189256B (zh) * | 2019-05-30 | 2023-05-02 | 影石创新科技股份有限公司 | 一种全景图像拼接方法、计算机可读存储介质及全景相机 |
CN114764824A (zh) * | 2020-12-30 | 2022-07-19 | 安霸国际有限合伙企业 | 使用导引节点的视差图构建 |
CN113344782B (zh) * | 2021-05-31 | 2023-07-18 | 浙江大华技术股份有限公司 | 图像拼接方法、装置、存储介质及电子装置 |
CN113793281B (zh) * | 2021-09-15 | 2023-09-08 | 江西格灵如科科技有限公司 | 一种基于gpu实现的全景图缝隙实时缝合方法及系统 |
CN114494083B (zh) * | 2022-04-14 | 2022-07-29 | 杭州雄迈集成电路技术股份有限公司 | 一种自适应提升视频通透性方法和系统 |
CN115620181B (zh) * | 2022-12-05 | 2023-03-31 | 海豚乐智科技(成都)有限责任公司 | 基于墨卡托坐标切片的航拍图像实时拼接方法 |
CN116485645A (zh) * | 2023-04-13 | 2023-07-25 | 北京百度网讯科技有限公司 | 图像拼接方法、装置、设备及存储介质 |
CN116563186A (zh) * | 2023-05-12 | 2023-08-08 | 中山大学 | 一种基于专用ai感知芯片的实时全景感知系统及方法 |
CN116452426B (zh) * | 2023-06-16 | 2023-09-05 | 广汽埃安新能源汽车股份有限公司 | 一种全景图拼接方法及装置 |
CN116612390B (zh) * | 2023-07-21 | 2023-10-03 | 山东鑫邦建设集团有限公司 | 一种建筑工程用的信息管理系统 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1272750C (zh) * | 2003-01-24 | 2006-08-30 | 上海杰图软件技术有限公司 | 一种基于两张鱼眼图像的智能型全景生成方法 |
JP5428618B2 (ja) * | 2009-07-29 | 2014-02-26 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
CN103971375B (zh) * | 2014-05-22 | 2016-03-02 | 中国人民解放军国防科学技术大学 | 一种基于图像拼接的全景凝视相机空间标定方法 |
CN104104911B (zh) * | 2014-07-04 | 2017-09-29 | 华中师范大学 | 全景图像生成过程中的时间戳消除和重置方法及系统 |
JP5846268B1 (ja) * | 2014-08-12 | 2016-01-20 | 株式会社リコー | 画像処理システム、画像処理装置、プログラムおよび撮像システム |
CN105678729B (zh) * | 2016-02-24 | 2018-03-09 | 段梦凡 | 鱼眼镜头全景图像拼接方法 |
CN107666606B (zh) * | 2016-07-29 | 2019-07-12 | 东南大学 | 双目全景图像获取方法及装置 |
JP2018059767A (ja) | 2016-10-04 | 2018-04-12 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP7268369B2 (ja) * | 2019-01-30 | 2023-05-08 | 株式会社リコー | 撮像システム、現像システム、撮像方法、及びプログラム |
CN110189256B (zh) * | 2019-05-30 | 2023-05-02 | 影石创新科技股份有限公司 | 一种全景图像拼接方法、计算机可读存储介质及全景相机 |
-
2019
- 2019-05-30 CN CN201910464435.4A patent/CN110189256B/zh active Active
-
2020
- 2020-05-26 JP JP2021570386A patent/JP7350893B2/ja active Active
- 2020-05-26 WO PCT/CN2020/092344 patent/WO2020238897A1/zh unknown
- 2020-05-26 EP EP20814063.2A patent/EP3982322A4/en not_active Withdrawn
- 2020-05-26 US US17/615,571 patent/US20220237736A1/en active Pending
Non-Patent Citations (1)
Title |
---|
Tancredo Souza等.360 stitching from dual-fisheye cameras based on feature cluster matching.《2018 31st SIBGRAPI conference on 》.2019,313-320. * |
Also Published As
Publication number | Publication date |
---|---|
US20220237736A1 (en) | 2022-07-28 |
CN110189256A (zh) | 2019-08-30 |
WO2020238897A1 (zh) | 2020-12-03 |
EP3982322A4 (en) | 2023-03-22 |
EP3982322A1 (en) | 2022-04-13 |
JP7350893B2 (ja) | 2023-09-26 |
JP2022534262A (ja) | 2022-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110189256B (zh) | 一种全景图像拼接方法、计算机可读存储介质及全景相机 | |
WO2022141178A1 (zh) | 图像处理方法及装置 | |
JP4545641B2 (ja) | 類似画像検索方法,類似画像検索システム,類似画像検索プログラム及び記録媒体 | |
CN112967341B (zh) | 基于实景图像的室内视觉定位方法、系统、设备及存储介质 | |
CN111667001B (zh) | 目标重识别方法、装置、计算机设备和存储介质 | |
WO2022022695A1 (zh) | 图像识别方法和装置 | |
CN109598250B (zh) | 特征提取方法、装置、电子设备和计算机可读介质 | |
CN111291768A (zh) | 图像特征匹配方法及装置、设备、存储介质 | |
CN109063776B (zh) | 图像再识别网络训练方法、装置和图像再识别方法及装置 | |
CN109783680B (zh) | 图像推送方法、图像获取方法、装置及图像处理系统 | |
CN109447023B (zh) | 确定图像相似度的方法、视频场景切换识别方法及装置 | |
CN111027555B (zh) | 一种车牌识别方法、装置及电子设备 | |
CN111383250A (zh) | 基于改进混合高斯模型的运动目标检测方法及装置 | |
CN111914908A (zh) | 一种图像识别模型训练方法、图像识别方法及相关设备 | |
JP5192437B2 (ja) | 物体領域検出装置、物体領域検出方法および物体領域検出プログラム | |
CN111583146A (zh) | 一种基于改进多尺度循环网络的人脸图像去模糊方法 | |
CN112819937B (zh) | 一种自适应多对象光场三维重建方法、装置及设备 | |
CN113298871B (zh) | 地图生成方法、定位方法及其系统、计算机可读存储介质 | |
CN111914890A (zh) | 图像之间的图像块匹配方法、图像配准方法和产品 | |
CN108764206B (zh) | 目标图像识别方法和系统、计算机设备 | |
CN112927258A (zh) | 一种目标跟踪方法及装置 | |
CN113160102A (zh) | 三维场景重建的方法、装置、设备和存储介质 | |
CN112396627A (zh) | 一种目标跟踪方法及装置、计算机可读存储介质 | |
CN112150532A (zh) | 图像处理的方法、装置、电子设备和计算机可读介质 | |
CN112100427A (zh) | 视频处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 518000 Guangdong, Shenzhen, Baoan District Xin'an street, Hai Xiu Road 23, 6 A 601603605, long Kong Century Towers, 601603605 Applicant after: Yingshi Innovation Technology Co.,Ltd. Address before: 518000 Guangdong, Shenzhen, Baoan District Xin'an street, Hai Xiu Road 23, 6 A 601603605, long Kong Century Towers, 601603605 Applicant before: SHENZHEN ARASHI VISION Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |