CN107330849B - 一种全景图像拼接的方法、装置、设备及存储介质 - Google Patents
一种全景图像拼接的方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN107330849B CN107330849B CN201710440052.4A CN201710440052A CN107330849B CN 107330849 B CN107330849 B CN 107330849B CN 201710440052 A CN201710440052 A CN 201710440052A CN 107330849 B CN107330849 B CN 107330849B
- Authority
- CN
- China
- Prior art keywords
- pictures
- type
- spliced
- group
- transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 230000009466 transformation Effects 0.000 claims abstract description 502
- 239000011159 matrix material Substances 0.000 claims abstract description 187
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 6
- 230000001960 triggered effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 238000004590 computer program Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种全景图像拼接的方法、装置、设备及存储介质，用以解决现有技术中在进行全景图像拼接时，需要用户参与，并且拼接后的全景图像存在较大畸变的问题。该方法包括：确定一组待拼接图片中相邻每两张待拼接图片对应的几何变换矩阵类型；根据每种类型的几何变换矩阵对应的投影变换类型，以及确定出的该组待拼接图片中相邻每两张待拼接图片对应的几何变换矩阵类型，确定该组待拼接图片对应的投影变换的目标类型；根据确定的目标类型，对该组待拼接图片进行投影变换并进行全景拼接。由于在本发明实施例中，无需用户参与，就确定每组待拼接图片确定对应的投影变换的目标类型，减小了拼接后的全景图像的畸变，使拼接后的全景图像效果更佳。
Description
技术领域
本发明涉及全景图像拼接技术领域，特别涉及一种全景图像拼接的方法、装置、设备及存储介质。
背景技术
一般的全景拼接软件在对一组图片进行全景图像拼接时，主要步骤包括：读取图片、特征点提取、特征点匹配、估算几何变换矩阵、投影变换、相邻图片融合拼接。在上述步骤中，除了在进行投影变换时，需要人工指定投影变换的类型，在进行其他的步骤时，软件均可自动完成。
在选择投影变换的类型时，用户需要根据每张图片的成像焦距和镜头视场角度等信息确定合适的投影变换的类型，由于用户可能对图片的成像焦距和视场角度的信息判断存在较大误差，则选择的投影变换的类型就会不准确，从而造成拼接后的全景图像存在较大畸变。并且如果需要对多组图片进行全景图像拼接，用户预设一种投影变换的类型，但因每组图片的场景不同而对应的投影变换的类型也不同，则预设的投影变换的类型与每组图片对应的投影变换的类型不匹配，从而造成拼接后的全景图像存在较大畸变。
本申请旨在解决在进行全景拼接时，需要用户参与，并且拼接后的全景图像存在较大畸变的问题。
发明内容
本发明提供一种全景图像拼接的方法、装置、设备及存储介质，用以解决现有技术中在进行全景图像拼接时，需要用户参与，并且拼接后的全景图像存在较大畸变的问题。
为达到上述目的，本发明实施例公开了一种全景图像拼接的方法，所述方法包括：
针对一组待拼接图片，确定该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型；
根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型；
根据确定的投影变换的目标类型，对该组待拼接图片进行投影变换并进行全景拼接。
进一步地，在根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型之前，所述方法还包括：
判断该组待拼接图片中的每张待拼接图片中是否均包含焦距信息，如果否，则进行后续步骤；
如果是，则判断该焦距信息是否满足预设的每种类型的投影变换对应的焦距条件，如果否，则进行后续步骤。
进一步地，当该焦距信息满足预设的每种类型的投影变换对应的焦距条件时，所述方法还包括：
根据每张待拼接图片中包含的焦距信息，以及预设的每种类型的投影变换对应的焦距条件，确定该组待拼接图片对应的投影变换的目标类型；
根据确定的投影变换的目标类型，对该组待拼接图片进行投影变换并进行全景拼接。
进一步地，所述根据每张待拼接图片中包含的焦距信息，以及预设的每种类型的投影变换对应的焦距条件，确定该组待拼接图片对应的投影变换的目标类型包括：
根据每张待拼接图片中包含的焦距信息，确定该组待拼接图片对应的焦距的变异系数，其中所述变异系数为该组待拼接图片对应的焦距的标准方差与平均值的比值；
如果所述变异系数大于预设的第一变异系数阈值，则确定该组待拼接图片对应的投影变换的目标类型为正射投影；
如果所述变异系数小于预设的第二变异系数阈值，则根据预设的每种类型的投影变换对应的特征点匹配类型，确定该组待拼接图片对应的投影变换的目标类型，其中，所述第一变异系数阈值大于所述第二变异系数阈值。
进一步地，所述根据预设的每种类型的投影变换对应的特征点匹配类型，确定该组待拼接图片对应的投影变换的目标类型包括：
判断该组待拼接图片中相邻的每两张待拼接图片对应的特征点匹配类型是否均为横向特征点匹配；
如果是，则确定该组待拼接图片对应的投影变换的目标类型为圆柱投影；
如果否，则确定该组待拼接图片对应的投影变换的目标类型为等量投影。
进一步地，所述根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型包括：
根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定相邻的每两张待拼接图片对应的投影变换的类型；
统计该组待拼接图片对应的数量最多的投影变换的类型，将数量最多的投影变换的类型确定为该组待拼接图片对应的投影变换的目标类型。
进一步地，所述根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定相邻的每两张待拼接图片对应的投影变换的类型包括：
当相邻的两张待拼接图片对应的几何变换矩阵的类型为平移变换矩阵时，则该相邻的两张待拼接图片对应的投影变换的类型为圆柱投影；
当相邻的两张待拼接图片对应的几何变换矩阵的类型为旋转变换矩阵、缩放变换矩阵和仿射变换矩阵中的至少一种时，则该相邻的两张待拼接图片对应的投影变换的类型为等量投影；
当相邻的两张待拼接图片对应的几何变换矩阵的类型为投影变换矩阵时，则该相邻的两张待拼接图片对应的投影变换的类型为正射投影。
本发明实施例公开了一种全景图像拼接的装置，所述装置包括：
第一确定模块，用于针对一组待拼接图片，确定该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型；
第二确定模块，用于根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型；
拼接模块，用于根据确定的投影变换的目标类型，对该组待拼接图片进行投影变换并进行全景拼接。
进一步地，所述装置还包括：
第一判断模块，用于判断该组待拼接图片中的每张待拼接图片中是否均包含焦距信息，如果第一判断模块的判断结果为否，则触发第二确定模块；
第二判断模块，用于如果第一判断模块的判断结果为是时，判断该焦距信息是否满足预设的每种类型的投影变换对应的焦距条件，如果第二判断模块的判断结果为否，则触发第二确定模块。
进一步地，所述装置还包括：
第三确定模块，用于当第二判断模块的判断结果为是时，根据每张待拼接图片中包含的焦距信息，以及预设的每种类型的投影变换对应的焦距条件，确定该组待拼接图片对应的投影变换的目标类型；
所述拼接模块，还用于根据确定的投影变换的目标类型，对该组待拼接图片进行投影变换并进行全景拼接。
进一步地，所述第三确定模块，具体用于根据每张待拼接图片中包含的焦距信息，确定该组待拼接图片对应的焦距的变异系数，其中所述变异系数为该组待拼接图片对应的焦距的标准方差与平均值的比值；如果所述变异系数大于预设的第一变异系数阈值，则确定该组待拼接图片对应的投影变换的目标类型为正射投影；如果所述变异系数小于预设的第二变异系数阈值，则根据预设的每种类型的投影变换对应的特征点匹配类型，确定该组待拼接图片对应的投影变换的目标类型，其中，所述第一变异系数阈值大于所述第二变异系数阈值。
进一步地，所述第三确定模块，具体用于判断该组待拼接图片中相邻的每两张待拼接图片对应的特征点匹配类型是否均为横向特征点匹配；如果是，则确定该组待拼接图片对应的投影变换的目标类型为圆柱投影；如果否，则确定该组待拼接图片对应的投影变换的目标类型为等量投影。
进一步地，所述第二确定模块，具体用于根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定相邻的每两张待拼接图片对应的投影变换的类型；统计该组待拼接图片对应的数量最多的投影变换的类型，将数量最多的投影变换的类型确定为该组待拼接图片对应的投影变换的目标类型。
进一步地，所述第二确定模块，具体用于当相邻的两张待拼接图片对应的几何变换矩阵的类型为平移变换矩阵时，则该相邻的两张待拼接图片对应的投影变换的类型为圆柱投影；当相邻的两张待拼接图片对应的几何变换矩阵的类型为旋转变换矩阵、缩放变换矩阵和仿射变换矩阵中的至少一种时，则该相邻的两张待拼接图片对应的投影变换的类型为等量投影；当相邻的两张待拼接图片对应的几何变换矩阵的类型为投影变换矩阵时，则该相邻的两张待拼接图片对应的投影变换的类型为正射投影。
本发明实施例公开了一种电子设备，所述设备包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序执行上述任一项所述的方法。
本发明实施例公开了一种计算机存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一项所述的方法。
本发明实施例公开了一种全景图像拼接的方法、装置、设备及存储介质，所述方法包括：针对一组待拼接图片，确定该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型；根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型；根据确定的投影变换的目标类型，对该组待拼接图片进行投影变换并进行全景拼接。由于在本发明实施例中，针对一组待拼接图片，根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型。无需用户参与，就可以确定每组待拼接图片确定对应的投影变换的目标类型，减小了拼接后的全景图像的畸变，使拼接后的全景图像效果更佳。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种全景图像拼接的过程示意图；
图2为本发明实施例2提供的一种全景图像拼接的过程示意图；
图3为本发明实施例3提供的一种投影变换的目标类型的确定过程示意图；
图4为本发明实施例提供的一种全景图像拼接的装置结构图；
图5为本发明实施例提供的一种全景图像拼接的装置结构图。
具体实施方式
为了使在进行全景图像拼接时，无需用户参与，并且拼接后的全景图像效果较好，本发明实施例提供了一种全景图像拼接的方法、装置、设备及存储介质。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
图1为本发明实施例1提供的一种全景图像拼接的过程示意图，该过程包括以下步骤：
S101：针对一组待拼接图片，确定该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型。
本发明实施例提供的全景图像拼接的方法可以应用于电子设备。
针对一组待拼接图片，电子设备可以对该组待拼接图片进行全景图像拼接，在进行全景图像拼接时，首先要确定该组该待拼接图片对应的投影变换的目标类型。在确定该组待拼接图片对应的投影变换的目标类型时，可以是根据该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型来确定。
所以，针对一组待拼接图片，电子设备确定该组待拼接图片中的相邻的每两张待拼接图片对应的几何变换矩阵的类型。该组待拼接图片包括至少两张待拼接图片。
确定该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型的过程属于现有技术，在本发明实施例中对该过程不进行赘述。
S102：根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型。
电子设备中预先保存有每种类型的几何变换矩阵对应的投影变换的类型，在确定出该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型后，就可以根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型。
所述预先保存的每种类型的几何变换矩阵对应的投影变换的类型中，可以是一种类型的几何变换矩阵对应一种投影变换的类型，也可以是多种类型的几何变换矩阵对应一种投影变换的类型。
相邻的每两张待拼接图片可以确定一个几何变换矩阵，有N张待拼接图片，则确定N-1个几何变换矩阵。当该组待拼接图片为两张待拼接图片时，确定的几何变换矩阵的类型为一种，当该组待拼接图片为至少三张待拼接图片时，确定的几何变换矩阵的类型可能为一种，也可能为多种。当确定的几何变换矩阵的类型为多种时，对应的投影变换的类型可能是一种，也可能是多种。
当确定出的该组待拼接图片对应一种类型的投影变换时，将该投影变换的类型确定为该组待拼接图片对应的投影变换的目标类型，当确定出的该组待拼接图片对应多种类型的投影变换时，可以选取其中任意一种投影变换的类型确定为该组待拼接图片对应的投影变换的目标类型。
S103：根据确定的投影变换的目标类型，对该组待拼接图片进行投影变换并进行全景拼接。
当确定出该组待拼接图片对应的投影变换的目标类型后，则可以根据确定的投影变换的目标类型，对该组待拼接图片进行投影变换，并且对进行投影变换后的该组待拼接图片进行全景图像拼接。
由于在本发明实施例中，针对一组待拼接图片，根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型。无需用户参与，就可以确定每组待拼接图片确定对应的投影变换的目标类型，减小了拼接后的全景图像的畸变，使拼接后的全景图像效果更佳。
实施例2：
为了更加快速、准确的确定该组待拼接图片对应的投影变换的目标类型，进一步提高全景图像拼接的效果，在上述实施例的基础上，在本发明实施例中，在根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型之前，所述方法还包括：
判断该组待拼接图片中的每张待拼接图片中是否均包含焦距信息，如果否，则进行后续步骤；
如果是，则判断该焦距信息是否满足预设的每种类型的投影变换对应的焦距条件，如果否，则进行后续步骤。
在本发明实施例中，在根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型之前，可以先判断该组待拼接图片中的每张待拼接图片中是否均包含焦距信息，如果该组待拼接图片中有至少一张图片未包含焦距信息，则可以根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型。
电子设备中预先保存有每种类型的投影变换对应的焦距条件，如果该组待拼接图片中的每张待拼接图片中均包含焦距信息，则判断该焦距信息是否满足预设的每种类型的投影变换对应的焦距条件。
当该焦距信息不满足预设的每种类型的投影变换对应的焦距条件时，则可以根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型。
当该焦距信息满足预设的每种类型的投影变换对应的焦距条件时，所述方法还包括：
根据每张待拼接图片中包含的焦距信息，以及预设的每种类型的投影变换对应的焦距条件，确定该组待拼接图片对应的投影变换的目标类型；
根据确定的投影变换的目标类型，对该组待拼接图片进行投影变换并进行全景拼接。
在本发明实施例中，每张待拼接图片中包含焦距信息，焦距信息可以携带在待拼接图片的信息中，所述焦距信息中包含焦距值，每种类型的投影变换对应的焦距条件可以是该组待拼接图片中的每张待拼接图片的焦距值与该组待拼接图片对应的焦距平均值的差值位于预设的焦距范围内。
电子设备可以自动识别出每张待拼接图片中包含的焦距值，根据每张待拼接图片中包含的焦距值，确定该组待拼接图片对应的焦距平均值，并确定每张待拼接图片的焦距值与该焦距平均值的差值所在的候选类型的投影变换对应的焦距范围，将焦距范围最大的候选类型确定为该组待拼接图片对应的投影变换的目标类型。焦距范围的大小为该焦距范围的上阈值与下阈值的差值的大小。
例如，有A、B、C三种类型的投影变换，A类型的投影变换对应的焦距条件为该组待拼接图片中的每张待拼接图片的焦距值与该组待拼接图片对应的焦距平均值的差值均位于预设的第一焦距范围[-0.5mm，+0.5mm]内，B类型的投影变换对应的焦距条件为该组待拼接图片中的每张待拼接图片的焦距值与该组待拼接图片对应的焦距平均值的差值均位于预设的第二焦距范围[-1.5mm，+1.5mm]内，C类型的投影变换对应的焦距条件为该组待拼接图片中的每张待拼接图片的焦距值与该组待拼接图片对应的焦距平均值的差值均位于预设的第三焦距范围[[-3mm，+3mm]内。
若该差值仅均位于A类型的投影变换对应的第一焦距范围内，则确定该组待拼接图片对应的投影变换的目标类型为A类型，若该差值既位于A类型的投影变换对应的第一焦距范围内，也位于B类型的投影变换对应的第二焦距范围内，因为第二焦距范围比第一焦距范围大，则确定该组待拼接图片对应的投影变换的目标类型为B类型，若该差值既位于B类型的投影变换对应的第二焦距范围内，也位于C类型的投影变换对应的第三焦距范围内，因为第三焦距范围比第二焦距范围大，则确定该组待拼接图片对应的投影变换的目标类型为C类型。
例如，一组待拼接图片包含3张待拼接图片，第一张待拼接图片的焦距值为4mm，第二张待拼接图片的焦距值为2.5mm，第三张待拼接图片的焦距值为2.5mm，该组待拼接图片对应的焦距平均值为(4+2.5+2.5)/3＝3mm，第一张待拼接图片的焦距值与焦距平均值的差值为1mm，第二张待拼接图片的焦距值与焦距平均值的差值为-0.5mm，第三张待拼接图片的焦距值与焦距平均值的差值为-0.5mm，该组待拼接图片对应的差值既位于既位于A类型的投影变换对应的第一焦距范围[-0.5mm，+0.5mm]内，也位于B类型的投影变换对应的第二焦距范围[-1.5mm，+1.5mm]内，因为第二焦距范围比第一焦距范围大，则确定该组待拼接图片对应的投影变换的目标类型为B类型。
当该组待拼接图片中有至少一张待拼接图片的焦距值与该组待拼接图片对应的焦距平均值的差值均不位于每种类型的投影变换对应的焦距范围内，则认为该焦距信息不满足预设的每种类型的投影变换对应的焦距条件，则需要根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型。
当确定出该组待拼接图片对应的投影变换的目标类型后，则可以根据确定的投影变换的目标类型，对该组待拼接图片进行投影变换，并且对进行投影变换后的该组待拼接图片进行全景图像拼接。
图2为本发明实施例2提供的一种全景图像拼接的过程示意图，该过程包括以下步骤：
S201:针对一组待拼接图片，判断该组待拼接图片中的每张待拼接图片中是否均包含焦距信息，如果是，则进行S202，如果否，则进行S204。
S202：判断该焦距信息是否满足预设的每种类型的投影变换对应的焦距条件，如果是，则进行S203，如果否，则进行S204。
S203：根据每张待拼接图片中包含的焦距信息，以及预设的每种类型的投影变换对应的焦距条件，确定该组待拼接图片对应的投影变换的目标类型，并进行S205。
S204：确定该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型；根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型，并进行S205。
S205：根据确定的投影变换的目标类型，对该组待拼接图片进行投影变换并进行全景拼接。
实施例3：
为了使确定的该组待拼接图片对应的投影变换的目标类型更加准确，进一步提高全景图像拼接的效果，在上述各实施例的基础上，在本发明实施例中，所述根据每张待拼接图片中包含的焦距信息，以及预设的每种类型的投影变换对应的焦距条件，确定该组待拼接图片对应的投影变换的目标类型包括：
根据每张待拼接图片中包含的焦距信息，确定该组待拼接图片对应的焦距的变异系数，其中所述变异系数为该组待拼接图片对应的焦距的标准方差与平均值的比值；
如果所述变异系数大于预设的第一变异系数阈值，则确定该组待拼接图片对应的投影变换的目标类型为正射投影；
如果所述变异系数小于预设的第二变异系数阈值，则根据预设的每种类型的投影变换对应的特征点匹配类型，确定该组待拼接图片对应的投影变换的目标类型，其中，所述第一变异系数阈值大于所述第二变异系数阈值。
在本发明实施例中，电子设备中预先保存有第一变异系数阈值和第二变异系数阈值，所述第一变异系数阈值大于所述第二变异系数阈值。在根据每种类型的投影变换对应的焦距条件，确定该组待拼接图片对应的投影变换的目标类型时，可以是根据该组待拼接图片对应的焦距的方差值以及预先保存有第一变异系数阈值和第二变异系数阈值确定的。
电子设备根据每张待拼接图片中包含的焦距信息，确定该组待拼接图片对应的焦距的变异系数，其中所述变异系数为该组待拼接图片对应的焦距的标准方差与平均值的比值。电子设备判断确定出的变异系数是否大于预设的第一变异系数阈值或小于预设的第二变异系数阈值，如果所述变异系数大于预设的第一变异系数阈值，则确定该组待拼接图片对应的投影变换的目标类型为正射(Orthographic)投影。
电子设备中预先保存有每种类型的投影变换对应的特征点匹配类型，当判断确定出的变异系数小于预设的第二变异系数阈值时，则根据预设的每种类型的投影变换对应的特征点匹配类型，确定该组待拼接图片对应的投影变换的目标类型。
当电子设备判断确定出的变异系数不大于预设的第一变异系数阈值且不小于预设的第二变异系数阈值时，则认为该焦距信息不满足预设的每种类型的投影变换对应的焦距条件，则需要根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型。
所述第一变异系数阈值大于所述第二变异系数阈值，所述第一变异系数阈值例如可以是30％，所述第二变异系数阈值例如可以是10％。
当该变异系数大于所述第一变异系数阈值时，说明该组待拼接图片的焦距值有显著差距，因为一组待拼接图片为按照顺序排列的，一般情况下是位于中间位置的待拼接图片与位于两边位置的待拼接图片的焦距值有显著差异。当该变异系数小于第二变异系数阈值时，说明该组待拼接图片中的每张待拼接图片的焦距值几乎相等。
在根据预设的每种类型的投影变换对应的特征点匹配类型，确定该组待拼接图片对应的投影变换的目标类型时，可以是识别该组待拼接图片中相邻的每两张待拼接图片对应的特征点匹配类型，若该组待拼接图片对应的横向特征点匹配较多，则确定该组待拼接图片对应的投影变换的目标类型为圆柱(Cylindrical)投影，若该组待拼接图片对应的垂直特征点匹配较多，则确定该组待拼接图片对应的投影变换的目标类型为等量(Equirectangular)投影，若横向特征点匹配和垂直特征点匹配数量相同，则选择等量投影和圆柱投影中的任意一种作为该组待拼接图片对应的投影变换的目标类型。
为了使确定的该组待拼接图片对应的投影变换的目标类型更加准确，进一步提高全景图像拼接的效果，所述根据预设的每种类型的投影变换对应的特征点匹配类型，确定该组待拼接图片对应的投影变换的目标类型包括：
判断该组待拼接图片中相邻的每两张待拼接图片对应的特征点匹配类型是否均为横向特征点匹配；
如果是，则确定该组待拼接图片对应的投影变换的目标类型为圆柱投影；
如果否，则确定该组待拼接图片对应的投影变换的目标类型为等量投影。
如果该组待拼接图片对应的特征点匹配类型均为横向特征点匹配时，说明该组待拼接图片的视场角只有横向扩展，没有垂直扩展；如果该组待拼接图片对应的特征点匹配类型均为垂直特征点匹配时，说明该组待拼接图片的视场角只有垂直扩展，没有横向扩展；如果该组待拼接图片对应的特征点匹配类型既有横向特征点匹配，又有垂直特征点匹配时，说明该组待拼接图片的视场角既有横向扩展，也有垂直扩展。
图3为本发明实施例3提供的一种投影变换的目标类型的确定过程示意图，该过程包括以下步骤：
S301：根据每张待拼接图片中包含的焦距信息，确定该组待拼接图片对应的焦距的变异系数，其中所述变异系数为该组待拼接图片对应的焦距的标准方差与平均值的比值。
S302：判断所述变异系数是否大于预设的第一变异系数阈值或小于预设的第二变异系数阈值，如果所述变异系数大于预设的第一变异系数阈值，则进行S303，如果所述变异系数小于预设的第二变异系数阈值，则进行S304，如果否，则进行S307。
S303：确定该组待拼接图片对应的投影变换的目标类型为正射投影。
S304：判断该组待拼接图片中相邻的每两张待拼接图片对应的特征点匹配类型是否均为横向特征点匹配，如果是，则进行S305，如果否，则进行S306。
S305：确定该组待拼接图片对应的投影变换的目标类型为圆柱投影。
S306：确定该组待拼接图片对应的投影变换的目标类型为等量投影。
S307：根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型。
每种类型的投影变换与焦距和特征点匹配类型的对应关系如下表1所示：
表1
当该组待拼接图片中的每张待拼接图片的焦距值几乎相等，该组待拼接图片对应变异系数小于10％，且该组待拼接图片对应的特征点配类型均为横向特征点匹配，则视场角只有横向扩展，没有垂直扩展，此时对应的投影变换的类型为圆柱投影；
当该组待拼接图片中的每张待拼接图片的焦距值几乎相等，该组待拼接图片对应变异系数小于10％，且该组待拼接图片对应的特征点配类型包括垂直特征点匹配，则视场角包括垂直扩展，此时对应的投影变换的类型为等量投影；
当该组待拼接图片中的位于中间位置的待拼接图片与位于两边位置的待拼接图片的焦距值有显著差异，该组待拼接图片对应的变异系数到大于30％，且该组待拼接图片对应的特征点配类型没有特殊限定，此时对应的投影变换的类型为正射投影。
实施例4：
为了使确定的该组待拼接图片对应的投影变换的目标类型更加准确，进一步提高全景图像拼接的效果，在上述各实施例的基础上，在本发明实施例中，所述根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型包括：
根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定相邻的每两张待拼接图片对应的投影变换的类型；
统计该组待拼接图片对应的数量最多的投影变换的类型，将数量最多的投影变换的类型确定为该组待拼接图片对应的投影变换的目标类型。
在本发明实施例中，电子设备中预先保存有每种类型的几何变换矩阵对应的投影变换的类型，在确定出该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型后，就可以根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定相邻的每两张待拼接图片对应的投影变换的类型。
所述预先保存的每种类型的几何变换矩阵对应的投影变换的类型中，可以是一种类型的几何变换矩阵对应一种投影变换的类型，也可以是多种类型的几何变换矩阵对应一种投影变换的类型。
相邻的每两张待拼接图片可以确定一个几何变换矩阵，有N张待拼接图片，则确定N-1个几何变换矩阵。当该组待拼接图片为两张待拼接图片时，确定的几何变换矩阵的类型为一种，当该组待拼接图片为至少三张待拼接图片时，确定的几何变换矩阵的类型可能为一种，也可能为多种。
在确定出相邻的每两张待拼接图片对应的投影变换的类型后，可以统计该组待拼接图片对应的数量最多的投影变换的类型，将数量最多的投影变换的类型确定为该组待拼接图片对应的投影变换的目标类型。
实施例5：
为了使确定的该组待拼接图片对应的投影变换的目标类型更加准确，进一步提高全景图像拼接的效果，在上述各实施例的基础上，在本发明实施例中，所述根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定相邻的每两张待拼接图片对应的投影变换的类型包括：
当相邻的两张待拼接图片对应的几何变换矩阵的类型为平移变换矩阵时，则该相邻的两张待拼接图片对应的投影变换的类型为圆柱投影；
当相邻的两张待拼接图片对应的几何变换矩阵的类型为旋转变换矩阵、缩放变换矩阵和仿射变换矩阵中的至少一种时，则该相邻的两张待拼接图片对应的投影变换的类型为等量投影；
当相邻的两张待拼接图片对应的几何变换矩阵的类型为投影变换矩阵时，则该相邻的两张待拼接图片对应的投影变换的类型为正射投影。
在确定相邻的每两张待拼接图片对应的几何变换矩阵的类型时，可以是根据几何变换矩阵中的元素T1，1，T1，2，T1，3，T2，1，T2，2，T2，3，T3，1，T3，2，T3，3的数值来进行类型的确定的。相邻的每两张待拼接图片对应的几何变换矩阵为
每种类型的几何变换矩阵中元素对应的数值，以及每种类型的几何变换矩阵对应的投影变换的类型如下表2所示：
表2
当几何变换矩阵中的元素T3，1＞0，T3，2＞0时，该几何变换矩阵存在平移特性，则几何变换矩阵的类型为平移变换矩阵，对应的投影变换的类型为圆柱投影；
当几何变换矩阵中的元素T1，2＝0，T2，1＝0，且T1，1＜1，T2，2＜1时，该几何变换矩阵存在旋转特性，则几何变换矩阵的类型为旋转变换矩阵，对应的投影变换的类型为等量投影；
当几何变换矩阵中的元素T1，1＝1，T2，2＝1时，该几何变换矩阵存在缩放特性，则几何变换矩阵的类型为缩放变换矩阵，对应的投影变换的类型为等量投影；
当几何变换矩阵中的元素T1，2＝0，T2，1＝0，且T1，1＝1，T2，2＝1时，该几何变换矩阵存在仿射特性，则几何变换矩阵为仿射变换矩阵，对应的投影变换的类型为等量投影；
当几何变换矩阵中的元素T1，3，T2，2，T2，3，T3，1，T3，2不满足正交矩阵分布时，该几何变换矩阵存在投影特性，则几何变换矩阵为投影变换矩阵，对应的投影变换的类型为正射投影。
根据矩阵中的元素对应的数值确定该矩阵为哪种类型的几何变换矩阵的过程属于现有技术，上述仅是简单说明。
图4为本发明实施例提供的一种全景图像拼接的装置结构图，所述装置包括：
第一确定模块41，用于针对一组待拼接图片，确定该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型；
第二确定模块42，用于根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型；
拼接模块43，用于根据确定的投影变换的目标类型，对该组待拼接图片进行投影变换并进行全景拼接。
图5为本发明实施例提供的一种全景图像拼接的装置结构图，在图4的基础上，所述装置还包括：
第一判断模块51，用于判断该组待拼接图片中的每张待拼接图片中是否均包含焦距信息，如果第一判断模块的判断结果为否，则触发第二确定模块；
第二判断模块52，用于如果第一判断模块的判断结果为是时，判断该焦距信息是否满足预设的每种类型的投影变换对应的焦距条件，如果第二判断模块的判断结果为否，则触发第二确定模块。
第三确定模块53，用于当第二判断模块的判断结果为是时，根据每张待拼接图片中包含的焦距信息，以及预设的每种类型的投影变换对应的焦距条件，确定该组待拼接图片对应的投影变换的目标类型；
所述拼接模块43，还用于根据确定的投影变换的目标类型，对该组待拼接图片进行投影变换并进行全景拼接。
所述第三确定模块53，具体用于根据每张待拼接图片中包含的焦距信息，确定该组待拼接图片对应的焦距的变异系数，其中所述变异系数为该组待拼接图片对应的焦距的标准方差与平均值的比值；如果所述变异系数大于预设的第一变异系数阈值，则确定该组待拼接图片对应的投影变换的目标类型为正射投影；如果所述变异系数小于预设的第二变异系数阈值，则根据预设的每种类型的投影变换对应的特征点匹配类型，确定该组待拼接图片对应的投影变换的目标类型，其中，所述第一变异系数阈值大于所述第二变异系数阈值。
所述第三确定模块53，具体用于判断该组待拼接图片中相邻的每两张待拼接图片对应的特征点匹配类型是否均为横向特征点匹配；如果是，则确定该组待拼接图片对应的投影变换的目标类型为圆柱投影；如果否，则确定该组待拼接图片对应的投影变换的目标类型为等量投影。
所述第二确定模块42，具体用于根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定相邻的每两张待拼接图片对应的投影变换的类型；统计该组待拼接图片对应的数量最多的投影变换的类型，将数量最多的投影变换的类型确定为该组待拼接图片对应的投影变换的目标类型。
所述第二确定模块42，具体用于当相邻的两张待拼接图片对应的几何变换矩阵的类型为平移变换矩阵时，则该相邻的两张待拼接图片对应的投影变换的类型为圆柱投影；当相邻的两张待拼接图片对应的几何变换矩阵的类型为旋转变换矩阵、缩放变换矩阵和仿射变换矩阵中的至少一种时，则该相邻的两张待拼接图片对应的投影变换的类型为等量投影；当相邻的两张待拼接图片对应的几何变换矩阵的类型为投影变换矩阵时，则该相邻的两张待拼接图片对应的投影变换的类型为正射投影。
本发明实施例提供了一种全景图像拼接设备，所述设备包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行：针对一组待拼接图片，确定该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型；根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型；根据确定的投影变换的目标类型，对该组待拼接图片进行投影变换并进行全景拼接。
本发明实施例提供了一种电子设备，该电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)等。该电子设备可以包括中央处理器(Center Processing Unit，CPU)、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。
存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本发明实施例中，存储器可以用于存储基于交易数据的异常监测方法的程序。
处理器通过调用存储器存储的程序指令，处理器用于按照获得的程序指令执行：针对一组待拼接图片，确定该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型；根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型；根据确定的投影变换的目标类型，对该组待拼接图片进行投影变换并进行全景拼接。
本发明实施例提供了一种计算机存储介质，用于储存为上述电子设备所用的计算机程序指令，其包含用于执行上述全景图像拼接的方法的程序。
所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
本发明实施例公开了一种全景图像拼接的方法、装置、设备及存储介质，所述方法包括：针对一组待拼接图片，确定该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型；根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型；根据确定的投影变换的目标类型，对该组待拼接图片进行投影变换并进行全景拼接。由于在本发明实施例中，针对一组待拼接图片，根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型。无需用户参与，就可以确定每组待拼接图片确定对应的投影变换的目标类型，减小了拼接后的全景图像的畸变，使拼接后的全景图像效果更佳。
对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者一个操作与另一个实体或者另一个操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全应用实施例、或结合应用和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (16)
1.一种全景图像拼接的方法，其特征在于，所述方法包括：
针对一组待拼接图片，确定该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型；
根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型；
根据确定的投影变换的目标类型，对该组待拼接图片进行投影变换并进行全景拼接。
2.如权利要求1所述的方法，其特征在于，在根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型之前，所述方法还包括：
判断该组待拼接图片中的每张待拼接图片中是否均包含焦距信息，如果否，则进行后续步骤；
如果是，则判断该焦距信息是否满足预设的每种类型的投影变换对应的焦距条件，如果否，则进行后续步骤。
3.如权利要求2所述的方法，其特征在于，当该焦距信息满足预设的每种类型的投影变换对应的焦距条件时，所述方法还包括：
根据每张待拼接图片中包含的焦距信息，以及预设的每种类型的投影变换对应的焦距条件，确定该组待拼接图片对应的投影变换的目标类型；
根据确定的投影变换的目标类型，对该组待拼接图片进行投影变换并进行全景拼接。
4.如权利要求3所述的方法，其特征在于，所述根据每张待拼接图片中包含的焦距信息，以及预设的每种类型的投影变换对应的焦距条件，确定该组待拼接图片对应的投影变换的目标类型包括：
根据每张待拼接图片中包含的焦距信息，确定该组待拼接图片对应的焦距的变异系数，其中所述变异系数为该组待拼接图片对应的焦距的标准方差与平均值的比值；
如果所述变异系数大于预设的第一变异系数阈值，则确定该组待拼接图片对应的投影变换的目标类型为正射投影；
如果所述变异系数小于预设的第二变异系数阈值，则根据预设的每种类型的投影变换对应的特征点匹配类型，确定该组待拼接图片对应的投影变换的目标类型，其中，所述第一变异系数阈值大于所述第二变异系数阈值。
5.如权利要求4所述的方法，其特征在于，所述根据预设的每种类型的投影变换对应的特征点匹配类型，确定该组待拼接图片对应的投影变换的目标类型包括：
判断该组待拼接图片中相邻的每两张待拼接图片对应的特征点匹配类型是否均为横向特征点匹配；
如果是，则确定该组待拼接图片对应的投影变换的目标类型为圆柱投影；
如果否，则确定该组待拼接图片对应的投影变换的目标类型为等量投影。
6.如权利要求1或2所述的方法，其特征在于，所述根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型包括：
根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定相邻的每两张待拼接图片对应的投影变换的类型；
统计该组待拼接图片对应的数量最多的投影变换的类型，将数量最多的投影变换的类型确定为该组待拼接图片对应的投影变换的目标类型。
7.如权利要求6所述的方法，其特征在于，所述根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定相邻的每两张待拼接图片对应的投影变换的类型包括：
当相邻的两张待拼接图片对应的几何变换矩阵的类型为平移变换矩阵时，则该相邻的两张待拼接图片对应的投影变换的类型为圆柱投影；
当相邻的两张待拼接图片对应的几何变换矩阵的类型为旋转变换矩阵、缩放变换矩阵和仿射变换矩阵中的至少一种时，则该相邻的两张待拼接图片对应的投影变换的类型为等量投影；
当相邻的两张待拼接图片对应的几何变换矩阵的类型为投影变换矩阵时，则该相邻的两张待拼接图片对应的投影变换的类型为正射投影。
8.一种全景图像拼接的装置，其特征在于，所述装置包括：
第一确定模块，用于针对一组待拼接图片，确定该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型；
第二确定模块，用于根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型；
拼接模块，用于根据确定的投影变换的目标类型，对该组待拼接图片进行投影变换并进行全景拼接。
9.如权利要求8所述的装置，其特征在于，所述装置还包括：
第一判断模块，用于判断该组待拼接图片中的每张待拼接图片中是否均包含焦距信息，如果第一判断模块的判断结果为否，则触发第二确定模块；
第二判断模块，用于如果第一判断模块的判断结果为是时，判断该焦距信息是否满足预设的每种类型的投影变换对应的焦距条件，如果第二判断模块的判断结果为否，则触发第二确定模块。
10.如权利要求9所述的装置，其特征在于，所述装置还包括：
第三确定模块，用于当第二判断模块的判断结果为是时，根据每张待拼接图片中包含的焦距信息，以及预设的每种类型的投影变换对应的焦距条件，确定该组待拼接图片对应的投影变换的目标类型；
所述拼接模块，还用于根据确定的投影变换的目标类型，对该组待拼接图片进行投影变换并进行全景拼接。
11.如权利要求10所述的装置，其特征在于，所述第三确定模块，具体用于根据每张待拼接图片中包含的焦距信息，确定该组待拼接图片对应的焦距的变异系数，其中所述变异系数为该组待拼接图片对应的焦距的标准方差与平均值的比值；如果所述变异系数大于预设的第一变异系数阈值，则确定该组待拼接图片对应的投影变换的目标类型为正射投影；如果所述变异系数小于预设的第二变异系数阈值，则根据预设的每种类型的投影变换对应的特征点匹配类型，确定该组待拼接图片对应的投影变换的目标类型，其中，所述第一变异系数阈值大于所述第二变异系数阈值。
12.如权利要求11所述的装置，其特征在于，所述第三确定模块，具体用于判断该组待拼接图片中相邻的每两张待拼接图片对应的特征点匹配类型是否均为横向特征点匹配；如果是，则确定该组待拼接图片对应的投影变换的目标类型为圆柱投影；如果否，则确定该组待拼接图片对应的投影变换的目标类型为等量投影。
13.如权利要求8或9所述的装置，其特征在于，所述第二确定模块，具体用于根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定相邻的每两张待拼接图片对应的投影变换的类型；统计该组待拼接图片对应的数量最多的投影变换的类型，将数量最多的投影变换的类型确定为该组待拼接图片对应的投影变换的目标类型。
14.如权利要求13所述的装置，其特征在于，所述第二确定模块，具体用于当相邻的两张待拼接图片对应的几何变换矩阵的类型为平移变换矩阵时，则该相邻的两张待拼接图片对应的投影变换的类型为圆柱投影；当相邻的两张待拼接图片对应的几何变换矩阵的类型为旋转变换矩阵、缩放变换矩阵和仿射变换矩阵中的至少一种时，则该相邻的两张待拼接图片对应的投影变换的类型为等量投影；当相邻的两张待拼接图片对应的几何变换矩阵的类型为投影变换矩阵时，则该相邻的两张待拼接图片对应的投影变换的类型为正射投影。
15.一种电子设备，其特征在于，所述设备包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行：针对一组待拼接图片，确定该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型；根据预先保存的每种类型的几何变换矩阵对应的投影变换的类型，以及确定出的该组待拼接图片中相邻的每两张待拼接图片对应的几何变换矩阵的类型，确定该组待拼接图片对应的投影变换的目标类型；根据确定的投影变换的目标类型，对该组待拼接图片进行投影变换并进行全景拼接。
16.一种计算机存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710440052.4A CN107330849B (zh) | 2017-06-12 | 2017-06-12 | 一种全景图像拼接的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710440052.4A CN107330849B (zh) | 2017-06-12 | 2017-06-12 | 一种全景图像拼接的方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107330849A CN107330849A (zh) | 2017-11-07 |
| CN107330849B true CN107330849B (zh) | 2020-10-30 |
Family
ID=60195582
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710440052.4A Active CN107330849B (zh) | 2017-06-12 | 2017-06-12 | 一种全景图像拼接的方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107330849B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107862664A (zh) * | 2017-11-15 | 2018-03-30 | 广东交通职业技术学院 | 一种图像非真实感绘制方法及系统 |
| CN110033420B (zh) * | 2018-01-12 | 2023-11-07 | 京东科技控股股份有限公司 | 一种图像融合的方法和装置 |
| CN109600584A (zh) * | 2018-12-11 | 2019-04-09 | 中联重科股份有限公司 | 观察塔机的方法和装置、塔机及机器可读存储介质 |
| CN111798374B (zh) * | 2020-06-24 | 2024-08-06 | 浙江大华技术股份有限公司 | 一种图像拼接方法、装置、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942782A (zh) * | 2014-03-31 | 2014-07-23 | Tcl集团股份有限公司 | 一种图像拼接方法及装置 |
| CN104463786A (zh) * | 2014-12-03 | 2015-03-25 | 中国科学院自动化研究所 | 一种移动机器人图像拼接方法及装置 |
| CN105096284A (zh) * | 2014-05-04 | 2015-11-25 | 北京四维图新科技股份有限公司 | 一种生成道路正射投影图像的方法、装置及系统 |
| CN106339981A (zh) * | 2016-08-25 | 2017-01-18 | 安徽协创物联网技术有限公司 | 一种全景拼接方法 |
| CN106447602A (zh) * | 2016-08-31 | 2017-02-22 | 浙江大华技术股份有限公司 | 一种图像拼接方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3889650B2 (ja) * | 2002-03-28 | 2007-03-07 | 三洋電機株式会社 | 画像処理方法、画像処理装置、コンピュータプログラム、及び記録媒体 |
-
2017
- 2017-06-12 CN CN201710440052.4A patent/CN107330849B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942782A (zh) * | 2014-03-31 | 2014-07-23 | Tcl集团股份有限公司 | 一种图像拼接方法及装置 |
| CN105096284A (zh) * | 2014-05-04 | 2015-11-25 | 北京四维图新科技股份有限公司 | 一种生成道路正射投影图像的方法、装置及系统 |
| CN104463786A (zh) * | 2014-12-03 | 2015-03-25 | 中国科学院自动化研究所 | 一种移动机器人图像拼接方法及装置 |
| CN106339981A (zh) * | 2016-08-25 | 2017-01-18 | 安徽协创物联网技术有限公司 | 一种全景拼接方法 |
| CN106447602A (zh) * | 2016-08-31 | 2017-02-22 | 浙江大华技术股份有限公司 | 一种图像拼接方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 全景图技术的研究;李云伟;《中国优秀硕士学位论文全文数据库信息科技辑》;20090615;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107330849A (zh) | 2017-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107330849B (zh) | 一种全景图像拼接的方法、装置、设备及存储介质 | |
| CN109961406B (zh) | 一种图像处理的方法、装置及终端设备 | |
| CN108769776B (zh) | 标题字幕检测方法、装置及电子设备 | |
| CN109166156B (zh) | 一种摄像头标定图像的生成方法、移动终端及存储介质 | |
| US10909719B2 (en) | Image processing method and apparatus | |
| US9959601B2 (en) | Distortion rectification method and terminal | |
| JP2017130929A (ja) | 撮像装置により取得された文書画像の補正方法及び補正装置 | |
| CN108961183B (zh) | 图像处理方法、终端设备及计算机可读存储介质 | |
| CN108133492B (zh) | 图像匹配方法、装置和系统 | |
| US20220328019A1 (en) | Display terminal adjustment method and display terminal | |
| CN107368829B (zh) | 确定输入图像中的矩形目标区域的方法和设备 | |
| CN112584034B (zh) | 图像处理方法、图像处理装置及应用其的电子设备 | |
| CN111179199A (zh) | 图像处理方法、装置及可读存储介质 | |
| CN110689565B (zh) | 一种深度图确定的方法、装置及电子设备 | |
| CN111311481A (zh) | 背景虚化方法、装置、终端设备及存储介质 | |
| CN108932703B (zh) | 图片处理方法、图片处理装置及终端设备 | |
| CN108780572B (zh) | 图像校正的方法及装置 | |
| CN104978731A (zh) | 一种信息处理方法及电子设备 | |
| CN112911152A (zh) | 预览图像生成方法、装置、设备和存储介质 | |
| CN108763491B (zh) | 图片处理方法、装置及终端设备 | |
| CN111861965A (zh) | 图像逆光检测方法、图像逆光检测装置及终端设备 | |
| CN109271538A (zh) | 一种图片存储方法及相关设备 | |
| CN109242763B (zh) | 图片处理方法、图片处理装置、终端设备 | |
| CN107194958A (zh) | 一种图像处理的方法、终端及计算机可读存储介质 | |
| CN111161225B (zh) | 一种图像差异检测方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |