CN106447602A - 一种图像拼接方法及装置 - Google Patents
一种图像拼接方法及装置 Download PDFInfo
- Publication number
- CN106447602A CN106447602A CN201610799680.7A CN201610799680A CN106447602A CN 106447602 A CN106447602 A CN 106447602A CN 201610799680 A CN201610799680 A CN 201610799680A CN 106447602 A CN106447602 A CN 106447602A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- pixel
- original image
- fault
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000012937 correction Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000013507 mapping Methods 0.000 claims description 113
- 230000008569 process Effects 0.000 claims description 34
- 239000000945 filler Substances 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 16
- 238000009826 distribution Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/153—Transformations for image registration, e.g. adjusting or mapping for alignment of images using elastic snapping
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种图像拼接方法及装置，用以解决现有技术中透视相机镜头中的畸变影响了拼接图像的效果，导致拼接图像拼缝处两侧景物信息不能对齐，存在误差的问题。该方法为：处理器获取第一相机与第二相机分别拍摄的第一原始图像与第二原始图像，并分别对所述第一原始图像与所述第二原始图像进行畸变校正处理，得到相应的第一去畸变图像与第二去畸变图像，最后，将所述第一去畸变图像与所述第二去畸变图像进行拼接，生成目标拼接图像。这样，所述处理器由于对待拼接的原始图像进行了畸变校正处理，因此，拼接生成的所述目标拼接图像拼缝处误差减小，使所述目标拼接图像拼缝处两侧景物信息可以对齐，从而使所述目标拼接图像的质量更好。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种图像拼接方法及装置。
背景技术
在一些待监控范围较大的场景，如操场、广场、机场等，要求监控相机具有足够大的视场角。随着科学技术的发展，涌现出了将多相机的图像进行拼接的方法，最终得到大视场图像，进而扩大了监控范围。
目前，已有的视频拼接方案主要分为两种：一种是基于超广角相机或鱼眼相机的图像的拼接方案，另一种是基于普通透视相机的图像的拼接方案。
由于，超广角或鱼眼相机本身的成像质量较差，基于超广角相机或鱼眼相机的拼接图像的成像质量也较差，通常认为普通透视相机镜头的畸变系数较小，直接应用小孔成像模型，成像质量相对较好，基于普通透视相机的拼接图像的成像质量也较好，因此，基于普通透视相机的拼接方案较为常用。
基于普通透视相机的拼接方案，处理器在对图像进行拼接时，直接将多个普通透视相机的照片进行拼接，最终拼接成大视场图像。
但是，随着行业内对拼接图像质量的要求不断提高，透视相机镜头中相对较小的畸变仍然影响了拼接图像的效果，导致拼接图像拼缝处两侧景物信息不能完美对齐，存在误差。
发明内容
本发明提供一种图像拼接方法及装置，用以解决现有技术中透视相机镜头中的畸变影响了拼接图像的效果，导致拼接图像拼缝处两侧景物信息不能对齐，存在误差的问题。
本发明提供的具体技术方案如下：
第一方面，本发明实施例提供了一种图像拼接方法，包括：
处理器获取第一相机拍摄的第一原始图像，以及第二相机拍摄的第二原始图像，其中，所述第一原始图像与所述第二原始图像之间存在重合区域；
所述处理器分别针对所述第一相机和所述第二相机中每个相机执行如下步骤：
所述处理器获取该相机的镜头畸变模型参数；并根据所述镜头畸变模型参数，对该相机拍摄的原始图像进行畸变校正处理，生成对应的去畸变图像；
所述处理器将针对所述第一相机生成的第一去畸变图像与针对所述第二相机生成的第二去畸变图像进行拼接，生成目标拼接图像。
结合第一方面，在第一方面的第一种可能的实现方式中，所述处理器获取该相机的镜头畸变模型参数，包括：
所述处理器获取保存的所述镜头畸变模型参数；或者
所述处理器获取该相机针对标定物拍摄的多个图像；并根据所述多个图像中的所述标定物的特征参数和所述标定物实际的特征参数，确定所述镜头畸变模型参数。
结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述处理器根据所述镜头畸变模型参数，对该相机拍摄的原始图像进行畸变校正处理，生成对应的去畸变图像，包括：
所述处理器根据所述镜头畸变模型参数，以及预设的畸变模型，确定该相机拍摄的原始图像与对应的去畸变图像之间的第一映射关系以及第一逆映射关系，其中，所述第一逆映射关系是所述第一映射关系的反函数；
所述处理器根据所述第一映射关系，将该相机拍摄的原始图像中的像素点进行映射，生成第一二维像素坐标点集合；
所述处理器根据所述第一逆映射关系，将所述第一二维像素坐标点集合中的像素点进行逆映射，确定所述第一二维像素坐标点集合中的像素点在该相机拍摄的原始图像中对应的第一投影位置；
所述处理器根据确定的所述第一投影位置，生成对应的去畸变图像，其中，对应的去畸变图像的分辨率与该相机拍摄的原始图像分辨率相同。
结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第三种可能的实现方式中，所述处理器根据所述镜头畸变模型参数，对该相机拍摄的原始图像进行畸变校正处理，生成对应的去畸变图像，包括：
所述处理器根据所述镜头畸变模型参数，以及预设的畸变模型，确定该相机拍摄的原始图像与对应的去畸变图像之间的第二映射关系以及第二逆映射关系，其中，所述第二逆映射关系是所述第二映射关系的反函数；
所述处理器根据所述第二映射关系，将该相机拍摄的原始图像中的像素点进行映射，生成第二二维像素坐标点集合；
所述处理器根据所述第二二维像素坐标点集合中的像素点的位置分布，确定对应的去畸变图像的第一分辨率，其中，在所述第一分辨率中，水平方向上的像素点的个数大于或等于第一距离包含的像素点的个数，且垂直方向上的像素点的个数大于或等于第二距离包含的像素点的个数，所述第一距离为所述第二二维像素坐标点集合中水平方向上最左边像素点与最右边像素点的位置之间的距离，所述第二距离为所述第二二维像素坐标点集合中垂直方向上最上边像素点与最下边像素点的位置之间的距离；
所述处理器确定所述第一分辨率与该相机拍摄的原始图像的第二分辨率在水平方向上的第一像素点差值和在垂直方向上的第二像素点差值；
所述处理器根据所述第一像素点差值与所述第二像素点差值，对所述第二逆映射关系进行偏移处理，确定该相机拍摄的原始图像与对应的去畸变图像之间的第三逆映射关系；
所述处理器根据所述第二二维像素坐标点集合与所述第一分辨率，生成第三二维像素坐标点集合；
所述处理器根据所述第三逆映射关系，将所述第三二维像素坐标点集合中的像素点进行逆映射，确定所述第三二维像素坐标点集合中的像素点在该相机拍摄的原始图像中对应的第二投影位置；
所述处理器根据确定的所述第二投影位置，生成对应的去畸变图像，其中，在对应的去畸变图像中包含第一填充像素点，所述第一填充像素点为非该相机拍摄的原始图像中的像素点。
结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述处理器将所述第一去畸变图像与所述第二去畸变图像进行拼接，生成所述目标拼接图像，包括：
所述处理器根据所述第一去畸变图像与所述第二去畸变图像中重合区域的特征，进行拼接，生成第一拼接图像；
所述处理器根据所述第一拼接图像，确定所述目标拼接图像，其中，在所述目标拼接图像中，不包含所述填充像素点。
第二方面，本发明实施例提供了一种图像拼接装置，包括：
获取单元，用于获取第一相机拍摄的第一原始图像，和第二相机拍摄的第二原始图像，其中，所述第一原始图像与所述第二原始图像之间存在重合区域；
处理单元，用于分别针对所述第一相机和所述第二相机中的每个相机执行如下步骤：
获取该相机的镜头畸变模型参数；并根据所述镜头畸变模型参数，对该相机拍摄的原始图像进行畸变校正处理，生成对应的去畸变图像；
拼接单元，用于将针对所述第一相机生成的所述第一去畸变图像与针对所述第二相机生成的所述第二去畸变图像进行拼接，生成目标拼接图像。
结合第二方面，在第二方面的第一种可能的实现方式中，所述处理单元，在获取该相机的镜头畸变模型参数时，具体用于：
获取保存的所述镜头畸变模型参数；或者
获取该相机针对标定物拍摄的多个图像；并根据所述多个图像中的所述标定物的特征参数和所述标定物实际的特征参数，确定所述镜头畸变模型参数。
结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述处理单元，在根据所述镜头畸变模型参数，对该相机拍摄的原始图像进行畸变校正处理，生成对应的去畸变图像时，具体用于：
根据所述镜头畸变模型参数，以及预设的畸变模型，确定该相机拍摄的原始图像与对应的去畸变图像之间的第一映射关系以及第一逆映射关系，其中，所述第一逆映射关系是所述第一映射关系的反函数；
根据所述第一映射关系，将该相机拍摄的原始图像中的像素点进行映射，生成第一二维像素坐标点集合；
根据所述第一逆映射关系，将所述第一二维像素坐标点集合中的像素点进行逆映射，确定所述第一二维像素坐标点集合中的像素点在该相机拍摄的原始图像中对应的第一投影位置；
根据确定的所述第一投影位置，生成对应的去畸变图像，其中，对应的去畸变图像的分辨率与该相机拍摄的原始图像分辨率相同。
结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第三种可能的实现方式中，所述处理单元，在根据所述镜头畸变模型参数，对该相机拍摄的原始图像进行畸变校正处理，生成对应的去畸变图像时，具体用于：
根据所述镜头畸变模型参数，以及预设的畸变模型，确定该相机拍摄的原始图像与对应的去畸变图像之间的第二映射关系以及第二逆映射关系，其中，所述第二逆映射关系是所述第二映射关系的反函数；
根据所述第二映射关系，将该相机拍摄的原始图像中的像素点进行映射，生成第二二维像素坐标点集合；
根据所述第二二维像素坐标点集合中的像素点的位置分布，确定对应的去畸变图像的第一分辨率，其中，在所述第一分辨率中，水平方向上的像素点的个数大于或等于第一距离包含的像素点的个数，且垂直方向上的像素点的个数大于或等于第二距离包含的像素点的个数，所述第一距离为所述第二二维像素坐标点集合中水平方向上最左边像素点与最右边像素点的位置之间的距离，所述第二距离为所述第二二维像素坐标点集合中垂直方向上最上边像素点与最下边像素点的位置之间的距离；
确定所述第一分辨率与该相机拍摄的原始图像的第二分辨率在水平方向上的第一像素点差值和在垂直方向上的第二像素点差值；
根据所述第一像素点差值与所述第二像素点差值，对所述第二逆映射关系进行偏移处理，确定该相机拍摄的原始图像与对应的去畸变图像之间的第三逆映射关系；
根据所述第二二维像素坐标点集合与所述第一分辨率，生成第三二维像素坐标点集合；
根据所述第三逆映射关系，将所述第三二维像素坐标点集合中的像素点进行逆映射，确定所述第三二维像素坐标点集合中的像素点在该相机拍摄的原始图像中对应的第二投影位置；
根据确定的所述第二投影位置，生成对应的去畸变图像，其中，在对应的去畸变图像中包含填充像素点，所述填充像素点为非该相机拍摄的原始图像中的像素点。
结合第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，所述拼接单元，在将所述第一去畸变图像与所述第二去畸变图像进行拼接，生成所述目标拼接图像时，具体用于：
根据所述第一去畸变图像与所述第二去畸变图像中重合区域的特征，进行拼接，生成第一拼接图像；
根据所述第一拼接图像，确定所述目标拼接图像，其中，在所述目标拼接图像中，不包含所述填充像素点。
本发明实施例的技术方案中，处理器获取第一相机与第二相机分别拍摄的第一原始图像与第二原始图像，并分别对所述第一原始图像与所述第二原始图像进行畸变校正处理，得到相应的第一去畸变图像与第二去畸变图像，最后，将所述第一去畸变图像与所述第二去畸变图像进行拼接，生成目标拼接图像。这样，所述处理器由于对待拼接的原始图像进行了畸变校正处理，因此，拼接生成的所述目标拼接图像拼缝处误差减小，使所述目标拼接图像拼缝处两侧景物信息可以对齐，从而使所述目标拼接图像的质量更好。
附图说明
图1为本发明实施例提供的一种图像拼接方法流程图；
图2为本发明实施例提供的径向畸变示意图；
图3为本发明实施例提供的一种二维像素坐标点集合中的像素点的位置分布图；
图4为本发明实施例提供的一种去畸变图像示意图；
图5为现有技术中的一种生成目标拼接图像的示意图；
图6为本发明实施例提供的一种生成目标拼接图像的示意图；
图7为本发明实施例提供的另一种生成目标拼接图像的示意图；
图8为本发明实施例提供的一种图像拼接装置结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例提供一种图像拼接方法及装置，用以解决现有技术中透视相机镜头中的畸变影响了拼接图像的效果，导致拼接图像拼缝处两侧景物信息不能对齐，存在误差的问题。其中，本发明所述方法和装置基于同一发明构思，由于方法及装置解决问题的原理相似，因此装置与方法的实施可以相互参见，重复之处不再赘述。
本发明实施例的技术方案中，处理器获取第一相机与第二相机分别拍摄的第一原始图像与第二原始图像，并分别对所述第一原始图像与所述第二原始图像进行畸变校正处理，得到相应的第一去畸变图像与第二去畸变图像，最后，将所述第一去畸变图像与所述第二去畸变图像进行拼接，生成目标拼接图像。这样，所述处理器由于对待拼接的原始图像进行了畸变校正处理，因此，拼接生成的所述目标拼接图像拼缝处误差减小，使所述目标拼接图像拼缝处两侧景物信息可以对齐，从而使所述目标拼接图像的质量更好。
在本发明实施例中，涉及到的图像的分辨率一般用A*B表示，其中A表示所述图像在水平方向的像素点的个数，B表示所述图像在垂直方向的像素点的个数。
为了更加清晰地描述本发明实施例的技术方案，下面结合附图，对本发明实施例提供的图像拼接方法及装置进行详细说明。
本发明实施例提供的一种图像拼接方法。参阅图1所示，该方法的具体流程包括：
步骤101：处理器获取第一相机拍摄的第一原始图像，以及第二相机拍摄的第二原始图像，其中，所述第一原始图像与所述第二原始图像之间存在重合区域。
可选的，所述第一相机与所述第二相机可以为普通透视相机。
通常情况下，所述第一原始图像与所述第二原始图像相对于实际场景存在畸变，其中，可选的，所述畸变可以但不限于包括：切向畸变、以及如图2所示的径向畸变。在图2中，实线为不存在畸变时的图像的轮廓，虚线a与虚线b为存在径向畸变时的图像的轮廓，通过图2，可以很明显看出虚线a与虚线b代表的图像相较于实线代表的图像存在畸变。
步骤102：所述处理器获取所述第一相机的第一镜头畸变模型参数，以及所述第二相机的第二镜头畸变模型参数。
可选的，所述第一镜头畸变模型参数与所述第一相机的实际畸变模型有关，所述第二镜头畸变模型参数与所述第二相机的实际畸变模型有关。其中，实际畸变模型可以但不限于是：布朗-康拉迪(Brown-Conrady)畸变模型、多项式模型、除法模型。
可选的，所述第一镜头畸变模型参数与所述第二镜头畸变模型参数可以相同也可以不同，其中，
第一种情况：当所述第一相机与所述第二相机的镜头为同一批次生产或者工艺参数相同时，可以认为所述第一相机与所述第二相机的实际畸变模型相同，从而可以认为所述第一镜头畸变模型参数与所述第二镜头畸变模型参数相同，这样所述处理器在执行步骤102时，不用再分别获取所述第一镜头畸变模型参数和所述第二镜头畸变模型参数，可以获取其中一个镜头畸变模型参数，得到所述第一镜头畸变模型参数和所述第二镜头畸变模型参数，从而提高拼接效率；
第二种情况：除上述以外的条件下，两个相机的镜头畸变模型参数不同，例如，当所述第一相机的实际畸变模型与所述第二相机的实际畸变模型不同时，所述第一镜头畸变模型参数与所述第二镜头畸变模型参数不同，所述处理器在执行步骤102时，要分别获取所述第一相机的第一镜头畸变模型参数与所述第二相机的第二镜头畸变模型参数。
可选的，当所述第一相机的实际畸变模型与所述第二相机的实际畸变模型均为Brown-Conrady畸变模型时，所述第一镜头畸变模型参数与所述第二镜头畸变模型参数均可以但不限于包括：畸变系数kd＝[k1,k2,k3,k4]，图像的中心像素点cd＝(u0d,v0d)，焦距fd。
可选的，所述处理器获取所述第一镜头畸变模型参数，可以包括以下两种方式：
第一种方式：所述处理器获取保存的所述第一镜头畸变模型参数。
第二种方式：所述处理器获取所述第一相机针对第一标定物拍摄的多个图像；并根据所述多个图像中的所述第一标定物的特征参数和所述第一标定物实际的特征参数，确定所述第一镜头畸变模型参数。
当所述处理器保存有所述第一相机的实际畸变模型对应的畸变模型参数时，或者保存有与所述第一相机的镜头为同一批次生产或者工艺参数相同的相机的畸变模型参数时，所述处理器采用所述第一种方式获取所述第一镜头畸变模型参数。
当所述处理器中没有保存所述第一镜头畸变模型参数时，所述处理器采用所述第二种方式获取所述第一镜头畸变模型参数。
其中，在所述第二种方式中，所述第一标定物可以是具有明显的直线结构或其他可以确定轮廓的物体，例如大楼、公路等。所述第一标定物的特征参数可以根据所述第一标定物的实际结构进行设置，例如当所述第一标定物为大楼时，所述第一标定物的特征参数为所述大楼的边缘的长度、倾斜角、弧度等参数。
可选的，所述处理器根据所述多个图像中的所述第一标定物的特征参数和所述第一标定物实际的特征参数，确定所述第一镜头畸变模型参数，具体方法可以为：所述处理器根据所述第一标定物的特征参数和所述第一标定物实际的特征参数，建立包含所述第一镜头畸变模型参数的目标方程，通过非线性优化方式获得所述第一镜头畸变模型参数的最优解，从而确定所述第一镜头畸变模型参数。
可选的，上述所述第一镜头畸变模型参数的求解方法可以但不限于是：一种灵活的相机标定新技术(A Flexible New Technique for Camera Calibration)(即张正友)方法，有开源的数学软件(matrix laboratory，matlab)标定工具箱中的相关方法，或者开源计算机视觉库(Open Source Computer Vision Library，opencv)中的相关方法。
可选的，所述处理器获取所述第二镜头畸变模型参数的方式，与所述处理器获取所述第一镜头畸变模型参数的方式相同，可以参见所述处理器获取所述第一镜头畸变模型参数的方式，详细过程此处不再赘述。
步骤103：所述处理器根据所述第一镜头畸变模型参数，对所述第一原始图像进行畸变校正处理，生成第一去畸变图像；以及根据所述第二镜头畸变模型参数，对所述第二原始图像进行畸变校正处理，生成第二去畸变图像。
可选的，所述处理器根据所述第一镜头畸变模型参数，对所述第一原始图像进行畸变校正处理，生成所述第一去畸变图像，可以根据所述第一去畸变图像的分辨率与所述第一原始图像的分辨率是否相同，分为两种方法。
在第一种方法中，所述第一去畸变图像的分辨率与所述第一原始图像的分辨率相同，所述第一种方法可以分为以下四个步骤：
a1、所述处理器根据所述第一镜头畸变模型参数，以及预设的第一畸变模型，确定所述第一原始图像与所述第一去畸变图像之间的第一映射关系以及第一逆映射关系，其中，所述第一逆映射关系是所述第一映射关系的反函数；
b1、所述处理器根据所述第一映射关系，将所述第一原始图像中的像素点进行映射，生成第一二维像素坐标点集合；
c1、所述处理器根据所述第一逆映射关系，将所述第一二维像素坐标点集合中的像素点进行逆映射，确定所述第一二维像素坐标点集合中的像素点在所述第一原始图像中对应的第一投影位置；
d1、所述处理器根据确定的所述第一投影位置，生成所述第一去畸变图像，其中，所述第一去畸变图像的分辨率与所述第一原始图像分辨率相同。
其中，可选的，在上述步骤a1中，由于实际中所述第一相机的畸变模型有多种，因此根据所述畸变模型确定的所述第一原始图像与所述第一去畸变图像之间映射关系(包括所述第一映射关系和所述第一逆映射关系)可能不同，下面以所述第一畸变模型为最常见的Brown-Conrady畸变模型为例：
假设所述第一镜头畸变模型参数包括：第一镜头畸变系数kd＝[k1,k2,k3,k4]，所述第一原始图像的中心像素点cd＝(u0d,v0d)，所述第一相机的焦距fd；
所述处理器根据所述第一镜头畸变模型参数，以及预设的第一畸变模型，建立公式一至公式四四个公式：
在公式一中，u为所述第一去畸变图像中的像素点在水平方向的像素坐标，ur为所述像素点在所述第一相机坐标系中水平方向的坐标，u0d为所述第一原始图像的中心像素点在水平方向的像素坐标，fd为所述第一相机的焦距；
在公式二中，v为所述第一去畸变图像中的像素点在垂直方向的像素坐标，vr为所述像素点在所述第一相机坐标系中垂直方向的坐标，v0d为所述第一原始图像的中心像素点在垂直方向的像素坐标；
在公式三中，r为在所述第一相机坐标系中所述像素点到光轴的距离；
sd＝1+k1·r2+k2·r2 公式四
在公式四中，sd为中间变量，k1为所述第一镜头畸变系数中的第一个系数，k2为所述第一镜头畸变系数中的第二个系数；
所述处理器根据上述四个公式可以得到所述第一原始图像与所述第一去畸变图像中的像素点在水平方向的像素坐标的对应关系，以及所述第一原始图像与所述第一去畸变图像中的像素点在垂直方向的像素坐标的对应关系，如公式五所示：
在公式五中，u`为所述第一原始图像中的像素点在水平方向的像素坐标，v`为所述第一原始图像中的像素点在垂直方向的像素坐标，k3为所述第一镜头畸变系数中的第三个系数，k4为所述第一镜头畸变系数中的第四个系数；
在本发明实施例中，可以将公式五，记为所述第一原始图像与所述第一去畸变图像之间的第一逆映射关系：(u`,v`)＝g(u,v)。
可选的，所述处理器根据所述第一逆映射关系得到所述第一逆映射关系的反函数，得到所述第一映射关系。
可选的，在上述步骤b1中，生成所述第一二维像素坐标点集合的具体方法可以为：
所述处理器根据所述第一映射关系，遍历所述第一原始图像中的像素点进行映射，得到由所有映射结果构成的所述第一二维像素坐标点集合。
可选的，在上述步骤c1中，所述处理器遍历所述第一二维像素坐标点集合中的每个像素点，根据所述第一逆映射关系，计算每个像素点在所述第一原始图像中对应的第一投影位置。
可选的，在上述步骤d1中，所述处理器根据确定的所述第一投影位置，生成所述第一去畸变图像，具体方法可以为：
所述处理器确定所述第一投影位置后，通过传统的插值算法，生成所述第一去畸变图像。
在第二种方法中，所述第一去畸变图像的分辨率与所述第一原始图像的分辨率不同，所述处理器自适应调整所述第一去畸变图像的分辨率。所述第二种方法可以分为以下8个步骤：
a2、所述处理器根据所述第一镜头畸变模型参数，以及预设的第一畸变模型，确定所述第一原始图像与所述第一去畸变图像之间的第三映射关系以及第三逆映射关系，其中，所述第三逆映射关系是所述第三映射关系的反函数。
其中，可选的，所述处理器确定所述第三映射关系以及所述第三逆映射关系的具体方法，与所述第一种方法中所述处理器确定所述第一映射关系以及所述第一逆映射关系的具体方法原理相同，因此两者可以相互参见，详细过程此处不再赘述。
b2、所述处理器根据所述第三映射关系，将所述第一原始图像中的像素点进行映射，生成第三二维像素坐标点集合。
可选的，生成所述第三二维像素坐标点集合的具体方法可以为：
所述处理器根据所述第三映射关系，遍历所述第一原始图像中的像素点进行映射，得到由所有映射结果构成的所述第三二维像素坐标点集合。
c2、所述处理器根据所述第三二维像素坐标点集合中的像素点的位置分布，确定所述第一去畸变图像的第一分辨率，其中，在所述第一分辨率中，水平方向上的像素点的个数大于或等于第一距离包含的像素点的个数，且垂直方向上的像素点的个数大于或等于第二距离包含的像素点的个数，所述第一距离为所述第三二维像素坐标点集合中水平方向上最左边像素点与最右边像素点的位置之间的距离，所述第二距离为所述第三二维像素坐标点集合中垂直方向上最上边像素点与最下边像素点的位置之间的距离。
例如，在如图3所示的所述第三二维像素坐标点集合中的像素点的位置分布图中，m为所述第一距离，n为所述第二距离。
所述处理器在步骤c中确定的所述第一去畸变图像的第一分辨率为W*H，其中，W＞m，H＞n，如图4所示。
通过上述方法，可以保证所述第一原始图像中的每一个像素点都能映射到所述第一去畸变图像中，并且保留了所述第一原始图像中的所有像素点，提高了目标拼接图像的质量。
d2、所述处理器确定所述第一分辨率与所述第一原始图像的第二分辨率在水平方向上的第一像素点差值和在垂直方向上的第二像素点差值。
例如，具体的确定方法可以为：
假设所述第一分辨率为W*H，所述第二分辨率为w*h，所述第一像素点差值用du表示，所述第二像素点差值用dv表示，所述第一像素点差值符合以下公式七，以及所述第二像素点差值符合以下公式八：
du＝W-w 公式七
dv＝H-h 公式八
e2、所述处理器根据所述第一像素点差值与所述第二像素点差值，对所述第三逆映射关系进行偏移处理，确定所述第一原始图像与所述第一去畸变图像之间的第四逆映射关系。
可选的，具体确定方法可以为：
所述处理器根据所述第一像素点差值确定第一偏移量ue，以及根据所述第二像素点差值确定第二偏移量ve，其中，所述第一偏移量ue为所述第一去畸变图像与所述第一原始图像之间的像素坐标系在水平方向上的偏移，所述第二偏移量ve为所述第一去畸变图像与所述第一原始图像之间的像素坐标系在垂直方向上的偏移；
所述处理器将所述第三逆映射关系在所述像素坐标系水平方向上偏移所述第一偏移量ue，以及在所述像素坐标系垂直方向上偏移所述第二偏移量ve，得到所述第四逆映射关系(u`,v`)＝g(u-ue,v-ve)。
例如，所述处理器根据所述第一像素点差值确定第一偏移量符合以下公式九，以及根据所述第二像素点差值确定第二偏移量符合以下公式十：
其中，所述公式九与所述公式十的计算结果为最优选所述第一偏移量与所述第二偏移量，但是所述第一偏移量与所述第二偏移量不限于运用所述公式九与所述公式十计算。
f2、所述处理器根据所述第三二维像素坐标点集合与所述第一分辨率，生成第四二维像素坐标点集合。
其中，所述处理器根据所述第一分辨率确定所述第四二维像素坐标点集合中的像素点的位置分布，根据所述第三二维像素坐标点集合，以及所述第四二维像素坐标点集合中的像素点的位置分布，得到所述第四二维像素坐标点集合。
g2、所述处理器根据所述第四逆映射关系，将所述第四二维像素坐标点集合中的像素点进行逆映射，确定所述第四二维像素坐标点集合中的像素点在所述第一原始图像中对应的第三投影位置。
可选的，所述处理器遍历所述第四二维像素坐标点集合中的每个像素点，根据所述第四逆映射关系，计算每个像素点在所述第一原始图像中对应的第三投影位置。
h2、所述处理器根据确定的所述第三投影位置，生成所述第一去畸变图像，其中，在所述第一去畸变图像中包含第一填充像素点，所述第一填充像素点为非所述第一原始图像中的像素点。
可选的，所述处理器根据确定的所述第三投影位置，生成所述第一去畸变图像，具体方法可以为：
所述处理器确定所述第三投影位置后，通过传统的插值算法，生成所述第一去畸变图像。
可选的，所述第一填充像素点的亮度值为固定值，例如亮度值为0或其他值，例如，如图4所示的图像为所述第一填充像素点的亮度值为0的所述第一去畸变图像。
可选的，所述处理器生成所述第二去畸变图像的方法，与所述处理器生成所述第一去畸变图像的方法相同，可以参见所述处理器生成所述第一去畸变图像的方法，详细过程此处不再赘述。
在本发明实施例中，所述处理器采用所述第一种方法生成所述第一去畸变图像和所述第二去畸变图像时，由于所述第一去畸变图像的分辨率和所述第二去畸变图像的分辨率，分别与所述第一原始图像的分辨率和所述第二原始图像的分辨率相同，因此，所述第一去畸变图像和所述第二去畸变图像分别丢失了所述第一原始图像和所述第二原始图像中的像素点，使通过所述第一去畸变图像和所述第二去畸变图像生成的目标拼接图像的视场变小；
所述处理器采用所述第二种方法生成所述第一去畸变图像和所述第二去畸变图像时，由于所述处理器自适应调整所述第一去畸变图像的分辨率和所述第二去畸变图像的分辨率，因此，所述第一去畸变图像和所述第二去畸变图像保留了所述第一原始图像和所述第二原始图像中的所有像素点，使通过所述第一去畸变图像和所述第二去畸变图像生成的目标拼接图像的视场较大。
综上所述，所述处理器采用所述第二种方法生成的所述第一去畸变图像和所述第二去畸变图像，比采用所述第一种方法生成的所述第一去畸变图像和所述第二去畸变图像的数据资源利用率高，因此，处理器采用所述第二种方法生成的所述第一去畸变图像和所述第二去畸变图像的质量较好，且通过所述第二种方法生成的所述第一去畸变图像和所述第二去畸变图像而生成的所述目标拼接图像的视场较大。
步骤104：所述处理器将所述第一去畸变图像与所述第二去畸变图像进行拼接，生成目标拼接图像。
可选的，所述处理器将所述第一去畸变图像与所述第二去畸变图像进行拼接，生成所述目标拼接图像，具体方法可以为：
所述处理器根据所述第一去畸变图像与所述第二去畸变图像中重合区域的特征，进行拼接，生成第一拼接图像；
所述处理器根据所述第一拼接图像，确定所述目标拼接图像。
其中，可选的，在所述处理器在执行步骤103时采用第二种方法时，所述目标拼接图像中，不包含所述第一填充像素点和所述第二填充像素点。
可选的，所述处理器根据所述第一去畸变图像与所述第二去畸变图像中重合区域的特征，进行拼接，生成第一拼接图像，具体方法可以为：
所述处理器在所述第一去畸变图像与所述第二去畸变图像中重合区域中进行特征匹配、运动估计等操作，提取M对匹配特征点，其中，提取匹配特征点的算法可以但不限于是：尺度不变特征变换(Scale-invariant feature transform，SIFT)；
所述处理器对所述M对匹配特征点进行去除误配点处理，得到N对匹配特征点，并利用所述N对匹配特征点建立方程组，求解方程组得到拼接参数，所述拼接参数可以为：所述第一去畸变图像(或所述第二去畸变图像)的像素坐标系与所述第一相机(或所述第二相机)坐标系之间的映射关系(例如平移参数、缩放参数等)、所述第一相机坐标系与所述第二相机坐标系之间的映射关系(例如旋转参数等)。其中，所述处理器进行去除误配点处理的方法可以但不限于是：随机采样一致性(RANdom Sample Consensus，RanSaC)算法，求解方程组的方法可以但不限于是：奇异值分解(Singular Value Decomposition，SVD)法或者最小二乘法；
所述处理器可以根据所述拼接参数，采用传统的拼接方法，将所述第一去畸变图像与所述第二去畸变图像进行拼接，生成第一拼接图像。
所述处理器在所述第一拼接图像中确定所述目标拼接图像，例如，所述目标拼接图像为所述第一拼接图像中有效像素点(除填充像素点以外的像素点)的最大内接矩形。
通过上述方法，可以使所述目标拼接图像拼缝处误差减小，使所述目标拼接图像拼缝处两侧景物信息可以对齐，从而使所述目标拼接图像的质量更好。
在本发明上述实施例中，仅以两个相机拍摄的原始图像的拼接为例，在实际应用中，所述处理器可以采用上述方法对多个相机拍摄的原始图像进行拼接，其中，相邻两个图像(所述相邻两个图像之间存在重合区域)采用上述方法进行拼接。
例如，图5为所述处理器采用现有技术生成目标拼接图像1的示意图，其中图5中上边图像为所述第一原始图像与所述第二原始图像拼接生成的第一拼接图像1，下边图像为所述目标拼接图像1；图6为所述处理器采用步骤103中所述第一种方法生成所述第一去畸变图像与所述第二去畸变图像之后，生成目标拼接图像2的示意图，其中图6中上边图像为所述第一去畸变图像与所述第二去畸变图像拼接生成的第一拼接图像2，下边图像为所述目标拼接图像2；图7为所述处理器采用步骤103中所述第二种方法生成所述第一去畸变图像与所述第二去畸变图像之后，生成目标拼接图像3的示意图，图7中上边图像为所述第一去畸变图像与所述第二去畸变图像拼接生成的第一拼接图像3，下边图像为所述目标拼接图像3；
将所述图5中所述目标拼接图像1与所述图6中所述目标拼接图像2和所述图7中所述目标拼接图像3中的拼缝两侧的景物信息进行对比，可以明显看出：所述目标拼接图像1拼缝两侧的景物信息(例如拼缝两侧的轿车)不能对齐，而所述目标拼接图像2和所述目标拼接图像3拼缝两侧的所述轿车能对齐，使拼缝精度有了较大提升，拼接质量也有了较大提高。因此，对所述第一原始图像与所述第二原始图像先进行畸变校正处理，再进行拼接，使拼缝处误差减小，能够保证所述目标拼接图像拼缝两侧的景物信息对齐；
将所述图6中所述目标拼接图像2与所述图7中所述目标拼接图像3进行对比，可以明显看出：所述目标拼接图像2中丢失了原始图像中的部分像素点，例如，所述目标拼接图像2中最底端的轿车只保留了原始图像中所述轿车的一小部分，使所述目标拼接图像2的视场变小；而所述目标拼接图像3通过处理器自适应调整分辨率后，可以保留原始图像中的所有像素点，例如，所述目标拼接图像3中最底端的轿车保留了原始图像中所述轿车的全部，使所述目标拼接图像3视场较大。因此，在所述处理器对所述第一原始图像与所述第二原始图像进行畸变校正处理时，采用所述第二种方法比采用所述第一种方法得到所述第一去畸变图像和所述第二去畸变图像，生成的所述目标拼接图像视场大，质量好。
采用本发明实施例提供的一种图像拼接方法，处理器获取第一相机与第二相机分别拍摄的第一原始图像与第二原始图像，并分别对所述第一原始图像与所述第二原始图像进行畸变处理，得到相应的第一去畸变图像与第二去畸变图像，最后，将所述第一去畸变图像与所述第二去畸变图像进行拼接，生成目标拼接图像。这样，所述处理器由于对待拼接的原始图像进行了畸变校正处理，因此，拼接生成的所述目标拼接图像拼缝处误差减小，使拼接的所述目标拼接图像拼缝处两侧景物信息可以对齐，从而使所述目标拼接图像的质量更好。
基于以上实施例，本发明实施例还提供了一种图像拼接装置，该装置具有实现如图1所示的一种图像拼接方法的功能，如图8所示，该装置800包括：获取单元801、处理单元802和拼接单元803，其中，
所述获取单元801，用于获取第一相机拍摄的第一原始图像，和第二相机拍摄的第二原始图像，其中，所述第一原始图像与所述第二原始图像之间存在重合区域；
所述处理单元802，用于分别针对所述第一相机和所述第二相机中的每个相机执行如下步骤：
获取该相机的镜头畸变模型参数；并根据所述镜头畸变模型参数，对该相机拍摄的原始图像进行畸变校正处理，生成对应的去畸变图像；
所述拼接单元803，用于将所述第一去畸变图像与所述第二去畸变图像进行拼接，生成目标拼接图像。
可选的，所述处理单元802，在获取该相机的镜头畸变模型参数时，具体用于：
获取保存的所述镜头畸变模型参数；或者
获取该相机针对标定物拍摄的多个图像；并根据所述多个图像中的所述标定物的特征参数和所述标定物实际的特征参数，确定所述镜头畸变模型参数。
可选的，所述处理单元802，在根据所述镜头畸变模型参数，对该相机拍摄的原始图像进行畸变校正处理，生成对应的去畸变图像时，具体用于：
根据所述镜头畸变模型参数，以及预设的畸变模型，确定该相机拍摄的原始图像与对应的去畸变图像之间的第一映射关系以及第一逆映射关系，其中，所述第一逆映射关系是所述第一映射关系的反函数；
根据所述第一映射关系，将该相机拍摄的原始图像中的像素点进行映射，生成第一二维像素坐标点集合；
根据所述第一逆映射关系，将所述第一二维像素坐标点集合中的像素点进行逆映射，确定所述第一二维像素坐标点集合中的像素点在该相机拍摄的原始图像中对应的第一投影位置；
根据确定的所述第一投影位置，生成对应的去畸变图像，其中，对应的去畸变图像的分辨率与该相机拍摄的原始图像分辨率相同。
可选的，所述处理单元802，在根据所述镜头畸变模型参数，对该相机拍摄的原始图像进行畸变校正处理，生成对应的去畸变图像时，具体用于：
根据所述镜头畸变模型参数，以及预设的畸变模型，确定该相机拍摄的原始图像与对应的去畸变图像之间的第二映射关系以及第二逆映射关系，其中，所述第二逆映射关系是所述第二映射关系的反函数；
根据所述第二映射关系，将该相机拍摄的原始图像中的像素点进行映射，生成第二二维像素坐标点集合；
根据所述第二二维像素坐标点集合中的像素点的位置分布，确定对应的去畸变图像的第一分辨率，其中，在所述第一分辨率中，水平方向上的像素点的个数大于或等于第一距离包含的像素点的个数，且垂直方向上的像素点的个数大于或等于第二距离包含的像素点的个数，所述第一距离为所述第二二维像素坐标点集合中水平方向上最左边像素点与最右边像素点的位置之间的距离，所述第二距离为所述第二二维像素坐标点集合中垂直方向上最上边像素点与最下边像素点的位置之间的距离；
确定所述第一分辨率与该相机拍摄的原始图像的第二分辨率在水平方向上的第一像素点差值和在垂直方向上的第二像素点差值；
根据所述第一像素点差值与所述第二像素点差值，对所述第二逆映射关系进行偏移处理，确定该相机拍摄的原始图像与对应的去畸变图像之间的第三逆映射关系；
根据所述第二二维像素坐标点集合与所述第一分辨率，生成第三二维像素坐标点集合；
根据所述第三逆映射关系，将所述第三二维像素坐标点集合中的像素点进行逆映射，确定所述第三二维像素坐标点集合中的像素点在该相机拍摄的原始图像中对应的第二投影位置；
根据确定的所述第二投影位置，生成对应的去畸变图像，其中，在对应的去畸变图像中包含填充像素点，所述填充像素点为非该相机拍摄的原始图像中的像素点。
可选的，所述拼接单元803，在将所述第一去畸变图像与所述第二去畸变图像进行拼接，生成所述目标拼接图像时，具体用于：
根据所述第一去畸变图像与所述第二去畸变图像中重合区域的特征，进行拼接，生成第一拼接图像；
根据所述第一拼接图像，确定所述目标拼接图像，其中，在所述目标拼接图像中，不包含所述填充像素点。
采用本发明实施例提供的一种图像拼接装置，获取第一相机与第二相机分别拍摄的第一原始图像与第二原始图像，并分别对所述第一原始图像与所述第二原始图像进行畸变处理，得到相应的第一去畸变图像与第二去畸变图像，最后，将所述第一去畸变图像与所述第二去畸变图像进行拼接，生成目标拼接图像。这样，所述装置由于对待拼接的原始图像进行了畸变校正处理，因此，拼接生成的所述目标拼接图像拼缝处误差减小，使拼接的所述目标拼接图像拼缝处两侧景物信息可以对齐，从而使所述目标拼接图像的质量更好。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种图像拼接方法，其特征在于，包括：
处理器获取第一相机拍摄的第一原始图像，以及第二相机拍摄的第二原始图像，其中，所述第一原始图像与所述第二原始图像之间存在重合区域；
所述处理器分别针对所述第一相机和所述第二相机中每个相机执行如下步骤：
所述处理器获取该相机的镜头畸变模型参数；并根据所述镜头畸变模型参数，对该相机拍摄的原始图像进行畸变校正处理，生成对应的去畸变图像；
所述处理器将针对所述第一相机生成的第一去畸变图像与针对所述第二相机生成的第二去畸变图像进行拼接，生成目标拼接图像。
2.如权利要求1所述的方法，其特征在于，所述处理器获取该相机的镜头畸变模型参数，包括：
所述处理器获取保存的所述镜头畸变模型参数；或者
所述处理器获取该相机针对标定物拍摄的多个图像；并根据所述多个图像中的所述标定物的特征参数和所述标定物实际的特征参数，确定所述镜头畸变模型参数。
3.如权利要求1或2所述的方法，其特征在于，所述处理器根据所述镜头畸变模型参数，对该相机拍摄的原始图像进行畸变校正处理，生成对应的去畸变图像，包括：
所述处理器根据所述镜头畸变模型参数，以及预设的畸变模型，确定该相机拍摄的原始图像与对应的去畸变图像之间的第一映射关系以及第一逆映射关系，其中，所述第一逆映射关系是所述第一映射关系的反函数；
所述处理器根据所述第一映射关系，将该相机拍摄的原始图像中的像素点进行映射，生成第一二维像素坐标点集合；
所述处理器根据所述第一逆映射关系，将所述第一二维像素坐标点集合中的像素点进行逆映射，确定所述第一二维像素坐标点集合中的像素点在该相机拍摄的原始图像中对应的第一投影位置；
所述处理器根据确定的所述第一投影位置，生成对应的去畸变图像，其中，对应的去畸变图像的分辨率与该相机拍摄的原始图像分辨率相同。
4.如权利要求1或2所述的方法，其特征在于，所述处理器根据所述镜头畸变模型参数，对该相机拍摄的原始图像进行畸变校正处理，生成对应的去畸变图像，包括：
所述处理器根据所述镜头畸变模型参数，以及预设的畸变模型，确定该相机拍摄的原始图像与对应的去畸变图像之间的第二映射关系以及第二逆映射关系，其中，所述第二逆映射关系是所述第二映射关系的反函数；
所述处理器根据所述第二映射关系，将该相机拍摄的原始图像中的像素点进行映射，生成第二二维像素坐标点集合；
所述处理器根据所述第二二维像素坐标点集合中的像素点的位置分布，确定对应的去畸变图像的第一分辨率，其中，在所述第一分辨率中，水平方向上的像素点的个数大于或等于第一距离包含的像素点的个数，且垂直方向上的像素点的个数大于或等于第二距离包含的像素点的个数，所述第一距离为所述第二二维像素坐标点集合中水平方向上最左边像素点与最右边像素点的位置之间的距离，所述第二距离为所述第二二维像素坐标点集合中垂直方向上最上边像素点与最下边像素点的位置之间的距离；
所述处理器确定所述第一分辨率与该相机拍摄的原始图像的第二分辨率在水平方向上的第一像素点差值和在垂直方向上的第二像素点差值；
所述处理器根据所述第一像素点差值与所述第二像素点差值，对所述第二逆映射关系进行偏移处理，确定该相机拍摄的原始图像与对应的去畸变图像之间的第三逆映射关系；
所述处理器根据所述第二二维像素坐标点集合与所述第一分辨率，生成第三二维像素坐标点集合；
所述处理器根据所述第三逆映射关系，将所述第三二维像素坐标点集合中的像素点进行逆映射，确定所述第三二维像素坐标点集合中的像素点在该相机拍摄的原始图像中对应的第二投影位置；
所述处理器根据确定的所述第二投影位置，生成对应的去畸变图像，其中，在对应的去畸变图像中包含填充像素点，所述填充像素点为非该相机拍摄的原始图像中的像素点。
5.如权利要求4所述的方法，其特征在于，所述处理器将所述第一去畸变图像与所述第二去畸变图像进行拼接，生成所述目标拼接图像，包括：
所述处理器根据所述第一去畸变图像与所述第二去畸变图像中重合区域的特征，进行拼接，生成第一拼接图像；
所述处理器根据所述第一拼接图像，确定所述目标拼接图像，其中，在所述目标拼接图像中，不包含所述填充像素点。
6.一种图像拼接装置，其特征在于，包括：
获取单元，用于获取第一相机拍摄的第一原始图像，和第二相机拍摄的第二原始图像，其中，所述第一原始图像与所述第二原始图像之间存在重合区域；
处理单元，用于分别针对所述第一相机和所述第二相机中的每个相机执行如下步骤：
获取该相机的镜头畸变模型参数；并根据所述镜头畸变模型参数，对该相机拍摄的原始图像进行畸变校正处理，生成对应的去畸变图像；
拼接单元，用于将针对所述第一相机生成的所述第一去畸变图像与针对所述第二相机生成的所述第二去畸变图像进行拼接，生成目标拼接图像。
7.如权利要求6所述的装置，其特征在于，所述处理单元，在获取该相机的镜头畸变模型参数时，具体用于：
获取保存的所述镜头畸变模型参数；或者
获取该相机针对标定物拍摄的多个图像；并根据所述多个图像中的所述标定物的特征参数和所述标定物实际的特征参数，确定所述镜头畸变模型参数。
8.如权利要求6或7所述的装置，其特征在于，所述处理单元，在根据所述镜头畸变模型参数，对该相机拍摄的原始图像进行畸变校正处理，生成对应的去畸变图像时，具体用于：
根据所述镜头畸变模型参数，以及预设的畸变模型，确定该相机拍摄的原始图像与对应的去畸变图像之间的第一映射关系以及第一逆映射关系，其中，所述第一逆映射关系是所述第一映射关系的反函数；
根据所述第一映射关系，将该相机拍摄的原始图像中的像素点进行映射，生成第一二维像素坐标点集合；
根据所述第一逆映射关系，将所述第一二维像素坐标点集合中的像素点进行逆映射，确定所述第一二维像素坐标点集合中的像素点在该相机拍摄的原始图像中对应的第一投影位置；
根据确定的所述第一投影位置，生成对应的去畸变图像，其中，对应的去畸变图像的分辨率与该相机拍摄的原始图像分辨率相同。
9.如权利要求6或7所述的装置，其特征在于，所述处理单元，在根据所述镜头畸变模型参数，对该相机拍摄的原始图像进行畸变校正处理，生成对应的去畸变图像时，具体用于：
根据所述镜头畸变模型参数，以及预设的畸变模型，确定该相机拍摄的原始图像与对应的去畸变图像之间的第二映射关系以及第二逆映射关系，其中，所述第二逆映射关系是所述第二映射关系的反函数；
根据所述第二映射关系，将该相机拍摄的原始图像中的像素点进行映射，生成第二二维像素坐标点集合；
根据所述第二二维像素坐标点集合中的像素点的位置分布，确定对应的去畸变图像的第一分辨率，其中，在所述第一分辨率中，水平方向上的像素点的个数大于或等于第一距离包含的像素点的个数，且垂直方向上的像素点的个数大于或等于第二距离包含的像素点的个数，所述第一距离为所述第二二维像素坐标点集合中水平方向上最左边像素点与最右边像素点的位置之间的距离，所述第二距离为所述第二二维像素坐标点集合中垂直方向上最上边像素点与最下边像素点的位置之间的距离；
确定所述第一分辨率与该相机拍摄的原始图像的第二分辨率在水平方向上的第一像素点差值和在垂直方向上的第二像素点差值；
根据所述第一像素点差值与所述第二像素点差值，对所述第二逆映射关系进行偏移处理，确定该相机拍摄的原始图像与对应的去畸变图像之间的第三逆映射关系；
根据所述第二二维像素坐标点集合与所述第一分辨率，生成第三二维像素坐标点集合；
根据所述第三逆映射关系，将所述第三二维像素坐标点集合中的像素点进行逆映射，确定所述第三二维像素坐标点集合中的像素点在该相机拍摄的原始图像中对应的第二投影位置；
根据确定的所述第二投影位置，生成对应的去畸变图像，其中，在对应的去畸变图像中包含填充像素点，所述填充像素点为非该相机拍摄的原始图像中的像素点。
10.如权利要求9所述的装置，其特征在于，所述拼接单元，在将所述第一去畸变图像与所述第二去畸变图像进行拼接，生成所述目标拼接图像时，具体用于：
根据所述第一去畸变图像与所述第二去畸变图像中重合区域的特征，进行拼接，生成第一拼接图像；
根据所述第一拼接图像，确定所述目标拼接图像，其中，在所述目标拼接图像中，不包含所述填充像素点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610799680.7A CN106447602B (zh) | 2016-08-31 | 2016-08-31 | 一种图像拼接方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610799680.7A CN106447602B (zh) | 2016-08-31 | 2016-08-31 | 一种图像拼接方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106447602A true CN106447602A (zh) | 2017-02-22 |
| CN106447602B CN106447602B (zh) | 2020-04-03 |
Family
ID=58163794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610799680.7A Active CN106447602B (zh) | 2016-08-31 | 2016-08-31 | 一种图像拼接方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106447602B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106815809A (zh) * | 2017-03-31 | 2017-06-09 | 联想(北京)有限公司 | 一种图片处理方法和装置 |
| CN107330849A (zh) * | 2017-06-12 | 2017-11-07 | 浙江大华技术股份有限公司 | 一种全景图像拼接的方法、装置、设备及存储介质 |
| CN107403409A (zh) * | 2017-07-21 | 2017-11-28 | 苏州科达科技股份有限公司 | 图像拼接前的图像处理方法、装置及图像拼接方法及装置 |
| CN108335273A (zh) * | 2018-02-06 | 2018-07-27 | 大唐终端技术有限公司 | 大广角鱼眼全景镜头相机的畸变的实时消除方法 |
| CN108596837A (zh) * | 2018-05-09 | 2018-09-28 | 北京玖瑞科技有限公司 | 图像拼接方法、装置、设备和计算机介质 |
| CN108876725A (zh) * | 2017-05-12 | 2018-11-23 | 深圳市魔眼科技有限公司 | 一种虚拟图像畸变矫正方法及系统 |
| CN109685845A (zh) * | 2018-11-26 | 2019-04-26 | 普达迪泰（天津）智能装备科技有限公司 | 一种用于fod检测机器人的基于pos系统的实时图像拼接处理方法 |
| CN109963141A (zh) * | 2017-12-25 | 2019-07-02 | 广东虚拟现实科技有限公司 | 视觉显示系统及方法，以及头戴显示装置 |
| CN110930312A (zh) * | 2018-09-19 | 2020-03-27 | 驭势（上海）汽车科技有限公司 | 一种用于生成鱼眼相机图像的方法与设备 |
| CN111583119A (zh) * | 2020-05-19 | 2020-08-25 | 北京数字绿土科技有限公司 | 一种正射影像拼接方法、设备以及计算机可读介质 |
| CN111736788A (zh) * | 2020-06-28 | 2020-10-02 | 广州励丰文化科技股份有限公司 | 图像处理方法及电子设备、存储介质 |
| CN112233020A (zh) * | 2020-11-09 | 2021-01-15 | 珠海大横琴科技发展有限公司 | 无人机图像拼接方法、装置、计算机设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6173087B1 (en) * | 1996-11-13 | 2001-01-09 | Sarnoff Corporation | Multi-view image registration with application to mosaicing and lens distortion correction |
| CN101276465A (zh) * | 2008-04-17 | 2008-10-01 | 上海交通大学 | 广角图像自动拼接方法 |
| CN102163331A (zh) * | 2010-02-12 | 2011-08-24 | 王炳立 | 采用标定方法的图像辅助系统 |
| CN103927739A (zh) * | 2014-01-10 | 2014-07-16 | 北京航天飞行控制中心 | 一种基于拼接图像的巡视器定位方法 |
| CN103971352A (zh) * | 2014-04-18 | 2014-08-06 | 华南理工大学 | 一种基于广角镜头的快速图像拼接方法 |
| JP2014219764A (ja) * | 2013-05-02 | 2014-11-20 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| CN104363986A (zh) * | 2014-10-31 | 2015-02-18 | 华为技术有限公司 | 一种图像处理方法和设备 |
| CN105141826A (zh) * | 2015-06-30 | 2015-12-09 | 广东欧珀移动通信有限公司 | 一种畸变校正方法及终端 |
-
2016
- 2016-08-31 CN CN201610799680.7A patent/CN106447602B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6173087B1 (en) * | 1996-11-13 | 2001-01-09 | Sarnoff Corporation | Multi-view image registration with application to mosaicing and lens distortion correction |
| CN101276465A (zh) * | 2008-04-17 | 2008-10-01 | 上海交通大学 | 广角图像自动拼接方法 |
| CN102163331A (zh) * | 2010-02-12 | 2011-08-24 | 王炳立 | 采用标定方法的图像辅助系统 |
| JP2014219764A (ja) * | 2013-05-02 | 2014-11-20 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| CN103927739A (zh) * | 2014-01-10 | 2014-07-16 | 北京航天飞行控制中心 | 一种基于拼接图像的巡视器定位方法 |
| CN103971352A (zh) * | 2014-04-18 | 2014-08-06 | 华南理工大学 | 一种基于广角镜头的快速图像拼接方法 |
| CN104363986A (zh) * | 2014-10-31 | 2015-02-18 | 华为技术有限公司 | 一种图像处理方法和设备 |
| CN105141826A (zh) * | 2015-06-30 | 2015-12-09 | 广东欧珀移动通信有限公司 | 一种畸变校正方法及终端 |
Non-Patent Citations (3)
| Title |
|---|
| ZHAN-LONG YANG 等: "Image Mosaic Based on SIFT", 《2008 INTERNATIONAL CONFERENCE ON INTELLIGENT INFORMATION HIDING AND MULTIMEDIA SIGNAL PROCESSING》 * |
| 兰海滨 等: "图像拼接中相机镜头非线性畸变的校正", 《光学精密工程》 * |
| 杨秋慧: "大视场镜头的畸变校正和图像拼接", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106815809A (zh) * | 2017-03-31 | 2017-06-09 | 联想(北京)有限公司 | 一种图片处理方法和装置 |
| CN106815809B (zh) * | 2017-03-31 | 2020-08-25 | 联想(北京)有限公司 | 一种图片处理方法和装置 |
| CN108876725A (zh) * | 2017-05-12 | 2018-11-23 | 深圳市魔眼科技有限公司 | 一种虚拟图像畸变矫正方法及系统 |
| CN107330849B (zh) * | 2017-06-12 | 2020-10-30 | 浙江大华技术股份有限公司 | 一种全景图像拼接的方法、装置、设备及存储介质 |
| CN107330849A (zh) * | 2017-06-12 | 2017-11-07 | 浙江大华技术股份有限公司 | 一种全景图像拼接的方法、装置、设备及存储介质 |
| CN107403409A (zh) * | 2017-07-21 | 2017-11-28 | 苏州科达科技股份有限公司 | 图像拼接前的图像处理方法、装置及图像拼接方法及装置 |
| CN107403409B (zh) * | 2017-07-21 | 2021-02-02 | 苏州科达科技股份有限公司 | 图像拼接前的图像处理方法、装置及图像拼接方法及装置 |
| CN109963141B (zh) * | 2017-12-25 | 2024-04-26 | 广东虚拟现实科技有限公司 | 视觉显示系统及方法，以及头戴显示装置 |
| CN109963141A (zh) * | 2017-12-25 | 2019-07-02 | 广东虚拟现实科技有限公司 | 视觉显示系统及方法，以及头戴显示装置 |
| CN108335273A (zh) * | 2018-02-06 | 2018-07-27 | 大唐终端技术有限公司 | 大广角鱼眼全景镜头相机的畸变的实时消除方法 |
| CN108335273B (zh) * | 2018-02-06 | 2022-02-08 | 大唐终端技术有限公司 | 大广角鱼眼全景镜头相机的畸变的实时消除方法 |
| CN108596837A (zh) * | 2018-05-09 | 2018-09-28 | 北京玖瑞科技有限公司 | 图像拼接方法、装置、设备和计算机介质 |
| CN108596837B (zh) * | 2018-05-09 | 2022-06-10 | 北京玖瑞科技有限公司 | 图像拼接方法、装置、设备和计算机介质 |
| CN110930312A (zh) * | 2018-09-19 | 2020-03-27 | 驭势（上海）汽车科技有限公司 | 一种用于生成鱼眼相机图像的方法与设备 |
| CN109685845A (zh) * | 2018-11-26 | 2019-04-26 | 普达迪泰（天津）智能装备科技有限公司 | 一种用于fod检测机器人的基于pos系统的实时图像拼接处理方法 |
| CN111583119A (zh) * | 2020-05-19 | 2020-08-25 | 北京数字绿土科技有限公司 | 一种正射影像拼接方法、设备以及计算机可读介质 |
| CN111583119B (zh) * | 2020-05-19 | 2021-07-09 | 北京数字绿土科技有限公司 | 一种正射影像拼接方法、设备以及计算机可读介质 |
| CN111736788A (zh) * | 2020-06-28 | 2020-10-02 | 广州励丰文化科技股份有限公司 | 图像处理方法及电子设备、存储介质 |
| CN112233020A (zh) * | 2020-11-09 | 2021-01-15 | 珠海大横琴科技发展有限公司 | 无人机图像拼接方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106447602B (zh) | 2020-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106447602A (zh) | 一种图像拼接方法及装置 | |
| CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
| CN110390640B (zh) | 基于模板的泊松融合图像拼接方法、系统、设备及介质 | |
| CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| US10609282B2 (en) | Wide-area image acquiring method and apparatus | |
| US9811946B1 (en) | High resolution (HR) panorama generation without ghosting artifacts using multiple HR images mapped to a low resolution 360-degree image | |
| CN107945112B (zh) | 一种全景图像拼接方法及装置 | |
| CN103763479B (zh) | 实时高速高清全景视频的拼接装置及其方法 | |
| US10165258B2 (en) | Efficient determination of optical flow between images | |
| CN110717942B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN103517041B (zh) | 基于多相机旋转扫描的实时全景监控方法和装置 | |
| KR101121034B1 (ko) | 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품 | |
| CN104299215B (zh) | 一种特征点标定和匹配的图像拼接方法 | |
| CN110782394A (zh) | 全景视频快速拼接方法及系统 | |
| WO2017076106A1 (zh) | 图像的拼接方法和装置 | |
| CN104574339A (zh) | 一种用于视频监控的多尺度柱面投影全景图像生成方法 | |
| CN107545586B (zh) | 基于光场极线平面图像局部的深度获取方法及系统 | |
| TW202117611A (zh) | 電腦視覺訓練系統及訓練電腦視覺系統的方法 | |
| CN104424640A (zh) | 对图像进行虚化处理的方法和装置 | |
| CN112801870B (zh) | 一种基于网格优化的图像拼接方法，拼接系统及可读存储介质 | |
| CN110414385A (zh) | 一种基于单应性变换和特征窗口的车道线检测方法及系统 | |
| WO2023226218A1 (zh) | 轴对称光学成像并行仿真方法及装置 | |
| CN106570907A (zh) | 一种相机标定方法及装置 | |
| JP2021086616A (ja) | ランダムサンプリング一貫性に基づく魚眼画像の有効領域抽出方法 | |
| JP4296617B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |