CN112862676A - 一种图像拼接方法、设备、存储介质 - Google Patents
一种图像拼接方法、设备、存储介质 Download PDFInfo
- Publication number
- CN112862676A CN112862676A CN202110023418.4A CN202110023418A CN112862676A CN 112862676 A CN112862676 A CN 112862676A CN 202110023418 A CN202110023418 A CN 202110023418A CN 112862676 A CN112862676 A CN 112862676A
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- feature point
- point set
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000004590 computer program Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像拼接方法、设备、存储介质,包括以下步骤:步骤S1、确定基准图像与待拼接图像,分别对所述基准图像与待拼接图像进行特征提取,得到第一特征点集合与第二特征点集合;步骤S2、计算第一特征点集合与第二特征点集合位置坐标距离和像素值差值的绝对值,计算其匹配因子;步骤S3、根据匹配因子确定第一特征点集合与第二特征点集合中的匹配对点,基于所述匹配对点对所述基准图像与待拼接图像中的其他特征点进行匹配,确定基准图像与待拼接图像的图像拼接模型及参数;步骤S4、根据所述图像拼接模型及参数对基准图像与带拼接图像进行拼接,得到拼接图像。本发明提高了处理的速度及提高图像拼接的精度及准确性。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像拼接方法、设备、存储介质。
背景技术
伴随图像技术的不断发展,图像拼接技术在多种领域得到了广泛的应用。如摄影爱好者通过图像拼接得到一高清全景图,或工业上沿管道焊接区域拍摄后拼接融合成整体图以进行管道焊接检测。
现有的图像拼接技术主要分为基于图像灰度信息匹配和基于特征的方法两类,基于特征的方法具有计算量小、对几何畸变有良好适应能力等优点,已成为当前主流的匹配方法。但对于一些相似度较大的图片来说,直接提取特征点进行图像拼接,其拼接结果并不准确。因此如何提取图像特征点以提高图像拼接精度是需要解决的问题。
发明内容
为了克服现有技术的不足,本发明的目的之一在于提供一种图像拼接方法,提高了处理的速度及提高图像拼接的精度及准确性。
本发明的目的之二在于提供一种设备,执行上述一种图像拼接方法,提高了处理的速度及提高图像拼接的精度及准确性。
本发明的目的之三在于提供一种存储介质设备,执行上述一种图像拼接方法,提高了处理的速度及提高图像拼接的精度及准确性。
本发明的目的之一采用如下技术方案实现:
一种图像拼接方法,包括以下步骤:
步骤S1、确定基准图像与待拼接图像,分别对所述基准图像与待拼接图像进行特征提取,得到第一特征点集合与第二特征点集合;
步骤S2、计算第一特征点集合与第二特征点集合位置坐标距离和像素值差值的绝对值,计算其匹配因子;
步骤S3、根据匹配因子确定第一特征点集合与第二特征点集合中的匹配对点,基于所述匹配对点对所述基准图像与待拼接图像中的其他特征点进行匹配,确定基准图像与待拼接图像的图像拼接模型及参数;
步骤S4、根据所述图像拼接模型及参数对基准图像与带拼接图像进行拼接,得到拼接图像。
进一步地,所述匹配因子的计算公式为:
其中,r为匹配因子,d表示第一特征点与第二特征点之间的位置坐标距离,Id为第一特征点与第二特征点之间的像素值差值的绝对值。
进一步地,所述步骤S3中基于所述匹配对点对所述基准图像与待拼接图像中的其他特征点进行匹配,确定基准图像与待拼接图像的图像拼接模型及参数,具体为,
获得基准图像中的第一非特征点到第一特征点的第一距离,以及获得所述第一非特征点的像素值与第一特征点的像素值的第一差值;获得待拼接图像中的第二非特征点到第二特征点的第二距离,以及获得所述第二非特征点的像素值与第二特征点的像素值的第二差值;
若所述第一距离与第二距离差值的绝对值小于第一阈值,且所述第一差值与第二差值的绝对值小于第二阈值,则对所述第一非特征点与第二非特征点进行匹配,得到非特征匹配点对。
进一步地,步骤S3中根据匹配因子确定第一特征点集合与第二特征点集合中的匹配对点,具体为比较不同第一特征点与第二特征点之间的匹配因子,直至得到最小的匹配因子,则所述第一特征点集合中的第一特征点与第二特征点集合中的第二特征点为匹配对点。
进一步地,所述步骤S1中分别对所述基准图像与待拼接图像进行特征提取,得到第一特征点集合与第二特征点集合,具体为,提取所述基准图像的尺度不变特征转换SIFT特征,得到第一特征点集合;提取所述待拼接图像的SIFT特征,得到第二特征点集合。
进一步地,所述步骤S1中还包括以下步骤:
对所述基准图像与待拼接图像进行预处理;所述预处理包括但不限于旋转、裁剪、去字符。
进一步地,所述步骤S4中根据所述图像拼接模型及参数对基准图像与待拼接图像进行拼接,得到拼接图像,具体为,根据所述图像拼接模型及参数对所述待拼接图像做映射处理,得到待拼接映射图像;将所述映射图像与所述基准图像进行拼接,得到所述拼接图像。
本发明的目的之二采用如下技术方案实现:
一种设备,其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述一种图像拼接方法。
本发明的目的之三采用如下技术方案实现:
一种存储介质,其上存储有计算机程序,所述计算机程序被执行时实现如上所述的一种图像拼接方法。
相比现有技术,本发明的有益效果在于:
本发明提供了一种图像拼接方法、设备及存储介质,通过对基准图像与待拼接图像进行特征提取,得到第一特征点集合与第二特征点集合,计算第一特征点集合与第二特征点集合内的匹配因子,寻找最为合适的匹配对点,基于匹配对点将基准图像与待拼接图像进行匹配,从而得到图像拼接模型的模型参数。根据图像拼接模型及模型参数进行图像拼接,提高了处理的速度及提高图像拼接的精度及准确性。
附图说明
图1为本发明所提供实施例的一种图像拼接方法的流程示意图。
具体实施方式
下面,结合附图以及具体实施方式,对本发明做进一步描述,需要说明的是,在不相冲突的前提下,以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
本发明提供了一种图像拼接方法,适用于多张图像拼接中,可应用于具有图像处理能力的智能终端,如电脑、手机或者平板电脑等,提高图像拼接的准确性及精度。
具体的,如图1所示,所述图像拼接方法包括以下步骤:
步骤S1、确定基准图像与待拼接图像,分别对所述基准图像与待拼接图像进行特征提取,得到第一特征点集合与第二特征点集合。基准图像与待拼接图像可以是一个物体或者同一个画面中的两张不同的图像,一般为图像采集设备在通过同一角度或者不同角度拍摄的。待拼接图像的数量不受限制,可以为一张或者多张,在本实施例中选用一张带拼接图像进行解释说明。在确定基准图像与待拼接图像后,需要对其进行预处理。所述预处理包括但不限于旋转、裁剪、去字符等操作,将基准图像与待拼接图像中的字符等干扰因素去除,提高后续图像拼接的准确性。
具体的,分别对所述基准图像与待拼接图像进行特征提取,得到第一特征点集合与第二特征点集合,具体为,提取所述基准图像的尺度不变特征转换SIFT(Scale-invariant feature transform,尺寸不变特征变换)特征,得到第一特征点集合;提取所述待拼接图像的SIFT特征,得到第二特征点集合。第一特征点集合与第二特征点集合均包括多个SIFT特征点。其中SIFT特征是图像的局部特征,该特征可对旋转、尺度缩放、亮度变化具有不变性,对视角变化、仿射变换、噪声也可保持一定程度的稳定性。
步骤S2、计算第一特征点集合与第二特征点集合位置坐标距离和像素值差值的绝对值,计算其匹配因子;
所述匹配因子的计算公式为:
其中,r为匹配因子,d表示第一特征点与第二特征点之间的位置坐标距离,Id为第一特征点与第二特征点之间的像素值差值的绝对值。从第一特征点集合与第二特征点集合中抽取第一特征点与第二特征点,计算第一特征点与第二特征点之间的匹配因子,以提高匹配的准确性。
步骤S3、根据匹配因子确定第一特征点集合与第二特征点集合中的匹配对点,基于所述匹配对点对所述基准图像与待拼接图像中的其他特征点进行匹配,确定基准图像与待拼接图像的图像拼接模型及参数。
根据匹配因子确定第一特征点集合与第二特征点集合中的匹配对点,具体为比较不同第一特征点与第二特征点之间的匹配因子,直至得到最小的匹配因子,则所述第一特征点集合中的第一特征点与第二特征点集合中的第二特征点为匹配对点。通过匹配因子与特征点。最小的匹配因子则代表第一特征点与第二特征点之间的匹配程度最高,将这两个特征点作为匹配点对,可以提高基准图像与待拼接图像的准确性。
进一步地,基于所述匹配对点对所述基准图像与待拼接图像中的其他特征点进行匹配,确定基准图像与待拼接图像的图像拼接模型及参数,具体为,获得基准图像中的第一非特征点到第一特征点的第一距离,以及获得所述第一非特征点的像素值与第一特征点的像素值的第一差值;获得待拼接图像中的第二非特征点到第二特征点的第二距离,以及获得所述第二非特征点的像素值与第二特征点的像素值的第二差值;
若所述第一距离与第二距离差值的绝对值小于第一阈值,且所述第一差值与第二差值的绝对值小于第二阈值,则对所述第一非特征点与第二非特征点进行匹配,得到非特征匹配点对。对所述第一非特征点与第二非特征点进行匹配与上述特征点的匹配相同,从而将依次两张图像中的多数非特征点进行匹配。
在基准图像与待拼接图像内的多数点都进行匹配后,确定所述图像拼接模型及参数。图像拼接模型可以为基准图像与所述待拼接图像中的单应矩阵,从其中矩阵元为图形拼接模型参数。
步骤S4、根据所述图像拼接模型及参数对基准图像与带拼接图像进行拼接,得到拼接图像。具体为根据所述图像拼接模型及参数对所述待拼接图像做映射处理,得到待拼接映射图像;将所述映射图像与所述基准图像进行拼接,得到所述拼接图像。通过图像融合技术将映射图像与基准图像进行拼接,从而得到拼接图像。
本发明所提供的图像拼接方法通过对基准图像与待拼接图像进行特征提取,得到第一特征点集合与第二特征点集合,计算第一特征点集合与第二特征点集合内的匹配因子,寻找最为合适的匹配对点,基于匹配对点将基准图像与待拼接图像进行匹配,从而得到图像拼接模型的模型参数。根据图像拼接模型及模型参数进行图像拼接,提高了处理的速度及提高图像拼接的精度及准确性。
另外,本发明还提供一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现前述一种图像拼接方法的步骤。
本发明可用于众多通用或专用的计算系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
基于相同的发明思想,还提供了一种设备,包括存储器、处理器以及存储在存储器中的程序,所述程序被配置成由处理器执行,处理器执行所述程序时实现上述一种图像拼接方法。
本实施例中的设备与前述实施例中的方法是基于同一发明构思下的两个方面,在前面已经对方法实施过程作了详细的描述,所以本领域技术人员可根据前述描述清楚地了解本实施中的系统的结构及实施过程,为了说明书的简洁,在此就不再赘述。
上述实施方式仅为本发明的优选实施方式,不能以此来限定本发明保护的范围,本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。
Claims (9)
1.一种图像拼接方法,其特征在于,包括以下步骤:
步骤S1、确定基准图像与待拼接图像,分别对所述基准图像与待拼接图像进行特征提取,得到第一特征点集合与第二特征点集合;
步骤S2、计算第一特征点集合与第二特征点集合位置坐标距离和像素值差值的绝对值,计算其匹配因子;
步骤S3、根据匹配因子确定第一特征点集合与第二特征点集合中的匹配对点,基于所述匹配对点对所述基准图像与待拼接图像中的其他特征点进行匹配,确定基准图像与待拼接图像的图像拼接模型及参数;
步骤S4、根据所述图像拼接模型及参数对基准图像与带拼接图像进行拼接,得到拼接图像。
3.如权利要求1所述的一种图像拼接方法,其特征在于,所述步骤S3中基于所述匹配对点对所述基准图像与待拼接图像中的其他特征点进行匹配,确定基准图像与待拼接图像的图像拼接模型及参数,具体为,
获得基准图像中的第一非特征点到第一特征点的第一距离,以及获得所述第一非特征点的像素值与第一特征点的像素值的第一差值;获得待拼接图像中的第二非特征点到第二特征点的第二距离,以及获得所述第二非特征点的像素值与第二特征点的像素值的第二差值;
若所述第一距离与第二距离差值的绝对值小于第一阈值,且所述第一差值与第二差值的绝对值小于第二阈值,则对所述第一非特征点与第二非特征点进行匹配,得到非特征匹配点对。
4.如权利要求3所述的一种图像拼接方法,其特征在于,步骤S3中根据匹配因子确定第一特征点集合与第二特征点集合中的匹配对点,具体为比较不同第一特征点与第二特征点之间的匹配因子,直至得到最小的匹配因子,则所述第一特征点集合中的第一特征点与第二特征点集合中的第二特征点为匹配对点。
5.如权利要求3所述的一种图像拼接方法,其特征在于,所述步骤S1中分别对所述基准图像与待拼接图像进行特征提取,得到第一特征点集合与第二特征点集合,具体为,提取所述基准图像的尺度不变特征转换SIFT特征,得到第一特征点集合;提取所述待拼接图像的SIFT特征,得到第二特征点集合。
6.如权利要求5所述的一种图像拼接方法,其特征在于,所述步骤S1中还包括以下步骤:
对所述基准图像与待拼接图像进行预处理;所述预处理包括但不限于旋转、裁剪、去字符。
7.如权利要求6所述的一种图像拼接方法,其特征在于,所述步骤S4中根据所述图像拼接模型及参数对基准图像与待拼接图像进行拼接,得到拼接图像,具体为,根据所述图像拼接模型及参数对所述待拼接图像做映射处理,得到待拼接映射图像;将所述映射图像与所述基准图像进行拼接,得到所述拼接图像。
8.一种设备,其特征在于,其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1~7任一所述一种图像拼接方法。
9.一种存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被执行时实现权利要求1~7任一所述的一种图像拼接方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110023418.4A CN112862676A (zh) | 2021-01-08 | 2021-01-08 | 一种图像拼接方法、设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110023418.4A CN112862676A (zh) | 2021-01-08 | 2021-01-08 | 一种图像拼接方法、设备、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112862676A true CN112862676A (zh) | 2021-05-28 |
Family
ID=76005388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110023418.4A Pending CN112862676A (zh) | 2021-01-08 | 2021-01-08 | 一种图像拼接方法、设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112862676A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115781092A (zh) * | 2023-02-08 | 2023-03-14 | 金成技术股份有限公司 | 用于挖掘机动臂的多角度辅助焊接方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160286138A1 (en) * | 2015-03-27 | 2016-09-29 | Electronics And Telecommunications Research Institute | Apparatus and method for stitching panoramaic video |
CN106296570A (zh) * | 2016-07-28 | 2017-01-04 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
CN110070490A (zh) * | 2019-05-05 | 2019-07-30 | 京东方科技集团股份有限公司 | 图像拼接方法和装置 |
CN112001357A (zh) * | 2020-09-07 | 2020-11-27 | 杨仙莲 | 目标识别检测方法及系统 |
-
2021
- 2021-01-08 CN CN202110023418.4A patent/CN112862676A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160286138A1 (en) * | 2015-03-27 | 2016-09-29 | Electronics And Telecommunications Research Institute | Apparatus and method for stitching panoramaic video |
CN106296570A (zh) * | 2016-07-28 | 2017-01-04 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
CN110070490A (zh) * | 2019-05-05 | 2019-07-30 | 京东方科技集团股份有限公司 | 图像拼接方法和装置 |
CN112001357A (zh) * | 2020-09-07 | 2020-11-27 | 杨仙莲 | 目标识别检测方法及系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115781092A (zh) * | 2023-02-08 | 2023-03-14 | 金成技术股份有限公司 | 用于挖掘机动臂的多角度辅助焊接方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8126206B2 (en) | Image processing apparatus, image processing method, and program | |
CN107633526B (zh) | 一种图像跟踪点获取方法及设备、存储介质 | |
US8774510B2 (en) | Template matching with histogram of gradient orientations | |
CN106447592B (zh) | 每个特征描述符的在线个性化服务 | |
CN109711321B (zh) | 一种结构自适应的宽基线影像视角不变直线特征匹配方法 | |
US20200005078A1 (en) | Content aware forensic detection of image manipulations | |
Márquez-Neila et al. | Speeding-up homography estimation in mobile devices | |
Son et al. | A multi-vision sensor-based fast localization system with image matching for challenging outdoor environments | |
CN112435223B (zh) | 目标检测方法、装置及存储介质 | |
CN105760999A (zh) | 一种衣服推荐管理方法及系统 | |
CN112862676A (zh) | 一种图像拼接方法、设备、存储介质 | |
CN108447092B (zh) | 视觉定位标识物的方法及装置 | |
CN112579810B (zh) | 印刷电路板分类方法、装置、计算机设备和存储介质 | |
CN112598714A (zh) | 一种基于视频帧单应性变换的静止目标跟踪方法 | |
CN110070490B (zh) | 图像拼接方法和装置 | |
CN109213515B (zh) | 多平台下埋点归一方法及装置和电子设备 | |
CN111126436A (zh) | 视觉匹配方法及装置 | |
CN111931786B (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
CN113298871B (zh) | 地图生成方法、定位方法及其系统、计算机可读存储介质 | |
CN112184766B (zh) | 一种对象的跟踪方法、装置、计算机设备和存储介质 | |
Amato et al. | Technologies for visual localization and augmented reality in smart cities | |
Clark et al. | Perspective correction for improved visual registration using natural features. | |
CN109815791B (zh) | 基于血管的身份识别方法和装置 | |
CN112614166A (zh) | 基于cnn-knn的点云匹配方法和装置 | |
Bal et al. | Image‐based locating and guiding for unmanned aerial vehicles using scale invariant feature transform, speeded‐up robust features, and oriented fast and rotated brief algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Room 238, room 406, 1 Yichuang street, Huangpu District, Guangzhou, Guangdong 510700 Applicant after: Guangzhou langguo Electronic Technology Co.,Ltd. Address before: Room 238, room 406, 1 Yichuang street, Huangpu District, Guangzhou, Guangdong 510700 Applicant before: GUANGZHOU LANGO ELECTRONIC SCIENCE & TECHNOLOGY Co.,Ltd. |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210528 |