CN112037130B - 一种自适应图像拼接融合方法、装置、电子设备及存储介质 - Google Patents

一种自适应图像拼接融合方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112037130B
CN112037130B CN202010877928.3A CN202010877928A CN112037130B CN 112037130 B CN112037130 B CN 112037130B CN 202010877928 A CN202010877928 A CN 202010877928A CN 112037130 B CN112037130 B CN 112037130B
Authority
CN
China
Prior art keywords
image
matrix
perspective transformation
source
spliced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010877928.3A
Other languages
English (en)
Other versions
CN112037130A (zh
Inventor
薛峰
张万友
夏炎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Timi Intelligent Technology Co ltd
Original Assignee
Jiangsu Timi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Timi Intelligent Technology Co ltd filed Critical Jiangsu Timi Intelligent Technology Co ltd
Priority to CN202010877928.3A priority Critical patent/CN112037130B/zh
Publication of CN112037130A publication Critical patent/CN112037130A/zh
Application granted granted Critical
Publication of CN112037130B publication Critical patent/CN112037130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种自适应图像拼接融合方法、装置、电子设备及存储介质，属于图像拼接技术领域。针对现有的图像拼接过程中，只是通过简单线性加权相加，拼接处痕迹比较明显的问题，本申请根据透视变换后的图像的坐标，自动计算两张图像融合后的权重，相比较直接暴力的手动选择融合权重，本申请的权重选择更加的平滑，图像融合过渡更加自然，且将源图像裁减和变换目标图裁减在一个新矩阵和取反矩阵中同时进行，能够并行的处理两个拼接矩阵的数据融合，减少融合所需要的时间。

Description

一种自适应图像拼接融合方法、装置、电子设备及存储介质
技术领域
本发明属于图像拼接技术领域，具体地说，涉及一种自适应图像拼接融合方法、装置、电子设备及存储介质。
背景技术
图像拼接技术是指将两张或多张拍摄同一场景的单视角有重叠的图像进行拼接，得到一幅包括全部源图像的宽视角的清晰结果图。随着图像处理技术的发展，图像拼接技术的研究不断地深入，应用也越来越广泛。比如，无人机的航拍，遥感图像领域等。这些应用场景中受限于摄像头的有效拍摄范围，不能够将所有的想表达内容拍摄下来，因此延伸出拍摄多个图像后拼接图像的应用。图像拼接是进一步做图像处理的基础步骤，拼接的效果不好的话会影响接下来的工作，所以一个好的图像拼接算法非常的重要。针对图像拼接有很多的优秀算法，基本上都是像素级别的，能够快速有效的找到两张图像的特征相似的地方。但是图像的拼接的接缝处基本都是线性变换的过度，导致两张拼接后的图接缝明显。
目前针对两个图像接线处的处理是分别取两张图像的加权值相加。具体的是创建一个矩阵，该矩阵从1到0线性的变换，使用一张图像乘以这个1到0变换的矩阵，另外一张图像乘个0到1线性变换的矩阵；将这两个矩阵相加就得到拼接融合的图像。这样的简单线性加权相加效果非常一般，拼接处也比较明显，过度先比较直接裁剪也没有多大的改善。
发明内容
1、要解决的问题
针对现有的图像拼接过程中，只是通过简单线性加权值相加，拼接处痕迹比较明显的问题，本申请能够根据透视变换后的图像的坐标自动计算两张图像融合后的权重，相比较直接暴力的手动选择融合权重，本申请的权重选择更加的平滑，图像融合过渡更加自然，且将源图像裁剪和变换目标图裁剪在一个新矩阵和取反矩阵中同时进行，能够并行的处理两个拼接矩阵的数据融合，减少融合所需要的时间。
2、技术方案
为解决上述问题，本发明采用如下的技术方案。
本发明第一方面提供一种自适应图像拼接融合方法，包括如下步骤：
S102：获取待拼接图像，使用特征提取算法提取两幅待拼接图像特征信息；
S104：对所述两幅待拼接图像进行特征点匹配，通过单应性矩阵提取所述特征点信息；
S106：选取一张待拼接图像作为目标图像，另一张作为源图像，对所述源图像通过透视变换算法变换图像的视角，获取透视变换图；
S108：将所述源图像和所述透视变换图分别进行矩阵点乘，依次获取图像裁剪部分和目标图像部分，再合并拼接获取全景图。
在一些实施例中，所述步骤S108，合并拼接时，根据所述目标图像尺寸和图像顶点变化改变所述图像裁剪部分和目标图像部分中重合部分的权重，并通过如下公式进行权重分配：
其中min_left_x表示透视变换图最小值横坐标，xup表示透视变换图的左上角宽度；
xdown表示是目标图像的右下角宽度；left_margin表示目标图像横坐标和源图中横坐标的差值，x源表示源图像的宽度；alpha是指源图像的的宽度与透视变换图之间最小宽度的差值的结果，再进行相对于left_margin归一化得到。
在一些实施例中，所述步骤S102包括：
构造尺度空间，通过Hessian矩阵特征点检测，获取特征点信息；
将待拼接图像进行一阶微分，并进行归一化处理。
在一些实施例中，所述步骤S104包括：
将相似特征点进行匹配，按照特征点的最小距离进行降序排列，获取预定数目的最佳特征点；
通过单应性矩阵函数点乘所述最佳特征点，获取变换矩阵。
在一些实施例中，所述步骤S106包括：
获取源图像的四个顶点坐标，分别点乘所述变换矩阵，获取一组点乘结果；
将所述点乘结果遍历所述源图像中非顶点坐标的像素点，获取旋转透视参数矩阵，将所述旋转透视参数矩阵输入到透视变换函数获取透视变换图。
在一些实施例中，所述步骤S108包括：
新建与所述透视变换图大小相同的的第一矩阵；
从透视变换图中截取第二图像，使所述第二图像与所述源图像的大小一致；
将所述第二图像转换成灰度图像，并判断所述灰度图像中灰度值是否为0；根据所述判断结果，修改所述第一矩阵中的值；
根据所述第一矩阵中的修改结果，构建第二矩阵；
将所述第二矩阵扩充为三维度，并点乘源图像获得图像裁剪部分；
将所述第二矩阵取反，获得第三矩阵，并点乘所述透视变换图，获取目标图像部分。
在一些实施例中，所述根据所述判断结果，修改所述第一矩阵中的值的步骤包括：
当所述灰度图像中灰度值为0时，不修改所述第一矩阵中的值；
当所述灰度图像中灰度值不为0时，修改所述第一矩阵中的值为1。
本发明第二方面提供一种自适应图像拼接融合方法装置，包括：
特征提取模块，其用于获取待拼接图像，使用特征提取算法提取两幅待拼接图像特征信息；
特征匹配模块，其用于对所述两幅待拼接图像进行特征点匹配，通过单应性矩阵提取所述特征点信息；
透视变换模块，其用于选取一张待拼接图像作为目标图像，另一张作为源图像，对所述源图像通过透视变换算法变换图像的视角，获取透视变换图；及
融合模块，其用于将所述源图像和所述透视变换图分别进行矩阵点乘，依次获取图像裁剪部分和目标图像部分，再合并拼接获取全景图。
本发明第三方面提供一种电子设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述的方法。
本发明第四方面提供一种可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述的方法。
3、有益效果
相比于现有技术，本发明的有益效果为：
(1)本发明提供的自适应图像拼接融合方法能够根据透视变换后的图像的坐标自动计算两张图像融合后的权重，相比较直接暴力的手动选择融合权重，本申请的权重选择更加的平滑，图像融合过渡更加自然，且将源图像裁剪和变换目标图裁剪在一个新矩阵和取反矩阵中同时进行，能够并行的处理两个拼接矩阵的数据融合，减少融合所需要的时间；
(2)本发明中使用的特征点检测算法可以做到图片旋转不变性，即图像的旋转后依然能够找到两张图像的相似特征点；且使用图像特征值得归一化处理描述子，使得特征描述的数据处理起来更加快速和方便。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。附图中：
图1是本发明实施例提供的一种自适应图像拼接融合方法流程图；
图2是本发明实施例提供的一种自适应图像拼接融合装置框图；
图3是本发明实施例提供的图像自适应边界融合方法流程图；
图4是本发明实施例提供的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的实施例的限制。
示例性方法
如图1所示，一种自适应图像拼接融合方法，包括以下步骤：
S102：获取待拼接图像，使用特征提取算法提取两幅待拼接图像特征信息；
具体的，首先通过输入设备输入的一系列待拼接图像，取两张图像，一张定义为目标图像，一张定义为源图像分别加载到内存中；需要说明，此处对于两张图像的定义也可以在步骤S106中进行。构造尺度空间，通过Hessian矩阵特征点检测，获取特征点信息；此处的尺度空间，是指一个尺度变换的金字塔空间，目的是能够从不同的尺寸空间中获得图像的特征信息。
将待拼接图像进行一阶微分，并进行归一化处理描述子，使得归一化后的图像信息更加稳定和健壮。
需要说明的是，图像的尺度空间是一幅图像经过几个不同高斯核后形成的模糊图片的集合，用来模拟人眼看到物体的远近程度以及模糊程度。在该集合中，细尺度图像通过filter形成相尺度图像，即粗尺度图像的形成过程是高频信息被过滤的过程，不会引入新的杂质信息，因此任何存在于粗尺度图像下的内容都能在细尺度图像下找到。
图像金字塔(image pyramid)是同一张图片不同分辨率子图的集合，是通过对原图像不断地下采样而产生的。高分辨率原始图像在底部，自底向上，分辨率(尺寸)逐渐降低，堆叠起来便形成了金字塔状。
S104：对所述两幅待拼接图像进行特征点匹配，通过单应性矩阵提取所述特征点信息；
本示例中，步骤S102中得到的特征点，将相似特征点进行匹配，按照特征点的最小距离进行降序排列，获取预定数目的最佳特征点。具体的，按照相似特征点的最小距离得分进行降序排列，本领域技术人员应当理解，两个相似的特征点的描述数值是很相似的，这两个点特征相减，取平方开根号能够得到相似的程度，称之为距离相似得分。
通过单应性矩阵函数点乘所述最佳特征点，获取变换矩阵；具体的，通过单应性矩阵求解变换后的最佳特征点坐标，使用单应性矩阵函数点乘所得到的30个得分最高的特征点，进而得到一个3*3的变换矩阵。
S106：选取一张待拼接图像作为目标图像，另一张作为源图像，对所述源图像通过透视变换算法变换图像的视角，获取透视变换图；
具体的，获取源图像的四个顶点坐标，分别点乘所述变换矩阵，获取一组点乘结果；
将所述点乘结果遍历所述源图像中非顶点坐标的像素点，获取旋转透视参数矩阵，将所述旋转透视参数矩阵输入到透视变换函数获取透视变换图。
S108：将所述源图像和所述透视变换图分别进行矩阵点乘，依次获取图像裁剪部分和目标图像部分，再合并拼接获取全景图。
具体如图3所示：S51：新建与所述透视变换图大小相同的的第一矩阵；
S52：从透视变换图中截取第二图像，使所述第二图像与所述源图像的大小一致；
S53：将所述第二图像截转成灰度图像，并判断所述灰度图像中灰度值是否为0；根据所述判断结果，修改所述第一矩阵中的值；本示例中，将S53中的获得的图像转换成值域在[0，255]的8位灰度图像。
S54：根据所述第一矩阵中的修改结果，构建第二矩阵；具体的，当所述灰度图像中灰度值为0时，不修改所述第一矩阵中的值；当所述灰度图像中灰度值不为0时，修改所述第一矩阵中的值为1。
S55：将所述第二矩阵扩充为三维度，并点乘源图像获得图像裁剪部分；
S56：将所述第二矩阵取反，获得第三矩阵，并点乘所述透视变换图，获取目标图像部分。
由步骤S51-S56得到所述图像裁剪部分和目标图像部分。需要说明的是步骤S55和步骤S56通过双通道同时进行，将源图像裁剪和变换目标图裁剪在一个新矩阵和取反矩阵中同时进行，能够并行的处理两个拼接矩阵的数据融合，减少融合所需要的时间。
本领域技术人员应当理解，透视变换后的图像不再是矩形结构，会有上下不等宽的情况出现。因此，在合并拼接时，根据所述目标图像尺寸和图像顶点变化改变所述图像裁剪部分和目标图像部分中重合部分的权重，并通过如下公式进行权重分配：
其中min_left_x表示透视变换图最小值横坐标，xup表示透视变换图的左上角宽度；
xdown表示是目标图像的右下角宽度；left_margin表示目标图像横坐标和源图中横坐标的差值，x源表示源图像的宽度；alpha是指源图像的的宽度与透视变换图之间最小宽度的差值的结果，再进行相对于left_margin归一化得到。
本示例中的自适应图像拼接融合方法能够根据透视变换后的图像的坐标自动计算两张图像融合后的权重，相比较直接暴力的手动选择融合权重，本申请的权重选择更加的平滑，图像融合过渡更加自然，且将源图像裁剪和变换目标图裁剪在一个新矩阵和取反矩阵中同时进行，能够并行的处理两个拼接矩阵的数据融合，减少融合所需要的时间；
示例性装置
如图2所示，一种自适应图像拼接融合装置，包括：
特征提取模块，其用于获取待拼接图像，使用特征提取算法提取两幅待拼接图像特征信息。
具体的，首先通过输入设备输入的一系列待拼接图像，取两张图像，一张作为目标图像，一张作为源图像分别加载到内存中；再构造尺度空间，通过Hessian矩阵特征点检测，获取特征点信息；此处的尺度空间，是指一个尺度变换的金字塔空间，目的是能够从不同的尺寸空间中获得图像的特征信息。将待拼接图像进行一阶微分，并进行归一化处理描述子，使得归一化后的图像信息更加稳定和健壮。
特征匹配模块，其用于对所述两幅待拼接图像进行特征点匹配，通过单应性矩阵提取所述特征点信息。
具体的，将相似特征点进行匹配，按照特征点的最小距离进行降序排列，获取预定数目的最佳特征点。此处，按照相似特征点的最小距离得分进行降序排列，本领域技术人员应当理解，两个相似的特征点的描述数值是很相似的，这两个点特征相减，取平方开根号能够得到相似的程度，称之为距离相似得分。通过单应性矩阵函数点乘所述最佳特征点，获取变换矩阵；具体的，通过单应性矩阵求解变换后的最佳特征点坐标，使用单应性矩阵函数点乘所得到的30个得分最高的特征点，进而得到一个3*3的变换矩阵。
透视变换模块，其用于选取一张待拼接图像作为目标图像，另一张作为源图像，对所述源图像通过透视变换算法变换图像的视角，获取透视变换图；
具体的，获取源图像的四个顶点坐标，分别点乘所述变换矩阵，获取一组点乘结果；将所述点乘结果遍历所述源图像中非顶点坐标的像素点，获取旋转透视参数矩阵，将所述旋转透视参数矩阵输入到透视变换函数获取透视变换图。
融合模块，其用于将所述源图像和所述透视变换图分别进行矩阵点乘，依次获取图像裁剪部分和目标图像部分，再合并拼接获取全景图。
具体包括：新建与所述透视变换图大小相同的的第一矩阵；
从透视变换图中截取第二图像，使所述第二图像与所述源图像的大小一致；
将所述第二图像截转成灰度图像，并判断所述灰度图像中灰度值是否为0；根据所述判断结果，修改所述第一矩阵中的值；本示例中，将S53中的获得的图像转换成值域在[0，255]的8位灰度图像。
根据所述第一矩阵中的修改结果，构建第二矩阵；具体的，当所述灰度图像中灰度值为0时，不修改所述第一矩阵中的值；当所述灰度图像中灰度值不为0时，修改所述第一矩阵中的值为1。
将所述第二矩阵扩充为三维度，并点乘源图像获得图像裁剪部分；
将所述第二矩阵取反，获得第三矩阵，并点乘所述透视变换图，获取目标图像部分。
由此得到所述图像裁剪部分和目标图像部分。
本领域技术人员应当理解，透视变换后的图像不再是矩形结构，会有上下不等宽的情况出现。因此，在合并拼接时，根据所述目标图像尺寸和图像顶点变化改变所述图像裁剪部分和目标图像部分中重合部分的权重，并通过如下公式进行权重分配：
其中min_left_x表示透视变换图最小值横坐标，xup表示透视变换图的左上角宽度；
xdown表示是目标图像的右下角宽度；left_margin表示目标图像横坐标和源图中横坐标的差值，x源表示源图像的宽度；alpha是指源图像的的宽度与透视变换图之间最小宽度的差值的结果，再进行相对于left_margin归一化得到。
示例性电子设备
下面，参考图4来描述根据本申请实施例的电子设备。该电子设备可以是可移动设备本身，或与其独立的单机设备，该单机设备可以与可移动设备进行通信，以从它们接收所采集到的输入信号，并向其发送组合图像信息。
图4图示了根据本申请实施例的电子设备的框图。
如图4所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的决策方法以及/或者其他期望的功能。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。例如，该输入设备13可以包括例如摄像头、视频播放器等各种设备。该输入设备13还可以包括例如键盘、鼠标等等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图4中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的决策方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的决策方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (8)

1.一种自适应图像拼接融合方法，其特征在于，包括如下步骤：
S102：获取待拼接图像，使用特征提取算法提取两幅待拼接图像特征信息；
S104：对所述两幅待拼接图像进行特征点匹配，通过单应性矩阵提取所述特征点信息；
S106：选取一张待拼接图像作为目标图像，另一张作为源图像，对所述源图像通过透视变换算法变换图像的视角，获取透视变换图；
S108：将所述源图像和所述透视变换图分别进行矩阵点乘，依次获取图像裁剪部分和目标图像部分，再合并拼接获取全景图；
所述步骤S108中，合并拼接时，根据目标图像尺寸和图像顶点变化改变所述图像裁剪部分和目标图像部分中重合部分的权重，并通过如下公式进行权重分配：
其中min_left_x表示透视变换图最小值横坐标，xup表示透视变换图的左上角宽度；
xdown表示目标图像的右下角宽度；left_margin表示目标图像横坐标和源图中横坐标的差值，x源表示源图像的宽度；alpha是指源图像的宽度与透视变换图之间最小宽度的差值的结果，再进行相对于left_margin归一化得到；
所述步骤S108还包括：
新建与所述透视变换图大小相同的第一矩阵；
从透视变换图中截取第二图像，使所述第二图像与所述源图像的大小一致；
将所述第二图像转换成灰度图像，并判断所述灰度图像中灰度值是否为0；根据判断结果，修改所述第一矩阵中的值；
根据所述第一矩阵中的修改结果，构建第二矩阵；
将所述第二矩阵扩充为三维度，并点乘所述源图像获得图像裁剪部分；
将所述第二矩阵取反，获得第三矩阵，并点乘所述透视变换图，获取目标图像部分。
2.根据权利要求1所述的自适应图像拼接融合方法，其特征在于，所述步骤S102包括：
构造尺度空间，通过Hessian矩阵特征点检测，获取特征点信息；
将待拼接图像进行一阶微分，并进行归一化处理。
3.根据权利要求2所述的自适应图像拼接融合方法，其特征在于，所述步骤S104包括：
将相似特征点进行匹配，按照特征点的最小距离进行降序排列，获取预定数目的最佳特征点；
通过单应性矩阵函数点乘所述最佳特征点，获取变换矩阵。
4.根据权利要求3所述的自适应图像拼接融合方法，其特征在于，所述步骤S106包括：
获取源图像的四个顶点坐标，分别点乘所述变换矩阵，获取一组点乘结果；
将所述点乘结果遍历所述源图像中非顶点坐标的像素点，获取旋转透视参数矩阵，将所述旋转透视参数矩阵输入到透视变换函数获取透视变换图。
5.根据权利要求4所述的自适应图像拼接融合方法，其特征在于，所述根据所述判断结果，修改所述第一矩阵中值的步骤包括：
当所述灰度图像中灰度值为0时，不修改所述第一矩阵中的值；
当所述灰度图像中灰度值不为0时，修改所述第一矩阵中的值为1。
6.一种自适应图像拼接融合方法装置，其特征在于，包括：
特征提取模块，其用于获取待拼接图像，使用特征提取算法提取两幅待拼接图像特征信息；
特征匹配模块，其用于对所述两幅待拼接图像进行特征点匹配，通过单应性矩阵提取所述特征点信息；
透视变换模块，其用于选取一张待拼接图像作为目标图像，另一张作为源图像，对所述源图像通过透视变换算法变换图像的视角，获取透视变换图；及
融合模块，其用于将所述源图像和所述透视变换图分别进行矩阵点乘，依次获取图像裁剪部分和目标图像部分，再合并拼接获取全景图；
所述融合模块，合并拼接时，根据目标图像尺寸和图像顶点变化改变所述图像裁剪部分和目标图像部分中重合部分的权重，并通过如下公式进行权重分配：
其中min_left_x表示透视变换图最小值横坐标，xup表示透视变换图的左上角宽度；
xdown表示目标图像的右下角宽度；left_margin表示目标图像横坐标和源图中横坐标的差值，x源表示源图像的宽度；alpha是指源图像的宽度与透视变换图之间最小宽度的差值的结果，再进行相对于left_margin归一化得到；
所述融合模块还包括：
新建与所述透视变换图大小相同的第一矩阵；
从透视变换图中截取第二图像，使所述第二图像与所述源图像的大小一致；
将所述第二图像转换成灰度图像，并判断所述灰度图像中灰度值是否为0；根据判断结果，修改所述第一矩阵中的值；
根据所述第一矩阵中的修改结果，构建第二矩阵；
将所述第二矩阵扩充为三维度，并点乘所述源图像获得图像裁剪部分；
将所述第二矩阵取反，获得第三矩阵，并点乘所述透视变换图，获取目标图像部分。
7.一种电子设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-5任一项所述的方法。
8.一种可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-5任一项所述的方法。
CN202010877928.3A 2020-08-27 2020-08-27 一种自适应图像拼接融合方法、装置、电子设备及存储介质 Active CN112037130B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010877928.3A CN112037130B (zh) 2020-08-27 2020-08-27 一种自适应图像拼接融合方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010877928.3A CN112037130B (zh) 2020-08-27 2020-08-27 一种自适应图像拼接融合方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112037130A CN112037130A (zh) 2020-12-04
CN112037130B true CN112037130B (zh) 2024-03-26

Family

ID=73585789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010877928.3A Active CN112037130B (zh) 2020-08-27 2020-08-27 一种自适应图像拼接融合方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112037130B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581371B (zh) * 2021-01-27 2022-03-22 仲恺农业工程学院 基于四路摄像头新型结构的全景实时成像拼接方法
CN113066154B (zh) * 2021-03-10 2021-11-30 浙江图维科技股份有限公司 一种地表图像与地下空间图像实时叠加的方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205781A (zh) * 2015-08-24 2015-12-30 电子科技大学 输电线路航拍图像拼接方法
CN105678722A (zh) * 2014-11-20 2016-06-15 深圳英飞拓科技股份有限公司 一种全景拼接图像弯曲矫正方法及装置
CN106940876A (zh) * 2017-02-21 2017-07-11 华东师范大学 一种基于surf的快速无人机航拍图像拼接算法
CN107665479A (zh) * 2017-09-05 2018-02-06 平安科技（深圳）有限公司 一种特征提取方法、全景拼接方法及其装置、设备及计算机可读存储介质
CN109146778A (zh) * 2018-07-02 2019-01-04 广西电网有限责任公司北海供电局 用于工件尺寸测量的图像拼接方法
CN110197455A (zh) * 2019-06-03 2019-09-03 北京石油化工学院 二维全景图像的获取方法、装置、设备和存储介质
CN111080529A (zh) * 2019-12-23 2020-04-28 大连理工大学 一种加强鲁棒性的无人机航拍图像拼接方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678722A (zh) * 2014-11-20 2016-06-15 深圳英飞拓科技股份有限公司 一种全景拼接图像弯曲矫正方法及装置
CN105205781A (zh) * 2015-08-24 2015-12-30 电子科技大学 输电线路航拍图像拼接方法
CN106940876A (zh) * 2017-02-21 2017-07-11 华东师范大学 一种基于surf的快速无人机航拍图像拼接算法
CN107665479A (zh) * 2017-09-05 2018-02-06 平安科技（深圳）有限公司 一种特征提取方法、全景拼接方法及其装置、设备及计算机可读存储介质
WO2019047284A1 (zh) * 2017-09-05 2019-03-14 平安科技（深圳）有限公司 特征提取、全景拼接方法及其装置、设备、可读存储介质
CN109146778A (zh) * 2018-07-02 2019-01-04 广西电网有限责任公司北海供电局 用于工件尺寸测量的图像拼接方法
CN110197455A (zh) * 2019-06-03 2019-09-03 北京石油化工学院 二维全景图像的获取方法、装置、设备和存储介质
CN111080529A (zh) * 2019-12-23 2020-04-28 大连理工大学 一种加强鲁棒性的无人机航拍图像拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于仿射变换的图像分块拼接方法;张平梅;金立左;李久贤;;信息技术与信息化(第01期);全文 *

Also Published As

Publication number Publication date
CN112037130A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
US11475238B2 (en) Keypoint unwarping for machine vision applications
US10410088B2 (en) Invariant-based dimensional reduction of object recognition features, systems and methods
JP4161659B2 (ja) 画像認識システム及びその認識方法並びにプログラム
CN112037130B (zh) 一种自适应图像拼接融合方法、装置、电子设备及存储介质
CN108833784B (zh) 一种自适应构图方法、移动终端及计算机可读存储介质
CN108830892B (zh) 人脸图像处理方法、装置、电子设备及计算机可读存储介质
CN102713938A (zh) 用于均匀和非均匀照明变化中的改善的特征检测的尺度空间正规化技术
CN111541943B (zh) 视频处理方法、视频操作方法、装置、存储介质和设备
JP2013524593A (ja) 複数カメラのキャリブレーション用の方法および構成
JP2010086540A (ja) 特徴記述子ベクトル生成方法、システムおよびプログラム
CN109063776B (zh) 图像再识别网络训练方法、装置和图像再识别方法及装置
JP2005317020A (ja) マルチスケールの有向パッチ（ｍｕｌｔｉ−ｓｃａｌｅｏｒｉｅｎｔｅｄｐａｔｃｈｅｓ）を使用したマルチ画像フィーチャ（ｆｅａｔｕｒｅ）のマッチング
JP5574033B2 (ja) 画像認識システム及びその認識方法並びにプログラム
CN111292334B (zh) 一种全景图像分割方法、装置及电子设备
KR20120023052A (ko) 3 차원에 있어서의 형상의 일치를 판정하는 방법 및 장치
Chang et al. Finding good composition in panoramic scenes
CN110245674B (zh) 模板匹配方法、装置、设备及计算机存储介质
CN112150532A (zh) 图像处理的方法、装置、电子设备和计算机可读介质
CN113808014A (zh) 基于动态能量调整的图像缩放方法及装置
CN116708995B (zh) 摄影构图方法、装置及摄影设备
CN110070478B (zh) 变形图像生成方法和装置
CN116684748B (zh) 摄影构图框的生成方法、装置及摄影设备
Zhang et al. Feature weighting in visual product recognition
CN115589456A (zh) 拍摄方法及其装置
CN117788710A (zh) 基于鱼眼图的三维空间融合方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant